Recursive Self-Improvement via On-Policy Distillation for Reasoning

论文链接：https://arxiv.org/pdf/2609.30652 

代码链接：

摘要

在线策略蒸馏（On-policy Distillation, OPD）通过让学生模型生成轨迹，并将该模型对下一个 token 的预测与外部教师模型的预测进行匹配，从而对学生模型进行训练。这种方法为学生模型提供了密集的、token 级别的监督信号。在线策略自蒸馏（On-policy Self-distillation, OPSD）则无需外部教师模型；具体而言，它利用学生模型的一个冻结副本作为“教师”，并在该教师模型的上下文中提供真实答案（ground truth）。在此过程中，学生模型仅接收问题输入，并学习模仿这一“特权教师”模型，而教师模型在整个训练过程中保持冻结状态。既往研究表明，冻结教师模型有助于训练的稳定性；但我们认为，这种做法阻碍了教师模型吸收学生模型在训练过程中所习得的改进。本研究的主要贡献在于通过一个包含两个互补组件的递归框架，克服了上述局限性。首先，我们让“特权教师”模型与学生模型协同演化，使得某一轮训练中习得的修正能够指导后续训练；我们将这一过程称为“动态协同演化”（Dynamic Co-Evolution, DCE）。其次，由于更强的修正可能会导致模型生成的回复过于冗长或过度自我批判，我们额外引入了一种训练目标：利用模型自身在在线策略下生成的回复，经过验证后将其改写为更精简的版本。我们将这一互补目标称为“自我精炼的精简学习”（Self-Refined Concise Learning, SRCL）。综合评估结果显示，在多种模型规模及四个竞赛级数学基准测试中，DCE+SRCL 的表现均优于 OPSD。具体而言，在 Qwen3-8B 模型上，DCE+SRCL 的 Average@12 指标达到了 65.97%，较 OPSD 提升了 35.62 个百分点，同时相比仅使用 DCE 的方案，其平均输出长度缩短了 7.80%。

1.Introduction

在近期大语言模型（LLM）推理能力的进展中，后训练阶段（post-training）发挥了核心作用。一种重要的方法是“基于可验证奖励的强化学习”（RLVR），它利用自动校验机制，根据最终解法给出相应的奖赏。由于无需对推理过程中的每一步进行标注即可验证结果的正确性，RLVR 能够在缺乏“步骤级”监督的情况下实现规模化扩展，并能促使模型生成更长的推导链，实现中间步骤验证、回溯以及自我修正。然而，基于结果的奖赏仅能提供粗粒度的序列级监督：它们虽能反映最终答案是否正确，却无法指出推理过程在何处出错，也无法说明应如何进行修正。相比之下，过程监督（process supervision）能够提供更细致的局部反馈，但通常需要步骤级的标注，或者依赖一个经过独立训练的验证器。

在稀疏的结果奖赏与高昂的过程监督之间，在线策略蒸馏（OPD）提供了一条第三路径：基于待训练模型采样出的轨迹，利用密集的 token-level 目标进行训练。该模型充当“学生”角色，而另一个更强大的“教师”模型则针对生成的每个前缀（prefix）提供下一个 token 的对数几率（logits）。相比学生自身的预测，这些对数几率提供了更丰富的 token 级训练信号。然而，标准的 OPD 仍依赖于一个能力较强的外部教师，且其指导并不基于当前问题的已验证解。因此，学生在学习匹配教师词元级预测的过程中，既可能习得教师的优势，也可能继承其错误。在线策略自蒸馏（OPSD）通过设置两个均初始化自同一基础检查点（base checkpoint）的角色，解决了上述局限性。在训练过程中，学生模型仅接收问题并生成同策略响应；与此同时，基础检查点的另一个副本接收标准答案（ground-truth solution）并充当“特权教师”。针对学生响应的每一个前缀，教师接收问题、标准答案以及该前缀，进而输出下一个 token 的对数几率。OPSD 旨在最小化学生与教师预测之间的差异，从而将基于标准答案的指导信息传递给学生。为了保持训练稳定性，Zhao 等人（2026）的研究中采用了冻结教师模型参数的策略。

在学生生成的每一个前缀处，获取“标准答案”（ground-truth solution）能否提供有效的指导？我们针对 AIME 2024、AIME 2025 和 AIME 2026 竞赛题目中 Qwen3-8B 模型产生的错误推理路径，探讨了这一问题。我们对比了处于训练演进过程中的“学生模型”检查点与固定的、以标准答案为条件的“教师模型”在相同前缀下的表现。结果发现，尽管“教师模型”掌握了标准答案，但在错误回答的终点处，它赋予“结束符”（EOS）的平均概率高达 94.5%，而赋予“反思提示”（如“Wait”——推理模型中常见的反思标记，见图 1）的概率仅为 22.0%。这表明，“教师模型”在引导模型如何从错误推理中纠偏方面，所能提供的指导十分有限。与此同时，随着训练的进行，学生模型表现出更强的反思倾向，这导致演进中的学生模型与其固定的监督者（教师模型）之间出现了日益扩大的偏差。

这种不匹配揭示了“冻结”特权教师（privileged teacher）这一做法的局限性。自我验证、回溯和纠错等修订行为可能会在训练后期增强，但若教师被固定在初始检查点，便无法习得这些新出现的能力。因此，即便基于已验证的解进行条件化引导，该引导也可能与学生在训练后期所经历的路径日益脱节。这一观察结果促使我们构想一种能够随学生一同进化的特权教师。

因此，我们提出了“动态协同演化”（Dynamic Co-Evolution, DCE）机制，其中“特权教师”（privileged teacher）与“学生”模型同步演化。在每次更新后，所生成的检查点（checkpoint）既用于初始化下一轮的学生模型，也用于初始化一个独立的、以“金标准”（gold-standard）为条件的特权教师。这意味着在某一轮中习得的修正行为，能够改善下一轮的监督质量，从而形成一种递归式的自我提升过程。然而，强化修正行为也带来了第二个挑战：更频繁的检查与回溯虽然有助于从错误中恢复，却会导致推理过程变得冗长且不必要。为此，我们将 DCE 与“自我精炼的简洁学习”（Self-Refined Concise Learning, SRCL）相结合；SRCL 通过对同一“同策略”（on-policy）响应进行缩减并经由答案验证的重写版本进行训练。DCE 提升了模型修正推理的能力，而 SRCL 则促使模型在保持这种能力的同时，避免产生不必要的额外 Token 开销。

我们的贡献可概括如下：

• 我们提出了 Dynamic Co-Evolution (DCE)——一种递归式的在线策略（on-policy）自蒸馏框架。在该框架中，每个更新后的检查点（checkpoint）既用于初始化下一代“学生”模型，也用于初始化一个独立的、以“金标准”（gold-conditioned）数据为条件的“特权教师”模型。在四个竞赛级的数学推理基准测试中，与 OPSD 相比，DCE 在 8B、4B 和 1.7B 参数规模下，将 Average@12 准确率分别提升了 35.41、37.15 和 12.98 个百分点。
• 我们提出了 Self-Refined Concise Learning (SRCL)，旨在控制因更深入的修订过程而可能带来的推理成本增加。SRCL 的训练基于针对同一“在线策略”（on-policy）响应所生成的、已被采纳且更为精简的“自我精炼”结果。在我们所测试的最低评估预算（8K token）下，DCE+SRCL 实现了 35.07% 的 Average@12 准确率，且平均每个响应的输出 token 数量为 7,500 个；与 OPSD（一种推理阶段的扩展控制方法）相比，其准确率提升了 6.60 个百分点，同时每个响应生成的 token 数量还减少了约 692 个。
• 我们研究发现，随着与学生共同演进，特权教师模型能够提供更有效的修订指导。在计算资源预算相当的对照实验中，结果表明性能提升并非仅仅源于生成内容的长度增加。此外，在每一轮训练中更新教师模型，其效果优于“固定教师模型”、“指数移动平均（EMA）”以及“周期性更新”等其他方案。针对固定轨迹的探测分析进一步证实，在三批 AIME（美国数学邀请赛）数据集上，教师模型的修订行为确实得到了改善：其在生成结束（EOS）处的概率从 90.4% 降至 41.3%，而其在“反思 token”（reflection tokens）处的概率则从 32.8% 提升至 77.4%。

2.Related Work

2.1 Reflection and Verification in Reasoning Post-Training

基于结果监督的后训练（Outcome-supervised post-training）无需步骤级标注，即可激发类似“反思”的行为。GRPO 摒弃了 PPO 中所使用的“学习型判别器”（learned critic），转而通过采样组内的相对奖赏来估算优势值（advantages），从而使基于结果的训练能够切实应用于数学推理任务。DAPO 引入了“上限截断”（clip-higher）、动态采样以及 token 级（token-level）策略损失，显著提升了该方法在大规模应用中的稳定性和效率。DeepSeek-R1 进一步证明，仅依靠基于结果的训练，模型便能自发产生重新检查、回溯以及“灵光一现”（aha moments）等行为，而无需显式的反思监督。与此同时，相关研究将基于强化学习（RL）的后训练范式从封闭式数学问题扩展到了更多领域，包括：基于策略的内容审核；在缺乏固定答案验证的情况下仍需具备泛化能力的开放式环境；以及在客观推理能力的提升与主观对齐（alignment）之间寻求平衡的、难以直接验证的任务。尽管取得了这些进展，但基于结果的奖赏机制仅针对完整回答进行整体评分，无法对模型识别并修正具体错误这一局部过程进行监督。

深入观察表明，这些类似于“反思”的行为未必是通过训练新学到的。在对 R1-Zero 的复现实验中，研究者发现某些基础模型中已存在类似行为，并将 GRPO 的部分效果归因于一种“长度偏好”——即模型倾向于生成更长（且往往是错误）的回答。在十个基础模型中，回答长度与验证行为之间并未表现出稳定的关联。对激活空间（activation-space）的分析进一步揭示，在进行任何基于结果的强化学习验证（RLVR）之前，模型内部已潜藏着一种“反思”能力，尽管这种能力较为罕见。综合来看，这些结果表明，基于结果的后训练过程实际上是放大了一种预先存在的行为倾向，而非教会模型如何从特定的错误前缀中进行纠正或恢复。

即便模型在生成过程中确实进行了反思，也未必能可靠地纠正错误。在缺乏外部反馈的情况下，要求模型自行修改答案反而可能降低准确性；此外，对隐状态（hidden-state）的探测表明，模型内部其实蕴含着判断正误的信号，但模型在生成过程中并未总是利用这些信号。这种“潜在的正确性感知”与“有效的自我修正”之间的差距，促使人们探索一种新的监督形式：DCE（Dense Corrective Guidance，密集纠正引导）针对模型自身错误的推理过程，提供细致到 token 层面的指导，直接训练模型实现从“识别错误”到“成功修正”的转变。

2.2 On-Policy and Privileged Self-Distillation

OPD 在待优化模型所生成的回复样本上进行训练，同时由一个“教师”模型针对这些回复提供“下一个词元”（next-token）层面的监督信号。OPSD 则移除了外部教师，转而将初始检查点（checkpoint）的一个冻结副本指定为“教师”角色：学生模型仅能看到问题，而教师模型则能获取经过验证的正确解答。后续提出的方法（如 RLSD 和 RLCSD）则将这一信号与强化学习相结合。

形式化地，设 $p_\theta$ 为参数为 $\theta$ 的语言模型。学生模型在给定问题 $x$ 的条件下，生成响应 $y \sim p_\theta(\cdot | x)$。特权教师模型在额外获取已验证解 $g$ 和过渡指令 $\tau$ 的情况下，对每个前缀 $y_{<t}$ 进行评分，从而构建出特权上下文 $C^{\text{ref}}_t(x, g, \tau, y_{<t})$。设 $q$ 和 $p$ 分别为教师模型和学生模型在下一步生成的 token 分布，并用 $\Delta(q, p)$ 表示两者之间的散度。我们的主要实验采用前向 KL 散度（Forward KL），即 $\Delta(q, p) = D_{\text{KL}}(q \| p) = \sum_v q(v) \log \frac{q(v)}{p(v)}$；其他可选方案将在第 5.5 节中进行比较。标准的 OPSD 旨在最小化：

在此过程中，教师模型始终固定在 $θ_0$，且不接收任何梯度，即便学生模型及其生成的响应在整个训练期间会不断发生变化。

2.3 Self-Refinement and Efficient Reasoning

Self-training 将模型自身生成的内容转化为新的训练数据。STaR 通过迭代训练，利用能得出正确答案的推理过程（rationales）进行学习，并采用“基于答案的推理生成”（answer-conditioned rationalization）来获取更多训练样本；而 ReST 则通过生成、筛选并复用模型样本，将其作为离线数据进行训练。在对齐（alignment）领域，SAO 能够在无需外部标注的情况下，自行生成提示词、回复及偏好数据；PIKA 则借助外部生成器和奖赏模型来构建合成训练数据。Reflexion 采取了另一种方式：它存储语言形式的反馈，用以指导后续尝试，而无需更新模型参数；后续研究进一步将验证、回溯和子目标构建与成功的自我提升联系起来。SRCL 同样遵循这种“经过筛选的自训练”思路，但其目标有所不同：模型在当前检查点会重写其在“在线策略”（on-policy）下生成的回复（且此时无法获知已验证的正确答案），而在训练过程中，仅保留那些更简洁、自然结束、结构合规且答案正确的重写版本。因此，SRCL 旨在传授简洁且成功的解决方案，这与 DCE（侧重于指导如何修改原始回复）形成了互补。

“推理时扩展”（Test-time scaling）通过在推理阶段分配更多的计算资源来提升准确性。重复采样、搜索以及“计算感知型解码”（compute-aware decoding）等方法，通过消耗额外的推理计算资源来换取更强的性能；而“输入自适应”方法则根据对问题难度的预估来分配计算资源。“预算强制”（Budget forcing）策略利用延续提示（continuation cues）来防止过早终止，从而将回复扩展至预设的计算预算。相比之下，SRCL 则通过在训练后阶段对模型进行调整，使其能够在单次推理过程中，仅使用较少的 Token 即可保持正确的推理逻辑。因此，我们采用“预算匹配”的对照实验，旨在验证性能提升究竟是单纯源于生成长度的增加，还是源于模型所习得的行为模式。

3.Method

为了克服“固定式特权教师”存在的局限性，同时控制因推理过程日益冗长而带来的成本，我们的框架结合了两种互补的训练目标。动态协同演化（Dynamic Co-Evolution, DCE）机制能够基于当前学生模型的推理路径，提炼出以“标准答案”（gold-conditioned）为导向的指导信息，并在每一轮训练中，利用更新后的检查点（checkpoint）对独立的特权分支进行刷新。自精炼简洁学习（Self-Refined Concise Learning, SRCL）则通过对同一“在线策略”（on-policy）响应进行更简练、经过验证的精炼处理，进一步补充了上述指导信号。这两种机制协同更新，共同生成下一轮训练所使用的检查点——该检查点既充当学生模型，也作为特权教师模型，从而闭合了图 2 所示的递归循环。

3.1 Dynamic Co-Evolution

DCE 交替进行“在线策略生成”以及对学生模型及其特权教师模型的更新。设 $\theta_k$ 表示第 $k$ 轮训练时的模型参数，其中 $\theta_0$ 代表初始检查点。给定问题 $x$，当前模型会采样生成一个“在线”响应。

基于这一回复，我们保留一个包含 $m$ 个 token 的序列 $\tilde y^{(k)} = (\tilde y^{(k)}_1, \dots, \tilde y^{(k)}_m)$，并在此序列上计算引导目标（guidance objective）。在每个 token 位置 $t \in \{1, \dots, m\}$，学生模型和“特权教师”（privileged teacher）模型会对相同的回复前缀 $\tilde y^{(k)}_{<t}$ 进行评分。学生模型基于问题 $x$ 和该前缀进行条件推理，而“特权教师”模型还会额外接收到标准答案 $g$。在“特权教师”的提示词（prompt）中，问题 $x$ 和任务指令被置于“用户”对话轮次（user turn）中；随后的“助手”对话轮次（assistant turn）则依次包含标准答案 $g$、一段过渡指令 $\tau$（要求模型使用自身的方法来解决该问题），以及前缀 $\tilde y^{(k)}_{<t}$。我们将这种特权上下文记作 $C^{prev}_t(x, g, \tau, \tilde y^{(k)}_{<t})$，即截至位置 $t$ 的所有特权输入的拼接。这种排列方式是经过精心设计的：将 $g$ 放置在“助手”对话轮次中，使得模型能够将其视为自身推理过程的一部分，而非外部用户提供的参考资料。具体的模板及其他排列方式请见图 7；相关性能对比则在第 5.7 节中给出。

我们将第 $k$ 轮、位置 $t$ 处的学生模型与特权教师（privileged teacher）的下一 Token 概率分布定义为：

其中，$p_{k,t}$ 是学生模型的概率分布，其条件信息仅包含问题本身；而 $q_{k,t}$ 是特权教师的概率分布，额外能够访问真实解答（ground-truth solution）。两者均由相同的当前检查点（checkpoint）$\theta_k$ 生成，但通过 $q_{k,t}$ 的梯度传播被截断。相比之下，标准 OPSD 存在两个方面的不同：首先，它将真实解答作为用户轮次（user turn）中的参考材料提供，而不是作为助手轮次（assistant turn）中先前生成的推理内容；其次，它在整个训练过程中将特权教师固定在初始检查点 $\theta_0$，不再更新。令 $\Delta(q,p)$ 表示用于衡量教师模型与学生模型下一 Token 概率分布之间差异的散度。DCE 的优化目标是最小化：

在第 $k$ 轮优化该目标函数后，得到的参数 $\theta\_{k+1}$ 将同时用于初始化下一轮的学生模型和特权教师。因此，在某一轮中获得的修正行为可以成为后续轮次中基于标准答案条件（gold-conditioned）的监督信号的一部分，从而形成递归式协同演化（recursive co-evolution）。在主要实验中，我们使用前向 KL 散度（Forward KL）作为 $\Delta$，并在第 5.5 节中比较反向 KL 散度（Reverse KL）和 Jensen–Shannon 散度（JSD）。

3.2 Self-Refined Concise Learning

3.3 Joint Optimization

4.Experimental Setup

5.Results

5.1 Main Experimental Results

5.7 Which Representation of the Verified Solution Works Better?