DenoiseRL：通过从噪声前缀恢复来引导推理模型 DenoiseRL: Bootstrapping Reasoning Models to Recover from Noisy Prefixes
使用弱模型的错误轨迹作为训练信号，让强模型学会自我纠错
前置知识
On-policy RL
在线策略强化学习是指智能体使用当前策略直接与环境交互来收集经验，然后利用这些经验来更新同一个策略。这种方法的特点是策略始终与环境分布保持一致，因此梯度估计更稳定，但样本效率较低，每轮训练后策略就会变化，旧的样本就不能再用了。
论文对比了DenoiseRL与GRPO、DAPO等标准在线策略RL方法，理解在线策略的特点是理解DenoiseRL创新点的基础
弱到强泛化
弱到强泛化是一种训练范式，使用较弱的模型来监督或指导更强的模型学习。传统方法是让强模型模仿弱模型的输出（作为伪标签），但这种方法有一个根本性限制：强模型的性能天花板会被弱教师模型的噪声和有限能力所限制，因为强模型会被优化去复制这些可能不完美的信号。
DenoiseRL本质上是一种新的弱到强学习范式，但不是让强模型模仿弱模型，而是利用弱模型的失败作为训练信号
Prefix Conditioning
前缀条件生成是指在语言模型生成时，给定一个固定的前缀文本，然后让模型从这个前缀继续生成。在推理任务中，前缀可以是部分的推理轨迹。前缀 Conditioning 的核心思想是前缀对后续生成有不成比例的影响，一个好的前缀可以引导模型进入更有利的推理状态，而一个错误的前缀则可能导致整个推理轨迹偏离正确方向。
DenoiseRL的核心创新就是利用错误前缀作为训练信号，理解前缀如何影响模型行为是理解该方法的关键
GRPO
群组相对策略优化是一种强化学习算法，它不是使用单独的基线，而是将同一个问题的多个采样轨迹作为一个群组，用群组内的平均奖励作为基线来计算优势函数。对于同一问题的N+K个轨迹，每个轨迹i的优势是Ai等于奖励减去均值再除以标准差加一个小的epsilon常数。这样可以降低方差，提高样本效率。
DenoiseRL基于GRPO构建，将主要rollouts和去噪rollouts混合在同一个群组中共享优势基线
研究动机
现有的推理模型强化学习方法面临一个根本性困境：它们大多依赖更强的教师模型或精心策划的困难数据集。例如GRPO和DAPO等方法虽然取得了显著进展，但当没有现成的足够强大的教师模型时，进一步的能力提升就会变得非常困难。弱到强范式试图用弱模型指导强模型，但其性能受限于弱教师信号的质量，容易在训练过程中引入噪声。另一种方向是通过数据构造增加任务难度，如合成更难的问题、对抗性样本或更长的推理轨迹，但这些方法通常依赖精心设计的流水线、复杂的过滤和验证程序，以及大量人工在数据设计和筛选上的投入。
本文的目标是本文的目标是提出一种新的强化学习范式，能够在不依赖外部监督和人工策划数据集的情况下，可扩展地提升模型的推理能力。具体来说，作者希望直接从弱模型的错误推理轨迹中学习，将这些失败转化为改进机会，而不是将弱模型作为教师来模仿。通过将推理RL转化为一个去噪问题，让弱模型的错误作为推理轨迹的结构性损坏，策略学习从这些损坏状态重建有效的解决路径。
与已有工作不同的是，本文的独特切入点是将弱到强学习与难度驱动的数据合成统一在一个框架中。与现有工作不同，DenoiseRL不是用弱模型合成困难数据或提供学习信号，而是将弱模型重新定位为结构化扰动的生成器。这种方法通过自动增加训练难度来可扩展地提升推理能力，无需生成新数据。更重要的是，它将自我纠错能力从一个涌现行为转变为直接的训练目标，通过将错误前缀嵌入优化目标，模型被明确要求修复和纠正其推理过程，而不是简单地继续沿着错误的中间结论发展。
核心方法
DenoiseRL的整体思路是将推理任务重新定义为一个去噪问题。直觉上，就像BART等预训练方法通过从损坏文本重建原始文本来学习语言表示一样，DenoiseRL让模型通过从错误的中间推理状态恢复到正确答案来学习推理能力。具体来说，作者先用一个弱模型（如Qwen2.5-1.5B-Instruct）在训练集上采样解决方案，保留验证器判断为错误的那些错误轨迹。然后在训练过程中，从这些错误轨迹中截取前p个token作为噪声前缀（p等于max(1, rho乘以w的长度)，其中rho是前缀比例超参数），让策略模型从这个错误状态开始继续推理，最终要求模型到达验证正确的答案。技术路线上，DenoiseRL在每个训练步骤中同时采样两种类型的rollout：标准的在线策略rollouts（N个）和从错误前缀开始的去噪rollouts（K个），然后将它们混合在同一个GRPO优势计算中，共享同一个问题内的基线。
DenoiseRL与已有方法的本质区别在于它如何使用弱模型。传统弱到强方法将弱模型作为教师，强模型被优化去模仿弱模型的伪标签，这限制了强模型的天花板。PrefixRL等方法使用成功的离策略前缀来引导策略，本质上是提供特权提示。而DenoiseRL将弱模型的错误前缀不是作为演示或提示，而是作为模型必须从中恢复的误导性推理状态。这种反转产生了两个紧密耦合的效果：首先，它极大地扩展了训练状态的多样性，因为错误前缀覆盖了比正确轨迹更广泛的失败模式空间；其次，它直接加强了一个关键但未充分发展的能力：从错误中恢复。模型被要求显式地修正和纠正其推理，而不是沿着不正确的中间结论继续。通过将错误前缀嵌入优化目标，DenoiseRL将自我纠错从涌现行为提升为直接训练目标。
方法步骤详情
DenoiseRL的方法包含三个主要步骤。第一步是离线收集噪声前缀池：使用弱模型在训练集D的每个问题上采样M个解决方案，保留验证器判断为错误的那些，对于每个问题q得到错误解决方案池W(q)。这一步只需要做一次，在整个RL训练期间固定，每步没有额外成本。第二步是在训练步骤中采样两种类型的rollouts：对于从训练集采样的每个问题q，首先采样N个标准在线策略rollouts，然后采样K个去噪rollouts，从W(q)中随机选择一个错误解决方案w，保留其前p个token作为前缀，策略模型从这个条件继续生成。为了保持与main rollouts的公平比较，去噪rollouts被折叠使得可见响应满足p加L小于等于R，其中R是最大响应长度，L是保留的延续长度，超出公平预算的后p个token被丢弃。第三步是使用联合目标训练：使用GRPO的群组相对优势函数，在同一个问题内的N+K个轨迹上共享基线计算优势，然后应用PPO风格的裁剪代理目标，其中重要性比率是当前策略概率除以旧策略概率。最终目标是两种分布上的联合期望，由N除以N+K乘以主目标加上K除以N+K乘以去噪目标组成。
技术新颖性
DenoiseRL的技术新颖性体现在多个方面。首先是问题重新定义：将推理RL形式化为去噪问题，弱模型错误作为结构性噪声，策略学习重建有效解决路径，这与标准RL直接优化正确生成的范式有本质区别。其次是混合分布优化：模型同时在两种分布上被优化——从头解决问题和从损坏中间状态恢复，这种混合目标使模型既能保持核心的解题能力，又能发展纠错能力。第三是离策略前缀掩码：作者发现对离策略噪声前缀应用PPO比率会导致训练崩溃，因为当前策略下的log概率分布与产生前缀的行为策略分布之间存在巨大不匹配，应用PPO比率到这些高度离策略的token会注入噪声、高方差的梯度更新。因此DenoiseRL默认设置只在在线策略延续token上反向传播，将离策略噪声前缀的响应掩码设为1，梯度通过整个折叠响应流动，但实际上只更新策略自己生成的部分。最后是长度公平设计：为了保持与main rollouts的公平比较，DenoiseRL强制p加L小于等于R，一旦前缀消耗了p个token，保留的延续就被截断到至多R减p个token，这种设计确保两种rollout类型在同等条件下竞争。
实验结果
DenoiseRL在数学和一般推理基准上持续改进了GRPO和DAPO的表现。在Qwen3-4B-Base上，DenoiseRL-GRPO将GRPO基线从39.6%的平均分提升到42.0%，在MATH500、AIME2024、AIME2025和BBEH上都有明显提升。DenoiseRL-DAPO也将DAPO从39.8%提升到41.5%，值得注意的是，DenoiseRL-DAPO在AMC23和BBEH上取得了最佳性能，而DenoiseRL-GRPO获得了最佳的整体平均表现。同样的趋势也体现在Qwen3-8B-Base上，DenoiseRL-GRPO将GRPO基线从43.0%提升到43.3%，在所有8B模型中获得了第二好的平均性能，同时DenoiseRL-DAPO将DAPO从42.8%提升到44.8%，并在所有评估基准上取得了最佳结果。作者还分析了关键设计因素的影响，发现前缀比例rho等于0.2效果最好，rho等于0.5不稳定，平均响应长度为3.87K token，而rho等于0.8导致更长生成和更频繁的长度峰值，表明恢复期间出现过思考。去噪rollouts数量K的实验显示K等于1时纠正信号太稀疏，平均提升仅14.9%，K等于8时一半采样轨迹分配给恢复，分散了解题学习信号，产生最弱的整体结果11.9%，而平衡设置K等于4实现了最佳权衡，平均提升16.3%，在最难基准上达到最强峰值，包括AIME24提升16.5%和AIME25提升16.9%。关于离策略前缀更新的消融实验显示，更新离策略前缀不稳定，验证准确率在训练早期达到34.7%的平均峰值，但在步骤140后急剧下降，到步骤400在所有基准上崩溃到0，同时平均响应长度先收缩到约450 token，然后激增并饱和在4096 token的预算限制。长度公平设计的有效性得到验证，没有预算上限时去噪rollouts获得超出R token窗口的额外生成能力，整体结果平均下降1.8个百分点（42.0% vs 40.2%）。时间效率方面，DenoiseRL每步略慢（49.7秒 vs 43.8秒），因为在最后100个训练步骤中，DenoiseRL生成了1.27倍于GRPO的延续token。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH500 | AVG@1 | 85.8% | 83.6% (GRPO) | +2.2个百分点 |
| MATH500 | AVG@1 | 88.2% | 87.0% (DAPO) | +1.2个百分点 |
| AMC23 | AVG@16 | 71.4% | 69.7% (DAPO) | +1.7个百分点 |
| AIME2024 | AVG@16 | 27.0% | 23.8% (DAPO) | +3.2个百分点 |
| AIME2025 | AVG@16 | 24.8% | 21.7% (DAPO) | +3.1个百分点 |
| BBEH | AVG@1 | 15.7% | 11.7% (DAPO) | +4.0个百分点 |
局限与改进
作者在论文中承认了几个局限性。首先，生成的扰动的有效性仍然依赖于用于损坏生成的弱模型的行为。如果弱模型产生的错误过于琐碎、重复或不现实，结果恢复信号可能提供有限的训练价值，无法产生有意义的推理改进。其次，虽然恢复导向的训练增强了模型的自我纠错能力，但增加损坏长度也可能放大过思考行为，导致不必要的长推理轨迹、更高的推理成本和降低的解码效率。作者承认在更强的恢复监督与高效推理之间保持平衡仍然是未来工作的重要方向。除了作者明确提到的局限性外，还可以观察到DenoiseRL依赖于可靠的验证器来判断弱模型的答案是否正确，如果验证器本身有缺陷或某些问题没有明确的正确答案验证方法，那么收集的错误前缀质量会受到影响。此外，方法涉及多个超参数（前缀比例rho、去噪rollouts数量K、标准rollouts数量N等），需要仔细调整以在不同任务和模型规模上达到最佳性能，这可能增加了实际应用的复杂度。
独立分析的弱点
DenoiseRL的一个潜在弱点是在特定场景下可能表现不佳。当弱模型的错误模式过于单一或可预测时，去噪训练可能无法提供足够多样化的失败模式，导致策略模型只能学习到有限的恢复策略，而不是泛化的纠错能力。改进方向可以包括使用多个不同的弱模型，或者引入对抗性方法来生成更多样化的错误前缀。另一个潜在弱点是在某些领域可能缺乏可靠的验证器，导致无法正确区分弱模型的正确和错误答案，这会影响噪声前缀池的质量。改进方向可以是开发领域特定的验证器，或者使用更弱的教师模型的置信度作为软信号。此外，DenoiseRL需要额外的离线预处理步骤来收集错误前缀池，对于非常大的训练数据集，这可能成为计算瓶颈，特别是在需要重新收集前缀池时。改进方向可以包括增量更新机制，或者在线生成错误前缀而不是预先收集。
未来方向
作者提出的未来工作方向包括在更强的恢复监督与高效推理之间保持平衡，以减少过思考行为和不必要的长推理轨迹。基于论文的成果，可以延伸出多个有趣的研究方向。一个方向是探索自适应前缀比例策略，而不是固定rho值，根据问题的难度或弱模型错误的严重程度动态调整前缀长度，这可能提供更精细的训练信号控制。另一个方向是研究层次化的去噪训练，从短前缀开始逐步增加难度，类似于课程学习的思想，这可能帮助模型逐步发展更强的恢复能力。还可以探索将DenoiseRL与其他训练范式结合，如从人类反馈中强化学习（RLHF）或直接偏好优化（DPO），研究去噪训练如何影响模型的偏好对齐。此外，可以研究去噪训练在不同任务和模态上的泛化能力，如代码生成、多轮对话或视觉语言任务，探索错误恢复在不同设置下的表现形式。另一个有前景的方向是分析去噪训练产生的内部表示变化，研究模型是否学会了更鲁棒的推理表示，以及这些表示如何与标准RL训练不同。
复现评估
论文的复现性评估显示，作者提供了论文的GitHub链接（https://github.com/ALEX-nlp/DenoiseRL），这表明代码可能是开源的。实验使用Qwen2.5-1.5B-Instruct作为弱模型收集错误推理轨迹，在MATH-7.5K上采样每个问题8个rollouts得到错误答案。策略模型是Qwen3-4B-Base和Qwen3-8B-Base，在MATH-7.5K上训练，每个问题采样N等于12个标准在线策略rollouts和K等于4个去噪rollouts，响应长度为4096 token，前缀比例固定为rho等于0.2。训练在4乘以H100上进行，提示批大小为16，学习率为10的负6次方，没有KL损失或长度损失，PPO裁剪范围设为epsilon low等于epsilon high等于0.2。验证解码使用temperature等于0.6和top-p等于0.95。这些详细的超参数设置有助于复现，但需要昂贵的计算资源（多个H100 GPU）来复现完整的训练过程。总体而言，论文提供了足够的实验细节，但复现可能需要大量的计算资源。
论文图表