少噪声，多信号：基于指令净化的强化学习推理增强方法 Less Noise, More Voice: Reinforcement Learning for Reasoning via Instruction Purification
通过识别并移除prompt中的干扰token，提升RLVR训练的采样效率和推理性能
前置知识
RLVR (Reinforcement Learning with Verifiable Rewards)
RLVR是一种利用可验证奖励信号训练大语言模型的强化学习范式。与RLHF依赖人类偏好标注不同，RLVR通过程序化的奖励函数（如数学题答案的对错判断）给出明确的二值奖励信号。GRPO（Group Relative Policy Optimization）是该范式的代表性算法，它通过在同一个prompt上采样多个rollout，然后计算组内相对优势来更新策略。这种方法在数学推理等有明确正确答案的任务上取得了显著成功。
本文方法LENS正是在GRPO基础上改进的，理解RLVR的基本框架是理解本文技术路线的前提。
Interference Tokens (干扰token)
本文提出的核心概念。干扰token是指prompt中那些虽然数量很少（不到5%），但会导致模型推理偏离正确方向的token。这些token可能来自格式噪声（如多余的LaTeX符号）、模板冗余（如重复的Let、Given）或语义干扰（与问题无关的实体）。通过计算当前策略与参考模型之间的token级对数概率偏差（即Interference Score），可以识别出这些高干扰token。
干扰token的识别和净化是LENS框架的核心机制，理解这一概念直接决定了能否把握论文的核心贡献。
KL散度与策略偏离
KL散度（Kullback-Leibler Divergence）衡量两个概率分布之间的差异。在RLVR训练中，学习策略πθ与参考策略πref之间的KL散度反映了训练过程中策略偏移的程度。当某个token的对数概率偏差过大时，说明模型在该token上产生了过度优化或噪声驱动的行为。这种偏离在高维token动作空间中可能导致探索失败。
论文利用token级的KL偏差来定义干扰分数，这是识别干扰token的理论基础。
Rollout采样与零方差prompt
在GRPO框架中，对每个prompt采样多个rollout（如n=8），然后根据这些rollout的成功与否计算奖励信号。零方差prompt（zero-variance prompt）是指所有rollout要么全部成功、要么全部失败的prompt，这类prompt无法提供有效的梯度信号。现有方法（如DAPO、GRESO）通过过滤这类prompt来维持训练效率，但这会损失对困难问题的探索能力。
本文的方法论正是为了解决零方差prompt问题而提出的，但采取了与现有过滤策略完全不同的思路。
重要性采样与分布校正
重要性采样是一种在目标分布与采样分布不一致时进行校正的技术。在本文中，由于成功的rollout可能来自原始prompt，也可能来自去噪后的prompt，两者的分布不同。因此需要通过重要性比ρ(y; θ)来校正这种分布偏移，确保梯度估计的无偏性。
理解重要性校正机制是理解CRPO如何将去噪prompt的成功rollout迁移到原始prompt训练中的关键。
研究动机
在RLVR训练大语言模型进行数学推理的过程中，一个核心瓶颈是采样效率低下。具体来说，当面对复杂推理任务时，由于奖励稀疏（仅在最终答案处给出二值反馈）和动作空间巨大（每个token都是一个决策点），模型很难采样到正确的rollout。以GRPO为例，在训练Qwen2.5-3B模型时，大量prompt在n=8次采样中全部失败（zero-reward），导致梯度信号消失，训练陷入低效甚至崩溃。现有缓解策略主要有两条路线：一是增加rollout数量（如GRPO将n从8扩展到16），但这会将计算成本翻倍却不能根本改善探索效率；二是过滤零方差prompt（如DAPO和GRESO），但这直接放弃了对困难问题的学习机会，限制了模型能力的上限扩展。这两种方法都没有触及问题的根本原因——为什么模型会在某些prompt上探索失败？
本文的目标是本文的直接目标是提升RLVR训练中低成功率prompt的探索效率，使模型能够从原本失败的采样中提取有效的学习信号。具体而言，作者希望在不增加rollout数量和训练轮次（即不增加计算预算）的前提下，在七个数学推理基准测试上实现比GRPO更高的准确率和更快的收敛速度。更深层次的目标是验证一个假设：那些探索失败的prompt并非不可学习，而是被少量干扰token污染，去除这些噪声后模型可以发现正确的推理路径。
与已有工作不同的是，本文的独特切入点在于对探索失败原因的细粒度分析。作者进行了token级别的诊断，发现了一个令人惊讶的事实：很多探索失败并非源于问题本身的难度，而是源于prompt中不到5%的干扰token。例如，在DeepMath数据集上，仅移除这些干扰token就能将之前失败样本的rollout准确率提升超过20%。这一发现揭示了一个被先前工作忽视的关键问题——现有的RLVR研究主要关注输出token的信用分配（credit assignment），却忽略了指令token中的干扰信息如何误导模型的探索行为。LENS正是从这个被忽视的角度切入，提出了一种全新的指令净化范式。
核心方法
LENS的方法可以用一个简单的类比来理解：想象一个学生在做数学题时，题目中混入了几个无关的干扰词导致他反复犯错。传统的做法要么让学生多做几遍同样的题（增加rollout），要么直接放弃这道题（过滤prompt）。而LENS的做法更像是一个聪明的老师：先帮助学生识别并划掉题目中的干扰词，让学生在干净的题目上找到正确解法，然后教学生在面对原始题目时也能忽略这些干扰词。技术上，LENS分为两个阶段：第一阶段（Stage I）通过计算干扰分数（Interference Score）识别prompt中的高干扰token并进行净化；第二阶段（Stage II）通过校准rollout策略优化（CRPO），将从净化prompt上获得的成功rollout作为监督信号，迁移到原始prompt的策略优化中。
LENS与已有方法最本质的区别在于它不回避低成功率的困难prompt，而是通过干预prompt本身来拯救这些有价值的训练样本。具体来说，已有方法分为两派：DAPO和GRESO通过过滤零方差prompt来保证训练效率，但牺牲了对困难问题的探索；GRPO_ext通过增加采样来覆盖更多可能性，但计算成本翻倍且不改善效率。LENS的核心创新在于发现了一种更优雅的解决方案——问题往往不在prompt的语义内容，而在少数干扰token。通过定义干扰分数来量化每个token对策略偏离的贡献，LENS能够精确定位并移除这些干扰。更重要的是第二阶段的CRPO机制：它不只是在干净prompt上训练，而是把干净prompt上的成功rollout迁移回原始prompt，让模型学会在面对干扰时依然做出正确推理。
方法步骤详情
LENS的完整流程包含两个阶段共六个关键步骤。第一步，对每个prompt xi计算其初始采样成功率。第二步，对成功率低于阈值τ的prompt，计算每个token的干扰分数，即当前策略与参考模型在该token位置的对数概率偏差的绝对值。第三步，按干扰分数降序排列，删除前k个token得到净化后的prompt。第四步，对净化prompt采样m个rollout，如果净化后的准确率大于原始准确率，则激活rollout替换——从净化prompt的成功rollout集合中随机选择样本，替换掉原始prompt失败rollout集合中的等量样本。第五步，为每个rollout赋予权重：原始prompt的成功rollout权重为初始成功率，净化prompt的成功rollout和未被替换的原始失败rollout权重为1减去初始成功率。第六步，通过重要性比进行分布校正，计算组内相对优势，最终使用PPO风格的裁剪代理目标加KL正则化更新策略。
技术新颖性
LENS的技术新颖性体现在三个层面。第一，它是首个从token级别诊断RLVR探索失败原因的工作，而现有方法要么从prompt级别（过滤）要么从rollout级别（增加采样）入手，粒度不够细。第二，干扰分数的定义将策略优化理论（KL散度）与实际的训练诊断联系起来，提供了一个可操作的信号来识别问题token，这是一个理论与实践结合的巧妙设计。第三，CRPO的rollout迁移机制是全新的——它不是简单的数据增强或课程学习，而是利用去噪prompt作为脚手架来发现正确推理路径，再通过重要性校正将这些信号迁移到原始分布上，让模型学会忽略干扰而非回避干扰。这与DAPO的直接过滤和GRESO的预判跳过形成了鲜明对比。
实验结果
LENS在七个数学推理基准和四个域外泛化基准上进行了全面评估，结果令人印象深刻。在数学推理方面，以Qwen3-4B-Base为骨干模型，LENS在MATH-500上达到83.20%的Pass@1准确率，比GRPO的79.40%高出3.80个百分点；在更具挑战性的AIME24上从12.71%提升到18.54%（+5.83%），在AIME25上从14.79%提升到16.46%（+1.67%）。在OlympiadBench上从45.19%提升到50.37%（+5.18%），这是难度最高的基准之一。在Llama-3.2-3B-Instruct上，LENS的优势更加明显，平均准确率从23.98%提升到27.03%（+3.05%）。值得注意的是，即使DAPO_ext和GRESO_ext使用了2倍的训练轮次，LENS在大多数基准上仍然表现更优。在域外泛化方面，LENS在SuperGPQA、GPQA-Diamond、BBEH和MMLU-Pro上平均比GRPO高出1.83%，证明干扰token净化不仅提升了数学推理能力，还增强了通用推理的鲁棒性。在训练效率方面，LENS在MATH-500上实现了1.67倍的加速，在OlympiadBench上实现了1.64倍的加速，这意味着它只需GRPO约60%的梯度步数就能达到相同的峰值准确率。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH-500 | Pass@1 | 83.20% | GRPO 79.40% | +3.80% |
| OlympiadBench | Pass@1 | 50.37% | GRPO 45.19% | +5.18% |
| AMC23 | Pass@1 | 60.94% | GRPO 53.28% | +7.66% |
| AIME24 | Pass@1 | 18.54% | GRPO 12.71% | +5.83% |
| GPQA-Diamond | Pass@1 | 43.94% | GRPO 40.40% | +3.54% |
| MMLU-Pro | Pass@1 | 60.65% | GRPO 59.35% | +1.30% |
局限与改进
论文作者诚实地承认了三个主要局限性。第一，模型规模受限：由于计算资源限制，实验仅在最大8B参数的模型上进行，方法在更大规模模型（如32B或70B）上的表现和可扩展性尚未验证。第二，奖励类型受限：目前仅在二值奖励（正确/错误）的任务上验证了方法的有效性，对于多维度评分或连续奖励的复杂环境，方法的适用性需要进一步研究。第三，算法集成受限：LENS目前仅在GRPO框架上实现，与其他GRPO变体（如VAPO、EXGRPO等）的结合尚未探索。从独立观察来看，LENS的计算开销虽然低于GRPO_ext，但仍比标准GRPO高27%至62%（取决于模型规模），这在大规模训练中可能累积成显著成本。此外，干扰分数的计算依赖于参考模型的选择，如果参考模型本身质量较差，可能会影响干扰token的识别准确性。
独立分析的弱点
从独立分析的角度，LENS存在几个值得关注的弱点。首先，干扰分数的定义基于当前策略与参考模型的对数概率偏差，但这种方法假设参考模型是一个干净的基准。然而，参考模型通常是SFT后的检查点，本身就可能包含噪声或偏见，这会导致干扰分数的计算不够准确。改进方向：可以考虑使用多个参考模型的集成或基于注意力权重的互补信号来更稳健地识别干扰token。其次，净化比率γ是一个全局超参数（论文中测试了1%-5%），但实际上不同prompt的干扰程度可能差异很大。对于干扰严重的prompt，5%的删除可能不够；对于干扰较少的prompt，1%的删除可能过度。改进方向：可以设计自适应的净化比率，根据每个prompt的干扰分数分布动态调整删除数量。第三，CRPO的rollout替换是基于净化后准确率是否高于原始准确率的二元判断，但没有考虑两者之间的差距大小。当差距很小时，替换可能引入不必要的噪声。改进方向：可以引入一个margin阈值，只在差距足够大时才激活替换。
未来方向
基于LENS的成果，有多个值得探索的未来方向。第一，将干扰token净化的思想扩展到其他RLVR算法：LENS目前仅在GRPO上验证，但DAPO、VAPO、EXGRPO等变体同样面临低成功率prompt的问题，将LENS的净化机制与这些算法结合可能产生协同效应。第二，探索多模态场景下的干扰净化：在视觉-语言推理任务中，图像patch或视觉token也可能成为干扰源，将LENS的思路扩展到多模态设置是有价值的方向。第三，研究干扰token的来源和分类：本文主要关注识别和移除，但理解干扰token是如何产生的（如训练数据噪声、tokenizer设计缺陷等）可能带来更根本的解决方案。第四，在更大规模模型上验证：作者已指出8B是当前的上限，在32B或70B模型上验证LENS的可扩展性将极大地增强其说服力。第五，与课程学习结合：可以考虑在训练早期使用更激进的净化策略，随着模型能力提升逐渐减少净化程度，实现从多辅助到自主推理的渐进过渡。
复现评估
LENS的复现条件相当友好。论文使用了完全开源的模型和数据集：骨干模型包括Llama-3.2-3B-Instruct、Qwen2.5-3B/7B、Qwen3-4B/8B-Base，均为公开可用；训练数据为Openr1-Math-46k，评估覆盖MATH-500、AMC23、AIME24/25等广泛使用的基准。代码将在GitHub仓库RUCBM/LENS上开源。算力需求方面，实验在8块NVIDIA A800 GPU上完成，LENS的单步训练时间比GRPO高27%-62%（详见Table 6），例如在Qwen3-4B-Base上，GRPO单步331秒，LENS为475秒。总体而言，LENS的复现难度中等偏低：核心算法逻辑清晰（干扰分数计算加净化加CRPO），不涉及复杂的工程技巧，且作者提供了详细的超参数设置。对于拥有类似GPU资源的研究团队，预计可以在1-2周内完成复现。
论文图表
展示了一个具体的例子：原始prompt中包含干扰token导致推理rollout失败，移除这些干扰token后，相同的推理过程得到了正确的结果。图中用颜色标注了被识别为干扰的token以及净化后的效果。
这张图是全文最直观的motivation展示，用一个具体例子说明了干扰token如何导致推理失败，以及净化后的神奇效果，是理解本文核心insight的关键入口。
在MATH-500和OlympiadBench上对比LENS和GRPO达到相同峰值准确率所需的训练步数。LENS在MATH-500上实现1.67倍加速，在OlympiadBench上实现1.64倍加速。
这是论文效率claim的核心支撑图，直接量化了LENS的训练加速效果，为1.6倍加速的结论提供了视觉证据。