自适应分层扰动：统一LLM强化学习的离策略修正 Adaptive Layerwise Perturbation: Unifying Off-Policy Corrections for LLM RL
通过在层间隐状态注入可学习扰动，统一解决LLM强化学习中的策略陈旧和训练推理不匹配问题
前置知识
重要性采样比率
在离策略强化学习中，我们使用行为策略π_b产生的轨迹数据来更新目标策略π_θ。重要性采样比率ρ = π_θ(a|x)/π_b(a|x)用于校正两个策略之间的分布差异，使得我们可以用行为策略的数据来估计目标策略的期望收益。当π_b和π_θ差异较大时，比率会出现重尾分布，导致梯度估计方差爆炸或值过高。
本文的核心问题正是重要性比率的稳定性。现有方法如MIS通过截断处理比率，而ALP通过扰动平滑策略分布来控制比率，理解这个概念是把握ALP改进动机的基础。
KL散度
KL散度D_KL(P||Q)衡量两个概率分布之间的差异。在策略优化中，KL散度常被用作约束项，限制新策略不要偏离旧策略太远，以保持训练稳定性。在训练-推理不匹配场景中，KL散度的尖刺表明训练策略和推理策略发生了剧烈分布偏移。
论文中多次使用KL散度作为训练稳定性的关键指标，并理论证明了ALP能将训练-推理KL散度限制在界内，这对理解ALP的理论保证至关重要。
研究动机
现有LLM强化学习方法面临严重的离策略不稳定性问题。一方面，策略陈旧导致重用轨迹时重要性比率失真；另一方面，现代推理引擎如vLLM和SGLang引入的量化、批处理等系统级差异，以及多轮Agent工具调用中的反馈噪声，使得推理策略与训练策略产生分布偏移。现有方法如MIS/TIS通过引入辅助比率并截断来修正不匹配，但这会导致过度截断有效更新，引入额外偏差并导致性能早期停滞；而直接使用更新策略与推理策略比率的Bypass基线在多轮训练中会出现比率尾部爆炸和KL尖刺，无法稳定训练。
本文的目标是本文旨在提出一种统一的方法来解决策略陈旧和训练-推理不匹配问题，同时避免现有方法的过度截断和多重阈值调参问题。目标是设计一种机制，能够平滑优化景观，抑制重要性比率的重尾现象，并扩大策略族以覆盖推理时的噪声，从而在单轮和多轮推理任务中同时提升训练稳定性和最终性能。
与已有工作不同的是，本文的独特切入角度是将离策略不稳定问题从单纯的如何计算重要性比率的簿记问题，转化为优化景观几何形状的几何问题。作者认为，噪声更新可能将策略推向尖锐、脆弱的区域，导致微小的分布偏移引起动作概率的剧烈变化。受模型平滑和分布学习方法的启发，本文提出用结构化噪声对抗系统噪声的思路，通过在层间注入可学习扰动来平滑目标函数，这与仅修改比率计算方式的现有方法有本质区别。
核心方法
自适应分层扰动（ALP）的核心思路是在策略更新时，向模型每一层的输入隐状态注入高斯扰动，生成扰动的训练分布，并使用该扰动策略与未扰动的推理策略之间的单一统一比率来优化目标。通过在中间表示中添加受控噪声，ALP防止更新策略过于尖锐地偏离推理策略，并扩大策略族以覆盖推理时的不匹配噪声，从而自然地缩小更新策略与推理策略之间的差距。
ALP与已有方法（如MIS）的本质区别在于，它将策略陈旧和训练-推理不匹配统一到一个比率公式中处理，而不是像MIS那样将它们拆分为两个独立截断的比率。ALP的核心创新是仅在训练策略（分子）上应用扰动，保持推理策略（分母）不变。这种设计使得扰动本质上是在平滑优化景观，同时增加训练分布族对推理噪声的鲁棒性，避免了MIS中的过度截断偏差和多重阈值调参的复杂性。
方法步骤详情
方法的具体步骤如下：首先，使用推理策略对提示x进行采样，生成响应a。其次，在计算更新策略的前向传播过程中，对模型第h层的输入隐状态添加高斯扰动δ_h ~ N(0, σ_h² I)，其中σ是可学习的标准差向量。然后，计算token级或序列级的重要性比率ρ_ALP = π_θ,σ(a|x,δ) / π_infer^θ_old(a|x)。最后，使用标准的GRPO/PPO裁剪机制对ρ_ALP进行裁剪，并优化带有裁剪比率的目标函数。值得注意的是，扰动变量δ在每次前向传播中独立采样，且仅应用于训练时的分子策略。
技术新颖性
ALP的技术新颖性体现在三个方面：一是提出了用噪声对抗噪声的新视角，将扰动注入视为对抗推理引擎系统噪声的有效手段；二是通过理论分析证明了当扰动方差σ²匹配或超过推理分布偏差范数时，更新策略与推理分布之间的KL散度有界，连接了扰动与损失平滑；三是通过广泛的实验揭示了表征级扰动（所有层）优于仅输出级扰动（logits），且早期层扰动往往比晚期层更有效，这为LLM RL中的平滑策略提供了实证指导。
实验结果
实验结果表明ALP在单轮和多轮任务中均显著优于基线方法。在单轮数学推理任务（Qwen2.5-Math-1.5B）上，Token-ALP在五个基准测试中平均得分37.87，优于最强的Token-MIS基线（36.41）和Seq-MIS（35.54）。在Qwen3-4B上的验证实验中，Seq-ALP平均得分67.52，优于GRPO（66.24）。训练动态分析显示，ALP在整个训练过程中保持了稳定的梯度范数和接近零的rollout-training KL，而GRPO和Seq-MIS在后期出现梯度范数和KL尖刺。在多轮工具集成推理（TIR）任务（Qwen2.5-7B）上，Seq-ALP平均准确率50.53，显著优于Token-MIS（48.74）和Seq-MIS（46.94）。ALP还通过Pass@k曲线证明了其提升了探索效率，在中等到较大的rollout预算下，ALP始终获得最高的Pass@k。消融实验表明，对所有层进行扰动效果最好（平均50.53），优于部分层扰动（约48.5）和仅logits扰动。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Single-turn Math (Qwen2.5-1.5B) | Average Accuracy | 37.87 (Token-ALP) | 36.41 (Token-MIS) | +1.46 |
| Single-turn Math (Qwen3-4B) | Average Accuracy | 67.52 (Seq-ALP) | 66.24 (GRPO) | +1.28 |
| Multi-turn TIR (Qwen2.5-7B) | Average Accuracy | 50.53 (Seq-ALP) | 48.74 (Token-MIS) | +1.79 |
| Multi-turn TIR (AIME24) | Accuracy | 43.85 (Seq-ALP) | 39.48 (Token-MIS) | +4.37 |
局限与改进
本文也存在一些局限性。首先，ALP需要在每一层进行扰动采样，这会引入额外的计算开销，尽管作者声称实现简单高效。其次，扰动方差σ的选择存在权衡：太大可能扭曲原始分布，太小则无法有效覆盖不匹配噪声，文中未详细讨论自适应调节σ的具体机制。此外，实验主要集中在数学推理和代码执行任务，缺乏在其他领域（如对话、文本生成）的广泛验证。最后，虽然ALP统一了比率计算，但在极端分布偏移场景下，其鲁棒性仍需进一步验证。
独立分析的弱点
ALP的一个潜在弱点是在不同模型架构和任务上的敏感性可能不同。例如，在MoE（混合专家）模型中，扰动可能会影响专家路由的选择，导致不稳定的负载均衡。另一个弱点是ALP主要针对训练-推理不匹配，但在完全离策略的极端情况下（如策略陈旧非常严重），仅靠扰动可能不足以修正巨大的分布偏移，此时可能需要结合更传统的约束方法。改进方向可以包括设计自适应的扰动调度机制，根据训练阶段的KL散度动态调整σ，以及在MoE架构下专门设计扰动策略以避免干扰专家路由。
未来方向
作者在结论中提到了两个有前景的未来方向。首先是完全异步RL设置，在这种设置下，离策略效应和系统不匹配可能更加严重，ALP的统一框架可能展现出更大的优势。其次是混合专家（MoE）模型，MoE的动态路由机制会引入额外的训练-推理不匹配，将ALP扩展到MoE设置是一个重要的开放问题。此外，基于本文的发现，未来研究还可以探索不同层级的扰动策略（如层间共享σ或层级特定σ），以及将ALP与其他正则化技术结合，进一步提升LLM在大规模RL训练中的稳定性和探索效率。
复现评估
论文的复现性评估显示，作者已在GitHub上公开了代码和训练配方，这为复现工作提供了良好的基础。实验使用了Qwen系列模型（1.5B、4B、7B）和公开数据集（Guru RL-92k、OpenR1、SimpleRL等），这些都是可获取的资源。训练使用了verl框架，默认配置下使用AdamW优化器，学习率为1e-6，温度为1.0，这些具体设置都有详细说明。然而，完整的复现可能需要较大的GPU算力支持（特别是在7B模型的多轮TIR任务中），且推理引擎的不匹配模拟可能需要特定环境配置，总体难度属于中等偏高。
论文图表
