重新思考大语言模型强化学习中的信赖域 Rethinking the Trust Region in LLM Reinforcement Learning
用散度约束替换PPO的比率裁剪，解决LLM强化学习中训练不稳定和效率低下的问题
前置知识
信赖域策略优化 (TRPO)
TRPO是一种策略梯度算法，核心思想是在每次更新时限制新策略和旧策略之间的差异在一个“信赖域”内（通常用KL散度或全变差TV散度衡量），从而保证策略的单调改进。其理论基础是策略性能差异定理：当策略变化足够小时，代理目标的优化一定能带来真实性能的提升。TRPO需要二阶信息（Hessian矩阵），计算开销大，因此PPO作为其一阶近似被广泛采用。
本文的核心贡献是重新审视信赖域在LLM场景下的设计，理解TRPO的原始动机是理解PPO裁剪机制局限性的前提
PPO比率裁剪 (Ratio Clipping)
PPO不直接约束KL或TV散度，而是通过裁剪概率比率 $r_t = \pi_\theta(a_t|s_t)/\mu_{\theta'}(a_t|s_t)$ 来隐式控制策略更新幅度。当 $r_t$ 超出 $[1-\epsilon, 1+\epsilon]$ 范围时，目标函数被裁剪，阻止策略进一步偏移。GRPO是PPO的一种变体，使用组内相对奖励估计优势函数，不依赖critic网络，是当前LLM RL的主流算法。
本文指出PPO裁剪的本质问题在于用单样本比率近似散度，在LLM的超大词表下这种近似严重失准
全变差散度 (Total Variation Divergence)
TV散度衡量两个概率分布之间的最大差异：$D_{TV}(\mu \| \pi) = \frac{1}{2} \sum_{a} |\mu(a|s) - \pi(a|s)|$。它与KL散度通过Pinsker不等式关联：$D_{TV}^2 \leq \frac{1}{2} D_{KL}$。TV散度始终在[0,1]范围内，物理意义是两个分布在所有事件上的最大概率差之和的一半。在本文中，TV散度被用作比概率比率更稳定的散度度量。
本文提出用TV散度直接约束策略更新，替代PPO的比率裁剪，TV散度的稳定性是DPPO算法的关键优势
训练-推理不匹配 (Training-Inference Mismatch)
在LLM的RL训练中，推理引擎（生成rollout数据）和训练引擎（计算梯度）即使使用相同模型参数，由于数值精度差异（如BF16 vs FP32）和实现细节不同，会产生不同的token概率分布。这种不匹配会随训练累积放大，最终导致训练崩溃。MoE模型中路由决策的不一致是另一个主要来源。
训练-推理不匹配是LLM RL不稳定的核心原因之一，DPPO通过有效的信赖域约束来控制这种不匹配的累积
截断重要性采样 (Truncated Importance Sampling, TIS)
在off-policy RL中，重要性采样比率 $r_t$ 用于修正行为策略和目标策略之间的分布差异。当 $r_t$ 过大时，会导致高方差。TIS通过截断比率来降低方差，但代价是引入偏差。CISPO是一种TIS变体，对所有token保留梯度但截断过大的重要性比率。在LLM场景下，低概率token天然产生高比率，被TIS系统性地降权。
本文发现TIS在LLM场景下弊大于利，它系统性地压制了低概率但重要的探索性token的梯度信号
研究动机
PPO的概率比率裁剪机制在大语言模型的超大词表场景下存在结构性缺陷。具体来说，PPO用单个采样token的概率比率 $r_t = \pi_\theta(y_t|s_t)/\mu_{\theta'}(y_t|s_t)$ 来近似真实的策略散度，但这个近似在LLM中严重失准。论文给出了一个直观例子：当一个低概率token从 $10^{-4}$ 增加到 $10^{-2}$ 时，比率为100，触发裁剪，但实际移动的概率质量很小；反之，一个高概率token从0.99降到0.80时，比率为0.808，可能在裁剪范围内，但移动了0.19的概率质量，对TV散度的贡献远大于前者。此外，训练-推理不匹配使得问题更加严重——推理引擎和训练引擎即使使用相同参数也会产生不同的token分布（由于数值精度差异和实现细节），导致概率比率在低概率token上高度不稳定。实验数据显示，无约束的PG-IS和PG-TIS方法中，训练-推理不匹配持续增长并最终导致性能崩溃。
本文的目标是本文的目标是为LLM的RL微调设计一个理论上严谨、实践中高效的信赖域框架。具体而言，作者希望：（1）推导适用于LLM有限时间步、无折扣因子设定的策略改进界，为信赖域方法提供严格的理论基础；（2）系统分析训练稳定性和效率的权衡关系，找出不稳定的根源；（3）提出一种新算法，用直接的散度估计替代PPO的比率裁剪，在不增加显著计算开销的前提下实现更优的训练稳定性和效率。
与已有工作不同的是，本文的独特视角在于抓住了PPO比率裁剪与真实策略散度之间的根本性不匹配。已有工作如Clip-Higher和CISPO虽然观察到低概率token被过度惩罚的症状，但它们的解决方案仍然是启发式的——Clip-Higher手动增大上界裁剪阈值，CISPO直接忽略大散度更新而不做任何约束。这些方法没有触及问题的根源：单样本概率比率不是散度的良好代理。本文从信赖域理论出发，指出PPO本质上是在一个噪声很大的单点蒙特卡洛估计上施加约束，而非在真正的分布偏移上约束，这一洞察为设计更principled的解决方案奠定了基础。
核心方法
DPPO的核心直觉可以用一个交通规则的类比来理解：PPO的裁剪就像一个警察只看单辆车的速度是否超速来决定是否放行整个车队，但这辆快车可能只是个例，整体交通流量可能是正常的；而DPPO则像一个监控摄像头，直接测量整条路上的车流密度变化来决定是否需要限流。技术路线上，DPPO将PPO的比率裁剪替换为基于散度的动态掩码：首先计算当前训练策略和行为策略之间的分布散度（TV或KL），当散度超过阈值 $\delta$ 时阻止该token的更新，否则正常更新。为了在LLM的超大词表上高效计算散度，论文提出了两种近似方法：Binary近似（将分类分布折叠为伯努利分布）和Top-K近似（只追踪最高概率的K个token）。整个算法保持了PPO的一阶优化特性，不需要二阶信息。
DPPO最本质的创新在于用分布级别的散度度量替代了token级别的概率比率来判断是否需要阻止策略更新。PPO的裁剪条件 $|r_t - 1| \leq \epsilon$ 本质上是对 $D_{TV}(\mu(\cdot|s_t) \| \pi(\cdot|s_t))$ 的单样本蒙特卡洛估计——论文通过公式 $D_{TV}(\mu(\cdot|s_t) \| \pi(\cdot|s_t)) = \frac{1}{2} E_{y_t \sim \mu} |r_t - 1|$ 明确了这一关系。PPO在单个采样token上计算比率，而DPPO直接估计整个分布的散度。这解决了PPO的两个核心问题：对低概率token的过度惩罚（大比率但小散度）和对高概率token的约束不足（小比率但大散度）。DPPO的掩码设计保留了PPO的不对称性——只阻止远离信赖域的更新（$r_t > 1$ 且正优势，或 $r_t < 1$ 且负优势），从不阻止趋向信赖域中心的更新。
方法步骤详情
DPPO的完整流程如下：第一步，推理引擎使用当前行为策略 $\mu_{\theta'}$ 生成rollout数据，包含prompt-response对和奖励。第二步，对每个生成的token，计算概率比率 $r_t = \pi_\theta(y_t|s_t)/\mu_{\theta'}(y_t|s_t)$ 和散度 $D_t$。对于Binary近似，$D_t^{BinTV} = |\mu(y_t|s_t) - \pi(y_t|s_t)|$，$D_t^{BinKL} = \mu(y_t|s_t) \log \frac{\mu(y_t|s_t)}{\pi(y_t|s_t)} + (1-\mu(y_t|s_t)) \log \frac{1-\mu(y_t|s_t)}{1-\pi(y_t|s_t)}$；对于Top-K近似，先构建包含最高概率K个token加采样token的子集 $A'_t$，在子集上计算散度。第三步，根据散度和优势函数确定掩码 $M_t$：当 $\hat{A}_t > 0$ 且 $r_t > 1$ 且 $D_t > \delta$ 时设为0（阻止正向但远离信赖域的更新），当 $\hat{A}_t < 0$ 且 $r_t < 1$ 且 $D_t > \delta$ 时设为0（阻止负向且远离信赖域的更新），其余情况为1。第四步，用掩码 $M_t$ 加权策略梯度进行参数更新。
技术新颖性
DPPO与已有方法的技术区别体现在三个层面。第一，与PPO/GRPO相比，DPPO用分布散度取代了单token比率作为信赖域的判断依据，解决了比率裁剪在大词表下的结构性失准。第二，与Clip-Higher相比，后者只是启发式地放宽高概率比率方向的裁剪阈值，而DPPO是对整个分布散度的直接约束，具有理论保证。第三，与CISPO相比，后者完全不做裁剪（$M_t=1$ 恒成立），虽然避免了对低概率token的过度惩罚，但也完全放弃了信赖域约束，实验证明这会导致训练崩溃。DPPO的Binary近似在计算上几乎没有额外开销——只需比较采样token在两个策略下的概率差——却能捕捉到大部分真实的分布偏移，这是因为Top-20 token通常覆盖了99.4%以上的概率质量。
实验结果
论文在五个大规模实验配置上验证了DPPO的有效性，所有实验均在DAPO-Math数据集（约13k样本）上进行，使用AIME24和AIME25作为在线评估指标。在MoE Base（Qwen3-30B-A3B-Base，无R3）实验中，DPPO显著快于GRPO-ClipHigher基线达到高奖励值，且在训练全程保持稳定的训练-推理不匹配（均值低于0.005），而CISPO在约1000步后突然崩溃。在MoE Base w/ R3实验中，DPPO（无R3）已经超越了使用R3的基线方法，表明DPPO的信赖域机制与R3的正交互补性。在MoE Thinking（Qwen3-30B-A3B）实验中，GRPO-ClipHigher出现严重训练崩溃，而DPPO保持稳定上升。在Dense Base（Qwen3-8B-Base）和MoE Base w/ LoRA实验中，DPPO同样展现出一致的优越性。在RLHF实验中，DPPO在Gemma-2-9B-It+UltraFeedback和Qwen3-4B-Instruct-2507+HH-RLHF两个设置上均比GRPO更快达到更高奖励。最引人注目的是，DPPO在AlpacaEval 2.0上取得了80.90%长度控制胜率和79.93%原始胜率，创下社区排行榜新SOTA。消融实验显示Binary近似和Top-K近似性能接近，表明简单的Binary近似已经足够。训练效率分析表明，对低概率token放宽裁剪约束（Relax-both策略）能同时提升训练效率和稳定性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2024 (Qwen3-30B-A3B-Base, w/o R3) | Avg@32 Score | DPPO-Binary-TV ≈ 0.60 | GRPO-ClipHigher ≈ 0.40 | 约50%相对提升 |
| AIME 2024 (Qwen3-30B-A3B, Thinking) | Avg@32 Score | DPPO-Binary-TV ≈ 0.78 | GRPO-ClipHigher 崩溃 | GRPO崩溃，DPPO稳定收敛 |
| AIME 2025 (Qwen3-8B-Base) | Avg@32 Score | DPPO-Binary-TV ≈ 0.25 | GRPO-ClipHigher ≈ 0.15 | 约67%相对提升 |
| AlpacaEval 2.0 (Qwen3-4B-Instruct-2507) | Length-Controlled Win Rate | DPPO: 80.90% | GRPO: 77.05% | 3.85个百分点，SOTA |
| RLHF (Gemma-2-9B-It + UltraFeedback) | Learned Reward @ Step 100 | DPPO ≈ 50 | GRPO ≈ 30 | 约67%更快达到目标奖励 |
局限与改进
论文存在若干值得关注的局限性。首先，DPPO的散度阈值 $\delta$ 仍然是一个需要调节的超参数，虽然敏感性实验显示DPPO在 $\delta \in [0.10, 0.20]$（TV）和 $\delta \in [0.05, 0.15]$（KL）范围内表现稳定，但在不同模型和任务组合上最优值可能不同。其次，Binary近似虽然高效，但理论上只是散度的下界——它只关注采样token的概率变化，忽略了分布其他部分的偏移，虽然实验证明Top-K近似没有带来显著提升，但这可能是因为当前实验设置下头部token占主导地位。第三，论文的理论分析假设了固定的序列长度T，而实际LLM生成中序列长度是变量，这可能影响理论界的紧致程度。第四，论文主要在数学推理任务上进行了大规模验证，对其他任务类型（如代码生成、长文本理解）的适用性还需进一步验证，虽然附录中的Llama模型和多任务实验证明了一定的泛化性，但规模较小。最后，DPPO对reward hacking问题没有额外的防护机制，在RLHF实验中作者观察到后期checkpoint虽然训练奖励更高但AlpacaEval分数下降的现象。
独立分析的弱点
从独立分析的角度，DPPO存在以下几个值得改进的弱点。第一，Binary近似虽然简单高效，但在多模态分布或分布偏移分散在多个token上的场景下可能失效。改进方向是设计自适应的近似策略——根据分布的熵或集中度动态选择Binary或Top-K近似。第二，DPPO的掩码机制是二元的（0或1），这意味着在散度阈值 $\delta$ 附近存在不连续性，可能导致梯度的突然变化。一个改进方向是设计连续的软掩码，例如用sigmoid函数将 $D_t - \delta$ 映射到[0,1]之间的权重，使过渡更平滑。第三，论文只在静态阈值 $\delta$ 上实验，但理想的信赖域大小应该随训练进程自适应——训练初期可以允许更大的探索范围，后期应该逐步收紧。这类似于学习率调度的思路，可以用余弦退火或其他调度策略来动态调整 $\delta$。第四，DPPO目前只在token级别施加约束，但训练不稳定往往在序列级别累积，一个可能的改进是引入序列级别的散度约束，直接控制整条回复的策略偏移。
未来方向
论文和其结果为多个研究方向提供了基础。首先，DPPO与R3（Rollout Router Replay）的正交性表明可以将两者结合获得更大收益，未来可以系统研究DPPO与其他稳定性技术（如高精度训练、确定性推理）的组合效果。其次，DPPO的理论框架可以扩展到更一般的信赖域设计——论文推导的有限时间步、无折扣因子的策略改进界（Theorem 3.1和3.2）是LLM RL理论的重要贡献，可以作为未来算法设计的理论基础。第三，论文发现低概率token（往往是数学符号、推理连接词等探索性token）在RL训练中扮演关键角色，这与Wang et al. (2025a)关于“高熵少数token驱动LLM推理RL”的发现一致，未来可以进一步研究如何识别和保护这些关键token。第四，DPPO的思想可以迁移到其他RL算法——如ReMax、RLOO等——只需替换其信赖域约束机制。最后，基于DPPO在AlpacaEval 2.0上创下的SOTA结果，值得进一步研究其在更大规模模型（如70B+）和更多样化任务上的表现。
复现评估
论文的复现条件较为优越。代码已开源在GitHub（https://github.com/sail-sg/Stable-RL），使用的是广泛采用的VeRL框架和ODC优化。训练数据DAPO-Math是公开可用的数学推理数据集，AIME评测集也是标准基准。然而，大规模实验需要显著的算力支持——主要实验使用Qwen3-30B-A3B（MoE模型，30B参数）在NVIDIA H系列GPU上训练，这对大多数研究团队来说是一笔不小的开销。好消息是，DPPO的实现复杂度很低——核心改动只是将PPO的裁剪条件从 $|r_t-1| \leq \epsilon$ 替换为 $D_t > \delta$ 的散度判断，Binary近似只需比较两个概率值。论文的超参数敏感性实验也表明DPPO在较宽的阈值范围内都表现良好，降低了调参难度。对于资源有限的团队，可以在小模型（如1.5B-8B）上验证DPPO的有效性，论文中Qwen3-8B-Base的实验已经展示了DPPO在较小规模下的优势。
论文图表
