统一框架重新审视 GRPO 中的策略散度度量 A Unified Framework for Rethinking Policy Divergence Measures in GRPO
用 KL3 估计器替代 GRPO 中的对称裁剪，实现有理论保证的非对称近信赖域约束
前置知识
Proximal Policy Optimization (PPO)
PPO 是 OpenAI 于 2017 年提出的策略梯度算法，其核心思想是通过裁剪似然比 $w_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$ 来限制策略更新幅度，使得新策略不会偏离旧策略太远。具体来说，PPO 的裁剪目标函数取 $w_t(\theta) A_t$ 和 $\text{clip}(w_t(\theta), 1-\epsilon, 1+\epsilon) A_t$ 的较小值，从而在优势为正时抑制策略向过大概率方向激进更新，在优势为负时抑制策略向过小概率方向激进更新。这种机制旨在近似信赖域策略优化（TRPO）的硬约束，但计算成本远低于 TRPO。
本文的核心贡献是提出了一种统一裁剪框架来泛化 PPO/GRPO 的裁剪机制，理解 PPO 的裁剪原理是理解本文创新点的基础。
Group Relative Policy Optimization (GRPO)
GRPO 是 DeepSeek 提出的一种针对大语言模型的强化学习方法，其关键创新在于用组归一化回报（group-normalized returns）作为优势基线，而非像 PPO 那样维护一个单独的价值函数网络。具体做法是：对每个提示（prompt）采样一组 $G$ 个回答，将每个回答的奖励相对于组内其他回答进行归一化，得到优势估计。这样做的好处是大幅降低了内存开销，因为不需要额外的 critic 模型。GRPO 同样采用 PPO 风格的对称裁剪机制来确保稳定的策略更新。
本文的方法 ATR-GRPO 是在 GRPO 基础上改进的，理解 GRPO 的工作原理和设计选择是理解本文的必要前提。
KL 散度 (Kullback-Leibler Divergence)
KL 散度是衡量两个概率分布差异的非对称度量，定义为 $\text{KL}(\pi_1 \| \pi_2) = \sum_{a} \pi_1(a|s) \log \frac{\pi_1(a|s)}{\pi_2(a|s)}$。在强化学习中，KL 散度常被用作策略约束：通过限制新策略与旧策略之间的 KL 散度不超过阈值 $\delta$，来保证策略更新在信赖域内。TRPO 就是基于 KL 硬约束的优化方法。然而，对大语言模型而言，动作空间（词汇表）极其庞大，精确计算 KL 散度需要对整个动作空间求期望，计算上不可行，因此需要估计器来近似。
本文的核心贡献之一是识别出 KL3 估计器作为 KL 散度的蒙特卡洛估计器，能够高效近似信赖域约束，理解 KL 散度的定义和在策略优化中的角色至关重要。
KL3 估计器
KL3 是 John Schulman 在 2020 年提出的一种 KL 散度的蒙特卡洛估计器，定义为 $\text{KL}_3(\theta) := w_t(\theta) - 1 - \log w_t(\theta)$，其中 $w_t(\theta)$ 是新旧策略的似然比。该估计器有几个关键优势：首先，它可以在样本级别计算，不需要对整个动作空间求期望；其次，它非负且方差较低；最后，它在单位比值附近提供了 KL 散度的局部近似。KL3 是 $w_t$ 的严格凸函数，在 $w_t=1$ 处取最小值 0，且满足不对称性——当 $w_t < 1$ 时斜率趋向无穷大，而当 $w_t > 1$ 时斜率有界为 1。
KL3 估计器是本文提出的 ATR-GRPO 方法的核心组件，作者证明了 KL3 约束等价于非对称的比率裁剪，理解 KL3 的数学性质对理解论文的理论分析至关重要。
信赖域方法 (Trust Region Methods)
信赖域方法是一类策略优化方法，核心思想是在每次更新时限制新策略不能偏离旧策略太远，从而保证单调策略改进。经典的 TRPO 通过求解带 KL 散度硬约束的优化问题来实现这一点，但需要计算二阶信息（Hessian 矩阵的逆），计算成本很高。PPO 通过比率裁剪来近似信赖域约束，但 Wang et al. (2019, 2020) 的研究表明，比率裁剪与 KL 约束之间存在系统性偏差——比率裁剪实际上并未真正执行信赖域约束。本文正是从这个角度出发，提出了一个统一框架来弥合这一差距。
理解信赖域方法的核心思想（限制策略更新幅度以保证稳定改进）是理解本文为什么提出统一裁剪框架、以及为什么 KL3 估计器能提供更好的信赖域近似的前提。
研究动机
在使用强化学习提升大语言模型推理能力的 RLVR（Reinforcement Learning with Verified Reward）范式中，GRPO 及其变体（如 DAPO、DCPO）已经成为主流训练方法。这些方法的核心机制是通过裁剪似然比率来约束策略散度，从而确保训练稳定性。然而，这种对称比率裁剪机制存在一个根本性问题：它并非真正的信赖域约束。Wang et al. (2019, 2020) 的工作已经揭示，比率裁剪和 KL 散度约束之间存在系统性偏差，这种偏差导致比率裁剪过度限制了低概率 token 的更新，从而抑制了模型的探索能力。具体来说，当 $w_t(\theta) = 0.5$（即新策略的概率只有旧策略的一半）时，对称裁剪就会将其截断到 $1-\epsilon$，而实际上这个距离对 KL 散度的影响远小于 $w_t(\theta)$ 从 1.5 被截断到 $1+\epsilon$ 的情况。此外，最近的研究（Cui et al., 2025; Park et al., 2025）发现，训练探索和评估性能对策略散度约束的具体定义和实现高度敏感，但目前缺乏一个原则性的框架来系统分析不同约束的影响。
本文的目标是本文的具体目标是：第一，提出一个统一裁剪框架（Unified Clipping Framework），将现有的比率裁剪和 KL 散度裁剪统一到一个通用的约束函数 $C_t(\theta)$ 之下，从而为分析不同策略散度约束对探索与性能的影响提供原则性基础；第二，在该框架下识别出 KL3 估计器作为关键的策略散度约束，理论上证明 KL3 约束等价于非对称比率裁剪，且上界裁剪范围比下界更大；第三，基于 KL3 约束提出 ATR-GRPO（Approximate Trust Region-based GRPO），在保持 GRPO 计算效率的同时实现更好的探索与稳定性。
与已有工作不同的是，已有工作在改进 GRPO 的裁剪机制时，主要采取经验性的启发式设计：DAPO 提出 Clip-Higher 机制，手动增大上界裁剪范围 $\epsilon_u$ 来缓解熵坍缩；DCPO 提出动态裁剪，根据先验概率自适应调整裁剪范围；SAPO 提出软门机制替代硬裁剪。但这些方法都缺乏理论支撑——为什么上界应该比下界更大？非对称的程度应该如何确定？本文的独特切入点在于：从 KL 散度的蒙特卡洛估计器出发，通过数学推导（Lambert W 函数）精确刻画 KL3 约束对应的非对称裁剪范围，从而为 Clip-Higher 等经验性方法提供理论解释，并给出一种有原则的非对称裁剪方案。这种从 KL 估计器反推裁剪范围的思路，与之前从启发式规则正推裁剪范围的思路形成了本质区别。
核心方法
本文的方法可以用一个类比来理解：想象你在一个迷宫中寻找出路，传统的对称裁剪就像是在你脚下画一个固定半径的圆圈，限制你只能在圆圈内移动——不管你前方是死胡同还是开阔地带，圆圈大小都一样。而本文的方法则是根据迷宫的地形动态调整这个圆圈：在高风险区域（低概率动作）收紧约束以保持稳定，在有前景的区域（高概率动作）放松约束以鼓励探索。技术路线上，作者首先提出统一裁剪框架，将约束条件抽象为通用的布尔函数 $C_t(\theta)$；然后分析 KL3 估计器的数学性质，证明 KL3 约束等价于非对称比率裁剪；最后将 KL3 约束直接嵌入统一框架，得到 ATR-GRPO 算法。
本文的核心创新点在于识别并利用 KL3 估计器的数学性质来推导非对称裁剪范围。KL3 估计器 $\text{KL}_3(\theta) = w_t(\theta) - 1 - \log w_t(\theta)$ 是一个关于似然比 $w_t$ 的严格凸函数，在 $w_t = 1$ 处取最小值 0。关键性质是其导数在 $w_t < 1$ 时趋向无穷大（斜率 $1 - 1/w_t \to -\infty$），而在 $w_t > 1$ 时有界（斜率 $1 - 1/w_t < 1$）。这意味着 KL3 函数在低比值区域增长更快，在高比值区域增长更慢。因此，为了达到相同的散度阈值 $\delta$，上方的裁剪边界 $u_{\text{KL}_3}^\delta$ 必须比下方的裁剪边界 $l_{\text{KL}_3}^\delta$ 偏离 1 更多，即 $1 - l_{\text{KL}_3}^\delta < u_{\text{KL}_3}^\delta - 1$。这为 Clip-Higher 等经验性方法提供了精确的理论解释——非对称性不是人为选择的，而是 KL 散度几何性质的自然结果。
方法步骤详情
ATR-GRPO 的实现步骤如下：首先，定义统一裁剪框架的一般裁剪算子 $\text{clip}_{\text{general}}(w_t(\theta), C) = w_t(\theta)$ 若 $C_t(\theta)$ 为真，否则 $w_{\theta_{old}}(y_t|s_t)$。其中 $C_t(\theta)$ 是约束函数，可以是比率约束（$l \leq w_t \leq u$）或 KL 散度约束（$\text{KL}_t(\theta) \leq \delta$）。第二步，选择 KL3 估计器作为约束函数，即 $C_t(\theta) := \text{KL}_3(\theta) \leq \delta$。第三步，通过 Lambert W 函数求解 KL3 约束对应的裁剪范围：$l_{\text{KL}_3}^\delta = -W_0(-e^{-1-\delta})$，$u_{\text{KL}_3}^\delta = -W_{-1}(-e^{-1-\delta})$，其中 $W_0$ 和 $W_{-1}$ 分别是 Lambert W 函数的两个实分支。第四步，在训练时，对每个 token 计算似然比 $w_t(\theta)$，判断 $\text{KL}_3(w_t) \leq \delta$ 是否成立：若成立则使用 $w_t$，否则使用旧策略的概率 $w_{\theta_{old}}$。整个过程不需要显式计算裁剪范围，直接通过 KL3 约束条件进行裁剪，计算成本与标准 GRPO 完全相同。
技术新颖性
本文的技术新颖性体现在三个层面。第一，在框架层面，提出了统一裁剪框架 $\text{clip}_{\text{general}}(w_t(\theta), C)$，将 PPO/GRPO 的比率裁剪、DAPO 的非对称裁剪、TRPO 的 KL 硬约束、Truly PPO 的 KL 裁剪等所有已有方法统一为该框架的特例（见论文 Table 1），这在之前的工作中是没有的。第二，在理论层面，利用 Lambert W 函数精确推导了 KL3 约束与非对称比率裁剪之间的等价关系（Theorem 4.2），并证明了不对称性 $1 - l_{\text{KL}_3}^\delta < u_{\text{KL}_3}^\delta - 1$ 是 KL3 凸函数几何性质的必然结果，而非人为设计。第三，在分析层面，通过 Theorem 5.1 和 5.2 严格刻画了 ATR 裁剪与比率裁剪在策略 logit 差异和熵差异上的区别，揭示了 ATR 裁剪的「动态探索」机制：当更新幅度超出信赖域时保守探索（保持高置信度动作的熵），当更新幅度在信赖域内时积极探索（向低概率但有前景的动作分配概率质量）。
实验结果
本文在 AMC2023、AIME2024 和 AIME2025 三个数学推理基准上进行了全面实验，使用 Qwen3-1.7B 和 Qwen3-8B 两个模型。核心发现如下：在 Qwen3-1.7B 上，ATR-GRPO 的最终平均 Mean@8 为 22.93%，Pass@8 为 42.18%，分别超越最佳基线 Dual Clip（21.78% / 39.46%）1.15 和 2.72 个百分点。在最具挑战性的 AIME2025 上，ATR-GRPO 达到 13.75% Mean@8 和 30.00% Pass@8，而最佳基线 Soft Gate 仅为 13.33% 和 23.33%，Pass@8 提升了 6.67 个百分点。在 Qwen3-8B 上，ATR-GRPO 在 AMC2023 上达到 56.02% Mean@8 和 80.72% Pass@8，超越 Clip-Higher（53.77% / 73.49%）；在 AIME2024 上达到 25.42% Mean@8 和 50.00% Pass@8，与 Dynamic Clipping 持平。训练稳定性方面，如 Figure 2 所示，ATR-GRPO 的训练回报曲线在 400 步后持续上升至 0.36，而 Clip 和 Clip-Higher 分别停滞在约 0.28；熵曲线保持稳定温和水平，避免了 Clip 的剧烈波动和 Clip-Higher 的过度衰减；完成长度单调递减，而基线方法出现震荡或骤降。消融实验表明，信任域阈值 $\delta = 0.07$ 为最优选择，Mean@8 和 Pass@8 在此峰值，过大或过小的 $\delta$ 都会导致性能下降。在不同 KL 估计器的对比中，KL3（Mean@8 = 23.42%，Pass@8 = 41.78%）全面优于 KL1（20.81% / 38.25%）、KL2（22.56% / 39.39%）和 Full KL-Guided Clipping（19.11% / 35.70%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AMC2023 (Qwen3-1.7B) | Mean@8 (%) | 41.72 (best 45.03) | Soft Gate 42.92 (best) | 最终 best 45.03 超越所有基线 |
| AIME2024 (Qwen3-1.7B) | Mean@8 (%) | 13.33 | Dual Clip 10.83 | +23.1% 相对提升 |
| AIME2025 (Qwen3-1.7B) | Pass@8 (%) | 30.00 | Soft Gate 23.33 | +6.67pp 绝对提升 |
| Average (Qwen3-1.7B) | Mean@8 (%) | 22.93 | Dual Clip 21.78 | +1.15pp |
| Average (Qwen3-1.7B) | Pass@8 (%) | 42.18 | Dual Clip 39.46 | +2.72pp |
| AMC2023 (Qwen3-8B) | Mean@8 (%) | 56.02 | Clip-Higher 53.77 | +2.25pp |
| AIME2024 (Qwen3-8B) | Mean@8 (%) | 25.42 | Dynamic Clipping 23.75 | +1.67pp |
| Average (Qwen3-8B) | Pass@8 (%) | 53.57 | Dynamic Clipping 53.88 | 基本持平 |
局限与改进
本文存在几个明显的局限性。首先，作者承认信任域阈值 $\delta$ 在整个训练过程中保持静态，这可能是次优的。随着训练的推进，策略的不确定性会变化，固定 $\delta$ 可能无法适应不同训练阶段的需求。其次，本文的方法完全聚焦于 token 级别的目标函数，而语言模型的奖励通常是序列级别的，这种 token 级别重要性采样与序列级别奖励之间的不匹配会导致高方差梯度和不稳定的训练（正如作者在 Section 6.5 中承认的）。第三，实验仅在数学推理任务上验证，未涉及代码生成、对话对齐等其他 RLVR 任务，泛化性存疑。第四，所有实验均使用 LoRA 微调而非全参数训练，在大规模全参数训练场景下是否同样有效尚未验证。第五，论文的理论分析（Theorem 5.1 和 5.2）基于全批次梯度假设，而实际训练中使用的 mini-batch 梯度会引入额外的方差，可能影响理论结论的适用性。
独立分析的弱点
首先，KL3 估计器虽然方差较低，但本质上仍然是单样本估计器，其精度受限于采样质量。当采样数 $G$ 较小时（如论文中使用的 $G=8$），KL3 对真实 KL 散度的近似可能不够准确，特别是在策略快速变化的训练早期。改进方向是引入多样本 KL 估计器或自适应 $G$ 的采样策略。其次，论文将 $\delta$ 设为全局超参数，但实际上不同层、不同 token 位置的策略变化率可能差异很大。一个更有前景的方向是逐层或逐位置自适应调整 $\delta$，类似 Layer-wise Adaptive Rate Scaling (LARS) 的思路。第三，ATR-GRPO 的非对称性是全局固定的，但在训练过程中，探索的需求是动态变化的——训练初期需要更多探索，训练后期需要更多利用。结合自适应温度机制或课程学习策略，可能会进一步提升性能。第四，论文仅在 Qwen3 系列上验证，未在 Llama、Gemma 等其他架构上测试，方法的架构依赖性尚不清楚。
未来方向
作者提出了两个明确的未来研究方向。第一是自适应信任域阈值：借鉴 TRGPPO 和 DCPO 的思路，根据策略概率和熵动态调整 $\delta$，以实现更稳定高效的学习。第二是序列级整合：将当前的 token 级别 KL3 约束扩展到序列级别，以解决 token 级重要性采样与序列级奖励之间的不匹配问题。除此之外，基于本文的成果还有几个可延伸的方向：一是将 KL3 约束应用于其他 RL for LLM 方法（如 RLOO、GRPO-S），验证其通用性；二是探索 KL3 约束在多轮对话、代码生成等非数学任务上的效果；三是研究 KL3 约束与语义熵（semantic entropy）等其他探索机制的结合方式，如 GTPO 和 EMPO 已经在探索的方向；四是将 KL3 约束的思想迁移到扩散模型、多模态模型的强化学习训练中。
复现评估
本文的复现条件相当友好。代码层面，作者使用了 Unsloth 和 TRL 两个成熟的开源框架，所有基线方法都采用了原论文推荐的超参数设置。数据层面，使用 DAPO-Math-17k 数据集（约 17K 条数学问题），以及 OpenMathReasoning 数据集进行 SFT 预训练格式化，均为公开数据集。算力方面，所有实验在单张 NVIDIA A100 GPU 上完成，ATR-GRPO 在 Qwen3-1.7B 上训练约 7 小时，在 Qwen3-8B 上约 16 小时，这对于大多数研究团队来说是可承受的。超参数方面，论文提供了完整的配置表（Table 4），包括学习率 5e-6、batch size 8、gradient accumulation steps 4、LoRA rank 32 等。复现难度较低，核心改动仅涉及将裁剪约束从对称比率改为 KL3 条件判断，代码修改量不大。不过，论文未开源完整的训练代码和配置文件，需要根据论文描述自行实现 KL3 裁剪逻辑。
论文图表
