基于梯度保持视角的RLVR灵活熵控制方法 Flexible Entropy Control in RLVR with Gradient-Preserving Perspective
通过动态调整PPO裁剪阈值灵活控制RL训练中的策略熵
前置知识
策略熵（Policy Entropy）
策略熵是衡量LLM在决策时不确定性的指标，定义为 $H(\pi_\theta(\cdot|s_t)) = -\sum_{a \in V} \pi_\theta(a|s_t) \log \pi_\theta(a|s_t)$，其中 $V$ 是词汇空间，$\pi_\theta(a|s_t)$ 是在上下文 $s_t$ 下选择token $a$ 的概率。熵越高说明模型输出越多样、越平坦；熵越低说明模型越确定、越集中。在RL训练中，熵的动态变化直接影响模型的探索能力和最终性能。
论文的核心问题就是熵崩溃，理解熵的数学定义和物理含义是理解全文的基础
重要性采样比率（Importance Sampling Ratio）
重要性采样比率 $r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{old}(a_t|s_t)}$ 表示新策略 $\pi_\theta$ 与旧策略 $\pi_{old}$ 对同一动作的概率比值。当 $r > 1$ 时，新策略对该动作的概率增大；当 $r < 1$ 时减小。这个比率是PPO-Clip算法的核心，决定了梯度更新的方向和幅度。
论文正是通过分析不同 $r$ 值区间对熵变化的贡献来建立理论基础
PPO-Clip 裁剪机制
PPO-Clip通过裁剪重要性采样比率来限制策略更新幅度，目标函数为 $\mathcal{L}_{CLIP}(\theta) = \hat{\mathbb{E}}_t[\min(r_t(\theta)\hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_t)]$，其中 $\epsilon$ 通常设为0.2。裁剪的目的是建立信任域，防止策略更新过大导致训练不稳定。标准PPO使用对称的裁剪阈值 $\epsilon_{low} = \epsilon_{high} = 0.2$。
论文的核心创新就是将静态裁剪阈值改为动态的，理解原始裁剪机制是理解创新点的前提
GRPO（Group Relative Policy Optimization）
GRPO是RLVR的代表性算法，采用基于组的相对优势估计方法，不需要单独的Critic网络。它通过组内比较来计算优势值，简化了训练流程并提升了效率。GRPO已被广泛用于增强LLM的推理能力，是DeepSeek-R1等系统的核心训练方法。
论文以GRPO为基础算法，所有实验都在GRPO框架上进行
熵崩溃（Entropy Collapse）
熵崩溃是指RL训练过程中策略熵快速衰减到接近零的现象。其危害包括：(1) 模型过早过度自信，牺牲输出多样性，陷入局部最优；(2) 熵崩溃后梯度范数受限于 $\|\nabla V^{\pi_\theta}(\mathcal{D})\| \leq 2H(\pi_\theta)$，导致后期训练无法持续提升模型能力。这是RLVR领域的一个核心挑战。
熵崩溃是本文要解决的核心问题，理解其机制和危害才能理解本文的价值
研究动机
在RLVR训练中，持续训练往往导致策略熵崩溃，表现为熵快速衰减到接近零。这一现象带来三个严重后果：首先，模型在训练早期就变得过度自信，输出多样性急剧下降，容易陷入局部最优解；其次，Shen等人已经证明梯度范数受策略熵约束，即 $\|\nabla V^{\pi_\theta}(\mathcal{D})\| \leq 2H(\pi_\theta)$，熵崩溃后模型更新能力严重受限；第三，现有的Entropy Regularization等方法无法精确控制熵的变化方向和幅度。DAPO提出的Clip-Higher策略虽然能增加低概率token的概率，但使用统一的大阈值也会让高概率token继续接收梯度，导致策略分布过度集中。现有方法大多从静态视角理解裁剪阈值，缺乏将裁剪机制与精确熵控制连接起来的理论框架。
本文的目标是本文旨在从梯度保持（Gradient-Preserving）的视角，深入研究PPO-Clip的上下裁剪阈值与熵增/熵减之间的内在关联，并在此基础上设计灵活的熵控制策略，使模型在训练早期保持高熵以促进探索，在后期逐步降低熵以实现稳定收敛和最优性能。具体来说，论文要回答两个核心研究问题：RQ1 如何设计调节机制来精确控制熵？RQ2 如何设计有效的熵控制策略用于RL训练？
与已有工作不同的是，本文的独特切入角度在于：不是简单地增大或减小裁剪阈值，而是从梯度方向与熵梯度方向的内积分析出发，将重要性采样比率空间划分为四个熵敏感区域（E1-E4），每个区域对熵变化有不同方向的贡献。基于这一理论洞察，论文提出将裁剪阈值设计为当前策略概率的动态函数，使得不同概率区间的token受到不同程度的裁剪约束。这种概率依赖的动态裁剪方法首次实现了对熵增和熵减的精确、独立控制，并在此基础上设计了三种不同的熵演化策略。
核心方法
本文的方法分两步走：首先建立理论基础，然后设计具体策略。直觉上，RL训练中不同类型的token（高概率/低概率与正优势/负优势的组合）对熵的影响是不同的——有些token被鼓励时会增加熵，有些则会降低熵。作者通过计算RL目标函数梯度 $\nabla_z L$ 与熵梯度 $\nabla_z H$ 的内积来精确判断每个token对熵变化的贡献方向。基于这些理论发现，作者将PPO的裁剪阈值从静态常数改为随当前策略概率动态变化的函数，从而可以针对不同区域的token施加不同程度的裁剪约束，实现对熵增和熵减的精确控制。最后，利用这一调节机制，设计了三种不同的熵控制策略，使模型在整个训练过程中按照预定的熵轨迹演化。
本文的核心创新是概率依赖的动态裁剪阈值。与DAPO的Clip-Higher（静态增大上界）和后续的Clip-Lower（静态减小下界）本质不同，本文将裁剪阈值 $\epsilon$ 设计为当前策略概率 $\bar{p}_t$ 的函数：$\epsilon(\pi_\theta) := f(\bar{p}_t)$，其中 $\bar{p}_t = \text{sg}[\pi_\theta(a_t|s_t)]$（stop-gradient防止引入额外梯度），且 $f$ 与 $\bar{p}_t$ 负相关。采用线性形式时：$\epsilon(\pi_\theta) = \alpha \cdot \bar{p}_t + \beta$。这意味着低概率token获得更大的裁剪空间（鼓励探索），高概率token获得更小的裁剪空间（防止过度集中）。对于上界阈值，这扩大了E2区域（低概率正token的熵增区域）同时约束了E1区域；对于下界阈值，这扩大了E4区域（低概率负token的熵减区域）同时约束了E3区域。
方法步骤详情
方法分为三个主要步骤：第一步是理论分析，计算RL目标梯度 $\nabla_z L \propto \hat{A}(e_a - p)$ 与熵梯度 $\nabla_z H = -p \odot (\ln p + H \cdot 1)$ 的内积，推导出 $\text{sgn}(\langle \nabla_z L, \nabla_z H \rangle) = -\text{sgn}(\hat{A} \cdot [p_a(\ln p_a + H) - B(p)])$，其中 $B(p) = \sum_{x \in V} p_x^2(\ln p_x + H)$。由此识别出四个熵敏感区域：E1（正优势+高概率导致熵减）、E2（正优势+低概率导致熵增）、E3（负优势+高概率导致熵增）、E4（负优势+低概率导致熵减）。第二步是设计动态裁剪机制，对正优势token增大低概率区间的上界、减小高概率区间的上界；对负优势token减小高概率区间的下界、增大低概率区间的下界。约束条件变为 $\pi_\theta(a_t|s_t) \leq \frac{1+\beta}{1-\alpha \cdot \pi_\theta^{old}(a_t|s_t)} \cdot \pi_\theta^{old}(a_t|s_t)$。第三步是设计三种熵控制策略：ID策略在前半段增大熵（动态上界+固定下界），后半段降低熵（固定上界+动态下界）；DID策略先降熵再升熵再降熵；OD策略基于熵阈值自动切换增减模式，实现振荡衰减。
技术新颖性
本文的技术新颖性体现在多个层面。首先，理论层面，论文首次通过梯度内积分析严格证明了四个重要性采样比率区间对熵变化的不同贡献，这为理解裁剪机制与熵动态之间的关系提供了理论基础，填补了该领域的理论空白。其次，方法层面，概率依赖的动态裁剪阈值与现有的静态阈值方法（Clip-Higher、Clip-Lower）有本质区别——不是简单地增大或减小阈值，而是让阈值随token概率自适应变化，实现了对不同概率区间的差异化处理。第三，策略层面，三种熵控制策略（ID、DID、OD）是首次系统性地将熵控制从单一方向扩展到多阶段动态演化的设计，特别是OD策略的自适应振荡机制，能够根据当前熵状态自动切换增减模式，具有很强的实用价值。
实验结果
实验结果表明，本文提出的三种熵控制策略在多个数学推理基准测试上均显著优于基线方法。在Qwen2.5-MATH-7B上，Ours-ID在AIME24上达到33.1%（GRPO为24.4%，提升8.7个百分点），在AIME25上达到18.1%（GRPO为10.2%，提升7.9个百分点），在AMC上达到58.9%（GRPO为54.8%）。在Qwen2.5-7B上，Ours-DID在GSM8K上达到93.4%（GRPO为90.5%），Ours-OD在AMC上达到48.3%（GRPO为44.9%）。更重要的是，本文方法在非数学领域也展现出泛化能力：在Qwen2.5-MATH-7B上，Ours-ID在LiveCodeBench上达到24.83%（GRPO为15.83%，提升9个百分点），在MMLU-Redux上达到65.72%（GRPO为60.18%）。在Phi-4-14B上的实验进一步验证了方法的跨模型泛化性，Ours-DID在AIME24上达到23.23%（GRPO为16.35%）。Pass@K评估显示，本文方法在mid-training阶段（120步）的探索能力显著优于基线，Pass@32性能明显更高。三种策略各有适用场景：ID适合SFT对齐的模型，DID适合基础模型或高熵模型，OD适合长时间训练或潜在局部最小值场景。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME24（Qwen2.5-MATH-7B） | Pass@1 | 33.1%（Ours-ID） | 24.4%（GRPO） | 提升8.7个百分点 |
| AIME25（Qwen2.5-MATH-7B） | Pass@1 | 18.3%（Ours-OD） | 10.2%（GRPO） | 提升8.1个百分点 |
| AMC（Qwen2.5-MATH-7B） | Pass@1 | 58.9%（Ours-ID） | 54.8%（GRPO） | 提升4.1个百分点 |
| MATH-500（Qwen2.5-MATH-7B） | Pass@1 | 84.5%（Ours-ID） | 81.1%（GRPO） | 提升3.4个百分点 |
| LiveCodeBench（Qwen2.5-MATH-7B） | Pass@1 | 24.83%（Ours-ID） | 15.83%（GRPO） | 提升9.0个百分点 |
| AIME24（Phi-4-14B） | Pass@1 | 23.23%（Ours-DID） | 16.35%（GRPO） | 提升6.88个百分点 |
| GPQA-Diamond（Qwen2.5-MATH-7B） | Pass@1 | 38.35%（Ours-ID） | 37.22%（GRPO） | 提升1.13个百分点 |
| MMLU-Redux（Qwen2.5-MATH-7B） | Pass@1 | 67.74%（Ours-OD） | 60.18%（GRPO） | 提升7.56个百分点 |
局限与改进
尽管本文方法取得了显著效果，但仍存在一些局限性。首先，论文主要在7B和14B规模的模型上验证，对于更大规模模型（如70B、700B+）的效果尚未验证，大规模训练中的熵动态可能更加复杂。其次，动态裁剪阈值的线性形式 $\epsilon = \alpha \cdot \bar{p}_t + \beta$ 中的超参数 $\alpha$、$\beta$ 的选择缺乏详细的敏感性分析，不同任务和模型可能需要不同的参数设置。第三，论文在DAPO-MATH数据集上训练，对于非数学推理任务（如代码生成、常识推理）的系统性评估仍然有限，虽然Table 2展示了一些非数学结果，但样本量和基准数量较少。第四，三种策略的选择目前仍需要经验判断——论文建议ID适合SFT模型、DID适合基础模型、OD适合长训练，但缺乏自动选择最优策略的机制。第五，训练阶段比例（如0.5）的选择虽然有消融实验支持，但最优比例可能因模型和数据集而异。
独立分析的弱点
本文存在几个可以改进的弱点。第一，动态裁剪函数的形式选择缺乏充分的理论依据，论文采用线性形式并声称优于指数形式，但仅在附录E.2中简要提及，没有给出为什么线性形式最优的严格证明。改进方向：可以探索更复杂的自适应函数形式，如基于信息论准则动态调整函数形状。第二，OD策略的熵阈值设计较为简单，线性衰减的上界可能不适合所有训练场景。改进方向：可以根据训练进度和性能反馈自适应调整阈值。第三，论文缺乏对计算开销的详细分析，动态裁剪需要为每个token计算概率依赖的阈值，可能增加训练时间。改进方向：可以设计更高效的近似计算方法。第四，实验主要集中在数学推理领域，对于创意写作、对话等开放域任务，熵控制的目标可能完全不同。
未来方向
本文为未来研究开辟了多个方向。首先，可以将动态裁剪机制扩展到其他RL算法（如PPO、REINFORCE），探索其在不同RL框架下的适用性。其次，可以研究自适应策略选择机制，根据训练过程中的熵和性能曲线自动选择最优的熵控制策略（ID/DID/OD），而不是依赖人工经验。第三，可以将本文的熵控制思想与其他正交的改进（如数据筛选、课程学习、多任务训练）结合，进一步提升RLVR效果。第四，可以探索在预训练阶段引入类似的熵控制机制，研究其对模型基础能力的影响。第五，基于本文的理论分析，可以进一步研究熵与模型泛化能力之间的关系，为设计更好的训练策略提供理论指导。
复现评估
本文的复现性较好。论文提供了详细的实验设置，包括学习率（$1 \times 10^{-6}$）、采样率（每prompt 8个响应）、全局batch size（512）、最大响应长度（4096/8192 tokens）等关键超参数。训练在DAPO-MATH数据集上进行，该数据集是公开可用的。评估使用了广泛采用的基准测试（AIME24/25、GSM8K、MATH-500等），结果具有可比性。论文提到了附录C和D包含更多训练和评估细节，这些补充材料对复现至关重要。然而，论文没有明确说明是否开源代码，动态裁剪的具体实现细节（如stop-gradient的使用、线性函数参数的初始化）需要仔细阅读论文才能正确实现。对于没有充足GPU资源的研究者，7B模型的RL训练可能需要较大的计算资源。
论文图表
