大语言模型强化微调中的熵动力学研究 On the Entropy Dynamics in Reinforcement Fine-Tuning of Large Language Models

本文的分析方法分为以下步骤：第一步（Lemma 3.1），对单个 token $a_k$ 的 logit 施加扰动 $\delta z = \varepsilon \cdot e_k$，利用 softmax 的 Jacobian 矩阵 $\partial p_i / \partial z_j = p_i(1\{i=j\} - p_j)$ 推导出概率分布的一阶变化：$\delta p_k = \varepsilon p_k(1-p_k)$，$\delta p_i = -\varepsilon p_i p_k$（$i \neq k$）。第二步（Theorem 3.2），对熵 $H(p)$ 进行一阶 Taylor 展开，利用 $\partial H / \partial p_i = -(1 + \log p_i)$ 和概率守恒 $\sum \delta p_i = 0$，推导出 $\Delta H = -\varepsilon S^* + O(\varepsilon^2)$，其中 $S^* = p_k(H + \log p_k)$。第三步（Theorem 3.3），将分析扩展到 GRPO 优化步骤。将 token $a_k$ 对训练目标的贡献写为损失函数 $L(z) = r \cdot A \cdot \log p_k(z)$，梯度更新为 $\delta z = \alpha(\nabla_z \log p_k) = \alpha(e_k - p)$，其中 $\alpha = \eta r A$。代入熵的一阶变化公式，推导出 $\Delta H = -\alpha(S^* - \mathbb{E}_{i \sim p}[S_i]) + O(\alpha^2)$。第四步，基于 Theorem 3.2 设计 ClipB 方法：计算 batch 中所有 token 的 $S^*$ 的均值和标准差，仅保留 $S^*$ 在均值附近（由超参 $\mu^+, \mu^-$ 控制范围）的 token 的梯度，过滤掉对熵变化影响极端的异常 token。第五步，基于 Theorem 3.3 设计 ClipV 方法：计算每个 token 的词汇中心化分数 $S^c_t = S^*_t - \mathbb{E}_{i \sim p_t}[S^t_i]$ 及其 batch 标准差，过滤掉偏差过大的 token。

本文在技术新颖性上有多方面贡献。首先，在理论层面，它是首个从单 token logit 更新出发、通过严格的微分分析建立 RFT 熵动力学理论框架的工作。此前虽然有研究（如 Ren & Sutherland, 2025）关注学习动力学，但没有专门针对 RFT 中熵变化的系统性理论分析。其次，熵判别分数 $S^* = p_k(H + \log p_k)$ 这一概念是全新的，它将 token 概率和策略熵统一到一个标量中，提供了一个简洁而强大的分析工具。再次，Theorem 3.3 揭示的偏差驱动机制——GRPO 中熵变化由 $S^*$ 相对于其期望的偏差决定，而非绝对值——是一个此前未被发现的重要性质。最后，ClipB 和 ClipV 裁剪方法直接从理论推导中生长出来，而非启发式设计，这与已有的 clip-higher（DAPO）、entropy regularization（Wang et al., 2025）等方法形成了本质区别。作者还展示了本文框架如何统一解释 GRPO 裁剪、DAPO clip-higher、CE-GPPO 分离裁剪、熵正则化和概率加权更新等三类已有方法，为整个领域提供了一个连贯的理论图景。

从独立分析的角度来看，本文存在以下可以改进的弱点。第一，ClipB 和 ClipV 的核心操作是对 $S^*$ 进行 batch 级别的统计过滤，但这种一刀切的掩码方式可能过于粗暴——被过滤掉的 token 中可能包含对熵调控有正面贡献的 token。一个改进方向是将硬裁剪替换为软加权，例如根据 $S^*$ 偏离程度设计连续的衰减权重，而非二值掩码。第二，理论框架假设标准 on-policy 训练（$r=1$），但在实际的 RFT 系统中，为了提高采样效率，往往会使用 off-policy 或半 on-policy 的数据。虽然作者在 Appendix D 中给出了 off-policy 扩展的数学形式，但未进行实验验证，其实用价值尚不明确。第三，方法对 entropy 崩溃的定位过于单一——实际上，RFT 训练中还存在 reward hacking、分布偏移等问题，这些与 entropy 动态交织在一起，仅从 entropy 角度控制可能无法全面解决问题。第四，在 InternLM3-8B 上，Vanilla GRPO 出现了训练崩溃（梯度范数剧烈波动），虽然 Clip 方法缓解了这一问题，但作者没有深入分析崩溃的根本原因——是否与 entropy 以外的因素（如 KL 散度缺失）有关。

作者提出和本文成果可延伸的未来研究方向包括以下几个方面。首先，将本文的理论框架扩展到更丰富的 RFT 算法：虽然作者在 PPO 上进行了初步实验，但 GSPO、ReMax 等其他算法的熵动力学特征尚未分析，且针对不同算法设计定制化的熵控制策略是一个有前景的方向。其次，将单 token 分析扩展到序列级别：本文聚焦于 token 粒度的熵变化，但实际的推理质量取决于整个推理链的多样性分布。如何在序列级别刻画探索与利用的平衡，是一个理论和实践上都有价值的研究问题。第三，结合过程奖励模型（Process Reward Model）：当前的 reward 设计仅基于最终答案正确性，未来可以探索在推理步骤级别的奖励信号下，entropy 动态如何变化，以及如何在步骤级别进行更精细的 entropy 调控。第四，将 entropy 动态分析与其他训练现象（如 reward hacking、length exploitation）联系起来，建立更完整的 RFT 训练动力学理论。第五，探索自动化的超参选择策略：基于本文发现的 $S^*$ 分布特征，设计自适应的 $\mu^+, \mu^-$ 选择算法，减少人工调参需求。

本文在复现性方面表现较好。作者基于开源框架 Trinity-RFT 进行实验，训练数据使用公开的 DAPO-Math-17k 数据集，评估使用 AIME24/25 和 DAPO500 基准。基础模型（Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Qwen3-4B-Base、DeepSeek-Distilled-Llama-8B、InternLM3-8B）均为公开可用的模型。算力需求方面，实验在 NVIDIA A100 和 H20 GPU 上进行，使用 Adam 优化器，batch size 为 64，学习率 $4 \times 10^{-7}$，每条查询采样 16 条回复（7B/14B）或 8 条（其他模型）。ClipB 和 ClipV 的实现非常简洁——仅需在 forward pass 中计算 $S^*$ 的统计量，然后对 loss 施加 mask，额外计算开销可忽略不计。论文的关键理论推导（Lemma 3.1、Theorem 3.2、Theorem 3.3）都有完整的数学证明。美中不足的是，论文未明确说明是否开源了代码和训练脚本，读者需要自行基于 Trinity-RFT 框架实现 ClipB/ClipV 的逻辑。总体而言，复现难度较低，核心方法实现仅需几十行代码。