通过精确熵曲线控制解决 LLM 强化学习的性能饱和问题 Addressing Performance Saturation for LLM RL via Precise Entropy Curve Control
提出Entrocraft拒绝采样方法精确控制LLM RL训练熵曲线
前置知识
策略梯度与GRPO
策略梯度方法是直接对期望回报关于策略参数求梯度的一类RL算法，GRPO（Group Relative Policy Optimization）是一种针对LLM的变体，它对每个prompt采样G个回答，根据组内相对奖励估计优势函数 $\hat{A}(x,y)$，去掉critic网络。更新目标形如 $J(\theta)=\frac{1}{G}\sum_{i=1}^{G}\sum_{t=1}^{|y_i|}\min\left(r_t(\theta)\hat{A}_i, \text{clip}(r_t(\theta),1-\epsilon_{low},1+\epsilon_{high})\hat{A}_i\right)$，其中 $r_t(\theta)=\pi_\theta(y_{i,t}|x,y_{i,<t})/\pi_{\theta_{sampler}}(y_{i,t}|x,y_{i,<t})$ 是重要性采样比。
Entrocraft是GRPO/GSPO等策略梯度方法的即插即用增强，必须理解原始目标函数和优势函数估计才能体会拒绝采样修改的是哪一环节——它不改目标函数，只在rollout阶段过滤样本。
熵（Entropy）与熵崩溃
LLM在每个token位置 $t$ 输出词表 $V$ 上的softmax分布 $p_t$，token级熵为 $H=-\sum_{i\in V}p_{t,i}\log p_{t,i}$，序列级聚合熵为 $\mathcal{H}=-\frac{1}{|y|}\sum_{t=1}^{|y|}\sum_{i\in V}p_{t,i}\log p_{t,i}$。在RL训练中，策略倾向于把概率集中到少数高奖励答案上，导致熵持续下降直至接近零，称为'熵崩溃'，它意味着探索能力丧失。
熵曲线是本文的核心被控对象，论文用整条曲线（而非单点）来衡量探索-利用平衡。理解'熵崩溃为何导致性能饱和'是抓住全文主线的关键。
优势函数（Advantage Function）
优势函数 $\hat{A}(x,y)$ 衡量回答 $y$ 相对于当前策略基线的好坏程度。GRPO用组内归一化得到零均值优势；RAFT++只用正优势样本（RAFT-style）使优势几乎为正；NSR只用负优势样本使优势为负。不同优势估计器导致截然不同的熵动力学。
Entrocraft的拒绝采样规则直接依据 $\hat{A}(x,y_i)$ 的符号决定保留哪些样本，文中Theorem 1和2证明'熵变化与优势符号相反'，因此优势估计器的选择决定了熵漂移方向。
性能饱和（Performance Saturation）
指在RL训练中，模型在某个训练步数之后性能不再随数据/算力增加而提升的现象。论文Fig. 5显示GRPO在100K样本后基本停滞，而熵保护方法能继续提升。其根源是熵崩溃使模型被困在已有解的局部区域。
这是Entrocraft要解决的核心问题。理解性能饱和与熵崩溃的因果关系，是评估Entrocraft价值的基准。
研究动机
近年来强化学习（RL）已成为激发大语言模型（LLM）多步推理能力的主导方法，但几乎所有RL算法都面临'性能饱和'问题：训练初期性能快速上升，到100K-200K样本后曲线趋于平台，再多的数据和算力也无法带来进一步提升。论文Fig. 5b和Table 3显示，标准GRPO在100K样本时MATH-500 mean@32达到75.2，到400K仅缓慢爬升到76.6；AIME-25 mean@32甚至从9.9微降到9.4。研究者普遍认为根源是'熵崩溃'——策略把概率集中到极窄的高奖励答案集合上，丧失探索能力。然而，现有的熵保护方法（基于熵正则化、clipping、正负解耦的W-Reinforce/EntroPIC等）只能在目标函数层面'间接'地控制熵，长期训练中熵曲线仍然不稳定：要么漂得太高导致训练崩溃，要么后期出现熵爆炸。Table 1的对比表明，Clip-Higher/Clip-Cov/Entropy Loss都无法精确控制熵曲线形状，EntroPIC虽能收敛到目标熵值但不能'按用户定义的schedule'塑造曲线。
本文的目标是论文目标有三：（1）给出一个LLM导向的熵变化理论，揭示熵如何随优势函数和模型置信度变化；（2）设计一种轻量、客观无关（objective-agnostic）的熵控制器，让用户能像调学习率schedule一样自定义熵曲线（如线性退火）；（3）实证表明精确熵曲线控制能显著延长训练时间窗（论文中提到可持续改进4×更久），让4B模型超过8B基线，把AIME-25 pass@32提升50%。
与已有工作不同的是，已有方法的共同缺陷是'间接控制'：它们在目标函数里加正则项或修改clip阈值，这等价于事后修补梯度，而非直接决定哪些样本进入梯度计算。论文的关键切入点是理论发现：'熵变化与优势符号相反'（Theorem 2）且'模型置信度越高，变化幅度越大'。这意味着只需在rollout阶段用拒绝采样修改进入梯度的优势分布，就能直接塑造熵变化方向——把熵从'被动的训练诊断'变成'可控的超参数'，这是与所有现有熵保护方法的本质区别。
核心方法
Entrocraft的核心直觉是：与其修改RL目标函数（如加熵正则化），不如在rollout阶段用拒绝采样过滤样本。理论分析（Theorem 1/2）证明'当模型对rollout样本的置信度高于输出空间基线时，熵变化方向与优势符号相反'。换言之，正优势样本主导训练时熵会下降；负优势样本主导时熵会上升。Entrocraft据此设计：实时观测当前batch熵 $\mathcal{H}$，如果熵低于目标下限 $h_{low}$，就拒绝高优势样本、只保留低/负优势样本，从而把优势分布推向熵增区；反之熵高于 $h_{high}$ 时只保留正优势样本。整套方法不改PPO/GRPO目标，不动clip范围，不引入新损失项，是真正的'drop-in'插件。
Entrocraft与传统方法（entropy loss、clip-cov、W-Reinforce）的本质区别在于：'控制'的层面不同。传统方法通过修改梯度更新规则来间接影响熵，因此熵曲线是被动涌现的、无法精确预设；Entrocraft通过拒绝采样直接修改进入梯度的样本分布（相当于修改优势分布），可以'几步之内'把熵推到任意目标值，进而可以像设计学习率schedule一样设计熵schedule。论文还首创'线性退火'（linear decay）熵schedule：从0.6-0.7线性退火到0.1-0.2，效果优于固定目标和余弦退火。这把'熵'从诊断指标提升为可调超参。
方法步骤详情
Entrocraft的完整算法流程（Algorithm 1）如下。输入：问题 $x$、原始G个rollout $\{y_i\}_{i=1}^G$、当前策略 $\pi_\theta$、优势估计器 $\hat{A}$、目标熵区间 $(h_{low}, h_{high})$。输出：实际参与RL更新的样本集 $S_x$。第1步：计算当前batch熵 $\mathcal{H}$；第2步：计算out-of-range指示器 $m=\mathbb{I}(\mathcal{H}>h_{high})-\mathbb{I}(\mathcal{H}<h_{low})$；第3步：遍历每个rollout，若 $m\cdot\hat{A}(x,y_i)\geq 0$ 则把 $y_i$ 加入 $S_x$（即：m=+1时只留正优势样本促使熵降；m=-1时只留负/低优势样本促使熵升；m=0时全保留）；第4步：返回 $S_x$ 并用于标准PPO/GRPO更新。在'熵曲线设计'层面，论文推荐把 $(h_{low},h_{high})$ 设为随训练步数线性退火的schedule，例如从 $(0.6,0.7)$ 退到 $(0.1,0.2)$。每步的计算开销仅增加一次熵计算和一次 $\hat{A}$ 符号判断，论文提到因被拒绝的样本不参与梯度计算，整体开销'与标准RL相当或更低'，可用effective rollout batch size监控。
技术新颖性
技术新颖性体现在三个层面：（1）理论贡献——首次在不依赖'tabular softmax'假设的前提下，用Taylor展开给出LLM token级（Theorem 1）和序列级（Theorem 2）熵变化的符号条件，揭示 $\hat{A}\cdot\Delta\mathcal{H}\leq 0$ 在'模型置信度高于输出空间基线'时成立，并用Fig. 2a在Qwen3-4B-Base上验证该条件对正优势、零均值、负优势估计器都满足，把以往基于GRPO/GSPO的经验观察升格为定理；（2）方法论贡献——拒绝采样在RL rollout阶段修改优势分布是首次，相比传统'在目标函数加项'的方式，是控制层面的本质跃迁；（3）调度设计贡献——首次把'熵schedule'作为一等公民研究对象，发现线性退火优于固定目标和余弦退火（Fig. 4），为RL超参调优开辟新维度。
实验结果
实验在Qwen3-4B/8B/14B-Base、Llama-3.1-8B-Instruct上，以Numina-Math为训练集，评测MATH-500/AMC-23/AIME-24/25/26，发现五点核心结论。第一，Entrocraft在所有基线上稳定超越（Table 2）：在GRPO上加Entrocraft后MATH-500 mean@32从75.3升到79.0（+3.7），AMC-23从57.4升到65.0（+7.6），AIME-25从8.9升到15.1（+6.2），平均分从47.2升到53.5（+6.3）；在GSPO上也全面领先（49.8 vs 47.4）。第二，4B模型可超越8B基线（Fig. 3a）：GRPO+Entrocraft的Qwen3-4B在AIME-25上mean@32≈15，超过标准GRPO训练的8B模型（mean@32≈12）。第三，推理时扩展性显著提升（Fig. 3b/c）：AIME-25 pass@32从40.0升到46.7，pass@K曲线整体上移；输出多样性提升50%以上。第四，长期训练中可持续改进（Table 3 + Fig. 5）：GRPO在100K后停滞（MATH-500从75.2仅升到76.6），Clip-Cov在300K后熵爆炸（Fig. 5a熵值从0.4跳到1.2）并掉点（MATH-500从79.7跌到77.5），而Entrocraft线性退火熵曲线平稳下降，MATH-500从100K的76.9持续升到400K的79.9，AIME-25从13.1升到16.2，论文宣称'可持续改进4×更久才出现平台'。第五，熵schedule对比（Fig. 4）：固定目标（0.5）后期波动剧烈且训练奖励下降；线性退火和余弦退火都稳定，但线性退火略优（AIME-25 mean@32 0.16 vs 0.14，MATH-500 mean@32 0.80 vs 0.78）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH-500推理（GRPO基线） | mean@32 | 79.0 | 75.3（标准GRPO） | +3.7分（+4.9%） |
| AMC-23推理（GRPO基线） | pass@32 | 95.0 | 92.5（标准GRPO） | +2.5分 |
| AIME-25推理（GRPO基线） | mean@32 | 15.1 | 8.9（标准GRPO） | +6.2分，相对提升约70% |
| AIME-25多样性 | pass@32 | 46.7 | 40.0（标准GRPO） | +6.7分（约+17%） |
| GSPO + Entrocraft平均分 | Avg. mean@32 | 49.8 | 47.4（标准GSPO） | +2.4分 |
| 长期训练400K样本（MATH-500） | mean@32 | 79.9 | 76.6（GRPO 400K） | +3.3分；同时GRPO在100K后已停滞 |
| 长期训练400K样本（AIME-25） | mean@32 | 16.2 | 9.4（GRPO 400K） | +6.8分 |
| 4B vs 8B模型对比（AIME-25） | mean@32 | Qwen3-4B+Entrocraft约15 | Qwen3-8B+GRPO约12 | 4B模型超越8B基线 |
局限与改进
作者明确指出的局限：Entrocraft在长程训练中若使用固定熵目标（而非线性退火）会出现不稳定（Appendix C.6），原因是后期负优势样本稀缺，'只留负优势'的熵增操作依赖极少样本；线性退火虽缓解此问题，但退火区间的最优选择仍需调参。此外，论文实验集中在数学推理（Numina-Math + MATH/AIME/AMC），未在代码生成、对话、Agent等任务验证泛化性——这些任务的奖励信号更稀疏或非二元，优势分布特性可能不同，导致Theorem 2的'置信度高于基线'条件未必总成立。审稿式独立观察的局限：（1）拒绝采样虽然实现简单，但'丢弃样本'意味着被拒绝的回答（包括正确但小众的解法）永远学不到，存在隐性偏差；（2）论文宣称'步骤内熵控制'，但Table 3中100K-400K Entrocraft曲线也呈缓慢平台（MATH-500从78.9到79.9仅+1.0），说明线性退火并非万能，性能饱和在更长训练或更大数据下仍可能出现；（3）熵schedule的设计（起点0.6、终点0.1）依赖Numina-Math上的调参经验，迁移到新任务时需要重新搜索。
独立分析的弱点
独立分析可观察到三点弱点。其一，'置信度条件'依赖性：Theorem 2成立的前提是'$\pi_\theta(y|x)$ 高于输出空间基线'。Fig. 2a的验证基于Qwen3-4B-Base在Numina-Math上的训练，当模型规模更小（如1B）、数据更嘈杂（如开放对话），该条件可能不满足，导致熵-优势负相关失效，Entrocraft会失去理论保障。改进方向：监控 $\pi_\theta(y|x)$ 与基线的差值，当不满足时切换到更保守的clip或熵正则化。其二，'样本浪费'问题：拒绝采样丢弃了正优势但置信度低的样本，这些可能是模型不熟悉但正确的'新解'，从多样性角度看反而值得学习。改进方向：把'直接拒绝'改为'降权'（reweighting），即给被保留的样本乘以更大权重而非完全丢弃。其三，熵schedule的固定性：线性退火的起点/终点/退火率是超参，论文没有给出自适应版本——若训练中奖励曲线和论文的Qwen3-4B场景差异大，固定schedule可能不是最优。改进方向：基于当前训练奖励的边际增益或KL散度自动调节退火率。其四，'entropy control ≠ performance control'：论文Table 1列出了多种方法（Entropy Loss/Clip-Higher/Clip-Cov）的比较，但未深入分析'为什么熵能'决定'性能'的因果链，Fig. 2a的'置信度高于基线'只是必要条件。改进方向：补充消融，控制'最终熵相同但曲线不同'的实验。
未来方向
作者在Appendix和Discussion中提出的方向：（1）把Entrocraft推广到非数学任务——验证'置信度条件'是否在代码、Agent、多模态任务成立；（2）研究更复杂的熵schedule，如阶梯式退火（step decay）、基于奖励信号的动态退火（reward-aware annealing）；（3）结合探索奖励（如curiosity、novelty bonus）设计'内在熵'。基于成果可延伸的方向：（i）把'优势分布'的概念进一步泛化，不只接受/拒绝整条rollout，而是在token级别做选择性掩码，对正优势但低似然token做软重加权；（ii）把Entrocraft与Verifier-Verifier Self-Consistency、Self-Rewarding等自改进方法结合，看是否能让模型在缺乏外部奖励时也保持探索；（iii）把熵曲线和'能力涌现'时间线对齐——论文Fig. 5c显示AIME-25 mean@32在100K-400K间持续上升，可分析每段训练中模型真正'学到新知识'的token比例；（iv）训练诊断工具——实时可视化'entropy advantage correlation'，作为检测训练崩溃的早期信号。
复现评估
复现性评估：开源情况良好，论文提供完整代码仓库 https://github.com/lblaoke/entrocraft 和交互式demo https://lblaoke.github.io/demo/entrocraft；实现基于标准verl框架（[34]），与OpenRLHF、trl等主流LLM RL库的接口一致，方便集成。数据方面，训练集Numina-Math（约440K题，已公开）、评测集MATH-500/AMC-23/AIME-24-26均为公开benchmark。算力方面，论文主要使用Qwen3-4B/8B/14B-Base和Llama-3.1-8B-Instruct，每实验训练到400K样本，长程实验需要约8×H100级别资源，普通实验室复现单算法单模型需数天。难度方面，方法本身实现简单（核心是<20行Python），但完整重现Table 2/3/Fig. 4-5的所有baseline（含Clip-Higher/Clip-Cov/W-Reinforce/EntroPIC）需要数周。复现难点在（i）超参对齐——退火区间(0.6→0.1)的具体值依任务而定；（ii）rollout采样数G、temperature等设置会显著影响绝对指标；（iii）评测中mean@32需要每题采样32次（temperature 0.6），需要严格控制随机种子。论文Appendix C提供了详细超参清单，降低了复现门槛。
论文图表
