面向多轮智能体强化学习的自适应熵调制 AEM: Adaptive Entropy Modulation for Multi-Turn Agentic Reinforcement Learning
用响应级熵代理实现无监督信用分配与自适应探索-利用切换
前置知识
GRPO（组相对策略优化）
一种 value-free 的分组式强化学习方法，对同一 prompt 采样一组响应，按组内奖励归一化得到优势 $A_i = (r_i - \text{mean}(r))/\text{std}(r)$，无需训练 critic。
AEM 直接以 GRPO/DAPO/GSPO 等组式方法为骨干，仅修改响应级优势的缩放系数，必须先理解分组优势估计才能读懂后续调制公式。
信用分配（credit assignment）
在长轨迹、稀疏奖励下，把最终回报合理地分摊到中间每一步决策上的问题，是多轮智能体 RL 的核心难题。
本文把信用分配重新表述为响应级优势的缩放问题，所有动机和理论都围绕'如何给中间响应打分'展开。
策略熵与熵正则化
策略熵 $H(\pi) = -\sum_a \pi(a)\log\pi(a)$ 衡量策略不确定性；熵正则化通过奖励熵项促进探索，但易导致熵坍缩或探索不足。
AEM 把熵从优化目标升级为信用分配的内在信号，需要读者熟悉熵在 RL 中既作正则项又作不确定性度量的双重角色。
自然梯度与 Fisher-Rao 度量
自然梯度把参数空间的梯度投影到概率单纯形上的 Fisher 信息度量上，使更新与参数化无关；方向导数 $\langle \nabla_F f, \nabla_F g \rangle_{FR}$ 衡量两个梯度的几何夹角。
论文核心定理 3.2.2 在 Fisher-Rao 几何下推导熵漂移，符号 $\text{sgn}(A(a,s)(S(a|s)-H_{\text{resp}}))$ 直接来自该度量下的方向导数公式。
响应级 surprisal 与 Shannon 熵
响应 surprisal 定义 $S(a|s)=-\log\pi_\theta(a|s)=-\sum_\ell\log p_\theta(y_\ell|s,y_{<\ell})$，是 token 级负对数似然之和；响应熵 $H_{\text{resp}}(s)$ 是其期望。
AEM 用响应级平均 token 熵 $\bar H_{i,t}$ 作为 surprisal 的可计算代理（Doob 分解的可预测部分），是公式 12-14 的直接输入。
研究动机
在 ALFWorld、WebShop、SWE-bench-Verified 这类多轮智能体任务中，奖励只在整条长轨迹结束后给出。GRPO 等组式方法只能为整条轨迹算一个回报，再把同一标量分给每个响应，导致同一轨迹内的中间步骤几乎无法区分优劣，信用分配极度模糊。现有补救路线都有明显短板：过程奖励模型（PRM）需要额外标注和模型；Tree-GRPO、ATPO 通过分支轨迹做细粒度回传，但多轮场景下分支计算代价极高；GiGPO、IGPO 这类自监督方法从轨迹结构反推 step 级信号，又对上下文一致性、组结构假设过于敏感，容易引入 grouping bias。作者观察到，在 Qwen2.5-1.5B + GRPO 训练时策略熵在前几十步就出现明显坍缩，后续提升受限，说明现有方法既没能提供足够稠密的信用信号，也没能稳定地控制探索-利用节奏。
本文的目标是本文目标是在不引入任何额外监督模型、不增加 rollouts、不修改底层 RL 优化骨干的前提下，仅靠策略自身的响应级熵信号，给组式 RL（GRPO/DAPO/GSPO/DeepSWE）的优势估计做一次轻量调制，最终在 1.5B 到 32B 模型上获得一致提升，并在 SWE-bench-Verified 这类真实软件工程基准上验证可扩展性。目标是给社区一个真正 plug-in 的方案：接入现有 RL pipeline 只需替换一个优势缩放公式。
与已有工作不同的是，切入点是把信用分配重新放到 Fisher-Rao 几何下的熵动力学视角：作者发现响应级熵漂移的符号由 $A(a,s)\cdot(S(a|s)-H_{\text{resp}}(s))$ 决定，进而推出一个惊人简洁的结论——只要用响应熵作为不确定性代理去缩放优势，就能自然在训练前期保留探索（负响应主导）、后期转向利用（正响应主导）。区别于把熵当作 token 级正则项的常见做法，AEM 把熵抬升到响应级，并把它从优化目标转写为信用信号，是一篇'用熵做信用分配'的工作而非'用熵做正则'的工作。
核心方法
AEM 的核心直觉是：在多轮智能体 RL 中，环境只在一条完整响应生成后才推进状态，因此响应才是真正影响奖励的'动作粒度'，对它的不确定性度量也应抬升到响应级。基于定理 3.2.2，响应级熵漂移 $\Delta H$ 的符号由优势 $A$ 与相对 surprisal $S(a|s)-H_{\text{resp}}(s)$ 的乘积决定；于是 AEM 不再把熵当作要加到 loss 里的正则项，而是用响应级平均 token 熵 $\bar H_{i,t}$ 作为相对 surprisal 的可计算代理，先做组内 min-max 归一化 $\tilde H_{i,t}$，再用带温度 $\lambda$ 的 softmax 把它折算成调制系数 $\alpha_{i,t}$，最后把这个系数均匀乘到该响应 span 内所有 token 的 base 优势上：$A^{\text{AEM}}_{i,t} = \alpha_{i,t} A^{\text{base}}_{i,t}$。整个模块只占训练时延的 1.1%，不引入额外前向。
与传统 entropy-aware 方法相比，AEM 有三点本质区别：第一，熵的层级从 token 抬到 response，从而与 LLM 智能体真正改变环境的粒度对齐，且天然降低对 token 采样噪声的敏感度；第二，熵的角色从'loss 上的正则项'变为'优势上的乘性调制'，不改优化方向只改幅度；第三，调制系数 $\alpha$ 通过组内 softmax 自校准（公式 14 的分母 $\sum_{(j,n)\in G}\exp(-\lambda\tilde H_{j,n})$），让缩放后的优势在组内期望保持一致，从而不破坏 base estimator 的整体梯度量级。这三点共同构成一个 supervision-free、plug-in、几乎零开销的信用分配方案。
方法步骤详情
四步走：(1) 对每个环境响应 span（begin_token 到 end_token 的整段），对所有 token 计算 $-\log p_\theta(y_\ell|s,y_{<\ell})$，再做长度归一化平均 $\bar H_{i,t}$，作为 surprisal 的可计算代理。(2) 同组 $G$（同 prompt 所有 span）min-max 归一化 $\tilde H_{i,t}\in[0,1]$，极差 $<0.1$ 时 $\alpha=1$。(3) 自校准 softmax $\alpha_{i,t}=\frac{\exp(-\lambda\tilde H_{i,t})}{\sum_G\exp(-\lambda\tilde H)+\varepsilon}$，温度 $\lambda$ 控强弱。(4) $\alpha_{i,t}$ 均匀乘到该 span 内所有 token 的 base 优势上，后续 loss、clip、KL 全部照旧。机制上：前期负样本多，$A<0$ 的高熵 span 被压低→保留探索；后期正样本多，$A>0$ 的低熵 span 被放大→加强利用。
技术新颖性
技术新颖性体现在三方面：第一，定理 3.2.2 在 Fisher-Rao 单纯形下严格证明了'响应级熵漂移 $\propto A(a,s)\cdot(S(a|s)-H_{\text{resp}}(s))$'，把直观经验上升为带符号判定的几何结论，是论文最硬的理论贡献；第二，作者把 token 级 $\sum_\ell H_\ell$ 通过 Doob 分解切成可预测部分（公式 12 的 $\bar H_{i,t}$）和不可预测部分，巧妙回避了 $H_{\text{resp}}(s)$ 难以在线估计的难题；第三，自校准 softmax 设计让 $\alpha$ 在组内自动满足 $\mathbb{E}[\alpha]=1$ 量级，理论上不破坏 base estimator 的总体梯度幅度，这一点在 Appendix E 的消融里被专门验证（去掉组归一化或方向反转都会显著掉点）。整套方案在工程上是 plugin-only 的，对底层算法（GRPO→DAPO→GSPO→DeepSWE）零侵入。
实验结果
实验在三个基准（ALFWorld、WebShop、SWE-bench-Verified）、四个 base estimator（GRPO/DAPO/GSPO/DeepSWE）、1.5B 到 32B 共五种配置上系统验证。ALFWorld 上 Qwen2.5-1.5B+GRPO 从 68.0% 提到 76.8%（+8.8%，峰值），1.5B DAPO 从 88.5% 提到 94.5%（+6.0%），7B DAPO 仅 +0.5%（边际递减）。WebShop 1.5B/7B GRPO 成功率分别 +5.6/+4.6。关键扩展证据来自 SWE-bench-Verified：Qwen3-32B+DeepSWE 从 42.3% 提到 43.7%（+1.4%），证明真实软件工程多轮场景下依然有效。机制分析显示 $\alpha-1$ 与 MC 估计的相对 surprisal 皮尔逊 $r=0.63$、符号一致率 55/64≈85.9%；图 4-5 直接可视化 baseline '早坍缩→平台' 被改为 '保留探索→渐进收敛' 的训练动力学；AEM 仅占 5.62s/500.7s ≈ 1.1% 开销。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld（1.5B，All 任务均值） | 成功率（%） | GRPO+AEM 76.8 ± 1.8；DAPO+AEM 94.5 ± 1.4；GSPO+AEM 71.9 ± 8.4 | GRPO 68.0 ± 0.8；DAPO 88.5 ± 1.2；GSPO 66.7 ± 5.3 | +8.8 / +6.0 / +5.2 个百分点 |
| ALFWorld（7B，All 任务均值） | 成功率（%） | GRPO+AEM 84.4 ± 3.1；DAPO+AEM 96.6 ± 0.7；GSPO+AEM 83.4 ± 3.1 | GRPO 78.7 ± 1.6；DAPO 96.1 ± 2.1；GSPO 80.7 ± 2.3 | +5.7 / +0.5 / +2.7 个百分点 |
| WebShop（1.5B/7B） | 成功率（%） | GRPO+AEM 70.6 ± 2.4（1.5B）/ 80.5 ± 2.1（7B） | GRPO 65.0 ± 0.6（1.5B）/ 75.9 ± 3.4（7B） | +5.6 / +4.6 个百分点 |
| SWE-bench-Verified（Qwen3-32B） | 解决率（%） | DeepSWE+AEM 43.7 ± 0.4 | DeepSWE 42.3 ± 0.3 | +1.4 个百分点（绝对） |
| Closed-source 模型参考（ALFWorld / WebShop） | 成功率（%） | Qwen2.5-1.5B DAPO+AEM 94.5 / 78.5 | GPT-5.2-Pro 88.8 / 46.6；Gemini-3-Pro 99.3 / 60.8 | 1.5B 模型在 WebShop Succ. 上超越 GPT-5.2-Pro（78.5 vs 46.6），逼近 Gemini-3-Pro |
局限与改进
作者明确指出的局限有两点：一是 AEM 的调制系数 $\alpha$ 在组内熵方差极小（极差 < 0.1）时被强制置 1，此时若训练 batch 整体熵已经坍缩，AEM 也救不回来；二是 DAPO+AEM 在 Qwen2.5-7B 上只比纯 DAPO 多 0.5 个百分点（96.1%→96.6%），说明当 base backbone 本身已经把信用分配做得很饱和时，AEM 的边际收益显著下降。我个人观察到的额外局限包括：(1) 温度 $\lambda$ 是超参，论文 Appendix G.2 给出经验值但未给出系统调参曲线，对不同 base estimator 的最优值可能不同；(2) DeepSWE+AEM 在 SWE-bench-Verified 上虽然 +1.4%，但只用了一次复现实验，未给出多 seed 的方差分析，对一个号称 plug-in 的方法略显单薄；(3) 论文没有和 Tree-GRPO、ATPO 这类基于分支轨迹的方法做 head-to-head 对比，而它们正是 AEM 论文里被批评为'计算昂贵'的对象，缺乏直接对比会让'轻量 vs 重'的论证停留在定性层面。
独立分析的弱点
独立审视论文，AEM 存在四个可改进点。第一，调制系数只用了响应级熵的'幅度'，没用'方向性'：同一 span 内前半段（推理）和后半段（动作）的熵模式可能截然不同，未来可细化为 'thinking span + action span' 两级调制。第二，$\alpha$ 是无状态纯组内归一化，完全忽略训练历史；可引入 EMA 维护的全局相对 surprisal 基线，让早中晚三阶段的'目标熵'显式可控。第三，温度 $\lambda$ 固定，可改为随进度 $\lambda(t)$ 自适应衰减（前 30% 步大 $\lambda$ 强化探索、之后线性降到 0），有望在 SWE-bench 上拿到比 +1.4% 更大提升。第四，论文未给出官方开源仓库，复现需自行实现 span 切分、token 熵聚合和组内 softmax。
未来方向
作者在结论里给出了几个自然延伸：把 AEM 推广到 vision-language agent、多模态智能体，以及在 RLHF 后期用 AEM 替换熵正则项以保留长尾生成多样性。基于论文成果我个人看好三个方向：(1) 把响应级熵代理扩展为'思考-行动'分段熵代理，让信用分配细化到 ReAct 范式内的 reasoning step 与 tool call step，可能解决 ALFWorld 中 Look/Pick2 等难任务（GRPO 7B 上仅 44.3%/65.7%，仍有空间）；(2) 与 process reward 的弱监督结合，先用 AEM 提供无监督稠密信号冷启动，再在难样本上引入 PRM 微调，缓解 PRM 的标注成本；(3) 把 AEM 的 $\alpha$ 作为可学习的 gate（$\alpha_\theta = \text{softmax}(-\lambda\tilde H; \phi)$），用一个小 MLP 学一个非单调映射，从而打破公式 14 中'熵越小权重越大'的固定单调性假设。
复现评估
可复现性方面，论文提供了较充分的实现细节：算法伪代码在 Algorithm 1，温度 $\lambda$、组内 min-max 阈值 0.1、$\varepsilon$等超参与公式 14 完整给出；训练在 Qwen2.5-1.5B/7B-Instruct 与 Qwen3-32B 上完成，base estimator 覆盖 GRPO/DAPO/GSPO/DeepSWE 四个有公开实现；SWE-bench-Verified 使用的 R2E 数据集公开可得。Figure 6 给出 ~500.7s/step 的延迟分解：AEM 仅占 1.1%，整体训练时长几乎不变。复现难度评估为'中等'：核心公式清楚、变量命名一致，但 span 切分（哪些 token 算一个响应、何时算环境反应）需要和具体 rollout harness 配合；SWE-bench-Verified 复现门槛较高，需要 32B 模型 + 多卡推理，单次实验算力远超 ALFWorld。
论文图表
