自蒸馏智能体强化学习：一种基于门控 OPSD 的多轮智能体训练方法 Self-Distilled Agentic Reinforcement Learning
门控自蒸馏 OPSD，稳健提升多轮 LLM 智能体 RL 训练。
前置知识
GRPO（Group Relative Policy Optimization）
基于群体的策略优化算法，对同 prompt 采 G 条响应，用组内归一化优势 $A^{(i)}$ 替代价值网络，通过 PPO 风格裁剪目标 $\min(r_t^{(i)} A^{(i)}, \text{clip}(\cdot) A^{(i)})$ 更新策略，附带 $\beta D_{KL}$ 约束。
本文核心基线与优化骨架，所有实验以 GRPO loss 为主项，$\mathcal{L}_{GRPO}$ 的无偏性正是 SDAR 要保护的对象。
On-Policy Self-Distillation (OPSD)
用同一策略加特权上下文 $c^+$（如检索到的技能）作为教师分支，对学生采样 token $y_t$ 计算负 reverse KL 代理 $\Delta_t = \log \pi_T(y_t|s_t^+) - \log \pi_\theta(y_t|s_t)$，得到稠密 token 级监督。
SDAR 的辅助目标来源，必须理解 OPSD 在多轮下为何会引发 per-turn KL 飙升与任务崩溃，才能理解本文要解决的核心问题。
Sigmoid 门控与 Token 级权重
用 $\sigma(\beta \cdot x)$ 把任意标量 $x$（熵 $h_t$ 或 gap $\Delta_t$）压到 $(0,1)$ 区间作为门控值 $g_t$，乘到 token 级损失上；sharpness $\beta>0$ 控制门控陡峭程度。
SDAR 的核心机制——把特权信号转成可微、bounded 的门控权重，从而选择性蒸馏而保持 RL loss 不被污染。
Reverse KL 的 Mode-Seeking 性质
$D_{KL}(\pi_\theta \| \pi_T)$ 鼓励学生把概率质量集中到教师支持的高质量模式上；与 forward KL 的 mode-covering 形成对比。
本文 Figure 9 消融证明 reverse KL 显著优于 forward KL 和 JSD，是 $\Delta_t$ 单样本估计和门控设计的理论依据。
智能体多轮交互与轨迹级奖励
智能体在 $T$ 轮内与环境交换 $a_k, o_k$，最终只得到 trajectory-level reward $r$，导致 credit assignment 困难，token 级监督被普遍引入。
RL 奖励的稀疏性是 OPSD 出现的根本动因，也是 SDAR 必须兼顾 RL 主干与 token 级辅助的语境。
研究动机
多轮 LLM 智能体训练长期面临一个矛盾：GRPO 等 RL 方法以 trajectory-level 环境奖励 $r$ 驱动优化，监督粒度过粗，难以指导长 horizon 内每步决策；而 OPSD 通过把同一策略加特权上下文 $c^+$（如检索技能）得到的教师分支，对学生采样 token $y_t$ 计算 reverse KL 代理 $\Delta_t = \log \pi_T(y_t|s_t^+) - \log \pi_\theta(y_t|s_t)$，看似是天然补充。然而本文指出 OPSD 直接搬到多轮智能体会引发严重问题：第一，多轮 OPSD 不稳定——学生一旦偏离教师支持的轨迹，per-turn KL 在 5–20 步内飙升至 3.0 附近，成功率从 0.35 跌到接近 0（Figure 2 左）；第二，特权引导的不对称信任——教师并非更强的独立模型，负 gap 信号可能源于检索技能质量差、未被正确 grounding、或多轮 drift 累积放大。Qwen2.5-3B 上负 gap token 占比超 50%，说明问题普遍。
本文的目标是本文目标是设计一种能够同时享受 RL 主干无偏性与 OPSD 稠密监督优势的训练框架 SDAR（Self-Distilled Agentic RL），使其在多轮智能体场景下对 Qwen2.5-3B/7B、Qwen3-1.7B 三种规模模型，在 ALFWorld、Search-QA、WebShop 三个基准上稳定优于纯 GRPO，并完全规避 naive GRPO+OPSD 在小模型上出现的灾难性崩溃。具体而言，作者希望最终相对 GRPO 取得 ALFWorld +9.4%、Search-QA +7.0%、WebShop-Acc +10.2% 的提升（7B 设置下），并通过 token 级门控实现每个 token 自主决定蒸馏强度的自适应课程。
与已有工作不同的是，已有混合方法在三个维度上存在不足：TCOD 用 curriculum learning 缓解 drift 但依赖僵硬的时序调度；Skill-SD 与 HDPO 用手工规则控制蒸馏范围，缺乏数据驱动的弹性；RLSD 直接用 self-divergence 重加权 RL advantage，会在 teacher-student 失配较大的训练初期放大不稳定的更新（Figure 2 右）。SDAR 的独特切入角度是把 OPSD 视为有门控的辅助目标（$g_t \cdot \ell_{OPSD,t}$）而非 RL 损失的扰动项——RL 主干的 verifier-driven 优势完全保留，门控 sigmoid 由 token 级信号（$\Delta_t$ 或 $h_t$）自动产生，使负 gap token 被软性抑制、正 gap token 被强化。这种门控加辅助目标的解耦设计是与所有现有混合 RL-OPSD 方法的本质差异。
核心方法
SDAR 整体思路是三明治结构：底层是 verifier-driven 的 GRPO 损失 $\mathcal{L}_{GRPO}(\theta)$，上叠一层由 OPSD 派生的辅助损失 $\mathcal{L}_{SDAR}(\theta)$，两者通过超参 $\lambda_{SDAR}$ 加权。直觉上，多轮智能体需要先把任务级奖励信号稳定灌入策略，再从特权教师的 token 级信号中挑出可信部分。如果把所有 token 等同蒸馏，负 gap token 会把策略往坏方向拽；完全抛弃 OPSD 又浪费技能库中的领域知识。SDAR 的解决方式是引入 token 级 sigmoid 门 $g_t \in (0,1)$，根据 detached gap $\Delta_t = \text{sg}[\log \pi_\theta^+(y_t|s_t^+) - \log \pi_\theta(y_t|s_t)]$ 自动决定蒸馏强度——门控形式上等价于让每个 token 自己投票我是否需要被教师纠正，相比人工 schedule 更精细、相比直接加权 RL 优势更安全。
核心创新有两点。第一，把 OPSD 严格定位为 auxiliary objective 而非 RL 损失扰动项——$\mathcal{L}_{GRPO}$ 中 verifier 优势 $A^{(i)}$ 保持无偏，门控只施加在 OPSD 侧；这与 RLSD 把 self-divergence 揉进 advantage 的做法本质不同。第二，提出 detached Teacher-Student gap $\Delta_t$ 的单样本代理，配合 sigmoid 门 $g_t = \sigma(\beta \Delta_t)$，自然实现不对称信任：正 gap token 门值趋近 1，负 gap token 门值趋近 0；detach 保证梯度只通过学生概率反传。三种门控信号共享同一骨架 $\ell_{SDAR,t} = g_t \cdot (\log \pi_\theta^+(y_t|s_t^+) - \log \pi_\theta(y_t|s_t))$，不同策略可公平对比。
方法步骤详情
方法分四步。第一步：展平多轮 rollout 为 $y=(y_1,\ldots,y_T)$，学生 $s_t=(x,y_{<t})$，教师 $s_t^+=(x,c^+,y_{<t})$，$c^+$ 由 UCB/KM/Full/Random 从 SkillBank 取。第二步 RL：GRPO 采 G 条响应由 verifier reward 算 advantage $A^{(i)}$，按 $\mathcal{L}_{GRPO}$ 公式（带裁剪与 KL 约束）优化。第三步 OPSD：算 detached gap $\Delta_t$，sigmoid $g_t=\sigma(\beta \Delta_t)$ 门控乘到 $-\Delta_t$ 求平均。第四步联合：$\mathcal{L}=\mathcal{L}_{GRPO}+\lambda_{SDAR}\mathcal{L}_{SDAR}$，$\lambda_{SDAR}=0.01,\beta=5.0$，8×H800、150 步。
技术新颖性
技术新颖性主要体现在三方面。其一，不对称门控机制：传统混合方法把 OPSD 信号要么均匀施加（GRPO+OPSD）、要么按启发式 schedule 施加强度（TCOD、Skill-SD），SDAR 用 sigmoid 门加 detached token 级信号实现了数据驱动的自适应课程，且对负 gap 的软抑制比 RLSD 的硬重加权更稳。其二，优化解耦的范式创新：保留 verifier 优势 $A^{(i)}$ 的语义不变性，把所有特权信息限制在辅助目标内，理论上等价于一种 RL 主导加知识辅助的 Bayesian 视角——teacher 充当 prior，gate 充当 likelihood 权重。其三，训练动态的可解释性：Figure 5 显示 gate activation ratio 在前 100 步低于 0.5、之后稳定上升，说明门控自然学到早期压制噪声、后期利用成熟信号的策略，这种自洽性是手工 schedule 难以达到的。
实验结果
Table 1 主结果中，SDAR 在三种规模、三个基准上几乎全部取得 best 或 second-best。Qwen2.5-7B 上 ALFWorld 85.9（vs GRPO 81.2，+4.7）、Search-QA 49.0（+7.0）、WebShop-Acc 82.8（+10.2）；Qwen2.5-3B 上 ALFWorld 84.4（+9.4）。最关键对比是 GRPO+OPSD：Qwen3-1.7B 上 naive 组合 ALFWorld 仅 32.0（远低于 GRPO 46.1），SDAR 取得 53.9，证明门控避免小模型蒸馏崩溃。Table 2 显示 Random Retrieval 仍能 +1.9 提升。Figure 5 揭示训练动态：$\bar{\Delta}$ 始终为负但向 0 收敛，gate activation ratio 从 0.25 升到 0.55。Figure 6–9 消融：Gap gating 优于 entropy/soft-OR，reverse KL 优于 forward KL 与 JSD。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld（Qwen2.5-7B） | 六类任务平均成功率 (%) | 85.9 | GRPO 81.2 | +4.7 |
| Search-QA（Qwen2.5-7B） | NQ/TriviaQA/PopQA/HotpotQA/2Wiki/MuSiQue/Bamboogle 平均 (%) | 49.0 | GRPO 42.0 | +7.0 |
| WebShop（Qwen2.5-7B） | Accuracy on 128 validation tasks (%) | 82.8 | GRPO 72.6 | +10.2 |
| ALFWorld（Qwen2.5-3B） | 六类任务平均成功率 (%) | 84.4 | GRPO 75.0 | +9.4 |
| ALFWorld（Qwen3-1.7B） | 六类任务平均成功率 (%) | 53.9 | GRPO 46.1（GRPO+OPSD 仅 32.0） | +7.8 vs GRPO，+21.9 vs naive 组合 |
| ALFWorld 检索鲁棒性（Qwen2.5-7B） | Random Retrieval 成功率 (%) | 83.1 | w/o OPSD 81.2 | +1.9（仍优于纯 GRPO） |
局限与改进
作者在论文中较少明确声明局限性，但结合方法与实验可以归纳四点。其一，门控形式只用了 sigmoid 与三个简单信号（entropy、gap、soft-OR），更复杂的 token 级信号（如 RLOO 优势、top-k 注意力熵）尚未探索；Figure 6 显示 gap 已是最优，但与 oracle teacher 仍有差距。其二，$\lambda_{SDAR}=0.01$ 与 $\beta=5.0$ 是网格搜索的固定值，没有自适应机制——一旦更换环境或 backbone 需要重调。第三，实验在 8 张 H800、150 步规模下完成，没有验证在更长 horizon（数千步）下 gap 是否仍能稳定收敛到 0。第四，论文假设教师分支仅由 $c^+$（检索技能）增强，并未考虑 $c^+$ 自身可能完全缺失或损坏的极端鲁棒场景；Table 2 的 Random Retrieval 已经部分覆盖，但若 $c^+$ 含对抗性内容，本文未做实验。
独立分析的弱点
独立审视 SDAR 至少存在四个可改进点。第一，gap 信号的方差问题：单样本 $-\widehat{D_{RKL}^{(t)}}$ 是高方差估计，early training 学生策略波动大时 $\Delta_t$ 极端值可能主导门控，建议引入 running mean/std 标准化或与 entropy 信号做 dual gate。第二，$\lambda_{SDAR}$ 全训练阶段恒定，但 Figure 5 显示 $\bar{\Delta}$ 后期才趋近 0，提示应采用 $\lambda(t)$ 课程——例如从 0.005 线性升至 0.02，与 gate 激活率同步。第三，门控仅作用于 OPSD 损失而 RL 优势不变，若 RL advantage 在某些 token 上为负，门控可能让学生学坏；可考虑在 RL loss 侧引入相同 gate 使两者协同。第四，技能检索是外生模块，SkillBank 缺失或任务超出覆盖时无 fallback；可加 learned gate-zero 机制，检测到 $c^+$ 信息量为零时自动关闭 OPSD 通路。
未来方向
作者在结论中暗示了几个方向：把 sigmoid 门控推广到非 token 级别（turn-level、trajectory-level）作为粗粒度对照；与更强的 teacher model（如 self-rewarding LLM）结合时验证门控的可扩展性。从方法本身可以延伸三条路径。其一，理论分析：当前 Appendix A 仅给出 gate 形式的存在性证明，可进一步推导 SDAR 在 KL 约束下的 regret bound 或在 $c^+$ 噪声下的鲁棒性上界。其二，应用拓展：把 SkillBank 替换为 tool-use 文档、API 描述、multimodal context，验证 SDAR 是否仍能在 GUI 智能体、embodied AI 上稳定生效。其三，多模态与 LLM-as-Judge：将 $c^+$ 从文本技能扩展到图像、视频片段或 verifier prompt，配合多模态 LLM 作为教师，研究门控在跨模态 gap 上的行为。
复现评估
作者明确开源代码（https://github.com/ZJU-REAL/SDAR），数据集来自公开 ALFWorld、Search-QA（NQ/HotpotQA 训练集，其余 7 个测试集）、WebShop（1000 训练 + 128 验证任务），SkillBank 沿用 SkillRL 公开资产。算力需求中等：8 张 H800 × 150 步 × 三种模型规模，单次完整实验可在一两天内完成；Qwen2.5-3B 上 batch size 较小（16×8）甚至可压到 4 卡。超参敏感性方面，Figure 7/8 显示 $\beta\in[1,10]$、$\lambda\in[0.001,0.1]$ 区间内表现差异有限，主要失败模式在极端值（$\beta=0$ 无门控、$\lambda=0.1$ 蒸馏主导）。整体复现难度：中等偏低——主要障碍在于复现 GRPO+OPSD 的灾难性基线需要严格控制 KL 与 advantage 计算，建议直接用作者仓库脚本启动 SDAR 训练以避开调参坑。
论文图表
(a) 用示意图展示 SDAR 与 GRPO+OPSD 的关键区别：naive 组合把 OPSD 损失直接加到 RL loss 中，teacher 拒绝信号会无差别降低目标 token 概率；SDAR 则在 OPSD 损失前插入 sigmoid gate，对正 gap token 强化、对负 gap token 软抑制。(b) 柱状图对比 SDAR、GRPO、RLSD、Skill-SD、GRPO+OPSD 在三基准上的总体表现，凸显 SDAR 的稳定领先。
作为 teaser 图，让读者在 5 秒内抓住 SDAR 的核心差异（门控 + 辅助目标解耦）与整体效果定位，是 motivation 章节最直观的入口。
左图：Qwen2.5 系列上，naive multi-turn OPSD 训练中 success rate 从 0.35 跌到接近 0、per-turn KL 飙升到 3.0 附近；右图：RLSD 用 self-divergence 重加权 advantage 时，KL loss 在前 50 步就出现尖峰震荡，且无法收敛。两个子图并列证明 SDAR 要替代的两种失败模式。
支撑 Observation-1（多轮 OPSD 不稳定）和 RLSD 缺陷论证，是 motivation 中为什么需要新方法的关键证据。
三联图：(左) 全部 token 按 gap 值的直方图，负 gap 占比 > 50%；(中) 按 turn step 索引的平均 gap，呈放大趋势，说明多轮 drift 真实存在；(右) 单 turn 内相对位置的 gap 变化，揭示早期失误如何被后续决策放大。
为 Observation-2（特权引导的不对称信任）提供量化证据，直接驱动 gap gating 的设计选择。