方法越多，智能体越好吗？智能体强化学习中自蒸馏方法的现实检验 More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning
统一评测10种自蒸馏方法：增益有限、训练不稳、高成本未必换来高性能
前置知识
GRPO（组相对策略优化）
一种面向可验证结果的在线 RL 算法：对同一任务采样一组轨迹 $\{o_i\}$，用组内奖励归一化得到优势 $\hat{A}_i=(R_i-\mathrm{mean})/\mathrm{std}$，再做 PPO 式裁剪更新。它只依赖任务级最终奖励（outcome reward），不需要价值网络和过程监督，是多轮智能体训练的主流强基线。
本文所有十种自蒸馏方法都与 GRPO 这个 outcome-only 基线在同协议下对比，理解 GRPO 才能明白"额外机制带来了多少真实增益"。
在策略自蒸馏（OPSD）与特权信息
训练时给教师分支提供只有训练阶段才可见的特权信息（如完整环境状态、标准操作序列、检索到的金标准文档），教师对学生自身生成的轨迹给出更稠密的监督；部署时教师分支被丢弃，学生仅凭自身观测行动。这样能缓解稀疏结果奖励下单条轨迹内缺乏引导的问题，同时避免教师-学生状态分布失配。
本文评比的十种方法全部是"如何把特权教师信号接入 RL"的不同方案（辅助损失、优势调制、奖励塑形、验证续写），这是贯穿全文的核心机制。
四类教师信号接入机制
辅助目标：在 GRPO 损失上加蒸馏项，如 Skill-SD、ICSD、PCSD；优势调制：用教师-学生对比改写优势 $\hat{A}_i$，如 RLSD、OCSD、AgentOPSD；奖励/优势塑形：如 ADRS；环境验证教师续写：OVCSD 用环境反馈验证教师补全。机制不同意味着额外计算开销与失败模式不同。
论文按这四类组织方法比较，理解分类才能读懂结果表中各方法差异的来源（性能、稳定性、耗时）。
验证曲线 AUC 与训练稳定性度量
每 5 步在固定任务集上做一次验证，得到验证曲线 $V(t)$；AUC 定义为按训练步数视界 $H$ 归一化的曲线下面积 $\overline{\mathrm{AUC}}=\frac{1}{H}\int_0^{H}V(t)\,dt$，再对 12 个模型-任务设置等权平均。配合"峰值到终值跌幅"与低性能结局统计，能刻画终值分数掩盖的中途崩溃与后期回退。
论文的核心发现之一是"强终值掩盖不稳定训练"，AUC 与跌幅指标正是支撑该结论的定量工具。
研究动机
智能体强化学习中的自蒸馏方法正以平均每两天一篇预印本的速度膨胀，但现有评测根本无法判断这些方法谁强谁弱。论文对十种方法的源论文做了普查（Table 1）：只有 1/10 报告了重复评估（repeated evaluation），使读者无法区分真实改进与有利抽样；只有 5/10 做过训练失败/崩溃分析，强终值背后的中途退化被普遍隐藏；只有 3/10 实测了训练成本，而各方法 rollout 长度和教师前向开销差异巨大。更严重的是，多数工作直接复用早期论文在不同模型、不同任务、不同调参下得到的基线分数（比如 A 在 2B+ALFWorld、B 在 4B+WebShop 各自声称超过基线），把实验条件差异误当成方法学进步。同期方法之间几乎没有直接横向对比，132 次训练级别的复现又因成本高昂而无人愿意做，导致领域里堆叠了大量不可比的正结果，却回答不了"到底该在哪个方法上继续构建"这一基本问题。
本文的目标是作者的目标是暂停"再提一个新方法"，转而建立第一个针对智能体自蒸馏的独立、公平、全维度的系统性基准。具体做法是把十种代表性方法（GRPO+OPSD、SDAR、Skill-SD、RLSD、OCSD、OVCSD、AgentOPSD、ADRS、ICSD、PCSD）与 outcome-only 的 GRPO 基线放在同一评测协议下：四个基准（ALFWorld、ScienceWorld、Search-QA、WebShop）× 三个模型规模（Qwen3.5-2B/4B/9B）共 12 个设置，132 次训练运行、2772 次训练期验证、1152 次评估扫描，8 个 rollout 种子，总计 12124.4 记录在案的 H800 GPU 小时。在此基础上回答三个此前文献缺失的问题：(i) 相对 GRPO 的增益到底有多广？(ii) 训练过程是否稳定？(iii) 额外计算开销是否换来了相应回报？
与已有工作不同的是，本文最独特的切入角度是立场：作者明确选择"独立评测优先于提出新方法"，这在方法论文井喷的子领域里相当罕见。技术上的差异化体现在三点。第一，所有对比都在共享环境与评估流程下从头复现，而不是抄别人论文里的基线数字，消除了训练/评估条件差异造成的伪增益。第二，同时保留各源论文的方法特定超参（尊重每个方法的最佳形态），又统一模型-任务设置，是"公平"而非"粗暴统一"的比较设计。第三，把评估可靠性本身作为一等公民：重复评估（8 种子、报告均值±样本标准差）、验证曲线 AUC、峰值到终值跌幅、实测 wall-clock 训练时间全部纳入，直接补上 Table 1 揭示的 1/10、5/10、3/10 三块证据缺口，让"某个设置赢了"不再能代表一切。
核心方法
基准以 outcome-only 的 GRPO 为参照系，其目标为 $\mathcal{J}_{\mathrm{GRPO}}(\theta)=\mathbb{E}\big[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|o_i|}\sum_t \min(r_{i,t}\hat{A}_i,\ \mathrm{clip}(r_{i,t},1\pm\epsilon)\hat{A}_i)\big]$，优势 $\hat{A}_i$ 由组内奖励归一化得到。十种自蒸馏方法按教师信号接入方式分四类挂在同一骨干上：五种加辅助蒸馏目标（GRPO+OPSD、SDAR、Skill-SD、ICSD、PCSD），三种用特权信号调制优势（RLSD、OCSD、AgentOPSD），ADRS 塑形奖励与优势，OVCSD 注入环境验证过的教师续写。所有方法部署时都去掉特权教师上下文，只评学生。每个方法在每个模型-任务设置训练 100 个全局步，每 5 步验证一次；最终 11 个训练模型与预训练骨干都在 $T=0.4$、8 个 rollout 种子下评估，报告均值±标准差，12 个设置等权汇总。
核心思想是把"一次公平比较"拆成三个正交维度同时考察，而不是只比终值。第一维是增益广度：不只问"有没有在某个设置上赢"，而是统计 12 设置的均值、胜负次数和回归幅度，因为论文发现胜负计数会掩盖灾难性崩溃（如 ICSD 赢 7/12 但 4B WebShop 掉到 0.00%）。第二维是训练过程：用按视界归一化的验证 AUC $\overline{\mathrm{AUC}}=\frac{1}{H}\int_0^H V(t)dt$ 加峰值-终值跌幅，暴露终值无法反映的中途崩溃与后期回退。第三维是实测成本：每个 run 用 8 卡，记录净训练时间，并做时间预算分析——把 GRPO 的训练时间作为预算，看各方法在该预算内能达到的最新验证分数，检验固定步数下的优势在等算力下是否还存在。这一设计与以往"报一个最高分"的评测范式有本质区别。
方法步骤详情
第一步，确定任务与骨干：ALFWorld 评 140 个家庭任务游戏报成功率；ScienceWorld 评 Measure、Test-Cond.、Find、Chem-Mix、Lifespan 五类共 200 个任务报任务分；WebShop 评固定 128 个购物目标报任务分与成功率；Search-QA 取固定 seed-0 子集共 3125 题并做答案归一化后算精确匹配率。与 Qwen3.5-2B/4B/9B 组成 12 个设置。第二步，训练：每方法每设置训练 100 全局步，每 5 步在固定验证任务集上评估一次，共 2772 次验证扫描；超参参考各源论文与开源实现，方法特定但设置共享。第三步，终评：全部 11 个训练模型加预训练骨干在 $T=0.4$ 下跑 8 个 rollout 种子，共 1152 次评估扫描，报告均值±样本标准差。第四步，稳定性分析：计算各验证曲线 AUC（12 设置等权平均）、峰值到终值跌幅、低性能结局。第五步，成本分析：记录每次运行净训练时间（120 组与 GRPO 的配对比较），再做时间预算内选点对比。全部写入开源仓库与项目主页。
技术新颖性
技术新颖性在于它是该方向第一个把"比较基础设施"本身做严的横向基准。此前该领域每个新方法论文都自带一个"我 vs 老基线"的实验，但基线分数往往抄自别的论文（不同模型、调参、评估协议），同期方法互相之间零对比，也没有人把训练稳定性曲线和真实 GPU 开销并排展示。本文第一个对十种同期方法做同协议复现（132 runs、12124.4 H800 GPU 小时的投入本身就是稀缺证据），第一个系统证明"胜负次数"是误导性指标（ICSD 7/12 胜但均值 44.75 低于 GRPO 的 49.68），第一个用时间预算分析揭示固定步数优势的不可迁移性（AgentOPSD 在 ALFWorld 上 68.10% 的步数 100 成绩在 GRPO 预算内只剩 37.63%）。把 AUC 与峰值-终值跌幅引入智能体 RL 方法比较也是方法论贡献。
实验结果
发现一：增益范围有限，无方法全面超越 GRPO。12 设置等权均值上只有 PCSD（54.26，+4.58 分）和 AgentOPSD（51.34，+1.66）超过 GRPO 的 49.68，其余八种方法全部低于基线；均值最高的 PCSD 甚至没赢任何单一设置（对 GRPO 胜 6、负 5、平 1）。领先者完全依赖任务与规模：ALFWorld 三个规模的冠军分别是 Skill-SD（2B，74.29% vs GRPO 28.48%）、RLSD（4B，84.38%）、ICSD（9B，89.64%）；WebShop 三规模全被 GRPO+OPSD 领先（成功率 77.05/77.15/74.90%）；Search-QA 由 ICSD（2B/4B）和 OCSD（9B 48.16%）领先；ScienceWorld 的 2B/4B 冠军是 OVCSD（13.85）和 OCSD（41.77），9B 则是 GRPO 自己（58.99）。发现二：强终值掩盖不稳定训练。AgentOPSD 在 4B ALFWorld 第 35 步达 60.0%，第 45–70 步六次评估全不超过 4.3%，第 100 步才恢复到 79.3%；GRPO+OPSD 同设置从第 20 步 39.3% 跌到第 25–40 步归零、终值仅 2.1%。12 设置中共 9 个 run 终值比峰值低至少 20 分（OCSD 4B ALFWorld 85.0%→51.4%，ICSD 9B ScienceWorld 55.23→18.77）。按 AUC 排序 OCSD 第一（39.88），PCSD 终值第一但 AUC 仅 38.45，AgentOPSD 终值第二而 AUC 34.41 排第九、低于 GRPO 的 36.89。发现三：额外成本不保证回报。与 GRPO 的 120 组配对比较中 112 组净训练时间更长，其中 58 组性能反而更低、7 组打平；PCSD 与 AgentOPSD 的平均配对时间比分别为 1.17 和 1.19。以 GRPO 训练时间为预算时优势还会逆转：AgentOPSD 在 ALFWorld 从 68.10% 掉到预算内 37.63%（GRPO 58.10%），PCSD 在 WebShop 从 73.17% 掉到 63.83%（GRPO 68.20%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 12 个模型-任务设置等权汇总（4 基准 × Qwen3.5 2B/4B/9B） | 8 种子平均终值（各基准主指标） | PCSD 54.26（最佳），AgentOPSD 51.34 次之 | GRPO 49.68 | +4.58 / +1.66 分，其余 8 种方法均低于基线 |
| ALFWorld（2B，140 游戏） | 成功率 (%) | Skill-SD 74.29（该规模冠军），PCSD 72.32 次之 | GRPO 28.48 | +45.81 分（但 GRPO+OPSD、SDAR、ADRS 同设置反而低于预训练基线 7.32） |
| ALFWorld（4B / 9B） | 成功率 (%) | RLSD 84.38（4B），ICSD 89.64（9B） | GRPO 82.05（4B）/ 62.68（9B） | +2.33 / +26.96 分；GRPO+OPSD 在 4B 崩溃至 1.52% |
| ScienceWorld（200 任务） | 任务分 | 2B: OVCSD 13.85；4B: OCSD 41.77；9B: GRPO 自身 58.99 最佳（PCSD 58.60） | GRPO 0.83（2B）/ 32.16（4B）/ 58.99（9B） | 2B/4B 增益显著，9B 上没有任何替代方法超过 GRPO |
| Search-QA（3125 题） | 精确匹配 EM (%) | ICSD 39.39（2B）、45.87（4B），OCSD 48.16（9B） | GRPO 32.38 / 45.15 / 46.59 | +7.01 / +0.72 / +1.57 分；OCSD、ADRS 在 2B 几乎不学（12.96/14.10 vs 预训练 14.19） |
| WebShop（128 购物目标） | 成功率 (%) | GRPO+OPSD 77.05 / 77.15 / 74.90 三个规模全领先 | GRPO 70.80 / 66.02 / 70.02 | 约 +6.3 / +11.1 / +4.9 分；但 Skill-SD 在 4B/9B、ICSD 在 4B、RLSD 在 9B 均崩溃为 0.00% |
| 时间预算约束分析（GRPO 净训练时间为预算） | 预算内可达成功率 (%) | AgentOPSD ALFWorld 均值 37.63（步数 100 时为 68.10）；PCSD WebShop 均值 63.83（步数 100 时为 73.17） | GRPO 58.10（ALFWorld）/ 68.20（WebShop） | -20.47 / -4.37：等算力下优势逆转为劣势 |
局限与改进
作者明确承认：受算力与时间限制只覆盖十种代表方法，无法穷举每两天一篇的快速增长文献，结论的普适性有待扩充方法后验证。我自己的观察还有四点。第一，每个设置只训练一次（132 runs = 11 方法 × 12 设置），训练种子的随机性没有被覆盖——论文自己在引言里强调重复评估的重要性，却只在评估端做了 8 种子重复，方法间差异中可能混有训练侧噪声。第二，统一 100 全局步的预算对慢热方法可能系统性不利，而时间预算分析部分弥补了这一点但不能完全消除步数截断的影响。第三，骨干只有 Qwen3.5 家族，结论对 Llama、Mistral 等其他模型系是否成立未知；Search-QA 上步数 100 验证与重复终评存在差异（附录 F.2 专门讨论），说明单点评测的代表性有限。第四，超参沿用源论文设置，某些方法在某些任务上可能欠调优，"方法差"与"实现差"仍难完全解耦。
独立分析的弱点
弱点一：训练侧单种子。每设置只训一次意味着无法给出"训练层面"的置信区间，像 Skill-SD 在 4B WebShop 恰好崩溃到 0.00% 这种灾难事件到底是方法固有缺陷还是运气问题，无法判断；改进方向是对关键设置做 3–5 个训练种子重复，或至少对崩溃案例做多.seed 复跑。弱点二：100 步固定预算与验证每 5 步的粒度可能错过更细粒度的崩溃-恢复动态，且对需要更长预热的特权蒸馏方法不利；改进方向是按"计算量"而非"步数"对齐横轴重新绘制 Figure 2。弱点三：成本口径只有净 wall-clock 训练时间，未拆分 rollout、教师前向、反向更新的占比（细节在附录 G.2），也没有报告显存峰值，这会影响不同硬件条件下的外推；改进方向是公布逐阶段耗时分解的原始数据并给出吞吐归一化指标。弱点四：特权信息的具体形态（金标准轨迹、完整状态、检索文档）在各任务上不同，四类机制的失败原因（监督不一致、特权偏置）尚未与具体崩溃案例逐一对应，论文只在附录 F.5 做了解码失败诊断；改进方向是建立"机制 × 失败模式"的因果归因实验。
未来方向
作者提出的方向：把基准扩展到更多方法与更多模型家族，使"设置依赖的增益、训练不稳定、性能-成本权衡"这些模式的适用边界更清晰；号召社区把系统性评估与算法创新放在同等重要的位置。基于本文成果可以自然延伸的方向：其一，用本文框架做多种子训练重复，给出带置信区间的方法排行榜；其二，研究后期回退（如 ICSD 在 9B ScienceWorld 从 55.23 跌到 18.77）的机理，设计 checkpoint 选择或早期停止策略，把"峰值可达"变成"终值可靠"；其三，把时间预算分析发展成成本感知的标准报告协议（同时报告固定步数与固定算力两条曲线）；其四，针对 2B ScienceWorld 上八种方法验证曲线重叠、长期停滞的现象，研究小模型在稀疏奖励探索上的共性瓶颈；其五，将基准做成持续更新的在线榜单，随新方法发布滚动纳入，避免本文快照式评测再次过时。
复现评估
复现条件相当透明。代码在 GitHub（github.com/aim-uofa/Self-Distillation-AgentRL），项目页同步公开；四个环境 ALFWorld、ScienceWorld、WebShop 与检索问答数据集（NQ/TriviaQA/PopQA/HotpotQA/2Wiki/MuSiQue 各 500 题 + Bamboogle 125 题，固定 seed-0 子集）全部公开，模型为开源 Qwen3.5-2B/4B/9B，每次运行 8 张 GPU。难度分层明显：复现单方法单设置约需数小时到 24 小时（WebShop 约 2.5–10 小时量级，ALFWorld 最长约 24 小时），单个研究者用一台 8 卡机做局部消融完全可行；但全量复现 132 次训练需要约 12124.4 H800 GPU 小时，相当于单台 8 卡 H800 连续跑约两个月，只有团队级资源能承受。附录给出超参（C.1/C.3）、评估协议（C.4）、逐 run 耗时与 GPU 时分解（G.1/G.2）和实验记录（C.5），属于可复现性做得相当认真的基准工作。
论文图表
左右对照图。左侧"现有研究的局限"：Study A–D 各自在不同模型（2B/4B/9B）、不同任务、不同训练预算与评估条件下声称超过基线，基线分数在论文间被复用；普查显示 1/10 报告重复评估、5/10 有训练失败分析、3/10 有实测成本。右侧"统一基准"：11 个方法（GRPO 基线 + 10 个代表方法）在 4 个基准、3 个模型规模上一起评估，共 132 次训练运行、12124.4 H800 GPU 小时，引出三条关键发现：增益依赖设置、终值掩盖不稳定、成本高不等于效果好。
一图读懂论文动机、实验规模与三大结论的全貌，是论文的路线图。