RetireOPD：面向智能体强化学习的自退役在线策略蒸馏 RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning
先独立练强技能教师，学生出师后在线判定并自动“退役”教师
前置知识
RLVR（可验证奖励的强化学习）
用环境或规则可自动验证的结果（任务是否完成、答案是否正确）作为奖励来训练 LLM 的范式。在多轮智能体任务中，一条完整交互轨迹 $ au=(x,y)$ 结束时才给出一个标量奖励 $R(\tau)$，中间每一步动作没有直接监督，导致长交互中的信用分配非常困难。
本文的问题起点就是 RLVR 的奖励稀疏性，RetireOPD 中的 OPD 部分正是为了给 token 级决策补上稠密监督。
GRPO（组相对策略优化）
DeepSeek 提出的策略梯度算法：对同一任务采样一组 $G$ 条轨迹，用组内均值和标准差把奖励归一化成相对优势 $\hat{A}^{(i)}$，再用带 clip 的 PPO 式目标更新策略，无需价值网络。是当前 LLM RL 训练的主流基线。
RetireOPD 的联合损失由 GRPO 和 OPD 两项组成，教师构建阶段也用 GRPO 训练，看懂公式 (1)(3)(4) 需要先理解它。
在线策略蒸馏（OPD）与反向 KL
蒸馏时学生在自己采样的轨迹上训练，教师对每个 token 给出分布，用反向 KL $D_{KL}(\pi_\theta\|\pi_T)$ 拉近两个分布，属于 mode-seeking 的对齐。实践中用采样 token 的对数概率差 $\Delta_t$ 做单样本蒙特卡洛估计，避免全词表求和的开销。
OPD 损失是联合目标 $\mathcal{L}_{student}=\mathcal{L}_{GRPO}+\lambda\mathcal{L}_{OPD}$ 的一半，退役时被移除的正是这一项。
特权信息自蒸馏（OPSD）
没有更强教师时，让同一个模型在训练期额外读到特权上下文（参考答案、检索到的技能 $c^+$ 等），把带上下文的分支当教师，蒸馏给不带上下文的分支，使技能内化进参数、推理时无需再提供上下文。教师与学生是同一共享策略的两个条件化分支。
本文批判的对象正是 OPSD：共享参数从未被训练去利用特权上下文，技能分支未必更强，这也是 RetireOPD 坚持先独立训练教师的原因。
退火与两阶段课程
处理“蒸馏与 RL 信号冲突”的既有手段：退火方法按预设日程逐渐衰减蒸馏权重 $\lambda$，两阶段方法在预定步数从蒸馏切换到纯 RL。共同点是转换时机在训练开始前就定死，不观察训练实际进展。
RetireOPD 的“自适应退役”与它们形成直接对照——由师生差距停滞和学生相对能力在线决定时机，实验显示最佳退役步在 step 50–95 间漂移，固定日程必然失配。
研究动机
多轮智能体用 RLVR 训练时，每条轨迹只拿到一个标量的结果奖励，长交互中的中间决策完全没有监督。为此社区普遍引入在线策略蒸馏（OPD）：让同一个模型在训练期额外读到特权上下文（如检索到的任务技能），充当“技能教师”，把稠密的 token 级监督蒸馏给无技能的学生。作者指出这套范式建立在两个未经检验的假设上，并在 ALFWorld 和 WebShop 上实测证明两者都不成立。其一，特权信息并不能自动造就可靠教师：GRPO+OPSD 中技能条件化分支并不总是强于它所监督的学生，因为共享参数主要由无技能的学生目标优化，策略从未学过如何利用技能；未显式优化的 3B/7B 教师在 ALFWorld 上成功率仅 28.9%/23.4%，7B 模型加技能提示（Skill-Prompt）也只有 23.4%。其二，教师监督的收益是阶段性的：GRPO+OPD 里师生差距先缩小、在 step 50–90 之间触底后重新拉大，此后继续贴合教师会把学生压制在教师的天花板（不退役只有 82.8%，退役后达 92.2%）。“向谁学”靠假设、“学到什么时候”靠固定日程，现有方法两头都不对。
本文的目标是本文的目标是把“学生该向谁学、学到什么时候”的答案写进训练算法本身：把特权技能真正内化进一个推理时不需要任何技能输入的学生，同时让教师在不再有用时自动“退役”。具体拆成三件事：第一，显式地用环境奖励把技能条件化教师训练到可靠可用，把信息优势转化为行为优势；第二，用 GRPO 与 OPD 联合训练无技能学生，早期兼得 RL 的任务优化与蒸馏的稠密监督；第三，在线监控“师生差距是否停止缩小”与“学生成功率是否达到教师的设定比例”两个信号，一旦同时满足就移除 OPD，改用纯 GRPO 继续训练，同时省掉教师前向开销。作者希望在 ALFWorld 与 WebShop 上、Qwen2.5-1.5B/3B/7B 三个规模上同时超过 RL、蒸馏与混合基线，并且超过教师本身。
与已有工作不同的是，已有工作处理“教师何时退出”的方式都是在训练前定死：退火类方法按预设日程衰减蒸馏权重，两阶段方法在预定步数切换到 RL，都不观察教师此刻是否还有用；已有的在线决策只存在于更细的粒度——per-prompt（仅对全失败的 prompt 蒸馏）或 per-token（门控教师信号），且从不彻底移除教师。而教师可靠性本身更少被关注：主流 OPSD/SDAR 把教师作为共享策略的技能条件化上下文，参数从未被训练过去利用特权信息。本文的独特切入有二：一是把教师从学生中解耦出来、先用环境奖励训好再蒸馏；二是在全局层面依据训练信号本身（差距停滞 + 相对能力）在线决定永久性转换时机。实测最佳退役步在不同模型与任务间从 step 50 漂移到 90，任何固定日程都必然顾此失彼，这正是在线决策的价值所在。
核心方法
直觉上，RetireOPD 把“向老师学”设计成脚手架：老师要先有真本事，学生学会后脚手架就拆掉。技术路线分三阶段。第一阶段教师构建：教师 $\pi_\phi$ 与学生 $\pi_\theta$ 从同一基座初始化，教师额外读到特权技能上下文 $c^+$，用 GRPO 以环境奖励优化 $\phi^*=\arg\max_\phi \mathbb{E}_{x,\tau\sim\pi_\phi(\cdot|x,c^+)}[R(\tau)]$ 后冻结为 $\pi_T$。第二阶段联合训练：学生在自己采样的轨迹上以 $\mathcal{L}_{student}(\theta)=\mathcal{L}_{GRPO}(\theta)+\lambda\mathcal{L}_{OPD}(\theta)$（$\lambda=0.01$）联合优化，蒸馏用反向 KL 的单样本蒙特卡洛近似。第三阶段自适应退役：把训练切成监控窗口，当对齐进度停滞（$\rho_m\ge\delta$）且学生相对能力达标（$\eta_m\ge\gamma$）时移除 OPD，仅用 GRPO 训练到底。在 Qwen2.5-1.5B/3B/7B 上，ALFWorld 成功率较 GRPO 提升 14.1–18.8 个点，WebShop 提升 11.8–19.0 个点，且所有设置都超过教师本身。
核心创新是“自适应退役”准则与“先训教师”两个正交改动。已有方法的转换时机是超参或日程，本文的关键观察（附录 A 的一阶分析）是：师生差距 $K_n$ 停滞在数学上意味着两个目标的局部梯度方向相反——学生内化了技能诱导的行为之后，奖励优化开始偏向教师不会选的动作，继续匹配教师只会把学生钉在教师的能力上限。因此退役条件由两个互补信号组成：$\rho_m=(\bar{K}_m-\bar{K}_{m-1})/\bar{K}_m$ 捕捉“对齐进度是否停滞”，$\eta_m=(\mathrm{SR}_m+\mathrm{SR}_{m-1})/(2\,\mathrm{SR}_T)$ 捕捉“学生是否已具备教师的足够能力”，二者同时满足才退役，避免学生还弱时因瞬时波动过早摘除脚手架（教师成功率 $\mathrm{SR}_T$ 用技能上下文在验证集上测得）。与退火方法的本质区别在于：退役与否由训练动力学的读数决定，而不是由日历决定；且这是全局的永久性转换，而非逐 token 的门控。
方法步骤详情
第一步，教师构建。输入任务 $x\sim\mathcal{D}$ 与检索技能 $c^+$（ALFWorld/WebShop 均用 SkillRL 的 SkillBank 与关键词匹配），教师与学生同架构同初始化；教师以 $(x,c^+)$ 为输入用 GRPO 训练并冻结，3B/7B 教师从 28.9%/23.4% 提升到 79.7%/90.6%。第二步，联合 GRPO-OPD。学生看不到 $c^+$：GRPO 对每组 $G$ 条轨迹按组相对优势 $\hat{A}^{(i)}$ 取 clip 目标；OPD 在学生生成的轨迹前缀上比较 $\pi_\theta(\cdot|x,y_{<t})$ 与 $\pi_T(\cdot|x,c^+,y_{<t})$，用采样 token 近似反向 KL：$\Delta_t=\log\pi_T(y_t|x,c^+,y_{<t})-\log\pi_\theta(y_t|x,y_{<t})$，免去全词表求和。第三步，自适应退役。每 $H=5$ 个评估步、从第 2 个监控窗口起，先算步级对齐进度 $K_n$ 与窗口均值 $\bar{K}_m$，再得 $\rho_m=(\bar{K}_m-\bar{K}_{m-1})/\bar{K}_m$ 与 $\eta_m=(\mathrm{SR}_m+\mathrm{SR}_{m-1})/(2\mathrm{SR}_T)$；首个满足 $m^*=\inf\{m\ge2:\rho_m\ge\delta\wedge\eta_m\ge\gamma\}$（默认 $\gamma=0.9,\delta=0$）的窗口即移除 OPD，此后纯 GRPO 训练，教师不再参与前向。
技术新颖性
新颖性体现在四个层面。其一，教师解耦与显式优化：主流 OPSD/SDAR 把教师作为共享策略的技能条件化上下文，参数只被学生目标更新，本文证明这正是教师不可靠的根源，改为独立用 GRPO 训练教师，是“教会教师用工具再让它教学”的思路转变。其二，全局在线退役：现有信号驱动方法只做 per-token 门控或 per-prompt 选择，从不移除教师，本文首次在全局层面依据训练信号做永久性转换，退役后还省掉教师前向的计算开销。其三，双信号互补设计：Table 2 显示只用对齐停滞或只用相对能力各得 89.0%，合并达 92.2%，说明“学不动了”与“学够了”需要分开验证，防止单一信号被瞬时波动误导。其四，鲁棒性而非精确性：Figure 7 表明 $\gamma\in[0.80,0.96]$、$\delta\in[-0.10,0.04]$ 内退役步仅漂移 ±5 步，成功率为 89.1%–92.2%，且性能与退役步不存在单调关系，这使方法免于精细调参，与线性退火的对比（Figure 6）进一步说明固定日程在后期必然受限。
实验结果
主结果（Table 1）：ALFWorld 平均成功率上，RetireOPD 在 Qwen2.5-1.5B/3B/7B 分别达 89.8%/93.8%/95.3%，较 GRPO 的 72.8%/75.0%/81.2% 提升 17.0/18.8/14.1 个点；WebShop 准确率达 75.8%/77.3%/84.4%，较 GRPO 的 56.8%/63.3%/72.6% 提升 19.0/14.0/11.8 个点；六个设置全部超过 GiGPO、从不退役的 GRPO+OPD（3B 82.8%）与 GRPO+OPSD，并超过自己的技能教师（3B：学生 93.8%/77.3% vs 教师 79.7%/64.8%）。训练动态（Figure 4）：从退役点 76.6% 出发，转纯 GRPO 一路升至 93.8%，继续联合训练平台化，改回 OPD 反而不升反降，直接验证蒸馏与奖励优化的后期冲突。教师构建消融（Figure 5）：未优化教师仅 28.9%/23.4%，优化后 79.7%/90.6%；无退役时学生强依赖教师质量（Skill-7B 带出 89.8% vs Skill-3B 82.8%），有退役时差距消失（91.4% vs 92.2%）。退役准则消融（Table 2）：完整方法 92.2%（step 60），单一信号各 89.0%，不退役 82.8%，纯 GRPO 75.0%。敏感性（Table 3、Figure 7）：阈值变化使退役步在 55–95 间漂移，成功率稳定在 89.1%–92.2%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld（Qwen2.5-3B） | 平均成功率 (%) | 93.8 | GRPO 75.0；GiGPO 92.2；GRPO+OPD 82.8；技能教师 Skill-GRPO 79.7 | 较 GRPO +18.8 个点，超过教师 14.1 个点 |
| ALFWorld（Qwen2.5-1.5B） | 平均成功率 (%) | 89.8 | GRPO 72.8；GiGPO 86.7；GRPO+OPD 87.5 | 较 GRPO +17.0 个点 |
| ALFWorld（Qwen2.5-7B） | 平均成功率 (%) | 95.3 | GRPO 81.2；GiGPO 90.8；GRPO+OPD 92.2 | 较 GRPO +14.1 个点 |
| WebShop（Qwen2.5-1.5B） | 准确率 (%) | 75.8 | GRPO 56.8；GiGPO 65.0；GRPO+OPD 69.9 | 较 GRPO +19.0 个点 |
| WebShop（Qwen2.5-3B） | 准确率 (%) | 77.3 | GRPO 63.3；GiGPO 69.5；技能教师 Skill-GRPO 64.8 | 较 GRPO +14.0 个点，超过教师 12.5 个点 |
| WebShop（Qwen2.5-7B） | 准确率 (%) | 84.4 | GRPO 72.6；GiGPO 72.8；GRPO+OPD 81.2 | 较 GRPO +11.8 个点 |
局限与改进
作者承认的局限较为含蓄，但可从实验设置推断：验证仅限 ALFWorld 与 WebShop 两个文本交互环境，未涉及代码生成、工具调用等更长程的智能体任务；特权技能完全依赖 SkillRL 的 SkillBank 与关键词匹配检索，检索质量直接决定教师上限；监控频率 $H=5$、窗口长度 $W$、起始窗口 $m\ge2$ 等仍是经验设定。我的补充观察：其一，教师需要独立的 GRPO 训练阶段，训练期算力与显存接近翻倍，论文未报告教师训练的预算；其二，$\eta_m$ 依赖学生/教师成功率的窗口估计，在奖励更稀疏或任务方差更大的环境里噪声可能很大，$\delta=0$ 的停滞判定也可能被随机波动误触发，双窗口平滑只是部分缓解；其三，$\gamma=0.9$ 意味着退役时学生已被约束到接近教师的水平，若教师天花板本身较低，早期的“对齐税”仍然存在；其四，理论支持只有附录 A 的一阶分析，“差距停滞意味着梯度对立”的反向推断并非严格充分条件，退役后差距反弹与性能提升的因果关系主要靠 Figure 4 的实证支撑。
独立分析的弱点
第一个弱点是对技能库的硬依赖：SkillBank 覆盖不到的任务会同时卡住教师与学生的上限，改进方向是把固定技能检索换成可自我扩充的形式，例如用 hindsight relabeling 在线把成功轨迹改写成新技能。第二个弱点是退役信号依赖可观测的成功率：在奖励高度稀疏或评测昂贵的环境（如真实网页、软件工程任务）中，$\mathrm{SR}$ 的窗口估计方差大，可能导致退役步漂移；改进方向是用指数滑动平均或置信区间代替双窗口平均，或在 $\bar{K}_m$ 触发时附加最小训练步数约束。第三个弱点是“全局二值退役”：所有任务、所有技能同时退役，但不同子任务的技能内化速度不同（Table 1 中 3B 模型 Heat 子任务仅 85.7% 而 Clean 达 100%），可探索任务级或技能级的分批退役，甚至软退役（在线衰减 $\lambda$ 而非清零）。第四个弱点是泛化性未验证：只测了 Qwen2.5 系列与两个环境，Llama 等异构基座、更大模型或 SWE-bench/OSWorld 类长程任务上的表现未知；改进方向是在这些设置上复现 Figure 2 的训练动力学，检验“差距触底”信号是否仍然清晰可读。
未来方向
作者在结论中把“从训练信号本身读出转换时机”定位为一般原则，未来可沿几个方向延伸。方法层面：把退役准则推广到推理蒸馏、长思维链蒸馏等非智能体场景；探索多教师竞争下的“谁先退役”；将二值退役推广为对 $\lambda$ 的在线控制，与退火方法统一成一个谱系；在教师侧引入课程机制，边训边教而非先训完再教。理论层面：把附录 A 的一阶分析升级为对“差距停滞 $\Leftrightarrow$ 梯度冲突”的更严格刻画，并给 $\rho_m$ 设计统计显著性检验以替代经验阈值 $\delta$。应用层面：把该原则搬到 SWE-bench、OSWorld 等长程任务，以及多智能体协作中“专家智能体退役”的时机选择；退役后省下的教师前向算力可反过来扩大 rollout 数量，形成自适应算力分配的闭环。
复现评估
复现条件较好：代码已开源（github.com/ZJU-REAL/SDAR），基座为公开的 Qwen2.5-1.5B/3B/7B-Instruct，ALFWorld/WebShop 是标准开源基准，特权技能来自 SkillRL 的 SkillBank 并用默认关键词匹配，正文给出了全部关键超参（$\lambda=0.01$、$\gamma=0.9$、$\delta=0$、$H=5$、$m\ge2$、评估间隔 $H=5$ 步），退役步约在 step 50–95，训练约 150–200 步。算力方面：教师与学生同容量，训练期需要同时维护两份模型加上 GRPO 的 $G$ 条 rollout，7B 配置估计需要多卡 A100 级别，但论文未给出具体 GPU 数量与训练时长，这是复现的主要不确定项。难度评估：RL 训练基建本身调参敏感，但方法对退役阈值高度鲁棒（默认设置 ±5 步内），主要工程成本在环境并行与多卡 GRPO 训练框架上；对有 verl/OpenRLHF 经验的团队属于中等难度，从零搭建则偏高。
论文图表
概念总览图，三个面板：左图说明 GRPO 与教师引导在训练早期方向一致、后期发散，继续匹配教师会变成束缚；中图对比 GRPO 的稀疏任务级监督与 OPD 的稠密但受制于教师的监督；右图展示 RetireOPD 早期两者兼用、在冲突点退役教师并最终超越教师。
一图看懂论文的问题定位与方法承诺，是全文叙事的缩略图，读者可先建立整体框架再深入细节。
3B 模型在 ALFWorld 上的三幅训练曲线：左图显示 GRPO+OPSD 中技能教师分支并不稳定强于学生分支（起步慢、上限低）；中图显示 GRPO 起步慢、纯 OPD 天花板低、GRPO+OPD 兼得“快启动 + 高上限”；右图显示师生差距先缩小后反弹，且联合训练下反弹更明显。
这是论文两个核心实证发现（特权教师不可靠、教师监督收益阶段性）的直接证据，支撑了引言中对现有范式两个假设的否定。