Open-MOPD：诊断并修复多教师在线策略蒸馏中的能力失衡 Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation

流水线分三阶段。阶段 I 混合域 SFT：从 SmolLM3-3B-Base 出发，在 OpenR1-Math-93k（93,733 条）、OCR-50k（自 OpenCodeReasoning 采样）、Instruction-Nemotron（820,039 条）上按响应 token 数平衡（约 37/28/35）训练 4 个 epoch，长度上限 32,768，得到 $\pi_{\text{mix}}^{\text{sft}}$（总分 25.67）。阶段 II 领域教师：从 $\pi_{\text{mix}}^{\text{sft}}$ 分别 fork，各自在自己域的可验证奖励上跑 GRPO（math 用 DAPO-Math-17k，code 用去污染的 DeepScaler-24k，IF 用 Nemotron-IF-RL-46k），得 $\pi_{\phi_{\text{math}}}, \pi_{\phi_{\text{code}}}, \pi_{\phi_{\text{IF}}}$，合成的 RouteRL 达 32.35。阶段 III 多教师 OPD：学生同样从 $\pi_{\text{mix}}^{\text{sft}}$ 出发，每个 prompt 按域标签硬路由；学生采样回复，教师一次 prefill 在学生 top-$k$（$k{=}16$）集合 $S_t$ 上缓存 $\log \pi_{\phi_d}$；token 级优势 $\delta_t(v) = \mathrm{sg}[\log \pi_{\phi_d}(v) - \log \pi_\theta(v)]$ 与学生 softmax 权重 $\tilde{\pi}_\theta$ 相乘得 $r_t(v)$，求和为位置奖励 $r_t$ 直接进 PPO。机制一 token-share balancing：令 $w_d^{\text{shared}} = g_d^\star / \mathrm{stok}_d$，使加权份额精确等于 $g_d^\star$，等份额下 IF 权重 32.7、约放大 48 倍。机制二 gap-following：$\tilde{w}_d = w_d^{\text{shared}} \cdot \mathrm{Clamp}[(m_d/m_{\text{ref}})^\alpha,\ 0.05,\ 20]$（$\alpha{=}1$，$m_{\text{ref}}$ 为批内均值），归一化后批内总损失尺度不变，预算流向差距大的域。机制三 reward refresh：第 $k$ 次内更新前用当前学生重算 $\delta_t^{(k)}(v)$ 与 $r_t^{(k)}(v)$，教师项复用缓存，不增加任何前向。评测在六基准上做：AIME24/25 mean@64、LiveCodeBench v5/v6 mean@10、IFEval/IFBench mean@1，先域内平均再三域宏平均。

技术新颖性体现在四处。其一，诊断方法论：作者没有接受"多教师必然冲突"的直觉，而是构造了 $c_t = \max_{d} \log \pi_{\phi_d} - \min_d \log \pi_{\phi_d}$ 这样的直接测量，再用因果干预（冲突掩蔽、共识目标）验证归因，排除了主流假设。其二，预算视角：把多任务 RL/蒸馏的失衡从"数据混合"层面下沉到"梯度 token 体积 × 奖励幅度 × 奖励新鲜度"三层，每层给出可测量的量与专门机制，且三个机制正交、可独立消融。其三，gap-following 的方向选择：朴素的逆归一化 $m_d^{-\alpha}$ 会形成"越收敛越加权"的正反馈——实验中 IF 的 $m_d$ 前 75 步降 35.3 倍、权重从 26.7 飙到 90.7，$\alpha{=}-0.5$ 时训练在 74 步崩溃——本文反其道把预算给差距更大的域，形成负反馈稳定系统。其四，工程上 reward refresh 借鉴 AsyncOPD 的洞察但用于同步流水线的批内 staleness，复用 PPO 本就要做的 actor 前向，几乎零开销。相比之下，权重合并（Task Arithmetic/TIES/DARE）和专家拼接（BTM/BTX/BTS）是在训练后整合，本文则研究训练中如何均衡。

第一，路由假设过强：oracle 标签在真实产品里通常不存在，若换成学习型路由器，错误路由的样本会拿错教师信号，token-share 平衡反而可能放大错信号的权重；改进方向是把路由器与预算机制联合训练，例如对低置信路由样本用教师共识或降低其预算权重。第二，等份额目标缺乏最优性依据：$g^\star=(1/3,1/3,1/3)$ 免调参但未必对齐下游需求，若应用以代码为主，三等分可能过度投资 IF；改进是引入基于验证集或目标分布的自适应 $g^\star$。第三，$\bar{m}_d$ 代理的歧义：它混合了"剩余差距"与"任务固有难度/教师强度"，两个域的教师能力不同时横向比较无意义；改进是改用域内归一化（相对自身初值的衰减率）或直接测量 held-out 验证集上的师生 KL。第四，机制超参的敏感性集中在 gap-following：$\alpha$ 的符号错误立即崩溃说明该机制依赖正确的差距读数，任何使 $\bar{m}_d$ 失真的因素（如奖励分布突变）都可能触发误分配；改进是加保守的速率限制或用自适应方式估计差距。第五，只在 3B/3 域/"响应长度极端分层"的设置下验证，而 25 倍长度差恰是 IF 惨败的结构性原因；若域间长度接近，token-share balancing 的收益可能大幅缩水，方法的价值边界需要划清。

作者明确提出开源配方是为支持可复现的后续研究，可延伸的方向包括：把 oracle 路由换成学习型路由并研究路由误差与预算失衡的交互；将三机制推广到更多教师（DeepSeek-V4 十余个、Kimi K3 九个的规模）与非验证奖励域；把 token-share balancing 从蒸馏推广到混合域 RLVR 本身——"等任务采样不等于等训练"的论断对 RL 同样成立；研究 gap-following 与课程学习的关系（本文证明预算应流向差距大的域，本质上是一种隐式课程）；与异步系统（AsyncOPD）结合处理跨节点的策略滞后；从理论上刻画预算漂移的动力学并给出 $\alpha$、clip 区间的稳定性条件；以及在数据侧与 DoReMi/MoDoMoDo 式混合优化结合，形成 prompt 层 + token 层的双层预算控制。另一个自然方向是把恢复率从 83.4% 推向 100%：残差约 0.9 分可能来自多任务干扰的残余，也可能来自单学生容量上限，值得用容量对照实验（3B vs 7B 学生、固定教师）分离这两种解释。

复现条件在同类工作中属于最优档：作者完整开源端到端后训练流水线、模型检查点、训练轨迹与评测套件，项目页为 bytedtsinghua-sia.github.io/Open-MOPD/，明确以"单节点 8×A100-80GB 可反复消融"为设计约束。数据全部公开：SFT 用 OpenR1-Math-93k、OCR-50k、Instruction-Nemotron，教师 RL 用 DAPO-Math-17k、DeepScaler-24k（LCB 去污染版）、Nemotron-IF-RL-46k；附录给出全部真实运行超参（SFT lr 4e-5 共 4 epoch；GRPO 教师 lr 1e-6，math/code 各 1000 步、IF 3000 步；OPD lr 1.5e-6 共 600 步，$K{=}4$，top-$k{=}16$，nucleus $p{=}0.99$）。难点主要在工程而非算力：需要维护学生 rollout、教师 prefill 缓存、逐域验证的基础设施（基于 verl），完整复现含三个教师训练加蒸馏，单节点估计需要数天量级；逐 token 奖励与 top-$k$ 集合缓存的实现细节需要仔细对照论文公式。综合评价：对有 RLHF 训练经验的团队是中等偏易，对没有此类基础设施的团队门槛主要在训练框架搭建。