超越教师分配：域归一化的多教师在线策略蒸馏 Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation
按各域反馈方差缩放多教师蒸馏优势，找回被淹没的数学增益
前置知识
在线策略蒸馏（OPD）
学生模型先自己对提示采样回答，教师再对学生的每个 token 给出对数概率，形成逐 token 的密集监督。与 SeqKD 等离线蒸馏在教师固定语料上训练不同，在线策略蒸馏直接修正学生自身分布上的行为，缓解训练-推理失配。MiniLLM 用反向 KL，GKD 支持多种散度，OPD 系列则以教师与学生的对数概率差作为优势信号。
DN-MOPD 是在多教师 OPD 之上加一步尺度归一化，不理解 token 级反馈机制就无法理解论文所说的'反馈强度'指什么。
多教师 MOPD 与域标签路由
把同一初始模型复制四份：三份分别用数学、代码、指令遵循（IF）数据的强化学习训成专家，第四份做共享学生。每条训练提示带域标签 $d \in \{\mathrm{math}, \mathrm{code}, \mathrm{IF}\}$，路由规则决定由哪个专家给学生在该提示下采样出的回答逐 token 打分。MOPD 已被多个前沿模型的后训练采用。
论文的核心论点是：路由只决定'谁来教'，不决定'教多大声'，这是整篇文章的问题起点。
蒸馏优势 $A_t$
对学生在位置 $t$ 采样的 token，优势定义为 $A_t = \log p_{T_d}(y_t|h_t) - \log \pi_u(y_t|h_t)$，即教师与学生对同一 token 的对数概率之差。正值鼓励该 token、负值抑制，绝对值决定它在策略梯度中的权重。Label 路由直接使用 $A_t$，各域不加任何缩放。
DN-MOPD 的全部改动都作用在这个标量上：先测每个域 $A_t$ 分布的宽度，再乘以有界乘子 $w_d$。
裁剪的策略比率损失
学生更新沿用 PPO 风格的裁剪目标：$\mathcal{L}_{i,t}(\theta) = -\min\{\rho_{i,t}(\theta)\tilde{A}_{i,t},\ \mathrm{clip}(\rho_{i,t}(\theta), 1-\eta_-, 1+\eta_+)\tilde{A}_{i,t}\}$，其中 $\rho$ 是新旧策略的概率比，$\tilde{A}$ 以 stopgrad 方式作为常数权重进入损失。裁剪防止单步更新过大，同时保留优势的符号。
缩放后的优势正是通过 stopgrad 进入这个损失的，看懂这一步才能理解 Algorithm 1 第 11-12 行以及为何乘子不影响梯度回传路径。
标准差归一化与跨域梯度竞争
对每个 batch 分别计算全池总体标准差 $\sigma_{all}$ 和各域标准差 $\sigma_d$，乘子 $w_d = \mathrm{clip}(\sigma_{all}/\sigma_d, 0.25, 4)$ 把各域反馈拉向共同尺度。由于三个域共享同一份学生参数，梯度按域相加：方差大的域即使提示数量相同也会主导更新方向。这与多任务学习按梯度范数加权、PopArt 归一化价值目标的思想同源。
论文的核心经验发现——IF 反馈离散度是全池的 2.3-4.4 倍、占初始 4B 学生合并梯度的 94%——只有放在梯度竞争框架下才解释得通。
研究动机
领域强化学习通常把同一个初始模型分别训成数学、代码、指令遵循三个专家，而部署时需要一个集三者之所长的模型。多教师在线策略蒸馏（MOPD）为此让共享学生自己采样回答，再由提示所属域的专家逐 token 打分。作者在 Qwen3.5-9B/4B/2B 三个规模、独立训练的专家池上系统检验后发现一个反直觉结果：只用域标签路由的 MOPD（Label）学生在任何一个规模上都没有超过最强的单教师学生，而且几乎没学到数学专家的优势——8K 评测预算下只保留数学增益的 14-32%，16K 下相对初始化甚至没有增益。根因在反馈尺度失衡：首个训练 batch 中，IF 专家的教师-学生对数比率离散度是全池信号的 2.3-4.4 倍，数学只有约一半；对初始 4B 学生，等权重下 IF 损失贡献了合并梯度的 94%，而 IF 仅占约 1% 的回答 token 却贡献高达一半的合并方差。也就是说，路由决定'谁来教'，却不决定'教多大声'，嘈杂的 IF 反馈淹没了他域信号。
本文的目标是本文目标是在完全保留 MOPD 框架的前提下，补上'反馈强度'这一缺失的控制维度：不更换教师、不新增教师调用、不训练学习型路由器、不改提示分布与损失形式，只让每个域的优势信号回到可比较的尺度，从而找回 MOPD 未能转移的数学能力，并让多教师学生稳定超过最强单教师学生。可检验的成功标准是：六个公开基准（AIME25/26、LiveCodeBench v5/v6、IFEval/IFBench）的总分在 9B/4B/2B 三个规模、8K 与 16K 两个评测长度上限、三个随机种子（42/43/44）下都超过 Label 路由 MOPD，且配对 95% 置信区间高于零。同时要求开销近乎为零：每 batch 只多做一次全池标准差和每域一次标准差，复用 rollout 打分时本来就有的对数概率。
与已有工作不同的是，已有工作几乎把'整合多专家'全部归结为教师分配问题：Uniform pool 混合教师分布，Dynamic 路由从学生当前回答中选教师，Open-MOPD 按令牌占比和剩余教师-学生差距设定固定权重。这些方案要么不改信号强度，要么用手工或基于均值的权重，没有一个测量过各专家反馈的离散度本身。本文的独特切入是把'反馈尺度'当作与'教师选择'正交的独立设计轴：保持域标签路由不变，只在更新前用当前 batch 实测的 $\sigma_d$ 对优势做有界、保符号的缩放。Table 3 的对照直接证明了这种正交性：换分配方式（Uniform/Dynamic）在三个规模上的增减都在 ±0.7 分内、无一致增益，而只改信号尺度的 DN-MOPD 带来 +1.17 到 +2.36 分的一致提升，说明被忽视的变量恰恰是反馈强度。
核心方法
直觉上，三个教师按不同 RL 流程独立训练，它们对同一批学生回答给出的对数比率天然不在一个音量上：IF 反馈又散又响，数学反馈又集中又轻。即便每个域的提示数量完全相同，合并到同一份学生参数上的梯度也会被 IF 主导——初始 4B 学生上 IF 损失占合并梯度的 94%，IF 只占约 1% 的回答 token 却贡献约一半的合并方差。技术路线是把这一观察变成一个在线校准算子：每个 batch 先让学生对带域标签的提示采样回答，各域教师照常打分得到 $r_{i,t} = \ell^T_{i,t} - \ell^{roll}_{i,t}$；然后计算全池标准差 $\sigma_{all}$ 与各域标准差 $\sigma_d$，得到乘子 $w_d = \mathrm{clip}(\sigma_{all}/\sigma_d, 0.25, 4)$；最后把 actor 端优势乘以 $w_d$ 后走标准裁剪 OPD 损失。实测中数学乘子约 1.5-2.1，代码在 4B/2B 上接近 1，IF 大多停在 0.25 的下限，说明规则实际是在'压低 IF'而非'全面拉平'。
核心创新是把'教师分配'与'反馈强度'解耦。DN-MOPD 不动路由、不动教师概率、不动损失形式，只在优势上乘一个由当批统计量决定的有界乘子，使非退化域满足 $\mathrm{Std}(w_d r_d) = \sigma_{all}$。与 Open-MOPD 按令牌占比或平均奖励大小分配预算不同，这里对齐的目标是离散度而非教师质量或剩余差距；与梯度范数加权等多任务学习技巧不同，它不需要反向传播计算梯度，只复用 rollout 打分时的 log-ratio。三个关键设计：其一，乘子为正、不减域均值，每个优势的符号（鼓励还是抑制该 token）被完整保留，只是音量被调；其二，clip 到 $[0.25, 4]$ 防止极端比值下过度调整，代价是 IF 域通常被封顶而非完全拉平；其三，MOPD 是每个 $w_d = 1$ 的特例，因此方法只是原目标上的一行修改，增益可干净归因。
方法步骤详情
一次 DN-MOPD 迭代分四步（Figure 2 / Algorithm 1）。第一步学生 rollout：对带域标签 $d \in \{\mathrm{math}, \mathrm{code}, \mathrm{IF}\}$ 的提示 $x_i$，从当前学生 $\pi_u$ 采样回答 $y_i \sim \pi_u(\cdot|x_i)$，并缓存学生的 rollout 对数概率 $\ell^{roll}$。第二步域教师打分：每条回答交给其域的冻结教师 $T_{d_i}$，在有效响应 token 上计算 $r_{i,t} = \ell^T_{i,t} - \ell^{roll}_{i,t}$。第三步域归一化：$\sigma_{all} \leftarrow \mathrm{Std}(\{r_{i,t}\})$，$\sigma_d \leftarrow \mathrm{Std}(\{r_{i,t}: d_i = d\})$，$w_d \leftarrow \mathrm{clip}(\sigma_{all}/\sigma_d, 0.25, 4)$；标准差为零或有效样本少于两个则取 $w_d = 1$。第四步学生更新：actor 重算 $\ell^{actor}$ 得 $A_{i,t} = \ell^T_{i,t} - \ell^{actor}_{i,t}$，取 $\tilde{A}_{i,t} = \mathrm{stopgrad}(w_{d_i} A_{i,t})$ 代入裁剪 OPD 损失更新学生，损失沿用 Label 的响应内平均再跨响应平均。全程不新增任何教师前向调用。
技术新颖性
技术新颖性在于'最小改动 + 可证特例'的组合：相对 Label 只增加一次全池与每域总体标准差计算和一次逐元素乘法，却把 MOPD 变成 $w_d \equiv 1$ 的特例，从而能把全部增益干净地归因于反馈尺度校准。与最近的 OPD 变种相比定位清晰：Lightning OPD 2.0 移除教师-参考分歧中的风格成分，PowerOPD 变换采样 token 的奖励幅度，CROP 选择监督位置，Uni-OPD 做结果校准——它们改变的是信号内容或位置，DN-MOPD 只改域间相对音量；与 Open-MOPD 的能力不均衡研究互补，那边处理令牌分配、域预算与奖励刷新，这边处理固定分配下的信号强度。作者还诚实地给出对照：固定权重 $(2, 1, 0.25)$ 在 9B/4B 上与逐批估计无显著差异，说明方法的价值更多在于'用 batch 统计量免调参地得到好权重'，逐批重估的额外收益只在 2B 上出现（+1.10 分）。
实验结果
主实验在 Qwen3.5-9B/4B/2B 三个独立专家池上进行，80 次更新、学生种子 42、8192-token 训练长度上限。16K 评测下 DN-MOPD 六任务总分全面超过 Label：9B 59.6 对 58.4（+1.17），4B 52.5 对 50.3（+2.24），2B 29.0 对 26.6（+2.36）；8K 下增益更大，分别为 +2.47、+2.92、+3.08。三个学生种子的配对比较全部偏向 DN-MOPD（16K 平均增益 +1.12、+1.97、+2.34）。与最强单教师学生相比，Label 从未超过它，DN-MOPD 在每个规模都超过；9B 训练到 160 updates 后领先扩大到 +2.57 [+1.65, +3.46]。最大收获在数学：16K 下 Label 的数学相对初始学生无增益，DN-MOPD 在三个规模都提升，MATH-500 上领先 Label +0.74/+1.25/+5.95。消融（Table 3）显示仅放大数学（Math×2）只回收约一半增益（4B +1.20，2B +0.27），仅压低 IF（IF×0.25）回收大部分（4B +1.79，2B +2.19），说明增益主要来自调低 IF；IF 仅占约 1% 的回答 token 却贡献一半合并方差和初始 4B 学生 94% 的梯度。数学增益伴随更短回答：9B 数学平均 7,032 token 对 Label 的 8,637，触顶率 5.2% 对 9.8%，排除了靠长生成刷分的解释。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 六任务平均（Qwen3.5-9B，16K 评测） | 六套件平均 Total（%） | 59.6（DN-MOPD） | 58.4（Label-routed MOPD）；最强单教师 OPD 58.5 | +1.17 pp，配对 95% 区间高于零 |
| 六任务平均（Qwen3.5-4B，16K 评测） | Total（%） | 52.5 | 50.3（Label-routed MOPD） | +2.24 pp |
| 六任务平均（Qwen3.5-2B，16K 评测） | Total（%） | 29.0 | 26.6（Label-routed MOPD） | +2.36 pp |
| 六任务平均（8K 评测上限） | Total 相对 Label 的增益（pp） | 9B/4B/2B 分别 +2.47/+2.92/+3.08 | Label-routed MOPD | 三个规模全部高于 16K 下的增益 |
| MATH-500（数学） | 准确率 | 领先 Label +0.74/+1.25/+5.95（9B/4B/2B） | Label-routed MOPD（16K 下数学相对初始学生无增益） | DN-MOPD 在三个规模都恢复数学增益 |
| AIME25（9B，16K） | avg@64 准确率（%） | 58.9（DN-MOPD） | 55.3（Label-routed MOPD），初始学生 57.7 | +3.6 pp，是域级增益最大的任务之一 |
局限与改进
作者明确承认的局限：每个规模只用一个专家池、一个模型家族（Qwen3.5），三个学生种子未覆盖重训专家；方法在更早的 Qwen3 开发集上选出，而 Qwen3-4B 早期对比未发现明确增益，收益依赖教师-学生配置；尺度估计依赖域构成与回答长度，clip 边界 $[0.25, 4]$ 未按规模调过，IF 乘子常驻下限，对该域是'封顶'而非'拉平'；固定权重在 9B/4B 上与逐批估计相当，逐批重估只在 2B 上有 +1.10 的额外价值；SeqKD-SFT 和任务算术在各自配方下总分仍更高（9B 62.6/60.5 对 59.6），收敛排序未解决（Table 5 中 4B 的 Label 80→160 updates 提升 +1.3 而 DN-MOPD 仅 +0.5）。我的补充观察：$\sigma$ 对离群 token 敏感，匹配离散度并不匹配域梯度范数（作者也承认）；方法假设每条提示有干净的域标签，在真实混合数据上未必成立；训练仅 80-160 updates，更长训练下 IF 是否持续主导梯度未知。
独立分析的弱点
第一，IF 乘子几乎每个 batch 都贴在 0.25 的 clip 下限上，说明固定四倍动态范围对极端失衡域不够用，实际起作用的是封顶而非归一化；改进方向是对重尾分布改用更稳健的尺度（如 MAD 或分位数比率），或让边界随训练自适应收缩。第二，固定权重 $(2,1,0.25)$ 在 9B/4B 上已经够用，逐批估计的额外收益只出现在 2B，在线重估的必要性叙事偏强；改进方向是分析 batch 统计量何时漂移（如学生逐渐吸收教师后 $\sigma_d$ 下降），给出'何时需要重估'的判据，或用 EMA 平滑乘子以降低逐批噪声。第三，归一化只对齐标准差而不改变域均值，也不保证域梯度范数对齐——方差对齐后 IF 仍占初始 4B 学生合并梯度的 64%，80 updates 后在两种加权下都仍主导梯度；改进方向是直接在梯度空间做 PCGrad 式投影，或按实测域梯度范数做二次校准。第四，依赖干净域标签且只在单一模型家族验证（Qwen3-4B 无明确增益是重要反例），泛化性存疑；改进方向是在软路由、混合域数据以及 Llama 等其他家族上复验，并报告对标签噪声的敏感性。
未来方向
作者层面指向的方向包括：把尺度估计与教师分配联合考虑（与 Open-MOPD 的令牌分配、域预算互补）；解决 IF 乘子触界问题；在更多家族与专家池配置上确立收益边界；弄清 160 updates 之后的收敛排序。基于本文成果可延伸的研究：其一，把乘子与学生吸收程度挂钩——DN-MOPD 训练后学生的数学/代码 log-ratio 离散度降到 Label 的约三分之一，可设计随吸收进度衰减的调度或课程；其二，把域归一化推广到单教师多任务 RLVR，作为 Dr. GRPO/DAPO 之外的又一响应尺度归一化基线；其三，理论上建立'离散度对齐 → 域梯度占比'的定量关系，解释为何压低 IF 比放大数学更有效（Table 3 的不对称结果正指向这一点）；其四，把规则搬到多模态或多语言教师整合场景（如 LS-MOPD 的多语言语音识别、UI-MOPD 的 GUI 教师）；其五，研究乘子轨迹（Figure 4c）作为训练诊断信号，用 $\sigma_d/\sigma_{all}$ 监控专家能力是否已被吸收。
复现评估
复现条件在同类工作中属于相当好的水平。代码、训练数据与评测记录已在 GitHub（LiXin97/DN-MOPD）开源：包含全部 80 个被评测 Qwen3.5 模型在六个任务、两个长度上限上的逐题正误记录（以哈希把每个分数与模型、题目清单、判分器版本绑定）、MATH-500 记录与训练期乘子轨迹；提供脚本可从这些记录离线重算论文中每个分数、域均值、Total 与配对区间并逐项核对，另有带单元测试的 DN-MOPD 独立参考实现和覆盖每张表格行的训练配方，教师与学生 checkpoint 承诺后续发布。方法本身只需一次全池加每域标准差和一次逐元素乘法，几行代码即可实现。算力方面需要 2B/4B/9B 三档学生的 rollout、actor 重算与冻结教师打分，属于中等规模 RL 蒸馏开销，完整复跑三个规模对非前沿实验室有难度，但 2B/4B 验证可行；若只核对核心数字，用发布的逐题记录离线重算即可、零算力。需注意方法是在 Qwen3 开发集上选出后再于 Qwen3.5 上评测的，独立复现时应避免在同一开发集上做超参搜索，以免高估收益。
论文图表
三联导览图：(a) 示意各域教师-学生对数比率的尺度不等（同一路由、不同音量）；(b) DN-MOPD 用有界保符号乘子 $w_d = \mathrm{clip}(\sigma_{all}/\sigma_d, 0.25, 4)$ 把各域反馈重缩放到共同尺度；(c) 六任务平均增益柱状图：16K 评测下 9B/4B/2B 相对 Label 增益 +1.17/+2.24/+2.36 pp，8K 下 +2.47/+2.92/+3.08 pp。
一图概括'问题-方法-结果'主线，是读者理解全文叙事的最快入口，也直接给出最重要的两组数字。
12 行伪代码：采样回答→域教师打分→计算 $\sigma_{all}$、各域 $\sigma_d$ 与 $w_d$（含退化时取 $w_d=1$ 的处理）→stopgrad 缩放优势→用裁剪 OPD 目标更新学生。Label 是每个乘子取 1 的特例。
复现的直接依据，每步的输入输出和退化情形处理一目了然。
相对 Label 的 16K 总分差（pp）：Uniform −0.41/−0.69/+0.30，Dynamic −0.25/+0.28/−0.07，退火注入 −0.24/+1.11/+0.30，仅 Math×2 为 —/+1.20/+0.27，仅 IF×0.25 为 —/+1.79/+2.19，DN-MOPD +1.17/+2.24/+2.36。
最关键的消融表：证明换教师分配无效、增益主要来自压低 IF 反馈而非放大数学，是论文核心主张的直接支撑。