P²-MOPD：基于参数先验加速多教师在策略蒸馏 P^2-MOPD: Accelerating Multi-Teacher On-Policy Distillation via Parameter Priors
把学生与专家参数的线性组合当作单一可微模型，联合训练权重与混合系数，半程步数即超越 MOPD 终点
前置知识
任务向量（Task Vector）
对同一基座模型 $\theta_0$ 分别做领域后训练得到专家 $\theta_k$，参数之差 $\tau_k = \theta_k - \theta_0$ 称为任务向量，是参数空间中编码"该领域新增能力"的方向。对其加权求和并叠加回基座，即任务算术合并 $\theta^{TA}(\lambda) = \theta_0 + \sum_k \lambda_k \tau_k$。
本文全部几何分析（投影、可达性、预条件化）都建立在任务向量上，可学习混合系数 $\alpha_{k,m}$ 就是学生模块沿这些方向的步长，理解它们是读懂方法的前提。
在策略蒸馏（On-Policy Distillation, OPD/MOPD）
学生自己在 prompt 上采样回答，教师对学生采样出的每个 token 打分（基于反向 KL 的稠密奖励），再用策略梯度更新学生；相比离策略 SFT 只模仿固定答案，它直接修正学生自身分布。多教师版本（MOPD）按 prompt 的领域标签把每个 prompt 路由到对应领域教师。
P²-MOPD 完全复用 MOPD 的损失与监督流程，只改变学生的参数化方式；不熟悉 OPD 就无法理解"同一目标下联合优化"到底改了什么。
任务算术（Task Arithmetic）与模型合并
免训练地把 $K$ 个任务向量加权（本文用均匀系数 $\lambda_k = 1/K = 0.25$）加到基座上得到合并模型。合并模型的行为从未被监督、质量无保证，且无论系数怎么选都被困在基座与任务向量张成的仿射子空间内，各领域只能此消彼长。
TA 合并是本文的训练起点（TA merge），也是主要对照 MOPD (TA init) 的来源；"参数先验"思想正是从"TA 已能部分恢复能力"这一观察出发的。
反向 KL 与支持集限制
蒸馏常用反向 KL $\mathrm{KL}(p\|q)$（$p$ 为学生分布），具有模式寻求性质。MOPD 的实现在每个位置取学生 top-16 token、按 nucleus 0.99 截断构成支持集 $V_i$，奖励 $r_i(v) = -w_i(v)[\log p(v) - \log q(v)]$ 只在该支持集上计算，等于受限反向 KL 加一个质量惩罚项。
这是 MOPD 损失的具体形式（公式 2 与附录 A），论文的奖励、替代目标和消融里的"训练侧医疗 KL"都基于它。
策略梯度与 PPO 裁剪
把奖励当作优势 $A_i(v)$，用 PPO 风格裁剪替代目标 $\max(-A\rho, -A\,\mathrm{clip}(\rho, 0.8, 1.28))$ 更新策略。本文每批 rollout 只做一次优化器更新，重要性比率恒为 1，裁剪实际不生效，梯度退化为普通策略梯度 $L_t = -\frac{1}{N_t}\sum \mathrm{sg}\, r_i(v) \log \pi_\theta(v|x, y_{<i})$。
系数梯度 $\partial L_t/\partial \alpha_{k,m} = \langle G_m, \tau_{k,m}\rangle$ 正是从这条梯度经链式法则导出的，是方法的核心公式。
恢复率（Recovery）指标
归一化指标 $(s - s_{base})/(s_{teacher} - s_{base})$：把基座到教师的分数区间映射到 0–100%，可以超出（>100%）或为负。四域平均恢复率是主指标，最差域恢复率衡量领域均衡性。各域分母（span）差异很大，4B 上 IFBench 为 33.33 而 MedQA 仅 11.02。
论文所有结论都用恢复率表述，且"一个原始分点"在不同域折算的恢复点相差最多 3 倍，不理解这个指标就会误读所有表格。
研究动机
前沿大模型越来越倾向于先训练多个领域专家（各自做领域强化学习），再把它们整合成一个通用模型。多教师在策略蒸馏（MOPD）让每个领域教师对学生自己的采样轨迹逐 token 监督，已成为 DeepSeek、Kimi、NVIDIA、小米等技术报告中的标准整合手段。但它有两个具体痛点。其一流程重：每一步都要学生采样 rollout，再对全部 rollout 做 teacher forcing 逐 token 打分，学生要经过很多步才能逼近教师。其二恢复不均衡：已有工作发现 MOPD 无法均匀恢复所有领域——即使从专家合并后的模型出发，它也会把某个领域远远甩在后面，继续蒸馏甚至会侵蚀合并模型已有的能力。论文实验中，从均匀 TA 合并出发的 MOPD (TA init) 在 1.7B 规模上三个种子的 MedQA 恢复率全部低于 TA 起点的 44%，最终最差域恢复率只有 47.2（4B）和 32.0（1.7B），跨域标准差高达 21.8/28.4；而完全免训练的 TA 合并本身只恢复了基座到教师差距的 42.98%（4B）/32.41%（1.7B），最差域仅 23.67%/17.15%，因为合并模型的行为从未被监督、质量没有保证。
本文的目标是本文的目标是在完全相同的 MOPD 目标与训练基础设施下，构造一个"更快且更均衡"的专家整合方法：把专家参数从一次性使用的初始化材料或合并产物，升级为贯穿训练全程的参数先验；在不引入额外验证信号、不改变推理形态（导出仍是标准 checkpoint、系数折入权重）的前提下，具体做到三点——训练步数减半时平均恢复率就超过 MOPD (TA init) 训满 100 步的终点；把最差域恢复率从不到 50% 提升到约 90%；让医疗（MedQA）、法律（CaseHOLD）、金融（FinQA）、指令遵循（IFBench）四个领域都接近各自教师水平，而不是恢复一个领域就丢掉另一个。
与已有工作不同的是，已有两条路线各管一头。MOPD 系列的后续改进（跨域预算均衡的 Open-MOPD、token 级路由、软提示教师）只改进监督信号，仍然把学生当作普通权重集合；最接近的 IM-MOPD 开始复用专家参数，但按外部验证规则在固定步数把欠恢复领域的任务向量规则化地合并回去，依赖额外验证数据，合并是离散的阶段性操作，种子间最终平均恢复率可相差 18 点。模型合并一侧，AdaMerging 等用无标签测试数据上的熵最小化离线学习合并系数，合并仍然只是"输出一个模型"的操作。本文的独特切入是把"可训练学生权重 + 冻结专家参数的线性组合"整体看作一个模型：$W_m(B,\alpha) = B_m + \sum_k \alpha_{k,m}\tau_{k,m}$ 对 $B$ 和 $\alpha$ 都可微，因此可以在同一条蒸馏梯度下持续、端到端地学习组合方式——专家参数不再是合并的一次性产物，而是作用在优化路径上的先验偏置，系数由蒸馏梯度自己学出，不需要任何验证规则。
核心方法
直觉上，如果一个免训练的线性组合已经能恢复专家的部分能力，说明专家参数里编码了对整合模型有用的先验信息，那么学生不必独自"爬完"到每个教师的全部距离，可以顺着专家方向走。技术上，P²-MOPD 保持 MOPD 的损失与监督方式不变（学生自己采样、按领域路由的教师打分、top-16 反向 KL 奖励、PPO 风格替代目标），只重参数化学生：每个线性投影模块（注意力的 q/k/v/o 与 MLP 的 gate/up/down）的权重写成自身全量可训练权重 $B_m$ 加冻结任务向量的可学习线性组合 $\sum_k \alpha_{k,m}\tau_{k,m}$；其余张量 $\phi$（嵌入、归一化、输出头）照常训练。训练从 TA 合并出发，$\alpha$ 初始化为均匀 0.25，由同一条蒸馏损失同时更新 $B$、$\phi$ 和 $\alpha$。这样专家以两种方式引导学生：其 logits 监督输出（MOPD 通道），其参数通过混合系数进入权重（先验通道）。优化器不存储 $B$，只维护物化权重 $W$：每步用 AdamW 走权重通道、Adam 走系数通道，再把系数增量 $\sum_k \Delta\alpha_{k,m}\tau_{k,m}$ 物化回 $W$，导出时 $\alpha$ 折入权重，推理完全不变。
核心创新是"参数先验"视角与两通道几何。由于 $B$ 无约束，公式 (4) 表示的模型类与普通学生完全相同——它改变的不是模型类，而是优化几何：对单个模块来说，$\alpha_{k,m}$ 上的一次标量步就让整个模块沿第 $k$ 个任务向量移动，而这正是普通全参数更新很难走的方向（实验证明 MOPD (TA init) 在滞后的 MedQA 方向上只移动 +0.03）。作者给出预条件化解读：把模块权重写为 $w = b + D\alpha$（$D$ 为任务向量堆叠矩阵），无动量 SGD 下两通道合成步为 $w^+ = w - (\eta_W I + \eta_\alpha D D^\top) g$，即一个秩不超过 $K$ 的半正定项放大了梯度沿任务向量的分量，强度由 $\eta_\alpha/\eta_W$ 控制——先验是对优化路径的偏置，不是对模型类的约束。与任务算术的本质区别是学生保持完全可训练，不被囚禁在基座加任务向量的张成空间内（该空间里各任务向量相互干扰，每模块只有 $K$ 个方向，只能此消彼长）。两通道分工明确：系数通道沿教师对齐方向移动（占位移能量的 81%/84%），权重通道在张成空间之外适配其余领域（仅 1.7%/4.0% 的能量落在空间内）。
方法步骤详情
完整流程（模块粒度，算法 1）如下。初始化：从 TA 合并 $\theta^{TA}(\lambda)$ 出发，令 $B_m = W_m^{(0)}$、$\alpha_{k,m} = \lambda_k = 0.25$，$\phi$ 取合并值，任务向量 $\tau_{k,m} = W_m^{(k)} - W_m^{(0)}$ 冻结；Qwen3-4B 有 36 层 × 7 投影 = 252 个模块、共 1,008 个系数（1.7B 为 196 个模块、784 个系数）。每步训练：(1) 学生 $\pi_{\theta_t}$ 以 T=1.0、top-p=1.0 为每条 prompt（128 条/步，每域 32 条）采样一条回答；(2) 按域路由的教师 teacher-forcing 打分：支持集 $V_i$ 取学生 top-16 且 nucleus 0.99 截断，奖励 $r_i(v) = -w_i(v)[\log p(v) - \log q(v)]$；(3) 对 $(W, \phi)$ 反传一次得到梯度 $G$；(4) 系数梯度由链式法则 $\partial L_t/\partial \alpha_{k,m} = \langle G_m, \tau_{k,m} \rangle$ 从未裁剪梯度算出；(5) 权重梯度全局裁剪到范数 1.0 后 AdamW（$\eta_W = 10^{-5}$，weight decay 为 0）更新 $(W, \phi)$，系数梯度单独裁剪到 1.0 后 Adam（$\eta_\alpha = 10^{-2}$）更新 $\alpha$；(6) 物化 $W_m \leftarrow W_m + \sum_k \Delta\alpha_{k,m}\tau_{k,m}$；(7) 权重同步回 rollout 引擎，每 25 步存 checkpoint（$\alpha$ 折入权重，导出标准模型）。关键工程细节：两通道消费同一个预更新梯度，无第二次反传；教师不接收任何梯度；权重通道无 weight decay 保证了与"优化 $B$ 再重组 $W$"严格等价。
技术新颖性
技术新颖性有四点。第一，把"合并"从产出模型的一次性操作改造为训练中持续可微的组成部分——task arithmetic 是系数的线性可微函数，因此学生与专家参数的组合可以当作一个模型放进 MOPD 里端到端训练，这在多教师蒸馏框架内是新的视角。第二，系数从蒸馏梯度端到端学习，无需 AdaMerging 的熵最小化（需要无标签测试数据），也无需 IM-MOPD 的外部验证门控（后者按 $\delta=0.3$、$\gamma=0.6/0.4$ 的规则在第 25/50/75 步离散合并，单次合并可使平均恢复率变动 -17.2 到 +6.8 点，最终结果依赖种子）。第三，两通道更新规则工程上干净：系数梯度在权重梯度裁剪之前取出，两通道裁剪预算互不侵占；每批只需一次反传。第四，可解释副产品：学到的系数是无验证数据下"学生最需要哪个教师"的诊断器——$\alpha_{med}$ 从 0.25 升到 0.63（4B）/0.65（1.7B），其余教师停在 0.33–0.46，且三个种子间系数均值差不超过 0.01，稳定且可复现。
实验结果
主实验（Table 1，四域 avg@3 评测，三训练种子）。Qwen3-4B 终点：P²-MOPD 平均恢复率 94.85±2.06、平均原始分 71.43、最差域 89.42±2.54、AULC 92.05；对照 MOPD (TA init) 为 83.13±9.03（最差 47.22±23.72），IM-MOPD 88.02±1.33（最差 84.12），Open-MOPD 84.20（最差 56.55），从基座出发的 MOPD 仅 46.80（MedQA 62.90 反而低于基座 68.84，最差 -53.94），SFT 预热的 MOPD 66.15。Qwen3-1.7B：P²-MOPD 94.74±0.91（平均分 58.72、最差 88.01±1.27），MOPD (TA init) 80.93±3.02（最差 32.03），IM-MOPD 仅 67.81±9.18（种子间 59.0–77.4，相差 18 点）。速度：P²-MOPD 从第一个 checkpoint 就领先（+6.2/+21.5 点），在全部 24 个种子配对比较（2 规模 × 3 种子 × 4 checkpoint）中无一落后；第 50 步达 92.3/90.5，已超过 MOPD (TA init) 训满 100 步的 83.1/80.9；折算墙钟，达到对方终点质量只需 ≤0.31×（4B）/≤0.55×（1.7B），代价是 100 步总时长 1.24×/1.09×（actor 更新从 14.7s 增至 73.8s，但 rollout 生成占主导）。均衡性：最差域从 47.2/32.0 升至 89.4/88.0，跨域标准差从 21.8/28.4 降至 4.6/4.8；1.7B 的 MOPD (TA init) 三个种子的 MedQA 全部低于 TA 起点的 44%，说明继续蒸馏侵蚀了合并已有的能力。逐域分解（Table 2）：增益集中在滞后域 MedQA（+29.0/+48.2 恢复点），CaseHOLD +3.8/+4.5，FinQA -1.9/+0.8（小让步），IFBench +4.8/+7.6（方差 ±23.2 较大）。机理（Fig.4/Table 3）：MOPD (TA init) 沿 $\tau_{med}$ 仅移动 +0.03，P²-MOPD 移动 +0.40/+0.42（13–15 倍）；随机方向替代任务向量无增益（平均恢复 70.2），只学 $\alpha_{med}$ 一行就拿到几乎全部收益（95.0 vs 95.8），冻结 $\alpha_{med}$ 则 MedQA 回落到 24.2，证明收益来自教师对齐方向的可达性而非额外可训练容量。消融（Table 5/6/8）：仅学系数（冻结权重）比 TA 起点 +10.0/+16.9 但远不及完整方法（94.9/94.7），层级绑定在 4B 失效（73.4），$\eta_\alpha = 3\times10^{-2}$ 失败（69.5）；从基座出发（不做 TA 初始化）P²-MOPD 仍以 61.2/66.2 对 -15.7 大幅领先，说明优势不依赖合并起点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 四域平均恢复率（Qwen3-4B） | Avg. Recovery (%) | 94.85±2.06 | MOPD (TA init) 83.13±9.03；最强基线 IM-MOPD 88.02±1.33 | 对主基线 +11.7 点；第 50 步（92.3）即超过基线 100 步终点 |
| 四域平均恢复率（Qwen3-1.7B） | Avg. Recovery (%) | 94.74±0.91 | MOPD (TA init) 80.93±3.02；IM-MOPD 仅 67.81±9.18 | 对主基线 +13.8 点；第 50 步（90.5）即超过基线终点 |
| 最差域恢复率 MedQA（4B） | Worst (%) | 89.42±2.54 | 47.22±23.72 | +42.2 点；跨域标准差 21.8→4.6 |
| 最差域恢复率 MedQA（1.7B） | Worst (%) | 88.01±1.27 | 32.03±10.12 | +56.0 点；跨域标准差 28.4→4.8 |
| 达到基线最终质量的墙钟时间 | 相对 MOPD (TA init) 100 步墙钟 | ≤0.31×（4B）/ ≤0.55×（1.7B） | 1.00× | 约 2–3 倍实际加速（checkpoint 间隔 25 步，为上界） |
| MedQA 逐域恢复率增益（种子配对） | Δ recovery points | +29.0±8.3（4B）/ +48.2±14.4（1.7B） | MOPD (TA init) | 为其他任何域差异的数倍，是总增益（+8.9/+15.3）的主要来源 |
局限与改进
作者承认的局限：实验只在 1.7B/4B 两个规模、四个领域进行，第五个领域 τ²-bench 因模拟器依赖付费商业 LLM API 被放弃；1.7B 教师是作者按 IM-MOPD 流程自训的（各域自测分与原报告差 1 点内）；训练预算沿用 IM-MOPD 的 100 步，未验证更长训练下的行为；系数学习率敏感，$\eta_\alpha = 3\times10^{-2}$ 时 1.7B 的 FinQA 停在 TA 水平，最终 69.5 反而低于基线的 80.9；层级系数绑定在 4B 失效（73.4）但在 1.7B 正常（94.4），粒度选择无一致结论（模型绑定均值最高但 1.7B 跨域标准差达 9.3）；赢下系数竞争的代价由其他领域承担——4B FinQA -1.9、IFBench 种子间差异 ±23.2。我的补充观察：其一，恢复率归一化依赖基座/教师端点，各域 span 相差最多 3 倍（4B IFBench 33.33 vs MedQA 11.02），恢复点不能跨域直接比较，且可超过 100% 或为负（如 MOPD 的 -261.18）；其二，路由需要已知领域标签 $d(x)$，开放场景需要额外路由器；其三，每步要流式读取全部任务向量，4B actor 更新从 14.7s 涨到 73.8s，专家数 $K$ 增大时成本线性上升；其四，方法假设专家与基座同构且从同一 $\theta_0$ 全参微调（任务向量才良定义），LoRA 专家或异构专家不直接适用。
独立分析的弱点
独立分析几个弱点。1) 领域标签依赖：训练批每域固定 32 条、教师按 $d(x)$ 路由，真实应用中 prompt 领域未必已知，需引入路由器（如 MOPD-Router）或软路由，而这可能重新引入不均衡；改进方向是把系数通道与样本级软路由联合学习。2) 规模与专家漂移：只测到 4B、100 步；若专家经长程 RL 与基座漂移很大，任务向量间干扰加剧，每模块 $K$ 个方向是否仍够表达未可知；改进是在更大规模、更长训练下验证，或对先验方向做 TIES 式干扰消减。3) 冲突消解在标量层面是零和的：医疗与金融/IF 的系数梯度余弦低至 -0.78/-0.63（4B）、-0.85/-0.81（1.7B），多个领域同时滞后时"竞争"谁胜出并不明确；改进可为滞后域加预算约束或按域分组系数（结合 Open-MOPD 的均衡思想）。4) 成本结构：每步流式全部任务向量使 actor 更新耗时约 5 倍（4B 14.7s→73.8s），$K$ 大时不可忽略；改进包括任务向量缓存/分片、按模块稀疏放开系数（只在滞后域相关模块）。5) 收益场景依赖：本文的巨大增益部分源于 MedQA 是一个 span 小、教师提升有限但 MOPD 系统性滞后的域；若各域天然均衡或滞后域不明确，参数先验的增益可能大幅缩水，这一点论文未测试。6) 评测只覆盖四个静态基准，未测开放生成质量或安全性回归。
未来方向
作者提出的方向：专家权重（而不仅是专家预测）可以成为多教师整合的监督来源，"参数先验"这一角色值得推广到更多领域与专家数；更细粒度 tying 并非更优的机理（如层级绑定为何在 4B 失效）尚待解释。基于其成果可延伸的方向：(1) 与软路由结合，去掉领域标签假设，让混合系数与路由共同端到端学习；(2) 把两通道预条件化思想搬到 RL 后训练本身（用奖励模型或自奖励替代教师打分），检验参数先验在非蒸馏目标下是否同样加速与均衡；(3) 把学到的 $\alpha$ 用作诊断工具——无验证数据即可判断"学生最缺哪个教师"（本文中它自动指向 MedQA），可反向指导专家训练数据分配与合并决策；(4) 增量式专家接入：新专家到来时扩展 $\alpha$ 表继续训练，而非重新合并，适合持续学习场景；(5) 理论层面刻画 $\eta_\alpha D D^\top$ 预条件与自然梯度/曲率的关系，解释粒度选择在不同规模上的不一致；(6) 工程优化任务向量流式（FP8、缓存、按模块调度），把每步 1.24× 的开销压向 1.0×；(7) 在长程 Agent 任务（如 τ²-bench 类）上验证泛化，并把先验扩展到安全对齐等领域专家的整合。
复现评估
复现条件较好。代码开源（github.com/SinuoWang/P2-MOPD）；4B 直接使用 IM-MOPD 发布的四个领域教师，1.7B 教师需自训（医疗/法律教师对 Qwen3.6-35B-A3B 的过滤回答做 SFT，金融/IF 用 GRPO 训 200 步，各域自测分与 IM-MOPD 报告差 1 点内）；数据经 IM-MOPD 官方管线构建（医疗 13,761 / 法律 31,396 / 金融 8,446 / IF 11,472 条 prompt，共 65,075 条；测试集 1,273/5,314/1,147/300 条）；训练 8 卡、100 步，单次全程 4.48–6.51 小时；超参完整公开（Table 10：$\eta_W = 10^{-5}$、$\eta_\alpha = 10^{-2}$、top-16/nucleus 0.99、128 prompt/步、裁剪 1.0）。方法本身只是增加一张 $10^3$ 量级的系数表和标准优化器，实现难点在 rollout 引擎与 learner 权重同步的蒸馏基础设施（作者基于 Open-MOPD/IM-MOPD 协议）。主要门槛：需要 Qwen3.6-35B-A3B 生成 1.7B 教师的 SFT 数据、8 卡 GPU、τ²-bench 因付费 API 无法复现。评测用官方 IM-MOPD harness（固定协议、avg@3、种子 42/43/44），分数可直接对齐。总体复现难度中等，算力门槛低于一般 RL 训练。
论文图表