Latent-MOPD：潜在空间多教师在线蒸馏 Latent-MOPD: Latent Multi-Teacher On-Policy Distillation

完整流程五步。第一步，数据准备：池含 17,856 条 prompt（DAPO-Math-17k、OpenCodeReasoning、Reasoning Gym 各 5,952 条），每条带域标签，训练与评测无重叠题目。第二步，采样：每个优化步取同一域的 32 条 prompt（不洗牌，math-code-logic 轮换），学生温度 1.0 各采样 4 条回答（上限 16,384 token），62 步共 1,984 次 prompt 呈现、7,936 条回答，无验证器奖励。第三步，token 通道：教师在每个前缀上给出分布，在学生 top-16 支持集内计算候选权重 $w_{t,v}$（支撑集内归一化）与奖励 $r_{t,v}=-w_{t,v}\log\bar{p}_t(v)-\log p_{T,t}(v)$（对数保留全词表归一化），按域池化得 $A_{t,v}=r_{t,v}/\max(\mathrm{std}(r),10^{-6})$，损失为 $-\frac{1}{|M|}\sum_{t\in M}\sum_{v\in V_{k,t}}\mathrm{sg}[A_{t,v}]\log p_{\theta,t}(v)$。第四步，表示通道：取最终归一化后、LM 头前的隐藏状态对，计算 $\ell^{rep}_t=\frac{\lambda}{d_T}\|\nu(g_\psi(z^S_t))-\mathrm{sg}[\nu(z^T_{d,t})]\|_2^2$，同族 $\lambda=1$、恒等映射、最后三层全部响应位置；跨族 $\lambda=2000$、ridge 初始化线性映射、最后一层的最后 2,000 个位置。第五步，调度与优化：$\alpha(u)=\min(1,u/T_w)$、$\beta(u)=\max(0,1-u/T_w)$，$T_w=10$（同族）或 7（跨族）；AdamW 学习率 $10^{-5}$，betas (0.9,0.999)。跨族投影映射由 42 条 rollout 的 134,843 对状态以 $W=(S^\top S+\lambda_r I)^{-1}S^\top T$（$\lambda_r=10^{-3}d_S$）初始化，训练后丢弃。

技术新颖性有四点。第一，首个表示级多教师 OPD：从 FitNets 以来的表示匹配、FuseLLM 的输出分布融合、OPRD/LastOPD 的单教师潜在 OPD，要么在固定数据上离线训练、要么只有单教师；论文 Table 4 显示同时具备多教师、头前隐藏态监督、on-policy 三要素的只有本文。第二，域纯批次作为稳定性条件：固定教师、损失、系数与预算，仅把 1:1:1 混域行改成域纯块，全层表示监督就从 20 步崩溃（MATH-500 由 84.1 跌至 22.8）变为 62 步稳定（91.7），且延长到 120 步混域仍追不上（84.50 vs 91.7），这是关于多教师训练组织方式的新实证发现。第三，CKA 驱动的面板特定层预算：同族三层在 9 个基准中的 8 个优于单层（Norm 1.05 vs 0.99），跨族单层即够（0.26 vs 0.25），且选 3/28 层比全层节省 89.3% 的选定状态存储（0.28 vs 2.63 GiB @16,384 位置 BF16）。第四，多教师时钟 crossfade：把 LastOPD 的单教师淡出改造成三教师轮换下各自的淡出窗口，比恒定联合权重提升 8/9 基准（Norm 1.05 vs 0.94）。此外用 Jacobian lens 读出深度诊断确认潜在对齐把 math 输出最大相似度从 code 教师转回 math 教师。

独立分析四个弱点。第一，硬路由依赖准确的域标签，现实中很多任务横跨多域（例如需要写代码验证的数学题），错误路由会把 prompt 交给错误专家监督，输出分布和隐藏状态都会误导学生；改进方向：引入基于验证器或置信度的软路由（类似 MT-SDPO 的答案验证思想），或学习式门控按 prompt 特征选择教师。第二，域纯批次的稳定机理没有理论解释，论文只给出经验证据（附录 F 的三次复现 + 120 步扩展实验：表示损失从 $7.9\times10^{-5}$ 升到峰值 $2.8\times10^{-4}$、无 NaN），不明白为何混域会崩就难以判断该约束何时必要；改进方向：做梯度冲突分析（PCGrad 式的梯度正交投影诊断），或设计梯度手术允许混域共存。第三，同 tokenizer 要求把可用教师池限制在 Qwen 系，而 tokenization 对齐恰是多模型融合的现实瓶颈；改进方向：在潜在空间做跨 tokenizer 迁移（共享冻结嵌入空间或经文本重建对齐），或仅表示通道跨族。第四，crossfade 窗口 $T_w$ 与层数这两个关键超参靠网格枚举（同族三层好、跨族单层好），CKA 只能排除中层、不能预测最优层数与窗口；改进方向：训练中在线监测表示损失与下游指标的关系，自适应调整窗口和层选择。

作者提出的方向：支持不同 tokenizer 的教师；学习式路由；在作为训练目标的状态（最终归一化后，与 CKA 读出位置不同）上测量学到的投影映射与更新方向，把表示几何与蒸馏收益连接起来；纳入更多样的教师面板。基于成果可延伸的：其一，把「一个优化步一个教师」的域纯批次发现推广到其他多教师后训练设定（如与 RL 奖励结合的 UI-MOPD 式框架、Open-MOPD 关心的能力失衡问题），检验其是否普遍必要；其二，跨族投影映射只试了线性和两层 MLP（参数 550 万 vs 3146 万，胜负 3:3），可尝试低秩、逐层映射或 OPRD-Bridge 式冻结对齐，并解释表示-only 跨族低于基座的机理；其三，学生 Norm 超 1（1.05）说明双通道产生了超越任一教师的组合效应，值得研究这种涌现来自表示通道的何种机制，例如用归因图分析潜在对齐改变了哪些内部回路；其四，扩大学生规模与训练步数验证 scaling 行为（当前仅 1.5B、62 步）；其五，把 merge 初始化+短蒸馏发展成实用的「合并后再对齐」流水线，与 task arithmetic 组合用于模型产品化；其六，为跨族末层的「共同功能角色」建立理论刻画。

复现条件很好。代码已开源（github.com/fangzy96/Latent-MOPD）；六个教师全部是公开 HuggingFace checkpoint（JustRL-DeepSeek-1.5B、Archer2.0-Code-1.5B-Preview、Nemotron-Research-Reasoning-Qwen-1.5B、Skywork-OR1-Math-7B、AceReason-Nemotron-7B、DeepSeek-R1-Distill-Qwen-7B），学生 DeepSeek-R1-Distill-Qwen-1.5B 公开；训练 prompt 来自三个公开数据集。算力需求温和：仅 62 个优化步、8 worker（每 worker 局部 minibatch 16 条回答）、共生成 7,936 条回答，教师只做前向打分不训练；附录 A 给出全部超参（学习率 $10^{-5}$、AdamW betas 0.9/0.999、温度 1.0、top-16、$\lambda$、$T_w$、packing 预算、跨族映射的 ridge 初始化公式与 134,843 对样本来源）与环境 pin（torch 2.8.0、vllm 0.11.0、transformers 4.57.3）。评测协议详尽：GYM 冻结 925 题集（seed 4242 并把生成器冻结成文件以规避版本差异）、BBH 27 任务×40 题、AIME 16 样本、LCB 2024-08-01 后 67 题。难度评估：中等——主要成本在教师推理（跨族要跑三个 7B 教师打分）与多基准评测框架搭建，以及域纯轮换、每教师时钟等工程细节；但论文对每个细节均有精确描述，忠实复现可行。