每个Token都需要自己的老师：多教师自适应在线策略自蒸馏 Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation
首个token级自适应OPSD：多教师池配合投票与KL选择，逐token匹配最优监督
前置知识
On-policy Distillation（OPD，在线策略蒸馏）
知识蒸馏的在线版本：不再用教师预先生成的离线数据，而是让学生自己采样轨迹，教师在这些轨迹上逐 token 提供软分布监督，目标是逐 token 最小化师生分布的 KL 散度 $D_{\mathrm{KL}}(p_\theta(\cdot|c_i)\,\|\,p_T(\cdot|c_i))$。训练分布与推理分布一致，缓解了 SFT 的 exposure bias，同时保留比 RLVR 结果奖励更稠密的 token 级学习信号。
本文的损失函数、训练流程与全部对比基线都建立在 OPD 的逐 token KL 目标之上，不懂它就看不懂方法部分。
On-policy Self-Distillation（OPSD，在线策略自蒸馏）
OPD 的『免教师模型』变体：学生与教师由同一个模型 $p_\theta$ 充当，唯一区别是教师的 prompt 中额外拼入特权参考（如数据集提供的参考解答 $r$），即 $p_T(\cdot|c_i)=p_\theta(\cdot|c_i,r)$。教师『看过答案』再指导『没看答案』的自己，因此无需维护更大的外部教师模型。
理解『同参数、不同上下文』这一设定，才能明白本文的多教师池为何只需改变参考的截断方式与暴露比例就能构造出来。
教师-学生失配与过度尖锐的教师分布
当特权参考的信息量过大时，条件化后的教师分布会变得过度尖锐（overly sharp）：监督信号把学生推向其自身概率质量之外、压制合理的不确定性，导致推理能力不升反降。自适应 OPSD 的动机就是调节参考暴露量，让教师信号『够用但不呛人』，现有代表工作 Paint 按学生-教师差距动态调整暴露比例，但只在响应级操作。
这是本文问题的直接出发点：响应级的暴露调整无法解决 token 级的失配，由此引出『逐 token 选教师』的核心主张。
优势信号（advantage signal）
本文用对数概率比 $a_T(y_i|c_i)=\log p_T(y_i|c_i)-\log p_\theta(y_i|c_i)$ 衡量教师对学生已采样 token $y_i$ 的相对态度：为正表示教师比学生更支持这个 token，为负表示反对。它的符号构成逐 token 投票的选票，是判断监督方向的廉价代理——只需对每个教师做一次前向统计即可计算。
多数投票与 KL 教师选择机制完全建立在这个符号和 KL 距离上，是读懂 Section 5 方法设计的钥匙。
SFT 与 RLVR（GRPO）两大对比范式
SFT 用固定的参考答案序列训练学生，存在 exposure bias；RLVR（代表如 GRPO）用可验证的结果奖励做强化学习，但信号只在答案层面、非常稀疏。OPSD 的卖点是兼具两者优点：像 RL 一样在自身轨迹上训练，又像 SFT 一样拥有逐 token 的稠密监督，因此被视为有前景的后训练路线。
论文在动机与实验中反复将 OPSD 与这两类范式对比，理解它们的取舍才能评估本文贡献的分量。
研究动机
OPSD 让同一个模型兼任学生与教师：学生自己采样推理轨迹，教师则在拼入特权参考（如数据集提供的参考解答）后给出逐 token 的软分布监督。相比 SFT 它在自身轨迹上训练、缓解 exposure bias，相比 RLVR（如 GRPO）它提供稠密的 token 级信号，因而被广泛视为有前景的后训练范式。但 Kim et al.、Kaur et al. 等多项 2026 年研究揭示 OPSD 会出现推理能力退化：参考信息量过大诱导教师分布过度尖锐，监督与学生当前的学习动态失配，例如压制学生合理的不确定性。Tan & Hong、Han 等的自适应方法据此动态调整参考暴露量，但它们都在响应级操作——同一 rollout 内所有 token 共享同一个教师与同一份参考。这在直觉上站不住脚：一条推理链里，关键推导处需要强监督，常规过渡处只需弱提示，『一刀切』的教师无法同时匹配两类需求。
本文的目标是本文要验证并利用一个具体假设：教师偏好逐 token 变化，『每个 token 都需要自己的老师』。目标分三层：第一，设计可操作的度量来量化 token 级教师偏好——通过『学生-教师-学生』接力干预实验，用准确率增益作为教师适配度的代理；第二，从干预数据中归纳可在线计算的选择规则，要求不引入额外模型、只靠前向统计（投票符号与 KL 距离）就能落地；第三，把规则集成为首个 token 级自适应 OPSD 方法 MTA-OPSD，在 Qwen3-1.7B/4B/8B 与 DeepMath-103K 的数学推理设定下全面超越 OPSD、SDPO、Paint 三个基线，并对基座模型取得最高 +5.9 的平均提升（Qwen3-1.7B：57.0 vs 51.1）。
与已有工作不同的是，已有 token 级工作（高熵少数 token 的 80/20 规则、TRACE 等 token 路由）研究的是『哪些 token 值得学』，从未回答『每个 token 该向谁学』。本文的独特切入是一项干预实验：保留学生前缀，让候选教师在选定位置接管生成 $k$ 个 token，再交还学生完成回答，接力响应相对纯学生响应的准确率增益即该位置的教师适配度。这个『学生-教师-学生』接力设计把 token 轴（7 个位置：25%/50%/75% 与最高/最低熵、最大/最小 KL）与教师轴（7 个候选教师）解耦，共 75264 次生成，成本可控地提炼出两条可在线复用的规律：多数投票能筛出可靠教师子集，且最优教师总是学生-教师 KL 距离最大者——与直觉中『越接近学生越好』恰好相反。
核心方法
直觉上，学生做题的不同步骤需要不同强度的辅导：关键推导处需要老师摊开完整答案，方向确认处只需提示一半，常规处学生自己就会。MTA-OPSD 给每个 token 配一位『恰到好处』的老师。技术路线：训练时维护多教师池（$K=7$），教师与学生共享参数 $p_\theta$，仅 prompt 拼入的特权参考不同——对完整参考做 prefix/suffix/random-span 三种截断、各取 0.5/0.75 两种暴露比例，外加完整参考，所有截断保留最终答案以保证公平。对每个 token 位置 $i$，先由 7 个教师对采样 token 的优势符号投票，筛出方向一致的多数子集 $M_{maj}(c_i)$；再在子集内选与学生 KL 距离最大的教师作为该 token 的专属教师；最后以逐 token 指向专属教师的 KL 之和为损失做全参数训练。工程上基于 veRL PPO trainer（FSDP2 + vLLM），4×H200 训练 300 步。
核心创新是把 OPSD 的自适应粒度从响应级压到 token 级，并给出两阶段选择规则。与已有方法的本质区别有三。其一，Paint 等响应级方法调整『教师看多少参考』且全响应共享；本文用干预实验证明：即使参考暴露固定，同一响应内不同位置的最优教师重叠率也只有约 50%（48.44%/50.00%/51.56%），监督单元必须是 token 本身。其二，选择规则是实证归纳而非先验设计：先多数投票定方向——多数子集覆盖 77.94%–90.68% 的最优教师，子集平均增益 +3.34% 高于少数派 +1.88%；再在子集内选 KL 最远者——其增益 +2.78% 显著高于最近教师 +1.21%（4B）。其三，机制上解耦『监督方向的可靠性』与『监督信息量』：投票保证方向不跑偏，KL 最远保证信息量最大。多数派支持采样 token 时，最远教师在强化该 token 的同时保留对其他合理预测的概率质量；多数派反对时，最远教师把概率质量重新分配给替代 token，提供最强纠错信号。『先方向后强度』是 KL 可作质量标准的前提——无投票约束时单用 KL 反而有害（消融 52.9 vs 57.0）。
方法步骤详情
第一步，构建多教师池：输入题目 $x$ 与参考解答 $r$，输出 7 个教师 {full, prefix/suffix/random-span × 0.5/0.75}，教师 $k$ 分布为 $p_{T_k}(\cdot|c_i)=p_\theta(\cdot|c_i,r_k)$。第二步，学生 rollout：thinking mode 下采样响应（最大 4096 token）。第三步，逐 token 投票：对每个位置 $i$ 计算优势 $a_{T_k}=\log p_\theta(y_i|c_i,r_k)-\log p_\theta(y_i|c_i)$，符号 $v_{T_k}\in\{+1,-1\}$ 为选票，多数方向 $V_M=\mathrm{sgn}\sum_k v_{T_k}$，打平比两侧优势绝对值之和，得子集 $M_{maj}(c_i)$。第四步，KL 选择：子集内取 $D_{\mathrm{KL}}(p_\theta\,\|\,p_{T_k})$ 最大者为专属教师 $p_T^*(c_i)$。第五步，更新：损失为逐 token 指向专属教师的 KL 之和，veRL PPO + FSDP2 + vLLM，lr $10^{-6}$、batch 32、教师分布取 top-100，训练 300 步、每 50 步评估取最佳 Avg@12。
技术新颖性
相对 SFT/RLVR，本文继承 OPSD 的稠密 token 级信号并首次把监督调度做到 token 粒度；相对响应级自适应 OPSD（Paint 的暴露比例调度、Han et al. 2026b 的自适应教师暴露、Yang et al. 2026c 的容量匹配框架），本文证明调整粒度本身不足，需要逐 token 挑教师；相对 token 选择类工作（高熵 80/20 规则、TRACE 的 token 路由、AMR-SD 的 credit assignment），本文选的是『跟谁学』而非『要不要学』。方法论的独特之处在于选择规则从 75264 次干预生成中实证归纳而来，而非启发式设定；且『多数派内 KL 最远者最优』与蒸馏文献普遍缩小师生 KL 的方向相反——本文在方向约束下刻意挑最远的教师，为自适应蒸馏提供了新的设计坐标。作者称其为首个 token 级自适应 OPSD 方法，代码与全部实验设定开源。
实验结果
干预实验（75264 次生成）三条发现：教师偏好逐 token 变化——1.7B、$k=256$ 时同一响应内 25%/50%/75% 位置最优教师重叠率仅 48.44%/50.00%/51.56%；多数投票可靠——最优教师落入多数子集比例 77.94%–90.68%，子集平均增益 +3.34% 高于少数派 +1.88%（4B）；最优教师 KL 最远——最远 +2.42% vs 最近 +0.59%（1.7B）、+2.78% vs +1.21%（4B）。主实验：1.7B 三基准平均 57.0（AMC23 78.5、AIME24 51.4、AIME25 41.1），较基座 51.1 提升 +5.9，高于 OPSD/Paint 的 54.0、SDPO 的 49.4；4B 平均 77.2（+1.5）超 OPSD 76.4；8B 平均 79.2（+2.8）超 Paint 78.1；AIME25 提升最大（1.7B：41.1 vs 33.6）。消融：池中最好的单一教师 prefix-0.75 仅 56.2，多教师池有互补价值；同池随机选教师 53.6、损失平均 53.7，自适应选择净贡献约 3.4 分；去掉投票掉至 52.9、投票+最近仅 53.3，两步缺一不可。教师分配全程均匀不塌缩；同截断下更大暴露不必然带来更大 KL，单靠调暴露无法判断教师适配度。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理（Qwen3-1.7B，AMC23/AIME24/AIME25 平均） | Avg@12 准确率 | 57.0 | OPSD 54.0，Paint 54.0，SDPO 49.4，基座 51.1 | 较基座 +5.9，较最强基线 +3.0 |
| 数学推理（Qwen3-4B，三基准平均） | Avg@12 准确率 | 77.2 | OPSD 76.4，Paint 75.6，SDPO 73.6，基座 75.7 | 较基座 +1.5 |
| 数学推理（Qwen3-8B，三基准平均） | Avg@12 准确率 | 79.2 | Paint 78.1，OPSD 77.6，SDPO 76.1，基座 76.4 | 较基座 +2.8 |
| AIME25（Qwen3-1.7B） | 准确率 | 41.1 | Paint 38.6，OPSD 37.5，基座 33.6 | 较基座 +7.5 |
| 同教师池下教师指派策略消融（Qwen3-1.7B 平均） | Avg@12 准确率 | 57.0（投票+KL 最远） | 随机选教师 53.6，全部教师损失平均 53.7 | +3.4 |
局限与改进
作者层面：实验仅覆盖 Qwen3 家族与 DeepMath 数学推理，未验证代码、摘要等其他任务和其它模型家族；教师池的 7 个配置（截断策略 × 暴露比例）靠人工枚举，依赖数据集自带参考解答，池的构成不是学习得到的；评估用每 50 步 checkpoint 取最佳 Avg@12，隐含较大评估开销与一定选择偏差。我的观察：其一，每个 token 都要教师池全部前向统计，训练计算量约为单教师 OPSD 的 7 倍，论文未给吞吐对比，成本不透明；其二，『每个 token 都需要老师』的结论依赖准确率增益这种可验证代理，写作、对话等开放域任务没有等价信号，方法难以直接迁移；其三，增益随模型规模递减（1.7B +5.9 → 4B +1.5 → 8B +2.8），学生更强时多教师的边际收益缩小；其四，三个评测集合计不足 60 题，Avg@12 虽缓解方差，统计功效仍有限；其五，教师池内教师同参同源、只差参考截断，多样性存在天花板。
独立分析的弱点
（1）教师池构造是手工枚举：prefix/suffix/random-span × 0.5/0.75 共 7 个教师彼此高度相关（同参数、同参考源），多样性受限。改进方向：让学生自改写参考的不同粒度版本，或训练一个轻量路由头直接回归每个 token 的最优暴露比例，把离散 7 选 1 扩展为连续或更大规模、可学习的教师池。（2）训练开销成倍增加：每 token 需教师池全部前向统计，约 7 倍条件前向计算与 KV cache。改进方向：先用学生自身的熵/置信度筛出 20%–30% 的『困难 token』，只对其做多教师评分，把额外开销压回近单教师水平；或对 7 份参考拼接做共享前缀 KV cache 优化。（3）投票信号只看已采样 token 一维：$a_{T_k}$ 只比较该 token 上师生概率，忽略教师分布整体形状，可能误判方向。改进方向：结合 top-k 概率质量或分布分位数做更稳健的方向判断。（4）评测面窄：三个数学集合计不足 60 题。改进方向：补充 MATH-500、LiveCodeBench、GPQA 等更大更广的评测，并报告方差与显著性检验。
未来方向
作者提出两个方向：自进化教师池（池的组成随训练动态调整）与更稳定的多教师训练。可延伸的：把干预实验的接力增益作为在线信号，周期性重估并剪枝/扩增教师池，形成数据驱动的池管理；与 RLVR 混合——多数投票反对的 token 位置正是结果奖励无法定位的纠错点，可在这些位置注入蒸馏信号、其余位置用 RL；把 token 级教师选择推广到非可验证任务，用过程奖励模型或 LLM-as-judge 替代准确率增益作为干预代理；从信息论角度解释『多数派内 KL 最远者最优』，给出理论保证；以及迁移到 agent 轨迹、多模态推理等更长决策序列的后训练。
复现评估
复现条件较好：代码开源（github.com/xingzhejun/MTA-OPSD），训练数据 DeepMath-103K 与评测集 AMC23/AIME24/AIME25 均为 HF 公开资源；实现基于成熟的 veRL PPO trainer（FSDP2 + vLLM）。算力门槛中等偏高：论文用 4×H200 做全参数训练（无 LoRA），复现 Qwen3-1.7B 约需同级别 4 卡服务器，8B 需要更多显存或梯度检查点。关键超参齐全（附录 C）：thinking mode 常开、训练/评估最大长度 4096/38912、学习率 $1\times10^{-6}$、全局 batch 32、教师分布取 top-100、难度分层选数据（1.7B 用难度 5–7、4B 用 6–8、8B 用 7–10）。注意每 50 步评估取最佳 Avg@12，评估算力不可忽视。总体复现难度：中等，工程细节完整，风险点主要在 7 教师前向的显存与吞吐。
论文图表
在同一条学生复变函数题的响应上，分别应用 prefix-0.5、suffix-0.5、random-span-0.5 三个教师，逐 token 展示它们给出的学习信号：部分位置三个教师信号一致（supporting），部分位置方向相反（opposing）。
一眼看出『同一响应内不同教师会在不同 token 上给出相反的监督方向』，这是全文立论的可视化起点。
展示干预实验流程：保留学生前缀 $y_{1:i-1}$，候选教师从位置 $i$ 接管生成 $k$ 个 token，再交还学生完成剩余响应；接力争力相对纯学生生成的准确率增益 $\Delta$ 作为该位置教师适配度的代理指标。
这是论文最关键的方法论创新——量化 token 级教师偏好的实验设计，理解它才能明白三条核心发现从何而来。
拆解两步选择：无投票只用 KL 最远 52.9；投票+KL 最远（默认）57.0；投票+随机 56.6；投票+KL 最近 53.3。
证明投票是方向保障、KL 远近是信息量保障，两者缺一不可——尤其说明没有投票约束时 KL 最远反而有害。