并非所有分歧都是可学习的：在线策略蒸馏中的 Token 可教性 Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation
提出token可教性概念，在线策略蒸馏中仅用5%监督token即可超越全量监督
前置知识
On-Policy Distillation (OPD)
在线策略蒸馏是一种知识蒸馏方法，训练学生模型时使用学生自身生成的轨迹，并由教师模型在每个 token 位置提供监督信号。与离线蒸馏不同，OPD 在学生实际访问的状态上进行监督，减少了训练和部署之间的分布不匹配。其核心损失通常是反向 KL 散度 DKL(pθ∥pT)，鼓励学生在其当前分布中增加教师偏好的 token 概率质量。
论文的核心就是研究 OPD 中哪些 token 级别的监督信号真正有用，理解 OPD 是理解本文问题的基础。
KL Divergence（KL散度）
Kullback-Leibler 散度是衡量两个概率分布差异的指标，定义为 DKL(P∥Q) = ∑x P(x) log(P(x)/Q(x))。在知识蒸馏中，反向 KL DKL(pθ∥pT) 表示学生分布对教师分布的偏离程度。本文关注的是 token 位置上的 teacher-student KL 差异，即 DKL(pT(·|ct)∥pθ(·|ct))，其中 ct 是当前上下文。高 KL 表示教师和学生对该位置下一个 token 的预测有较大分歧。
论文发现高 KL 分歧并不总是可学习的，这是对传统基于分歧的选择方法的根本质疑。
Top-K Support
在语言模型的下一个 token 预测中，top-K support 指模型认为最可能的前 K 个 token 集合，记为 SSt(K) = TopK pθ(·|ct), K。这个集合代表了模型当前考虑的候选 token 范围。论文利用 top-K support 来度量教师修正与学生当前预测的对齐程度。如果教师的大部分概率质量落在学生的 top-K 集合内，说明修正可达，如果教师偏爱的 token 远离学生的支持，则修正难以被吸收。
论文的核心创新就是用 top-K support 来定义 token 可教性，这是区分可学习和不兼容分歧的关键。
Fixed-Context Diagnostic
固定上下文诊断是论文提出的一种评估方法：先收集学生生成的上下文前缀 ci,t = (xi, yi,<t)，冻结这些前缀作为上下文库，然后在相同的冻结状态下重新打分初始学生和训练后的学生。对于每个 token，计算相同上下文下的 KL 减少量 Gfixi,t = DKL(pi,tT∥pi,tθ0) - DKL(pi,tT∥pi,tθτ)。这控制了重采样噪声和下游上下文变化，纯粹度量局部 KL 减少。
这种方法将 token 级别的学习价值与 rollout 噪声解耦，使得能够可靠地研究哪些 pre-update 信号预测局部改进。
研究动机
现有的选择性在线策略蒸馏方法（如 TIP、熵基方法等）都基于一个隐含假设：高分歧或高熵的 token 更有学习价值。但本文通过固定上下文诊断发现，这个假设是有问题的。在低熵、高 KL 分歧的 Q3 区域（学生自信但与教师强烈分歧），原始 KL 实际上混淆了两种完全不同的情况：可学习分歧（教师将修正质量分配给学生 top-K 候选）和不兼容分歧（教师将质量分配到学生支持之外）。实验数据显示，在 Q3 区域内，高 DL（可学习分歧）token 的增益为正 0.015，而低 DL 和高 DI（不兼容分歧）token 的增益为负或接近零。这意味着选择高 KL token 时，可能会引入大量无效甚至有害的监督信号。
本文的目标是本文的核心目标是重新审视选择性 OPD 的基本原则，提出一个能够真正预测学习价值的度量标准，并基于此设计更高效的 token 选择方法。具体来说，作者希望通过固定上下文诊断分离 token 级别学习价值与 rollout 噪声，将原始分歧分解为可学习和不兼容组件，提出一种轻量级、无需奖励模型或验证器的 token 位置选择方法，验证 token 质量可以超过 token 数量，即用更少但更可教的监督 token 达到更好性能。
与已有工作不同的是，本文的独特切入角度是首次明确提出 token 可教性这一概念，从兼容性而非显著性的角度重新思考 OPD。与之前工作关注不确定性（熵）或分歧大小（KL）不同，本文强调教师修正与学生当前预测支持的局部对齐。作者发现，即使是高 KL 分歧，也可能包含大量不可学习的信号（教师指向学生支持之外）。这一发现从根本上挑战了分歧越大越有价值的直觉，将选择性 OPD 重新定义为选择可学习的监督而非选择显著 token。
核心方法
方法的核心思想是度量教师修正与学生当前预测支持的局部对齐程度。作者首先通过固定上下文诊断发现，原始 KL 分歧是学习价值的粗略代理，它混合了可学习分歧（教师在学生 top-K 支持内重新分配质量）和不兼容分歧（教师指向学生支持之外）。基于此，作者定义了 token 可教性为支持对齐的教师-学生分歧，即 steacht = DLt = eDt * eCt，其中 eDt 是归一化的局部分歧，eCt 是归一化的兼容性质量。Teachability-Aware OPD (TA-OPD) 在每个响应位置计算可教性分数，仅在高可教性位置应用 OPD 损失。该方法仅使用训练过程中已有的教师和学生 token 概率，无需额外的奖励模型或验证器。
核心创新点是将教师-学生分歧分解为可学习和不兼容两个组件。定义学生的局部支持为 top-K token 集合 SSt(K)，计算局部分歧 Dt = DKL(¯pUtT∥¯pUtθ)，其中 Ut = SSt(K) ∪ STt(K) 是学生和教师 top-K 的并集。兼容性质量 Ct = ∑v∈SSt(K) pT(v|ct) 度量教师有多少质量落在学生支持上。通过鲁棒归一化得到 eDt 和 eCt，然后定义可学习分歧 DLt = eDt * eCt 和不兼容分歧 DIt = eDt(1-eCt)。关键洞察是只有支持对齐的分歧才可靠地预测学习增益：实验显示 DL 的标准化系数约为 0.086-0.087，而 DI 仅为 0.043-0.045，差距达 0.041-0.044。
方法步骤详情
TA-OPD 的完整步骤包括八个阶段。第一阶段，对于 rollout batch 中的每个有效响应位置 t，提取上下文 ct = (x, y<t) 和教师、学生的下一个 token 分布 pθ(·|ct)、pT(·|ct)。第二阶段，计算学生和教师的 top-K 集合 SSt(K) = TopK pθ(·|ct), K 和 STt(K) = TopK pT(·|ct), K，K 默认为 16。第三阶段，在并集 Ut = SSt(K) ∪ STt(K) 上计算局部分歧 Dt = DKL(¯pUtT∥¯pUtθ)，其中 ¯pUt 是在 Ut 上重新归一化的分布。第四阶段，计算兼容性质量 Ct = ∑v∈SSt(K) pT(v|ct)，或使用下界 bCt = ∑v∈SSt(K)∩STt(K) pT(v|ct)。第五阶段，对 Dt 和 Ct 进行 batch-wise 鲁棒归一化：eDt = NormB(Dt) = clip((Dt - Q0.05(zB))/(Q0.95(zB)-Q0.05(zB)+ϵ), 0, 1)。第六阶段，计算可教性分数 steacht = DLt = eDt * eCt。第七阶段，对于给定的保留比例 ρ，保留 top-n 个高可教性位置 Tρteach = Topn{steacht : t∈I}，其中 n = ⌈ρ|I|⌉。第八阶段，在这些位置应用 OPD 损失 Lm(θ) = (1/∑t∈I mt) ∑t∈I mt ℓOPDt(θ)，其中 mt = 1[t∈Tρteach]。
技术新颖性
技术新颖性体现在三个层面。诊断层面，首次提出固定上下文诊断将 token 级别学习价值与 rollout 噪声解耦。理论层面，首次将分歧按支持对齐分解为可学习和不兼容组件，证明了原始 KL 是粗略代理。方法层面，提出 TA-OPD 作为无需额外模块的轻量级选择器，仅使用训练中已有的概率信息。与 TIP（熵+分歧两轴分类）不同，TA-OPD 不将熵作为选择信号，而是将可教性作为主轴，熵仅作为可选的补充基线。实验显示，在 Qwen3-8B-GRPO→Qwen3-4B 上，TA-OPD 在 5% 预算下平均分 57.89，而 TIP 为 56.20，熵基方法为 56.95。
实验结果
实验验证了核心发现：可学习分歧比不兼容分歧更可靠地预测学习增益。回归分析显示，DL 的标准化系数约为 DI 的两倍（0.086-0.087 vs 0.043-0.045），bootstrap 间隙为正 0.041-0.044。在 Q3 区域（低熵高 KL）内，高 DL token 产生正增益（正 0.015），而低 DL 为负（负 0.010），高 DI 接近零（正 0.006）。在 Qwen3-4B→Qwen3-1.7B 上，TA-OPD 10% 预算平均分 44.89 超过 Full OPD 的 42.37，提升 5.9%。在 Qwen3-8B-GRPO→Qwen3-4B 上，TA-OPD+Entropy 在 5% 预算下达到 57.89，超过所有基线。在 Qwen3-14B→Qwen3-4B 上，TA-OPD 在 10% 预算下平均分 54.65 匹配 Full OPD 的 54.64。跨骨干实验（DeepSeek-R1-Distill-Qwen-14B→Qwen2.5-3B）显示 TA-OPD 在 10% 预算下平均分 30.62 超过 Base 的 29.98 和 Full OPD 的 28.76。这些结果支持了主要主张：token 质量可以超过 token 数量。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Qwen3-4B→Qwen3-1.7B 平均分 | 六基准平均 | 44.89 | Full OPD: 42.37 | 提升5.9% |
| Qwen3-8B-GRPO→Qwen3-4B 平均分 | 六基准平均 | 57.89 | TIP: 56.20 | 提升3.0% |
| Qwen3-14B→Qwen3-4B 平均分 | 六基准平均 | 54.65 | Full OPD: 54.64 | 匹配Full OPD |
| DeepSeek-R1→Qwen2.5-3B 平均分 | 六基准平均 | 30.62 | Full OPD: 28.76 | 提升6.5% |
| AIME24 数学竞赛基准 | 准确率 | 20.00% | Full OPD: 11.67% | 提升8.33个百分点 |
| MATH-500 数学基准 | 准确率 | 87.40% | Full OPD: 84.70% | 提升2.7个百分点 |
局限与改进
作者承认了几项局限性：分析主要聚焦于数学推理提示和 Qwen 家族教师-学生对，仅有一个跨骨干蒸馏设置；固定上下文诊断是模型无关的，但更广泛覆盖多语言数据、对话任务、代码专用教师和非 Qwen 骨干将进一步测试 token 可教性的泛化性；TA-OPD 选择监督 token 位置而非修剪 transformer 计算，因此报告的 token 预算应解释为监督预算而非成比例的 wall-clock 加速；诊断度量相同上下文 KL 减少，旨在解释局部学习信号，在做出部署声明时应结合下游评估。此外，TA-OPD 不提供关于蒸馏模型的事实性、安全性、偏见或有害内容的保证，如果教师产生不安全行为，当这些 token 对学生来说是局部可学习时，选择性蒸馏仍可能转移部分该行为。
独立分析的弱点
论文的第一个弱点是最佳 token 预算因教师、学生和基准混合而异，缺乏自动调参机制。实验显示，Qwen3-8B-GRPO→Qwen3-4B 在 5% 预算下最优（57.89），而 Qwen3-14B→Qwen3-4B 在 10% 最优（54.65），这增加了部署复杂度。改进方向：开发基于验证集的自适应预算选择或渐进式预算调度。第二个弱点是仅使用 top-K 支持可能丢失重要的长尾信息，如果教师偏好的 token 刚好在学生的 top-K 之外，它会被视为不兼容。改进方向：探索软支持定义或动态 K 选择策略。第三个弱点是论文主要在数学推理任务上验证，其他任务（如对话、代码生成）的行为可能不同。改进方向：在更多任务类型上验证可教性概念，并研究任务特定的可教性模式。第四个弱点是固定上下文诊断与端到端性能之间存在 gap，局部最优的 token 可能因下游上下文变化而无效。改进方向：研究将可教性与全局优化目标结合的方法。
未来方向
作者提出的未来工作方向包括：扩展到更多语言、任务类型和模型架构以测试 token 可教性的泛化性；将可教性概念扩展到离线蒸馏和模型融合场景；探索可教性与奖励模型或验证器的结合，以同时优化性能和安全性；研究可教性在训练过程中的动态变化，是否需要自适应调整选择策略。基于本文成果的可延伸方向包括：将可教性用于增量学习，仅蒸馏新能力而非重新蒸馏整个模型；将可教性用于多教师蒸馏，选择每个教师最可教的信号而非简单平均；将可教性用于自蒸馏迭代，动态识别模型自身生成的可学习信号；将可教性与其他训练技术（如 curriculum learning）结合，按可教性排序训练样本。
复现评估
论文的代码已开源（https://github.com/wyy-code/TA-OPD），这是复现性的积极因素。实验使用 64 NVIDIA H800 GPU 进行训练，计算成本较高，但论文提供了详细的实现细节（包括归一化公式、支持定义和预算控制）。数据来自公开的 DAPO 提示集，评估使用标准基准（AIME24/25、GPQA-Diamond、HumanEval、IFEval、MATH-500）。固定上下文诊断协议在附录中详细描述，包括上下文库构建、支持度量和置信区间计算方法。然而，复现仍面临挑战：训练规模较大（64 H800），需要大量算力；论文未提供完整的超参数扫描细节；某些对照实验（如支持代理审计）的完整数据未全部展示。总体而言，对于有充足算力的研究者，复现是可行的，但完整复现所有实验需要显著计算资源。
论文图表
