揭幕在线策略蒸馏：何时有益、何时有害、为何如此 Unmasking On-Policy Distillation: Where It Helps, Where It Hurts, and Why

完整方法分为五个步骤。第一步(2.1节，动机定义)：对每个分叉节点 $u$ 收集通过该节点的所有学生rollout，统计每个next-token $k$ 的经验成功率 $\hat{P}_{succ,k} = S_k^u / N_k^u$，其中 $S_k^u$ 是在 $u$ 选 $k$ 后最终答对的rollout数，$N_k^u$ 是总rollout数；同时定义教师优势 $\text{Adv}(u) = \sum_k P_{te}^k \hat{P}_{succ,k} - \sum_k P_\theta^k \hat{P}_{succ,k}$。第二步(2.2节，理想梯度推导)：把学生当前节点的成功率 $\bar{P}_{succ} = \sum_k P_\theta^k \hat{P}_{succ,k}$ 作为局部目标 $L_{ideal}(u) = \sum_k P_\theta^k P_{succ,k}$，对其求关于logit $z_j$ 的梯度，利用softmax雅可比得到 $g_{ideal}^j = P_\theta^j (P_{succ}^j - \bar{P}_{succ})$；并证明Dr. GRPO的期望梯度正比于此。第三步(2.3节，蒸馏梯度推导)：分别推导GKD梯度 $g_{GKD}^j = -P_\theta^j (\ell_j - \bar{\ell})$(其中 $\ell_k = \log P_\theta^k - \log P_{te}^k$)、单样本估计器和MiniLLM的局部形式，指出它们共享结构 $P_\theta^j (f_j - \bar{f})$。第四步(2.4节，对齐分数定义)：计算 $\text{Align}(u) = \cos(g_{ideal}^u, g_D^u)$ 在限制集合 $S_u$(访问次数足够的token)上的余弦相似度，正值表示教师信号推动学生走向成功，零表示中性(可能是风格差异)，负值表示推动学生走向失败。第五步(2.5节，可扩展计算)：使用targeted rollout算法，对深度 $d$ 的节点构造'(prompt + 路径 + token $k$)'的前缀并采样续写，把预算按指数深度窗口(例如50、150、350、...)分配，优先采样GKD梯度幅值或师生概率差最大的token，目标访问次数 $N_{min} = 100$，统计显著阈值 $N_{sig} = 20$(AIME用40)；所有教师共享同一棵扩展后的树，每个教师只额外做一次前向传播计算梯度。

本文的技术新颖性体现在多个层面。第一，理论层面——首次严格推导'使学生更可能答对'这一目标下的理想per-node梯度，并证明Dr. GRPO是其无偏估计；这一等价关系把RL和KD放在同一数学框架下比较，为后续诊断奠定基础。第二，方法层面——提出的targeted rollout算法利用'每条trajectory同时丰富从起点到终点所有节点的统计'这一级联效应，结合指数深度窗口与师生分歧优先级，使计算预算与序列长度解耦，适用范围覆盖BoolQ的约200 token到AIME的约30K token；树共享进一步把多教师评估的总开销降到独立的约 $1/7$。第三，经验层面——揭示了几个反直觉但稳健的规律：错误路径上的对齐显著高于正确路径(最强效应在1.7B BoolQ上达 $\Delta = -0.056$, $p < 10^{-9}$)；最优教师随学生容量反转(0.6B上自蒸馏最好，1.7B上外部教师最好)；包含错误演示在BoolQ/MMLU上总是有害但在AIME上变成最优；这些'无可否认但又互相矛盾'的发现强烈支持'per-task诊断'而非固定管线。第四，工具价值——本文框架作为通用的'免训练token级训练算法测试平台'，未来任何蒸馏或RL方法都可在此框架下接受离线评估。

独立分析本文存在几个值得改进的弱点。**弱点1：诊断与改进脱节**——本文明确宣称不提出新算法，但只诊断不改进对实际工程实践的价值有限。一个具体的改进方向是：直接利用对齐分数在训练时进行reweighting，例如只对高对齐的token-问题对应用蒸馏损失，对低对齐或负对齐的token完全跳过，这一'alignment-aware distillation'思路在本文结论中已经提到但未实现。**弱点2：理想梯度的oracle性过强**——理想梯度依赖 $\hat{P}_{succ,k}$ 的精确估计，而后者只能从有限rollout估计；本文虽然证明Dr. GRPO恢复理想梯度在期望下成立，但实践中Dr. GRPO的有限样本估计本身也有方差，二者差异未量化。改进方向是引入bootstrap或贝叶斯后验来给出对齐分数的置信区间，而非只用点估计。**弱点3：上下文'可理解性'假设缺乏严格验证**——作者多次用'comprehensibility'来解释为什么小模型从大教师学不到东西，但这一概念没有被独立测量；改进方向是设计一个独立的'可理解性指标'，例如学生在前缀上的perplexity相对于自己的baseline有多大变化，作为可理解性的代理变量。**弱点4：8种教师配置的系统不完备**——没有覆盖temperature、采样策略、prompt template等因素；改进方向是引入'超参数敏感性'分析，验证最优教师的结论在不同解码配置下是否稳健。**弱点5：缺乏人类评估的对照**——对齐分数是机制指标，最终应该对照人类对答案质量的判断；目前没有任何人类研究或对最终答案质量的直接评估。**弱点6：Dr. GRPO等价推导依赖简化假设**——附录B的推导去除了KL惩罚(small $\beta$)和importance ratio的边际化，这些简化在什么条件下成立、何时破坏，论文未严格讨论。

作者在论文结尾明确提出了四个未来方向。(1) **Rollout-weighted distillation**——根据学生当前路径的成功率对蒸馏损失加权，让训练重点放在失败轨迹上，本文已经证明这些轨迹上的教师信号最对齐；(2) **Multi-teacher distillation**——把多个互补教师的信号组合，例如自蒸馏+外部教师的混合，目标是在0.6B上也获得1.7B上看到的外部教师收益；(3) **Adaptive context selection per domain**——根据任务难度动态选择上下文形式(原始trace、摘要、对比示例)，本文已经在BoolQ vs AIME上观察到上下文选择的反转；(4) **Divergence-based filters for alignment-aware training**——利用师生分布分歧作为廉价过滤(虽然 $|\rho| < 0.05$ 但符号稳健)，跳过明显无用的token。基于本文结果可进一步延伸的方向包括：(5) 把框架扩展到多模态模型，验证视觉token上是否也观察到相同的'错误路径对齐更高'规律；(6) 探索'对齐分数'作为强化学习中的奖励塑形信号，看是否能加速Dr. GRPO收敛；(7) 研究在线蒸馏过程中的'对齐度演化'——本文是离线snapshot，如果能在训练过程中持续监控对齐分数并自适应调整学习率，可能更早发现教师-学生不匹配；(8) 把目标函数 $L_{ideal}$ 本身作为训练目标直接优化，绕过任何具体蒸馏算法的中介。

复现本文的难度相当高，主要因为计算开销巨大。作者明确报告实验总计需要约72 A100-days的GPU时间，每题需4.5万到20万次targeted rollout，单是8种教师×2种学生×3种数据集(BoolQ/MMLU/AIME)的扫描就是普通实验室难以承受的规模。具体的资源要求：每个重要token目标访问次数 $N_{min} = 100$，BoolQ短链约4.5万rollouts/题，AIME长链约20万rollouts/题，MMLU中等。代码与数据：论文arXiv版本(2605.10889v1)未明确声明开源，但从上下文看使用了Qwen3-0.6B/1.7B/4B/8B/14B/32B这一系列公开模型(HuggingFace可获取)和BoolQ、MMLU、AIME 2025三个公开数据集，rollout是基于vLLM或类似推理框架实现的(未明示)。算法的核心步骤(理想梯度推导、对齐分数计算)在论文主体与附录B中有完整数学描述，targeted rollout算法的指数深度窗口与采样优先级规则在Section 2.5详细给出。**评估可复现性**：(1) 指标计算公式明确，可以直接复现；(2) 实验设置具体(每个学生/教师/数据集的具体分数都给出95%置信区间)，便于交叉验证；(3) 但72 A100-days的算力门槛意味着只有资源充足的实验室才能完整复现；(4) 不同随机种子、rollout数量、温度参数对结论的敏感性测试未给出，可能存在未报告的方差。**我的总体评估**：理论框架可复现性高(数学定义明确)，但完整实验复现性低(算力瓶颈)，部分实验(如BoolQ子集)在缩减规模后应该可以在中等规模实验室复现。