面向在线策略蒸馏的教师-学生差异校准 Calibrating Teacher--Student Discrepancy for On-Policy Distillation

完整流程（以 Qwen3-4B-Thinking-2507→Qwen3-1.7B、$C_{\mathrm{eval}}$ 干预、$\lambda=5$ 为例）。步骤一，数据与轨迹：用 Qwen3-235B-A22B-Instruct-2507 为 DAPO-17K 生成并过滤出 15,560 个带验证参考解的问题（覆盖率 90.18%），学生每步对 256 个问题各采样 1 条轨迹（温度 1.0、top-$p$ 1.0、最大 16,384 token）。步骤二，原始差异计算：教师与学生分别对每个学生 token 计算对数似然，得到 $\ell^T_t$、$\ell^S_t$ 与 $A^{\mathrm{OPD}}_t$，教师只输出 top-16 token 的对数概率。步骤三，TSD 探测：教师额外做两次前向，输入分别为问题加正向评价反馈（"验证者判定推理严谨、连贯、数学上可靠"）与负向评价反馈（"判定推理有缺陷、不连贯、不可靠"），学生轨迹与被评 token 保持逐字不变，得到 $\Delta^{\mathrm{pos}}_t$、$\Delta^{\mathrm{neg}}_t$。步骤四，区间估计与校准：计算 $\hat{d}^{\downarrow}_t$、$\hat{d}^{\uparrow}_t$，乘 $\lambda=5$ 得 $[L^T_t,U^T_t]$，再由铰链公式得 $A^{\mathrm{Cal}}_t$；训练早期保留差异比例约 65%，随训练降至 52%，零优势 token 比例从 27% 升到 34%。步骤五，优化：把 $A^{\mathrm{Cal}}_t$ 代入带 stop-gradient 的 OPD 损失，用 AdamW（学习率 $1\times10^{-6}$、余弦调度、梯度裁剪 1.0、权重衰减 0.01）训练 100 步，全部实验基于 verl 框架在 8 张 NVIDIA H20（4 卡学生、4 卡教师）上完成。评测在 AMC23、AIME24/25/26、HMMT26、MATH500 六个基准上按每题 16 次采样平均（Avg@16），温度 0.6、top-$p$ 0.95、最大 20,480 token。

技术新颖性体现在四个方面。其一，概念贡献：首次把"教师似然在受控上下文干预下的变化"命名为 Teacher Self-Deviation，并给出可操作的区间估计 $\hat{R}^T_t(\mathcal{C})=[\ell^T_t-\hat{d}^{\downarrow}_t,\ \ell^T_t+\hat{d}^{\uparrow}_t]$，明确指出它只是底层真实自偏差区域 $\mathcal{R}^T_t$ 的有限干预近似。其二，实证方法学：用约 6,000 万 token 的重评分实验（同一学生轨迹在 9 种教师上下文下重算似然）系统证明 TSD 无需任务知识即可出现、对正确性反转不敏感、按 token 形态高度结构化（表面词与数学符号的显著率相差近一个数量级，top-24 与 bottom-24 的均值相差 11–18 倍），这组证据对蒸馏社区有独立价值。其三，算法设计：与熵加权（EOPD）、结果校准（Uni-OPD）、阈值丢弃（TSD-Filter）不同，Cal-OPD 是保留残差的软校准，连续保留区间外的全部差异而非二值地丢 token，保持率匹配对照证明这是增益来源。其四，系统发现：揭示特权 OPD 与过强校准（$C_{\mathrm{sol}}$）是两种相反的失败模式——前者"过度自信捷径坍缩"（学生熵降到约 0.25、概率质量重叠升至 0.880），后者"信号坍缩"（熵升到 0.36、响应缩到 5.5K token），为后续方法设计划出了清晰边界。

第一，双探测区间估计偏粗糙：仅用一正一负两个提示的极值定义 $\hat{d}^{\downarrow}_t$、$\hat{d}^{\uparrow}_t$，再统一乘固定 $\lambda=5$，没有逐 token 的不确定性量化。改进方向：对同一 token 用多提示或 dropout 采样估计漂移方差，把 $\lambda$ 换成分位数校准或可学习参数。第二，计算开销结构性偏向教师：开销集中在教师前向，教师越大越亏（30B→4B 慢 56%）。改进方向：离线一次性统计各 token 形态/位置/推理阶段的 TSD 分布，在线用查表近似，或只对高 TSD 风险 token 做探测，把两次前向摊薄为摊销成本。第三，域外有效性未知：数学推理中表面词与符号 token 泾渭分明，代码生成中注释、格式 token 是否承载同样 TSD 尚不清楚。改进方向：先在目标域重跑第 2 节的干预分析确认 TSD 结构，再套用校准。第四，与廉价基线对比不足：Table 2 已表明 TSD 高度集中在 maybe/however 等表面词上，但论文未测试"直接把这些形态 token 的优势置零"这种近乎零成本的基线。第五，评价反馈模板隐含"存在金标准验证者"的假设，在缺少可靠验证器的开放任务（写作、对话）中如何构造正负干预是未解问题；且 100 步训练窗口较短，也未测试与 RLVR 结果奖励联合时的互补性。

作者方向：结论指向"有效蒸馏取决于识别哪些差异值得学"，可延伸到更可靠的 TSD 区间估计（更多样化的探测干预、自适应 $\lambda$）、非数学领域验证，以及把校准思想推广到其他逐 token 蒸馏目标。基于本文成果可延伸的方向：其一，与 RLVR 融合——把 $A^{\mathrm{Cal}}_t$ 作为密集奖励与可验证结果奖励加权组合，兼得密集引导与结果正确性，尤其适合特权 OPD 失效的高难竞赛题；其二，自蒸馏场景——OPSD 类方法用特权自教师时同样面临上下文诱导偏差，Cal-OPD 的探测机制可直接移植；其三，把 TSD 当作教师选择与数据质量指标——训练前用小规模干预分析评估候选教师的稳定性，选 TSD 最低的教师或在 token 形态层面对齐师生；其四，理论化——建立"有限干预下 TSD 区间以概率 $1-\delta$ 覆盖真实漂移"的保证，推导 $\lambda$ 与覆盖率的解析关系，替代手调；其五，方向性利用——高 TSD 的表面词 token 恰是文风载体，可以反向地只对它们做校准或放松校准，实现能力蒸馏与风格迁移的解耦控制；其六，把 TSD 区间与奖励模型的置信区间结合，构建统一的不确定性感知后训练框架。

复现条件相当好。模型全部公开（Qwen3-1.7B、Qwen3-4B-Thinking-2507、Qwen3-8B、Qwen3-30B-A3B-Thinking-2507、Qwen3-235B-A22B-Instruct-2507）；训练集 DAPO-17K 公开，参考解生成与学生轨迹采集流程在附录 A.2 完整给出（含系统提示、温度、长度上限、15,560 对的过滤标准与 6,528 条分析轨迹）；四种干预的完整模板印在 Table 1，负向答案与负向解答的构造规则（等位数错误答案、长度差小于 10% 的他题解答）也写明；实现基于开源 verl 框架，共享与方法特定超参完整列于 Table 10/11（学习率 $1\times10^{-6}$、100 步、每步 256 轨迹、教师 top-16 logprobs、损失裁剪 10、Cal-OPD 用 $C_{\mathrm{eval}}$ 与 $\lambda=5$）。算力为 8 张 NVIDIA H20（4 卡学生 4 卡教师）跑 100 步：4B→1.7B 约 25 小时、30B→4B 约 81 小时，中等规模实验室可负担；TSD 分析需对约 6,000 万 token 做 9 种上下文重评分，可按比例缩减。论文未给出开源代码链接，复现需自行在 verl 中实现校准损失，难度中等：熟悉 RL 训练框架的团队约需一至两周；关键坑点包括师生分卡部署的吞吐、top-16 logprob 截断带来的似然误差，以及评测协议（温度 0.6、top-$p$ 0.95、Avg@16、最大 20,480 token）的严格对齐。