TIP：在策略蒸馏中的 Token 重要性 TIP: Token Importance in On-Policy Distillation
用熵与分歧两轴解释 OPD 中 token 重要性，并提出无参数 Soft-OR 选择规则。
前置知识
知识蒸馏 (Knowledge Distillation, KD)
把一个强大的教师模型学到的知识转移到更小的学生模型，常用做法是让学生模仿教师在每个位置的输出概率分布。on-policy 蒸馏让学生自己生成 rollout，再由教师逐 token 给监督信号。
本文研究的 OPD 是一种 on-policy 蒸馏，整个方法建立在蒸馏基础之上。如果对 KD 不熟悉，论文中「教师打分」「学生模仿」「反向 KL 目标」这些核心动作都难以理解。
KL 散度与正/反方向差异
KL 散度是非对称度量。反向 $D_{KL}(P\|Q)$ 是 mode-seeking，让学生聚焦在 $Q$ 的主导模态；正向 $D_{KL}(Q\|P)$ 是 mode-covering，要求覆盖 $Q$ 的全部支撑集。
本文 OPD 训练目标用反向 KL，但 Q3 选择器刻意改用正向 KL 排序——理解两个方向差异是看懂「打分与损失方向解耦」这一关键设计的前提。
学生熵 (Student Entropy)
学生在每个 token 位置的不确定性度量，$h_t = H[P_S(\cdot|c_t)]/\log|V| \in [0,1]$。接近 1 表示学生不确定 (underconfident)，接近 0 表示学生非常确信 (overconfident)。
$h_t$ 是 TIP 分类法的两根轴之一，决定「confused vs confident」。不熟悉归一化熵的语义就无法解读 Q1-Q4 象限。
On-Policy vs Off-Policy 学习
On-policy 是让学生自生成采样分布内的 rollout，再用教师的逐 token 监督来学；off-policy 直接学教师生成或第三方数据，训练/推理分布可能不匹配。
本文核心论断——token 重要性只能在线逐位置评估——恰是 on-policy 框架的直接结果；无法直接套回 off-policy 的样本选择问题。
研究动机
在 OPD 中，学生生成 rollout 后每个 token 位置都会得到教师监督，但并非所有位置同等重要。已有工作 (EntroDrop、Entropy-Aware OPD 等) 几乎一律把学生熵当作重要性代理——但存在结构性盲点：当学生「自信地错了」(低熵但教师不赞同) 时，纯熵完全看不到这些 token。例如 Qwen3-8B→4B 上把熵选择预算从 50% 压到 20%，MATH-500 从 78.6 跌到 74.1；三对模型都观察到类似跌破 100% baseline 的现象，提示被熵丢弃的低熵 token 仍有强信号。同时 PACED/LION 等响应级方法看不到 token 内异质性；AdaKD 仅靠分歧打分 (Hellinger) 在低预算下并非最优。
本文的目标是本文为 OPD 构造统一的 token 重要性理论，并设计无调参选择规则。具体回答：(1) OPD 中哪些 token 真正携带学习信号？(2) 仅用熵作标准时的结构性盲点在哪？(3) 如何构造能同时识别「不确定」与「自信错」、自然抑制「已解决」token 的打分？最终在 MATH-500 / AIME'24 / AIME'25 与 DeepPlanning 上同时验证：(i) 50% 预算 Soft-OR 稳定优于纯熵；(ii) 仅 20% Q3 token 在 DeepPlanning 上反超 100% 全 token baseline。
与已有工作不同的是，已有工作各有局限：课程学习与重要性采样粒度太粗 (example-level)；AdaSwitch 用分歧切换教师/学生引导但不挑选 token；SelecTKD 用教师做提议-验证需要额外前向；AdaKD 的 LATF 本质是分歧视角，作者 head-to-head 对比证明其在 20% 预算下并非最优，增益实际来自正交的 IDTS。本文独特之处：(1) 首次把 token 状态降到 (熵, 分歧) 二维并划分四个可解释象限；(2) 识别 Q3 这一熵盲区，给出形式命题 Prop 1 (oracle 权重解析式) 与 Prop 2 (「任何非递减熵函数对 Q3 结构性失明」)；(3) 提出真正参数自由的 Soft-OR $s_t = 1-(1-\hat h_t)(1-\hat\delta_t)$ 同时恢复 Q3 与 Q1/Q2；(4) Q3 选择中用前向 KL 排序、训练用反向 KL 的「打分与损失方向解耦」做法，与 AdaKD 系工作形成本质差异。
核心方法
方法分四步：(1) 在线计算标准 OPD 反向 KL 损失时，同步记录两个量：学生熵 $h_t = H[P_S(\cdot|c_t)]/\log|V|$ 与师生反向 KL $\delta_t = D_{KL}(P_S\|P_T)$——二者已在前向中算出，无额外推理。(2) 把每个 token 按这两个轴投影得四个象限：Q1 高高 (最浓信号)、Q2 高低 (次重要)、Q3 低高 (overconfident 错误，熵盲区)、Q4 低低 (已解决)。(3) 对 $h_t, \delta_t$ 在 batch 内做 98 分位截断后 min-max 归一化，用 $s_t = \hat h_t+\hat\delta_t-\hat h_t\hat\delta_t = 1-(1-\hat h_t)(1-\hat\delta_t)$ 合成「任一轴高则分数高」。(4) 给定预算 $\rho$ 做 top-K，仅在被选 token 上算反向 KL 损失。只增加 $O(m\log m)$ 排序。
核心创新两点。**(1) 形式证明 Soft-OR 的必要性**：Prop 1 在 $\beta$-光滑假设下给出 oracle 权重 $w_t^* = \bar\phi_t/(\eta\beta\bar M_t)$，证明「梯度与整体下降方向对齐、且能量不大」的 token 最值得学；Prop 2 严格证明「任何非递减熵函数 $f(h_t)$ 在 $h_t\approx 0$ 时必为 $0$，因此对 Q3 永远失明」——这是结构性而非统计性命题。**(2) 打分-损失方向解耦**：Q3 选择器首次用正向 KL $D_{KL}(P_T\|P_S)$ 排序，因为反向 KL 在学生近确定性时几乎只衡量「教师给该 token 的概率」；前向 KL 直接惩罚「学生未覆盖教师支集」，对低熵高分歧信号更尖锐——而训练损失仍用反向 KL 以维持 mode-seeking 稳定性。
方法步骤详情
流程：(1) 输入 batch $\{x_i\}$，学生 $S_\theta$ 自回归生成 $y_i$；(2) 每位置 $t$ 计算 $h_t = H[P_S]/\log|V|$ 与 $\delta_t = D_{KL}(P_S\|P_T)$；(3) batch 内对 $h_t$ 做 98 分位截断后 min-max 得 $\hat h_t$，$\delta_t$ 同理；(4) Soft-OR 打分 $s_t = 1-(1-\hat h_t)(1-\hat\delta_t)$；(5) 预算 $\rho$ 下保留 top-$\lfloor\rho m\rfloor$ 的索引集 $T$；(6) $L_{TIP}=\frac{1}{|T|}\sum_{t\in T} D_{KL}(P_S\|P_T)$，仅 $T$ 上反向传播。Q3-only 把步骤 (4) 换成 $w^{Q3}_t = \delta^{fwd}_t \cdot \text{conf}_t$。对外仅暴露 $\rho\in\{10,20,50\}$。
技术新颖性
新颖性三方面。**(N1 视角)** 把 token 状态降到 (entropy, divergence) 二维并划分四个可解释象限——此前工作几乎都只看单轴。**(N2 理论保证)** oracle 权重 $w_t^*$ (Prop 1) 与「任何非递减熵评分对 Q3 结构性失明」(Prop 2) 在蒸馏文献中首次出现，并提出真正参数自由的修复 (Soft-OR)。**(N3 打分方向解耦)** Q3 选择用前向 KL、训练用反向 KL 是 OPD 中的新做法，作者用 mode-covering vs mode-seeking 给直觉并验证。**(N4 实证)** 50% 预算 Soft-OR 在三对数学模型稳定优于纯熵 (Qwen3 MATH-500 79.1 vs 78.6；AIME'24 25.7 vs 23.8)；DeepPlanning 上 Q3-only-20% 反超 100% baseline (12.6 vs 11.7)，「用更少 token 反而更优」在 AdaKD/SelecTKD 等同代工作中相当罕见。
实验结果
**(1) 熵有效但不完整**：50% 熵采样在 MATH-500 从 76.7/71.0/55.1 提升到 78.6/74.0/54.9；AIME'24 从 21.9/21.5/2.4 提升到 23.8/25.3/3.3；峰值显存 72→38、42→32、36→20 GB (47%)；但 20%/10% 跌破 baseline。**(2) Q3 结构性盲区**：< 10% Q3-only 训练近全 baseline——Qwen3 Q3-10% MATH 76.1 vs 76.7、Llama Q3-20% 71.8 vs 71.0，直接验证 Prop 2。**(3) Soft-OR 稳定优于纯熵**：Qwen3 MATH 79.1 (> 78.6)、AIME'24 25.7 (> 23.8)、Llama AIME'25 11.5 (> 7.5)。**(4) DeepPlanning 反转**：14B 教师 Q3-20% = 12.6 反超 100% OPD 11.7、32B 教师 13.6 vs 12.8——「单步自信错」代价大，Q3 在 agentic 任务价值远高于数学推理。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH-500 (Qwen3-8B→4B) | mean@16 准确率 (%) | Soft-OR 50% = 79.1；Q3-only 10% = 76.1 | 全 token (100%) = 76.7；熵 50% = 78.6 | Soft-OR 50% 比全 token +2.4、比熵 50% +0.5；Q3-only 10% 仅用 <10% token 几近持平 |
| AIME'24 (Qwen3-8B→4B) | mean@16 准确率 (%) | Soft-OR 50% = 25.7 | 全 token = 21.9；熵 50% = 23.8 | 比全 token +3.8；比熵 50% +1.9 |
| AIME'25 (Llama-70B→8B) | mean@16 准确率 (%) | Soft-OR 50% = 11.5 | 全 token = 4.9；熵 50% = 7.5 | 比全 token +6.6；比熵 50% +4.0 |
| MATH-500 (Llama-70B→8B) | mean@16 准确率 (%) | Soft-OR 50% = 74.7 | 全 token = 71.0；熵 50% = 74.0 | 比全 token +3.7；比熵 50% +0.7 |
| MATH-500 (Qwen2.5-14B→1.5B) | mean@16 准确率 (%) | Soft-OR 50% = 56.2 | 全 token = 55.1；熵 50% = 54.9 | 比全 token +1.1；比熵 50% +1.3 |
| DeepPlanning (Qwen3-1.7B, 14B teacher) | Avg@16 (%) | Q3-only 20% = 12.6 | 全 token OPD = 11.7；熵 50% = 12.1 | 用 1/5 token 数反超全量 +0.9；比熵 50% +0.5 |
| DeepPlanning (Qwen3-1.7B, 32B teacher) | Avg@16 (%) | Q3-only 20% = 13.6 | 全 token OPD = 12.8；熵 50% = 13.1 | 用 20% token 数反超全量 +0.8 |
| 端到端显存 (Qwen3-8B→4B, 50% 预算) | 训练峰值 GPU 显存 (GB) | Soft-OR 50% ≈ 38.1 | 全 token = 72.0 | 显存节省 47.1% (~33.9 GB) |
局限与改进
作者承认：(L1) 最大教师 70B、rollout 16K tokens，未验证 1T+ 参数或数十万 token 智能体场景。(L2) Soft-OR 仅在反向 KL 上实验，未测试 forward KL / JSD 等。(L3) Q3 占比 3-15% 且模型间差异大 (Qwen3/Llama > Qwen2.5)，预算仍需手动。(L4) 前向 KL 用于 Q3 选择的训练稳定性论证被推迟到附录且较简略。(L5) 仅三对数学+一对智能体验证，未涉代码/多模态/对话/检索。我自己观察：(a) Q3-only 在数学推理接近但基本没反超全 token baseline (Qwen3 76.1 vs 76.7、Llama 71.8 vs 71.0、Qwen2.5 54.6 vs 55.1)，而在 DeepPlanning 上明确反超——长程规划中「一步错即全局崩」显著放大 Q3 价值；(b) batch 内 min-max 归一化的 batch-size 鲁棒性未给 ablation，小 batch 或 token 高同质 (easy prompt 全 Q4) 时方差被噪声淹没。
独立分析的弱点
**(W1 归一化敏感性)** Soft-OR 对 batch 内 min-max 敏感——简单 prompt 全 Q4 时 $\hat h_t, \hat\delta_t$ 方差被淹没。改进：可用 EMA 分位数或经验 CDF 替代。**(W2 打分-损失方向不一致)** Q3 用前向 KL 但训练用反向 KL 缺形式对齐论证。改进：证前向 KL 选择与反向 KL 下降方向的二阶相关性，或给出 $s^{mix}_t = \alpha\hat\delta^{fwd}+(1-\alpha)\hat\delta^{rev}$。**(W3 预算仍手动扫)** 50/20/10 无自适应；改进：curriculum 式预算退火 (100%→20%)。**(W4 offline-snapshot)** TIP 仅看 $(h_t, \delta_t)$ 瞬时不含跨 step 动态 (EDIS 已证 entropy 时序有诊断价值)；改进：加时间维或滑动 EMA。**(W5 与同代融合未尝试)** 与 AdaSwitch/SelecTKD 组合是否更优未测试。
未来方向
**(F1, 作者明示)** 验证 1T+ 参数与 100K+ token 智能体 tool-call 下 TIP 四象限是否稳定。**(F2, 作者明示)** 把两轴框架推广到 PRM 与 speculative decoding——二者也是 on-policy + token 级监督。**(F3)** 引入第三维「时间」(EDIS 思路) 或对 $h_t, \delta_t$ 滑动 EMA 再算 Soft-OR。**(F4)** 与 curriculum 融合：先 100% 解决 Q1/Q2、再 20% 捕获 Q3。**(F5)** 与 AdaSwitch/SelecTKD 正交组合——后者做切换、Soft-OR 做选择。**(F6)** 推广到 on-policy RL (GRPO/PPO)：reward shaping 对高 $\delta_t$ token 给更大权重，可能缓解 entropy collapse。**(F7)** 探索 Soft-OR 与 Sang et al. 2026 reverse-KL self-distillation 的关系。
复现评估
**(R1 算力)** Qwen3-8B→4B 需 ~8 张 A100-80GB 或 FSDP/ZeRO-3；Llama-70B→8B 必须 LoRA 或张量并行；Qwen2.5-14B→1.5B 较亲民 (35.8 GB) 可单卡跑。**(R2 数据)** 训练用 DAPO，评测用 MATH-500 + AIME'24/'25 + DeepPlanning，均公开。**(R3 超参数)** lr=1e-6 vs 3e-7 (Llama)；AdamW + cosine；DeepPlanning 训 15 epochs；预算 $\rho\in\{10,20,50\}$ 无温度。**(R4 报告)** 每数字 mean±std across 16 samples，可直接做显著性检验。**(R5 未提供)** 完整训练 seed、wandb 配置、checkpoint 来源——HuggingFace 可获取但注意「Qwen3-8B (GRPO)」区别于 base；Soft-OR 代码量约 30 行。总体可复现度中高。
论文图表
