先过滤，再加权：重新思考在线蒸馏中的优化粒度 Filter, Then Reweight: Rethinking Optimization Granularity in On-Policy Distillation
FiRe-OPD 用轨迹级硬过滤加 token 级软加权协同优化在线蒸馏粒度。
前置知识
在线蒸馏 (On-Policy Distillation, OPD)
OPD 让学生在自己生成的 rollout 轨迹上接受老师的逐 token 监督，既避免离线蒸馏的训练-推理分布不匹配，又比 RL 的稀疏结果奖励提供更密集的梯度信号。
读懂本文必须先理解标准 OPD 的 PPO 目标及其均匀全轨迹 KL 监督的固有缺陷。
PPO 截断策略梯度目标
PPO 用重要性采样比 $r_t=\pi_\theta/\pi_{\theta_{old}}$ 配合 $\text{clip}(r_t,1-\varepsilon,1+\varepsilon)$ 约束防止过大策略更新，本文沿用 $\varepsilon=0.2$。
FiRe-OPD 的核心改动是把 token 优势 $a_t$ 替换为加权 $\tilde a_t$ 后代回 PPO 损失，必须先掌握该框架。
熵、置信度与困惑
输出分布熵越大代表越不确定。老师低熵即高置信表示可靠指导；学生高熵即高困惑表示学习需求强。二者相乘即可定位最有价值的 token。
FiRe-OPD 的 token 权重同时依赖老师置信与学生困惑，理解这层互补关系是把握方法的关键。
软选择 vs 硬选择
硬选择按阈值直接丢弃样本/ token，优化不光滑且永久损失梯度；软选择以连续权重重分配梯度，保留所有位置的贡献。本文论证二者应按粒度差异化使用。
论文最核心的发现是轨迹级用硬、token 级用软的不对称组合，这是理解其方法论主轴。
研究动机
标准 OPD 在所有轨迹和所有 token 上施加均匀全轨迹 KL 监督，但并非每条 rollout、每个位置都有相同的学习价值。问题之一是已有方法只做单一粒度选择：TIP、EOPD、REOPOLD 在 token 级用学生熵或老师熵做硬过滤规则，Uni-OPD 在轨迹级靠 outcome 校准，二者割裂、互不利用。问题之二是大多数 token 级方法采用硬选择，直接丢弃 token，造成优化不光滑并永久丢失仍有部分学习价值的位置梯度，削弱鲁棒性。作者将这两点凝练为粒度孤立与硬选择策略两大限制，并以 Table 1 系统对比 EOPD、TIP、ExOPD、REOPOLD 等方法在轨迹/ token 与各信号维度的覆盖盲区。
本文的目标是本文目标是构建一个统一的双粒度在线蒸馏框架 FiRe-OPD（Filter, then Reweight），在轨迹级过滤掉低质量 rollout，同时在 token 级按连续重要性权重进行软加权，让蒸馏监督精准集中到老师有把握且学生真正困惑的位置。作者希望同时回答两个核心问题：什么样的轨迹最值得蒸馏——用老师对该轨迹的平均对数似然衡量；什么样的 token 最有信息量——用老师置信与学生困惑的乘积衡量。并通过三场景实验证明一个非平凡的结论：硬过滤在轨迹级更优，而软加权在 token 级胜过硬选择，二者协同最佳。
与已有工作不同的是，独特切入点是软与硬在两个粒度上的不对称性。以往工作要么单粒度、要么把硬/软统一应用，而本文发现轨迹应当被彻底剔除（硬），因为不可靠路径即使降权仍会累积噪声梯度；token 则应连续加权（软），因为 token 的价值是连续谱，保留梯度比二元保留/丢弃更优。此外以往 token 选择只用单一信号（老师熵或学生熵），本文首次将老师置信（指导是否可靠）与学生困惑（是否有学习需求）相乘联合建模，二者互补——只看老师会忽略学生短板，只看学生会引入误导性高熵位置。
核心方法
直觉是蒸馏信号的质量在轨迹和 token 两个层面都会剧烈变化，因此应分层处理。技术路线分两步。第一步轨迹级过滤：用老师对学生生成的轨迹 $y$ 的平均对数似然 $s(y)=\frac{1}{T}\sum_t\log\pi^*(y_t|x,y_{<t})$ 衡量师生在该路径上的分布对齐，按批内排名丢弃最低 $p\%$（默认 20%），仅保留老师能提供连贯监督的轨迹，避免在老师不熟悉的推理风格上被迫监督而引入矛盾梯度。第二步 token 级软加权：对保留轨迹每个位置算老师置信 $c^T_t=1-H/\max H$ 与学生困惑 $c^S_t=H/\max H$，权重 $w_t=(1+\alpha c^T_t)(1+\beta c^S_t)$，再在轨迹内归一化得 $\tilde a_t$ 代回 PPO 截断损失。
核心创新是硬过滤轨迹与软加权 token 的不对称组合，本质区别在于对两类粒度噪声性质的不同判断——低质轨迹的梯度本身就是噪声必须彻底清除（硬），而 token 的价值是连续的应按比例保留（软）。第二个创新是双信号乘法 token 权重：以往只看老师熵或学生熵单一信号，本文将老师置信（可不可靠教）与学生困惑（要不要学）相乘，使权重精确集中在老师能教、学生要学的位置。第三是用老师对轨迹的平均对数似然而非外部奖励或结果正确性来筛选轨迹，无需 verifier，直接反映老师在该路径的监督能力。
方法步骤详情
完整流程：(1) 学生 $\pi_\theta$ 对 prompt 集合生成 rollout $y\sim\pi_\theta(\cdot|x)$；(2) 老师逐 token 打分得 token 优势 $a_t=\log\pi^T-\log\pi_{\theta_{old}}$；(3) 按平均老师对数似然 $s(y)$ 在批内排名，丢弃底部 20% 轨迹；(4) 对保留轨迹每个 token 计算老师熵与学生熵，按批内最大值归一化得置信 $c^T_t$ 与困惑 $c^S_t$；(5) 用默认 $\alpha=\beta=1.0$ 算权重 $w_t$，并在轨迹内归一化保持总梯度幅度得加权优势 $\tilde a_t$；(6) 代入 PPO 截断损失 $\mathcal{L}=-\frac{1}{T}\sum\min(r_t\tilde a_t,\text{clip}(r_t,1-\varepsilon,1+\varepsilon)\tilde a_t)$，$\varepsilon=0.2$。训练 3 epoch、batch 1024、lr $1\times10^{-6}$，8×A100。
技术新颖性
技术新颖性有三层。其一，首次在同一框架内联合建模轨迹与 token 双粒度，并明确论证二者应采用截然不同的选择策略（轨迹硬、token 软），这是对以往单粒度或统一硬/软工作的范式修正，并由 Table 6 的四象限消融直接验证。其二，用老师对数似然而非外部奖励或结果正确性做轨迹筛选，免去了 verifier 依赖，直接刻画老师在该路径上的监督胜任度。其三，双信号乘法 token 权重并在轨迹内归一化，使总梯度幅度保持稳定，属于纯重分配而非整体缩放。消融还揭示学生困惑贡献最大（去掉掉 2.24）、老师置信次之（掉 0.96），证实二者非冗余而是互补。
实验结果
三场景实验均确认优势。强到弱（Qwen3-30B→4B）FiRe-OPD 平均 60.83%，超 OPD 58.70% 达 +2.13、超最强基线 ExOPD 60.16% 达 +0.67，竞赛级任务提升显著：AIME 2024 +6.25、AIME 2025 +4.17、HMMT Feb +3.75、MATH +2.48。单教师平均 61.74% vs OPD 61.21% (+0.53)，AIME 2024 +3.33、HMMT Nov +2.08，证实小分布间隙下仍有效。多教师数学平均 51.88% (+4.84)、代码 64.16% (+4.37)，其中 MinervaMATH +18.81、HumanEval+ +9.77，让 4B 学生在 HumanEval+ 上 92.70 超过老师 79.90。消融显示去学生困惑掉最多 (-2.24)、去轨迹过滤 -1.84；超参 p=20% 最优、$\alpha\geq1.0$ 稳健、$\beta$ 不敏感；Table 6 证明硬轨迹+软 token (60.83) 远超其余三种组合 (58.23/58.68/58.55)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2024 数学推理 (强到弱 30B→4B) | Avg@8 准确率 (%) | 60.83 | 54.58 (标准 OPD) | +6.25 |
| 强到弱场景 8 项数学基准平均 | Avg@8 平均准确率 (%) | 60.83 | 58.70 (OPD) / 60.16 (ExOPD) | +2.13 vs OPD, +0.67 vs ExOPD |
| MinervaMATH (多教师数学) | Avg@8 准确率 (%) | 67.34 | 48.53 (OPD) | +18.81 |
| HumanEval+ (多教师代码生成) | pass@1 (%) | 92.70 | 82.93 (OPD) / 79.90 (Teacher) | +9.77 vs OPD，并超越教师 |
| 多教师数学 5 项平均 | Avg@8 平均准确率 (%) | 51.88 | 47.04 (OPD) | +4.84 |
| 组件消融 (去学生困惑) | 强到弱平均 Avg@8 (%) | 59.32 (去学生困惑) vs 60.83 (完整) | 60.83 (完整 FiRe-OPD) | 去掉学生困惑下降 2.24，最大单一影响 |
局限与改进
作者承认的局限：当前每个 token 独立加权，未建模错误前缀如何恶化后续老师信号；缺少 step/segment 级中间粒度以更贴合 CoT 结构；自适应蒸馏粒度的设计空间仍待探索。我观察到的额外局限：(1) 仅在 Qwen3-4B 单一学生族验证，泛化到 7B/14B 或 Llama 等异构家族的证据不足；(2) 训练仅 3 epoch/165 步，长期收敛与大规模效果未验证；(3) 轨迹筛选完全依赖老师对数似然，当老师本身偏置较大时筛选标准可能误导；(4) 强到弱场景 AMC (-0.79)、OlympiadBench (-0.15) 出现轻微下降，说明固定阈值可能误伤有效样本；(5) 多教师 MinervaMATH +18.81 单点波动极大，缺失方差与多次种子信息。
独立分析的弱点
弱点一：轨迹筛选仅用老师对数似然而忽略结果正确性，建议融合 outcome reward 与 log-prob 构成混合筛选信号。弱点二：token 权重假设各位置独立，实际 CoT 中错误会沿前缀传播，建议引入 prefix-aware 加权，用前缀置信调节后续权重。弱点三：仅在 Qwen3-4B 上验证，缺 7B/14B 等更大学生与 Llama 等异构家族，泛化证据薄弱。弱点四：p=20% 与 $\alpha=\beta=1.0$ 的最优值依赖经验网格调参，缺少自适应机制。弱点五：未公开计算成本对比，软加权引入的额外前向开销是否抵消训练收益有待澄清；且强到弱场景 AMC/Olymp 出现下降提示过滤阈值应按任务难度自适应而非全局固定。
未来方向
作者明确方向：prefix-aware 加权方案，显式建模错误前缀对后续老师信号质量的负面影响；探索 step 级、segment 级中间粒度加权，更自然对齐 CoT 结构。可延伸方向：把双粒度思想迁移到 self-distillation 与 off-policy KD；扩展到多模态与 agentic/具身场景（related work 已列举多模态、agentic、embodied 蒸馏）；将轨迹筛选信号与 RL outcome reward 融合，构建 reward+log-prob 混合筛选；研究多教师场景下为不同老师分配异构权重以解决领域冲突；把 token 权重本身学习化，使其成为可微的可学习函数而非固定公式。
复现评估
代码已开源 https://github.com/YuYingLi0/FiRe-OPD，关键超参披露齐全：p=20%、$\alpha=\beta=1.0$、3 epoch/165 步、batch 1024、lr $1\times10^{-6}$、max length 16384、温度 1.0、top-p 1.0、$\varepsilon=0.2$、8×A100 80GB。数据集明确：强到弱与单教师用 DeepMath-103K 难度 6 子集，多教师用 Yang et al. 2026b 多教师数据。基线中 ExOPD 用官方实现，TIP/REOPOLD/EOPD 由作者自行复现，存在实现差异风险。主要挑战是 8 张 A100 的算力门槛较高；FiRe-OPD 自身超参完整但部分 baseline 的调参细节未完全披露，公平性存在细微偏差。综合看复现难度中等偏易。
论文图表
