← 返回 2026-08-25

超越模仿：依据推理进展过滤在策略蒸馏的监督信号 Beyond Imitation: Filtering On-Policy Distillation by Reasoning Progress

Chen Yang, Haiyuan Wan, Rengrong Xiong, Yize Chen, Danny H. K. Tsang 📅 2026-08-19 👍 8 2026-08-30 18:30
后训练 在策略蒸馏 大语言模型推理 奖励过滤 过程奖励
arXiv HuggingFace PDF

用独立估计的推理进展排序检测并屏蔽误导性蒸馏监督，显著提升 OPD 推理能力

前置知识

在策略蒸馏（On-Policy Distillation, OPD）

一种知识蒸馏范式：训练轨迹由学生模型自己采样生成，教师模型在学生实际遇到的每个解码状态上提供逐 token 的分布监督，学生通过最小化与教师分布的反向 KL 散度来更新策略。相比在静态教师数据集上训练的传统蒸馏，OPD 消除了训练与推理轨迹之间的 exposure bias，并在整条回复上提供稠密监督，已成为推理模型后训练和模型合并的重要手段。

本文的出发点正是 OPD 的隐含假设——“贴近教师分布等价于推理有进展”——并不总成立；只有先理解 OPD 的损失形式与稠密监督机制，才能明白被过滤的对象是什么。

反向 KL 散度（Reverse KL）

度量分布差异的方式之一，形式为 $D_{\mathrm{KL}}(\pi_S \| \pi_T) = \sum_{v} \pi_S(v) \log \frac{\pi_S(v)}{\pi_T(v)}$。OPD 在每个解码步用学生分布加权求和，因此它惩罚的是“学生偏爱的 token 在教师处的对数概率不足”。为避免全词表计算，实践中用支撑集 $S_t$（如学生 top-$H$ 个 token）近似，得到 $\ell_{\mathrm{KL},S_t}$。

R2-OPD 过滤的就是支撑集近似的逐 token 反向 KL 损失；段级蒸馏损失 $\kappa_j$ 是它在合并段内的平均值，不懂这个量就无法理解冲突检测与屏蔽机制。

过程奖励与求解概率（Process Reward & Solve Probability）

过程奖励评估中间推理状态而非只看最终答案。本文把边界状态 $p_m=(x, y_{1:b_m})$ 的求解概率定义为：从该状态接一个“直接给答案”的指令后，采样 $N_{eval}$ 条 rollout 中最终答案正确的比例 $\hat{S}_m$；段 $\sigma_m$ 的过程奖励是相邻边界求解概率的增量 $PR_m = \hat{S}_m - \hat{S}_{m-1}$，即该段对解题可能性的边际贡献。

过程奖励是本文构造“教师无关的推理进展参照”的核心信号，符号一致合并、排序冲突检测全部建立在这个定义之上。

蒙特卡洛估计噪声

用有限条 rollout 的成功频率估计求解概率会引入二项噪声（$N_{eval}=8$ 时标准差可达约 $\sqrt{p(1-p)/8}$），而逐 token 的 KL 损失也会因局部用词、教师不确定性和 top-$k$ 截断而剧烈波动。若直接在小粒度上比较两类信号，会频繁产生虚假冲突，误导策略更新。

论文的符号一致合并、望远镜求和消去内部边界误差（Lemma 1）与段内平均降方差（Proposition 2）都是为压制这两类噪声设计的，是理解方法动机的关键。

结果奖励与 overthinking 截断

结果奖励只判定最终答案的对错，无法指出哪一步推进了求解、哪一步引入了错误或完成了自我修复。论文统计发现（Figure 1），在 DAPO 上以 7168 token 为上限评估时，约三分之一的回复其实包含正确的推理路径，只因过度思考被截断而失败——纯结果级过滤会白白浪费这些有价值轨迹。

这解释了为什么仅靠结果正确性校准蒸馏信号（如 Uni-OPD）不够，需要能定位中间进展的过程级信号，这正是 R2-OPD 的立足点。

研究动机

在策略蒸馏（OPD）在每个解码步奖励学生“贴近教师分布”，隐含地把教师相似度当作推理进展的代理，并对所有教师反馈一视同仁。作者观察到这个代理在推理任务上经常失效：一段真正推进解题的学生生成内容，可能仅仅因为偏离了教师的表达路线就收到更差的蒸馏信号；反之与教师相似但无实质进展的内容却被奖励。论文 Figure 2 给出真实案例：标记为 $J_9$ 的推理倒退段在式 (9) 下的 KL 散度反而小于真正推导出解或找回正确解的段 $J_2$ 与 $J_{10}$。同时，仅用结果正确性过滤也不够——作者在 DAPO 上对 DeepSeek-R1-Distill-Qwen-1.5B 和 Qwen3-1.7B 各采样 500 条、上限 7168 token 的统计显示，约三分之一的回复含有正确推理路径，只因 overthinking 被截断而失败，结果级信号无法挽救这些轨迹。把这种未校准的信号均匀施加于整条轨迹，OPD 可能系统性地压制有效推理路径，而非迁移功能性知识。

本文的目标是本文的目标是：在不更换 OPD 优化目标、不引入额外奖励项的前提下，识别并抑制与真实推理进展相冲突的蒸馏监督。具体拆成三件事：(1) 构造一个教师无关的推理进展参照——用学生自己在中间状态上的求解概率增量衡量每段推理的边际贡献；(2) 在同一条回复内部比较“过程奖励排序”与“段级平均蒸馏损失排序”，定位两者局部不一致的推理段；(3) 只屏蔽最不可靠（冲突最强）的一小部分段，其余监督原样保留，从而在 AIME、OlympiadBench 等竞赛数学基准上稳定超过标准 OPD 及其最新变体，同时提升 avg@4（平均准确率）与 pass@4（四次采样至少一次正确）两类指标。

与已有工作不同的是，已有工作从不同角度修补 OPD：E-OPD 在教师高熵位置混合前向 KL，TIP-OPD 用学生熵与师生散度挑选 token 重要性，IW-OPD 处理位置偏差，Uni-OPD 用结果正确性做边际校准；另有一批方法直接把过程奖励当优化目标或搜索准则。但结果反馈只有轨迹级 0/1 信息，无法定位中间步骤；直接把原始过程奖励与 token 级 KL 相加，又因两者尺度不同、且各自带细粒度噪声而难以奏效。R2-OPD 的独特切入是：把过程奖励只当作“可靠性测试”而非训练信号，用它在回复内的相对排序判断蒸馏监督是否可信；再辅以符号一致合并（望远镜消去内部边界估计误差）与段内平均（方差按 $O(1/L_j)$ 收缩）两项降噪设计，让排序比较在统计上站得住脚，实现“保留与进展一致的教师指导、削减误导性监督”。

核心方法

直觉上，如果某段推理提高了学生解出题目的概率，就不该因为它“不像教师”而被惩罚；与教师相似却让解题概率下降的段落也不该被强化。R2-OPD 据此把标准 OPD 训练循环改造成三段流水线。第一步，学生照常在 DAPO-Math-17K 上生成 on-policy 回复（上限 7168 token），教师在相同上下文上给出学生 top-16 支撑集近似的逐 token 反向 KL 损失 $\ell_{\mathrm{KL},S_t}$。第二步，用自反思话语标记把回复切成推理段，在每个边界状态用 $N_{eval}=8$ 条“答案诱导”rollout 估计求解概率 $\hat{S}_m$，得到段级过程奖励 $PR_m=\hat{S}_m-\hat{S}_{m-1}$，并把相邻同号段合并以降噪。第三步，在每个合并段内平均 KL 损失得到 $\kappa_j$，与合并段过程奖励 $\widetilde{PR}_j$ 做回复内排序，检测“进展更高却损失更大”的顺序违例，按不一致分数屏蔽最多 $q=30\%$ 的段，损失按未掩码 token 数重新归一化后再更新策略。

核心创新是把过程奖励用作 OPD 监督的“可靠性测试”而不是新的优化目标：它既不替代蒸馏奖励，也不进入损失函数，只通过回复内的相对排序判断哪些段的教师监督可能误导。冲突被定义为一个序关系违例：若段 $a$ 的过程奖励高于段 $b$（$PR_a > PR_b$）但其平均蒸馏损失也更高（$\kappa_a > \kappa_b$），说明教师信号正在惩罚更有用的段。采用排序而非绝对值比较，使方法对两类信号的整体偏移和正缩放不敏感，免去跨轨迹校准。与用结果正确性或 token 不确定性做过滤的已有工作相比，本文首次在推理段粒度上用独立估计的进展信号审计教师监督，并给出两条理论保证：合并后 $\widetilde{PR}_j=(S_b-S_{a-1})+(\epsilon_b-\epsilon_{a-1})$，内部边界噪声全部相消（Lemma 1）；段内平均的方差上界 $\mathrm{Var}(\kappa_j)\le\sigma^2\frac{1+\rho}{1-\rho}$ 随段长按 $O(1/L_j)$ 收缩（Proposition 2）。

方法步骤详情

流程分六步。(1) 采样：学生生成最长 7168 token 的回复，教师在相同上下文上计算学生 top-16 支撑集的逐 token 反向 KL 损失。(2) 分段：按话语标记（wait、hmm、actually、alternatively 等）切分，切点须距上一边界至少 $S_{min}=3$ 句；若真值 $g$ 不在回复中或分段少于 2 段则整体回退、保留全部监督。(3) 过程奖励：对每个非终态边界，拼接格式化前缀（必要时补全 ）并接“直接给最终答案放入 \boxed{}”指令，采 $N_{eval}=8$ 条 rollout（温度 0.7、最长 300 token），$\hat{S}_m$ 取验证通过比例；$\hat{S}_0=0$，终态复用原回复验证结果；$PR_m=\hat{S}_m-\hat{S}_{m-1}$。(4) 合并：相邻非零同号 $PR_m$ 合并为运行段，零值吸收，得 $\widetilde{PR}_j$ 与段均损失 $\kappa_j$。(5) 冲突与屏蔽：排除首段后按 $\widetilde{PR}$ 降序排序，违例得分 $v_i(a,b)=[(\widetilde{PR}_a-\widetilde{PR}_b)(\kappa_a-\kappa_b)]_+$ 累计为 $Inc_j$；当合并段数足够且存在违例时，按预算 $b_i=\lceil\frac{q}{100}n_i\rceil$（$q=30$）掩掉 $Inc_j>0$ 的前 $b_i$ 段，掩码 token 退出损失分子与分母。(6) 训练：AdamW，学习率 $5\times10^{-6}$，batch 64，单 epoch。

技术新颖性

技术新颖性体现在三点。第一，粒度与视角新：现有 OPD 变体在 token 级（E-OPD 的教师熵、TIP-OPD 的学生熵与师生散度）、位置级（IW-OPD 的位置偏置）或轨迹级（Uni-OPD 的结果校准）评估监督质量，本文首次在推理段级别用独立的过程信号做审计，并明确区分“蒸馏兼容性”（与教师的一致度）和“推理进展”（解题概率的边际变化）两个概念。第二，机制新：不做奖励加权、不加辅助损失，而是把排序冲突当掩码依据；掩码 token 同时退出损失分子与分母，保持不同回复间损失尺度可比，除屏蔽与重归一化外策略更新与标准 OPD 完全一致，工程上即插即用。第三，理论支撑新：Lemma 1 证明同号合并使聚合奖励只依赖两端点估计、内部噪声相消（望远镜求和），Proposition 2 在弱相关假设 $|\mathrm{Cov}(\epsilon_t,\epsilon_s)|\le\sigma^2\rho^{|t-s|}$（$0\le\rho<1$）下给出段均损失方差上界 $\sigma^2(1+\rho)/(1-\rho)$，把“先合并再比较”从工程技巧提升为可证明的统计性质。

Overview of the proposed Reasoning-Progress-Aware Reward Filtering OPD. Adjacent reasoning spans with consistent progress signals are first merged. For each merged segment, we sum its process rewards and average its token-level KL divergences. Rank conflicts between the resulting segment-level signals are then used to identify unreliable spans, which are masked during the OPD policy update.
Figure 3: Overview of the proposed Reasoning-Progress-Aware Reward Filtering OPD. Adjacent reasoning spans with consistent progress signals are first merged. For each merged segment, we sum its process rewards and average its token-level KL divergences. Rank conflicts between the resulting segment-level signals are then used to identify unreliable spans, which are masked during the OPD policy update.

实验结果

主实验（Table 1，学生 DeepSeek-R1-Distill-Qwen-1.5B、教师 JustRL-1.5B）：R2-OPD 三基准平均 avg@4 达 35.06、pass@4 达 51.83，比标准 OPD（32.55/47.37）高 2.51/4.46 个点，比最强竞品 Uni-OPD 高 4.28/5.17 个点；增益集中在 AIME 2024（32.50 vs OPD 28.33，学生基线 22.50）和 AIME 2025（25.83 vs 22.50，E-OPD、TIP-OPD 仅 12.50、11.67），OlympiadBench 上 46.86 与 OPD 持平、低于 Uni-OPD 的 53.16。迁移实验（Table 2，Qwen3-1.7B + e3-1.7B）中 avg@4 仅小幅提升（34.61→35.04），但 pass@4 从 45.70 升至 48.19 且三基准全部更高。消融：$q=30$ 最优，$q=50$ 时 AIME 2024/2025 崩至 19.17/12.15（Figure 4）；去掉符号一致合并后 AIME 2024/2025 分别暴跌 15.00、14.16 个点（Table 3）；合并把 PR–KL 排序一致率从约 0.20–0.27 提至 0.55–0.73（Figure 5，随机基线 0.5）。附录案例：双曲线菱形题 R2-OPD 答 480（基线与 OPD 均答 80），单位根乘积题答 321（OPD 被截断）。

OPD performance on DeepSeek-R1-Distill-Qwen-1.5B with JustRL as the teacher model.
Table 1: OPD performance on DeepSeek-R1-Distill-Qwen-1.5B with JustRL as the teacher model.
Transfer performance of R2-OPD on Qwen3-1.7B with e3-1.7B as the teacher model.
Table 2: Transfer performance of R2-OPD on Qwen3-1.7B with e3-1.7B as the teacher model.
Effect of sign-consistent segment merging on avg@4 accuracy. ∆ denotes the improvement of the full R2-OPD over its no-merging variant.
Table 3: Effect of sign-consistent segment merging on avg@4 accuracy. ∆ denotes the improvement of the full R2-OPD over its no-merging variant.
Optimization, process-reward estimation, and filtering settings used in all R2-OPD experiments.
Table 4: Optimization, process-reward estimation, and filtering settings used in all R2-OPD experiments.
Eligibility checks and conservative fallback actions used by R2-OPD.
Table 5: Eligibility checks and conservative fallback actions used by R2-OPD.
Complete lexicon of discourse markers used to propose reasoning-segment boundaries.
Table 6: Complete lexicon of discourse markers used to propose reasoning-segment boundaries.
Sensitivity of R2-OPD to the masking ratio q. A moderate ratio of q = 30 provides the best overall performance, whereas overly aggressive masking substantially degrades accuracy on AIME 2024 and AIME 2025.
Figure 4: Sensitivity of R2-OPD to the masking ratio q. A moderate ratio of q = 30 provides the best overall performance, whereas overly aggressive masking substantially degrades accuracy on AIME 2024 and AIME 2025.
PR–KL rank agreement during training with and without sign-consistent segment merging. Light lines show per-step values, and dark lines show 15-step moving averages. The two vertical axes use the same numerical span.
Figure 5: PR–KL rank agreement during training with and without sign-consistent segment merging. Light lines show per-step values, and dark lines show 15-step moving averages. The two vertical axes use the same numerical span.
查看结构化数据
任务指标本文基线提升
AIME 2024（DeepSeek-R1-Distill-Qwen-1.5B） avg@4 准确率(%) 32.50 OPD 28.33；学生基线 22.50；Uni-OPD 20.00 较 OPD +4.17，较学生基线 +10.00，较 Uni-OPD +12.50
AIME 2024（同上） pass@4 (%) 56.67 OPD 50.00；教师 56.67 +6.67，追平教师水平
AIME 2025（DeepSeek-R1-Distill-Qwen-1.5B） avg@4 准确率(%) 25.83 OPD 22.50；Uni-OPD 19.17 较 OPD +3.33，较 Uni-OPD +6.66
OlympiadBench（DeepSeek-R1-Distill-Qwen-1.5B） avg@4 准确率(%) 46.86 OPD 46.86；Uni-OPD 53.16 与 OPD 持平，落后 Uni-OPD 6.30
三基准平均（DeepSeek-R1-Distill-Qwen-1.5B） 平均 avg@4 / pass@4 (%) 35.06 / 51.83 OPD 32.55 / 47.37；Uni-OPD 30.78 / 46.66 较 OPD +2.51 / +4.46，较 Uni-OPD +4.28 / +5.17
Qwen3-1.7B + e3-1.7B 迁移 三基准平均 pass@4 (%) 48.19 OPD 45.70；基座 37.96 +2.49，且三个基准 pass@4 全部更高

局限与改进

作者承认的局限：过程奖励估计的代价与方差仍然偏高（每个边界要跑 8 条 rollout），未来需降低成本，并检验进展感知过滤在更大模型和更多样领域上的泛化能力。我的补充观察：(1) 方法依赖可验证的真值答案且要求其出现在回复中——字符串检查 $g\in y$ 失败即整体回退不过滤，在无验证器的开放任务上直接不可用；(2) 收益不均衡，OlympiadBench 上不仅未超 OPD，还明显落后 Uni-OPD（46.86 vs 53.16），段级过滤在更长的竞赛型题目上未必占优；(3) 对 $q$ 敏感，$q=50$ 时 AIME 2025 从 25.83 崩至 12.15，超参数需按数据集调节；(4) 分段依赖固定英文话语标记词表，跨语言或无自反思风格的推理文本可能失效；(5) 排序冲突只是启发式诊断，过程奖励本身受验证器错误、有限 rollout 噪声与分布偏移影响，被屏蔽的不一定是坏监督；(6) 实验仅覆盖 1.5B/1.7B 小模型与数学域，教师选择强调“与学生互补而非更大”（JustRL 与学生同源），结论外推到异构大模型仍待验证。

独立分析的弱点

独立弱点分析：(1) rollout 开销大——每条回复的每个非终态边界都要 8 条最长 300 token 的采样，训练吞吐显著下降；改进方向是用隐式过程奖励（如基于对数似然差的value估计）替代显式采样，或按边界置信度自适应调整 $N_{eval}$。(2) 验证器单点依赖——求解概率完全由精确答案匹配决定，验证器漏判会直接污染 $PR$ 与排序；可引入多验证器投票或答案等价类归一化提高鲁棒性。(3) 掩码机制不可学习——$q=30\%$、$Inc_j$ 排序均为手工设定，且不同基准表现分化；可把冲突分数转为可微的连续权重联合优化，或按数据集自动搜索 $q$。(4) 分段规则脆弱——固定词表加 $S_{min}=3$ 句下限对非英文、无 wait/hmm 风格的模型不友好；可改用模型内部信号（熵突变点、注意力边界）或轻量分句模型。(5) 只屏蔽第 2 段及以后且只在回复内比较——若整条回复的教师监督系统性偏移，方法无能为力；可结合轨迹级结果信号做两级过滤。(6) 评估仅 avg@4/pass@4 四个样本，随机波动不小，宜用更多采样次数和显著性检验巩固结论。

未来方向

作者明确提出：降低过程奖励估计的成本与方差；检验进展感知过滤在更大模型和更多样领域上的泛化。基于本文成果可延伸的方向：(1) 把排名冲突检测器参数化并与策略联合训练，实现端到端的“可信教师监督”判别；(2) 与 Uni-OPD 的结果校准互补，构建轨迹级校准加段级过滤的双层方案，尤其在 OlympiadBench 这类长推理基准上可能互补增益；(3) 把“进展一致性”测试迁移到 RL 后训练（如 GRPO 优势的步级修正）或测试时搜索（剪掉与进展排序不一致的分支）；(4) 用隐式过程奖励替代蒙特卡洛采样以消除 rollout 开销，使方法可扩展到更大模型；(5) 扩展到代码生成、智能体任务等多验证器场景，检验话语标记分段与验证规则的可迁移性；(6) 理论上放宽弱相关假设，分析掩码引入的偏差—方差权衡及其对收敛性的影响。

复现评估

复现条件总体较好。模型全部开源：学生 DeepSeek-R1-Distill-Qwen-1.5B 与 Qwen3-1.7B、教师 JustRL-1.5B 与 e3-1.7B；训练数据 DAPO-Math-17K（去重版）与评测集 AIME 2024/2025、OlympiadBench 均公开。附录信息完整：Table 4 列出全部超参数（学习率 $5\times10^{-6}$、batch 64、$H=16$、$N_{eval}=8$、rollout 温度 0.7、top-$k$ 50、$S_{min}=3$、$n_{min}=3$、$q=30\%$ 等），Algorithm 1 给出批级伪代码，B.4–B.7 提供模型专属聊天模板、完整话语标记词表（Table 6）、答案诱导指令原文与全部回退规则（Table 5），两个理论证明在附录 A。1.5B/1.7B 模型单 epoch 训练算力要求适中，主要额外开销是边界 rollout。论文未提及官方代码发布，需自行实现； 补全、前缀标准化等细节与分词器强耦合，工程复现难度中等，但评测协议（温度 1.0、top-$p$ 0.95、max 8192、avg@4/pass@4）已明示，可对齐比较。

论文图表

Distribution of evaluation outcomes for DeepSeek-R1-Distill-Qwen-1.5B and Qwen3-1.7B on DAPO (500 samples, max 7,168 response tokens).
Figure 1: Distribution of evaluation outcomes for DeepSeek-R1-Distill-Qwen-1.5B and Qwen3-1.7B on DAPO (500 samples, max 7,168 response tokens).

统计两个学生模型在 DAPO 上 500 条样本（回复上限 7168 token）的评估结果分布：相当大比例的回复包含正确推理路径但因 overthinking 超长被截断而判错，约占总数的三分之一。

这是动机部分最关键的证据：说明仅靠结果正确性过滤会浪费大量本可利用的有效轨迹，从而论证需要过程级的推理进展信号。

A representative mismatch between reasoning progress and the OPD divergence signal. A reasoning regressive segment (J9) receives a smaller KL divergence under Equation (9) than segments that derive (J2) or recover (J10) the correct solution.
Figure 2: A representative mismatch between reasoning progress and the OPD divergence signal. A reasoning regressive segment (J9) receives a smaller KL divergence under Equation (9) than segments that derive (J2) or recover (J10) the correct solution.

展示一条真实回复中推理进展与 OPD 散度信号错位的案例：推理倒退段 $J_9$ 的 KL 散度反而小于真正推导出解的段 $J_2$ 和自我修复找回正确解的段 $J_{10}$。

用具体例子直观证明“教师相似度 ≠ 推理进展”这一核心论断，是全文问题陈述的实证锚点。

Algorithm 1: Training procedure of R2-OPD for a single batch.

批级训练伪代码：初始化全 1 掩码 → 采样 on-policy 回复并计算支撑集 KL → 分段与 PR 可用性检查（不满足则提前 continue 保留全部监督）→ 边界 rollout 估计求解概率 → 同号合并 → 排序、累加 $Inc_j$、按预算 $b_i$ 选段置零掩码 → 按未掩码 token 数归一化并更新策略。

给出可直接照抄实现的完整控制流，包括所有提前退出路径，是从理解到复现的桥梁。