超越教师：基于奖励外推的泛化在线策略蒸馏 Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation
通过奖励外推实现超越教师的在线策略蒸馏框架
前置知识
On-Policy Distillation (OPD)
在线策略蒸馏是一种后训练范式，学生模型自己生成轨迹（on-policy），然后在这些轨迹上与教师模型的 logit 分布对齐。与离线蒸馏不同，OPD 在学生自己采样的 token 上学习，因此能更好地适应学生自身的分布。具体实现时，学生在每个 token 位置最小化与教师 logits 之间的 KL 散度，从而获得密集的逐 token 梯度信号。这种方法已被证明在知识合并和强弱蒸馏中效果显著。
本文的核心理论贡献就是建立了 OPD 与强化学习之间的联系，并在此基础上提出泛化框架，因此理解 OPD 的原始形式是读懂本文的基础。
KL-Constrained Reinforcement Learning
KL 约束强化学习是一种策略优化范式，其目标函数为 $\max_\theta \mathbb{E}_{x \sim \mathcal{D}, y \sim \pi_\theta} [r(x,y) - \beta D_{\text{KL}}(\pi_\theta \| \pi_{\text{ref}})]$，其中 $r(x,y)$ 是奖励函数，$\beta$ 控制 KL 正则化的强度，$\pi_{\text{ref}}$ 是参考模型。该框架防止策略模型偏离参考模型太远，在 RLHF 和推理任务的 RL 训练中广泛使用。
本文的关键理论洞察就是证明 OPD 是 KL 约束 RL 的一个特例（奖励和 KL 权重相等），这为后续引入奖励缩放因子 $\lambda$ 提供了理论基础。
Implicit Reward
隐式奖励是从 KL 约束 RL 的闭式解中推导出的代理奖励函数，定义为 $r_{\text{implicit}}(y|x) = \beta \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)} + \beta \log Z(x)$。由于 $\log Z(x)$ 仅依赖于输入 $x$，因此 $\log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)}$ 可以作为真实推理奖励的有效代理。在 OPD 中，隐式奖励变为 $r_t^{\text{OPD}} = \log \frac{\pi^*(y_t|x, y_{<t})}{\pi_{\text{ref}}(y_t|x, y_{<t})}$，衡量从参考分布到专家分布的 log 概率偏移。
隐式奖励是理解 OPD 与 RL 联系的桥梁，也是本文 ExOPD 中奖励外推机制的核心数学基础。
Reward Extrapolation
奖励外推是指在 G-OPD 框架中设置奖励缩放因子 $\lambda > 1$，使学生模型的 log 概率分布不仅匹配教师分布，还额外拟合一个偏移项 $(\lambda - 1)(\log \pi^* - \log \pi_{\text{ref}})$。从优化目标的闭式解 $\log \pi_\theta = \lambda \log \pi^* + (1-\lambda) \log \pi_{\text{ref}}$ 可以看出，当 $\lambda > 1$ 时，学生分布会超越教师分布，从而有机会超越教师性能。
这是本文最核心的创新点，ExOPD 通过奖励外推使学生能够'超越教师学习'，在多教师蒸馏中产生唯一能超过所有教师的统一学生模型。
研究动机
在线策略蒸馏（OPD）在实践中表现出色，在知识合并和强弱蒸馏场景中往往优于离线蒸馏和纯 RL 方法，但其背后的机理理解仍然不足。现有的 OPD 实现存在一个关键限制：奖励项和 KL 正则化的权重被固定为 1:1 的比例，这意味着学生模型的能力上限被限制在教师模型的范围内。具体来说，标准 OPD 的优化目标 $\min_\theta D_{\text{KL}}(\pi_\theta \| \pi^*)$ 的最优解恰好是 $\pi_\theta = \pi^*$，即学生最多只能复现教师的行为，无法超越。在多教师蒸馏场景中，当需要将不同领域的专家（如数学 RL 模型和代码 RL 模型）合并回原始基础模型时，OPD 产生的学生模型性能通常被限制在各教师的平均水平，无法突破所有教师的性能上限。此外，在强弱蒸馏（大模型蒸馏到小模型）中，由于教师和学生基础模型之间存在根本性的知识分布差异，隐式奖励中可能包含噪声，影响蒸馏效果。
本文的目标是本文的目标是建立 OPD 与密集 KL 约束强化学习之间的理论联系，并在此基础上提出一个泛化的在线策略蒸馏框架（G-OPD）。通过引入灵活的参考模型选择和奖励缩放因子 $\lambda$，G-OPD 能够突破标准 OPD 的 1:1 权重限制。具体目标包括：第一，证明 OPD 是 KL 约束 RL 的特例；第二，探索 $\lambda > 1$（奖励外推）是否能产生超越教师的学生模型；第三，在多教师蒸馏中实现统一学生超越所有领域教师；第四，在强弱蒸馏中通过奖励校正进一步提升蒸馏效果。
与已有工作不同的是，本文的独特切入角度是将 OPD 视为密集 RL 的特例，从而借鉴 RL 中的奖励设计思想来增强蒸馏。与现有工作不同，本文不关注离线蒸馏的改进或新的 RL 算法设计，而是发现 OPD 的理论本质后进行系统性泛化。关键洞察在于：标准 OPD 固定了奖励与 KL 的 1:1 权重比，这相当于只在教师分布上做插值；而通过将这一权重比提升到大于 1，可以在教师-参考模型的 log 概率方向上做外推，从而有可能超越教师。这种从'插值'到'外推'的视角转换是本文区别于以往蒸馏工作的核心差异。
核心方法
本文的方法从一个优雅的理论洞察出发：通过引入第三个参考模型 $\pi_{\text{ref}}$，标准 OPD 目标可以等价地改写为 $\max_\theta \mathbb{E}[\log \frac{\pi^*}{\pi_{\text{ref}}} - D_{\text{KL}}(\pi_\theta \| \pi_{\text{ref}})]$，这恰好是 KL 约束 RL 目标的特例，其中奖励函数为 $r(x,y) = \log \frac{\pi^*}{\pi_{\text{ref}}}$ 且 $\beta = 1$。基于这一发现，作者将 OPD 泛化为 G-OPD 框架 $\max_\theta \mathbb{E}[\lambda \log \frac{\pi^*}{\pi_{\text{ref}}} - D_{\text{KL}}(\pi_\theta \| \pi_{\text{ref}})]$，引入奖励缩放因子 $\lambda$ 来控制奖励项与 KL 正则化的相对权重。当 $\lambda = 1$ 时退化为标准 OPD；当 $0 < \lambda < 1$ 时为奖励插值，学生行为介于参考模型和教师之间；当 $\lambda > 1$ 时为奖励外推（ExOPD），学生可能超越教师。
本文的核心创新在于发现并利用了 OPD 与 KL 约束 RL 之间的等价关系，从而引入奖励缩放因子 $\lambda$ 实现'超越教师的学习'。与已有方法的本质区别体现在三个方面：第一，与标准 OPD（$\lambda = 1$）相比，ExOPD 通过 $\lambda > 1$ 使学生的最优解为 $\log \pi_\theta = \log \pi^* + (\lambda - 1)(\log \pi^* - \log \pi_{\text{ref}})$，即在教师分布基础上额外拟合一个偏移项，从而有机会超越教师。第二，与权重外推方法 ExPO 不同，ExOPD 在训练过程中动态调整而非静态地外推模型权重，具有更好的可控性和一致性。第三，G-OPD 保持了 OPD 的密集奖励优势（每个 token 都有梯度信号），同时通过灵活的参考模型选择在强弱蒸馏中实现'奖励校正'，选择教师的 RL 前基础模型作为参考以获得更准确的奖励信号。
方法步骤详情
G-OPD 的实现分为以下步骤：首先，选择参考模型 $\pi_{\text{ref}}$，在标准设置中默认为学生的初始策略 $\pi_{\text{student}}^{\text{base}}$；在强弱蒸馏的奖励校正设置中选择教师的 RL 前基础模型 $\pi_{\text{teacher}}^{\text{base}}$。其次，对学生模型进行在线采样生成轨迹 $y \sim \pi_\theta(\cdot|x)$。然后，计算每个 token 的 G-OPD 优势估计 $A_t^{\text{G-OPD}} = [\log \pi_\theta(y_t|x, y_{<t}) - \log \pi^*(y_t|x, y_{<t})] + (\lambda - 1)[\log \pi_{\text{ref}}(y_t|x, y_{<t}) - \log \pi^*(y_t|x, y_{<t})]$。最后，通过梯度 $\nabla_\theta J_{\text{G-OPD}} = \mathbb{E}[\sum_t A_t^{\text{G-OPD}} \nabla_\theta \log \pi_\theta(y_t|x, y_{<t})]$ 更新学生模型参数。训练中还使用 token 级 rollout 校正来缓解训练-推理不匹配问题。
技术新颖性
本文的技术新颖性体现在三个层面。理论层面，首次严格证明了 OPD 是 KL 约束 RL 的特例，揭示了 OPD 的两个关键优势（密集奖励和灵活参考模型选择）和一个限制（奖励-KL 权重固定为 1:1）。方法层面，提出 G-OPD 泛化框架，将 OPD 从'只能在教师分布上插值'扩展为'可以在教师-参考方向上外推'，这是蒸馏领域的一个新范式。实验层面，ExOPD 在多教师蒸馏中是唯一能产生超越所有领域教师的统一学生的方法，在强弱蒸馏中结合奖励校正也显著优于标准 OPD。此外，从理论推导中自然引出的奖励插值（$0 < \lambda < 1$）可实现预算控制推理，响应长度随 $\lambda$ 单调递增，为实际应用提供了灵活的调控手段。
实验结果
本文在数学推理（AIME24、AIME25、HMMT25 February、HMMT25 November）和代码生成（HumanEval+、MBPP+、LiveCodeBench）两类任务上进行了全面实验，得出以下核心发现。第一，标准 OPD 可以完全复现教师的后训练行为，学生的评估准确率和响应长度与领域教师高度匹配。第二，奖励插值（$0 < \lambda < 1$）产生的学生行为介于基础模型和教师之间，且性能和响应长度随 $\lambda$ 单调递增。第三，ExOPD（$\lambda = 1.25$）在所有设置中都一致优于标准 OPD 和领域教师。在单教师数学推理中，ExOPD 平均准确率达 48.0%，比教师的 46.0% 提升 2.0 个百分点。第四，在多教师蒸馏中，ExOPD 是唯一能产生超越所有领域教师的统一学生的方法（数学平均 47.7% vs 教师 46.0%），而 SFT、ExPO 和标准 OPD 都无法达到这一效果。第五，在强弱蒸馏中，ExOPD 对 1.7B 学生带来 +2.3% 的平均提升（25.4% vs 23.1%），对 4B 学生带来 +2.7% 的提升（45.3% vs 42.6%）。第六，奖励校正在强弱蒸馏中进一步提升了 ExOPD 的效果，但需要访问教师的 RL 前基础模型并增加计算开销。过大的外推（$\lambda = 1.5$）可能导致不稳定和性能下降。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理 - AIME24 | Pass@32 准确率 (%) | ExOPD: 62.7%（单教师）/ 61.0%（多教师） | OPD: 60.7%（单教师）/ 60.6%（多教师） | 单教师 +2.0%，多教师 +0.4% |
| 数学推理 - AIME25 | Pass@32 准确率 (%) | ExOPD: 56.1%（单教师）/ 56.0%（多教师） | OPD: 55.0%（单教师）/ 54.1%（多教师） | 单教师 +1.1%，多教师 +1.9% |
| 数学推理 - HMMT25 (Feb.) | Pass@32 准确率 (%) | ExOPD: 33.9%（单教师）/ 34.4%（多教师） | OPD: 32.4%（单教师）/ 32.5%（多教师） | 单教师 +1.5%，多教师 +1.9% |
| 数学推理 - HMMT25 (Nov.) | Pass@32 准确率 (%) | ExOPD: 39.3%（单教师）/ 39.2%（多教师） | OPD: 37.9%（单教师）/ 38.3%（多教师） | 单教师 +1.4%，多教师 +0.9% |
| 代码生成 - HumanEval+ | Pass@4 准确率 (%) | ExOPD: 86.9%（单教师）/ 86.3%（多教师） | OPD: 85.2%（单教师）/ 84.6%（多教师） | 单教师 +1.7%，多教师 +1.7% |
| 代码生成 - MBPP+ | Pass@4 准确率 (%) | ExOPD: 70.7%（单教师）/ 70.6%（多教师） | OPD: 69.9%（单教师）/ 69.5%（多教师） | 单教师 +0.8%，多教师 +1.1% |
| 代码生成 - LiveCodeBench | Pass@4 准确率 (%) | ExOPD: 28.6%（单教师）/ 29.0%（多教师） | OPD: 27.3%（单教师）/ 27.6%（多教师） | 单教师 +1.3%，多教师 +1.4% |
| 强弱蒸馏 - 1.7B 学生数学平均 | 4个数学基准平均准确率 (%) | ExOPD: 25.4% | OPD: 23.1% | +2.3% |
| 强弱蒸馏 - 4B 学生数学平均 | 4个数学基准平均准确率 (%) | ExOPD: 45.3% | OPD: 42.6% | +2.7% |
局限与改进
本文存在以下局限性。首先，过大的奖励外推（如 $\lambda = 1.5$）可能导致训练不稳定和性能下降，这意味着 $\lambda$ 的选择需要仔细调优，目前 $\lambda = 1.25$ 是经验值，缺乏自适应选择机制。其次，ExOPD 会导致学生生成更长的响应，这可能与隐式奖励的长度偏差有关（更长的响应有更多 token 来累积奖励），在实际部署中可能带来推理效率问题。第三，奖励校正技术需要访问教师的 RL 前基础模型 $\pi_{\text{teacher}}^{\text{base}}$，这在很多实际场景中不可获取（例如论文中无法获得 Qwen3-30B-A3B-Instruct-2507 的 RL 前变体），且计算教师基础模型的 log 概率比计算学生基础模型的开销更大。第四，实验主要在中等规模模型（4B 以下）上进行，尚未验证在更大规模模型上的效果。第五，教师和学生来自同一家族（Qwen3），跨模型家族的泛化性尚未验证。
独立分析的弱点
本文存在几个值得关注的弱点。第一，$\lambda$ 的选择依赖于手动调优，缺乏理论指导或自适应机制。虽然 $\lambda = 1.25$ 在所有实验中表现良好，但在不同任务、不同模型规模下最优值可能不同。改进方向可以是设计基于训练动态（如奖励方差、梯度范数）的自适应 $\lambda$ 调度策略。第二，响应长度膨胀问题未得到充分解决。ExOPD 产生的更长响应在评估中可能通过'刷题'策略获得更高分数，而非真正的推理能力提升。可以通过引入长度惩罚或在评估中使用长度归一化来区分真实能力提升和长度偏差。第三，多教师蒸馏中所有教师的权重被平等对待，未考虑不同领域教师的可靠性差异。未来可以探索基于教师在各领域表现的自适应加权方案。第四，实验缺乏在开放式生成任务（如创意写作、对话）上的验证，ExOPD 的效果可能局限于有明确答案的推理任务。
未来方向
作者提出三个未来方向：第一，在更大规模模型上验证 ExOPD 的泛化性；第二，在更多样化的领域教师集合上评估多教师蒸馏的鲁棒性；第三，探索跨模型家族的 OPD 蒸馏效果。基于本文的成果，还可以延伸出以下研究方向：探索 $\lambda$ 的自适应调度策略，例如根据训练进度动态调整 $\lambda$ 以平衡探索和稳定性；将 ExOPD 与过程奖励模型（PRM）结合，利用更细粒度的推理步骤级奖励信号；研究 ExOPD 与 DPO、KTO 等其他对齐方法的融合可能性；将 G-OPD 框架扩展到多模态模型的蒸馏场景；以及探索在持续学习设置中使用 ExOPD 避免灾难性遗忘。
复现评估
本文提供了较好的复现条件。代码已在 GitHub 开源（https://github.com/RUCBM/G-OPD），基于 verl 框架实现，该框架是成熟的 RL 训练框架。训练数据方面，使用了公开的 DeepMath（57K 样本，难度 ≥ 6）和 Eurus-RL-Code（25K 样本）数据集，均可公开获取。评估使用了标准的数学推理（AIME24/25、HMMT25）和代码生成（HumanEval+、MBPP+、LiveCodeBench）基准，Math-Verify 验证器也是开源的。算力需求方面，主要实验基于 Qwen3-4B 模型，在标准 GPU 集群上可复现；但强弱蒸馏实验需要 Qwen3-30B 教师模型，算力需求显著增加。超参数细节在附录中提供。总体而言，复现难度中等，主要挑战在于算力需求和 $\lambda$ 的调优。
论文图表
展示了在 HumanEval+、MBPP+ 和 LiveCodeBench 三个代码基准上的准确率随 $\lambda$ 变化的趋势。与数学任务类似，$\lambda = 1.25$ 附近达到最佳效果，奖励外推区域一致优于标准 OPD。LiveCodeBench 上的提升尤为明显，从 $\lambda = 1$ 的约 27% 提升到 $\lambda = 1.25$ 的约 29%。
与 Figure 2 互补，证明 ExOPD 的有效性不限于数学推理，在代码生成任务上同样适用，增强了结论的可信度。