在线策略蒸馏中的离策略教师：SCOUT教师适配框架

在在线策略蒸馏中用学生前缀做RL更新教师，把教师侧分布偏移变成优化目标

前置知识

在线策略蒸馏（On-Policy Distillation, OPD）

一种后训练范式：学生模型从当前策略 $\pi_\theta$ 自己采样完整回复轨迹，教师模型在学生自生成前缀的每个位置提供下一个 token 的完整分布作为稠密监督，学生通过最小化与教师 next-token 分布的散度（前向/反向 KL 或 JS 散度）逐 token 学习。相比用教师生成或固定数据集回复的离策略蒸馏，它缓解了训练状态与推理状态不一致带来的 exposure bias。

SCOUT 是对标准 OPD 的直接改进，全文的问题定义、损失函数与基线都建立在 OPD 之上，不理解 OPD 就无法理解教师为何会变成离策略的。

GRPO（组相对策略优化）

一种在线 RL 算法：对同一上下文采样 $G$ 个回复，各自得奖励 $r_i$，在组内归一化得到相对优势 $\hat{A}_i=(r_i-\mathrm{mean}(r))/\mathrm{std}(r)$，再用带裁剪的重要性比率 $\rho_{i,t}=\pi_\theta(z_{i,t}|c,z_{i<t})/\pi_{\theta_{old}}(z_{i,t}|c,z_{i<t})$ 的策略梯度目标更新，可选 KL 正则，无需价值网络。

SCOUT 用 GRPO 来更新教师模型：教师从学生前缀出发采样续写并用可验证结果奖励训练，这是方法的第二学习回路。

教师侧分布偏移 / exposure bias

自回归模型训练时见到的条件上下文分布与实际使用时不一致的现象。OPD 中教师被优化去延续自己策略生成的前缀 $\pi_\phi(\cdot|x,y^T_{<t})$，却被迫在学生前缀 $\pi_\phi(\cdot|x,y^S_{<t})$ 上给监督；随轨迹变长，中间决策与错误累积，学生前缀在教师分布下越来越不可能出现。

这正是论文命名的 off-policy teacher issue，是 SCOUT 要解决的核心问题，也是 Figure 1 诊断实验的对象。

可验证奖励强化学习（RLVR）

用程序可自动判定的结果信号（数学最终答案是否正确、代码是否通过测试）作为奖励训练语言模型，无需人工标注或学习型奖励模型，奖励可靠且难以被 reward hacking，常与 GRPO/DAPO 等算法配合使用。

SCOUT 对教师的适配依赖这种可验证结果奖励来训练教师从学生前缀续写的能力，这也决定了方法目前主要适用于数学、代码等可验证领域。

研究动机

OPD 让学生在自己的轨迹上训练、教师提供稠密 token 级监督，但作者指出一个被忽视的根本不对称：同一批轨迹对学生是在策的，对教师却是离策略的——教师原本被优化去延续自己策略生成的前缀，现在却必须在学生生成的前缀上给出 next-token 监督。作者在 AIME 2025 上做了量化诊断：用 Qwen3-1.7B（非思考模式）当学生、Qwen3-4B-Instruct-2507 当教师，把学生完整回复截断到 10%–90% 的前缀比例，再让教师从每个前缀采样续写并统计最终答案准确率，发现前缀越长教师续写准确率持续下降（Figure 1 蓝线），且续写长度远在 16384 token 预算内，排除了生成长度不足的解释；同时教师在自己回复上的条件熵随位置下降，而在学生前缀上的熵先升后维持高位，形成持续的熵差距（Figure 1 红虚线），说明教师在学生状态上越来越不确定。而现有改进方法 ESR、Prune-OPD、Relay-OPD、TrOPD 等共享同一个设计前提：教师保持冻结，只在学生端调整何时、何地、以何种权重使用教师信号。

本文的目标是本文的目标是把教师侧分布偏移从 OPD 的固定属性变成一个显式的优化目标：不再问何时该信任固定教师，而是直接训练教师本身变得更擅长在学生生成的状态上提供监督。具体而言，作者希望在不改变标准 OPD 学生端目标的前提下，周期性地用带可验证奖励的强化学习适配教师，使教师从学生前缀出发的续写成功率随训练提升、其在前缀上的不确定性（熵）下降，从而为后续学生更新提供更可靠的稠密监督；并要求这一增益具备跨教师规模（4B/8B）、跨模型家族（Qwen3 与 Skywork/DeepSeek-R1-Distill）、跨任务域（数学推理与代码生成）的普适性，同时在相同训练计算预算下优于把 OPD 训得更久这一朴素替代方案，并能与损失级的 OPTR 方法叠加获益。

与已有工作不同的是，已有工作的全部注意力都放在学生端如何使用教师信号上：ESR 等前缀截断法直接放弃轨迹后段以避开教师失效区；Prune-OPD 依据局部教师-学生相容度动态下调监督权重并截断 rollout；TrOPD/OPTR 在损失层面划分可信与离群区域；IW-OPD、SOD、TIP 按 token 级教师-学生分歧或学生熵重加权；Relay-OPD、MOTAB、TRD 在检测到失败点时让教师短暂接管或修正学生 rollout。这些方法形式各异，却共同把教师视为不可变的监督源。作者提出的互补问题是：既然失效源于教师不适应学生的状态分布，何不直接优化教师去适应？由此把教师适配确立为 OPD 中独立于损失函数设计与 rollout 控制之外的第三条优化轴，SCOUT 是沿这条轴的第一个系统性框架与严格实证评估。

核心方法

SCOUT 的直觉是：教师在学生前缀上失效，是因为它从未练习过从学生的中间状态继续推理，那就让它练习。技术上是标准 OPD 与教师侧 RL 的共训：每一轮，学生先按 $\pi_\theta(\cdot|x)$ 采样完整轨迹 $y^S$，照常在所有位置上用教师的 next-token 分布做散度（如 KL）监督并更新学生；随后在同一轨迹上选取分割点 $k$ 构造学生前缀 $p^S=y^S_{1:k}$，教师条件于 $(x,p^S)$ 采样 $K$ 个续写 $z^T_i\sim\pi_\phi(\cdot|x,p^S)$，每个续写获得可验证结果奖励，用 GRPO 更新教师，且梯度只落在教师自己生成的续写 token 上。更新后的教师同步回去，为后续 OPD 步提供监督。为控制开销，教师每 $\ell$ 个 OPD 步才更新一次（主实验 $\ell=10$），且学生前缀长度占回复的比例随训练进度线性增长，让教师先适应短前缀、再逐步面对更长更难的学生状态，相当于一个难度递增的课程。

核心创新是学生条件化的教师更新这一方向本身：它不修改蒸馏损失，也不控制 rollout 长度，而是让教师主动追赶学生的状态分布，把教师侧分布偏移变成训练目标。与现有方法的本质区别在于被优化的模型不同——ESR/Prune-OPD/OPTR 都保持 $\pi_\phi$ 冻结、只改 $\pi_\theta$ 的更新方式，Relay-OPD 虽引入教师生成但服务于 rollout 修复而非教师训练；SCOUT 是唯一在训练中持续更新 $\pi_\phi$ 的方案。为了证明收益确实来自学生条件化而非教师多训了，作者设计了关键对照 OPD + Teacher GRPO：教师用与 SCOUT 完全相同的结果奖励 GRPO 目标更新，但 rollout 从原始问题出发而非学生前缀。该对照在 Qwen3-4B 数学上反而低于普通 OPD（48.8 vs 49.2），在 4B 代码和 8B 数学上也仅小幅提升（57.0/50.8），远不及 SCOUT 的 51.4/59.7/51.6，说明对学生的条件化本身才是收益来源。

方法步骤详情

流程分七步。（1）采样：学生 $\pi_\theta$ 对提示 $x$ 生成完整回复 $y^S$。（2）学生 OPD 更新：在每个位置 $t$ 计算 $\mathcal{D}(\pi_\theta(\cdot|x,y^S_{<t}),\,\pi_\phi(\cdot|x,y^S_{<t}))$（KL/JS 散度），取轨迹平均后更新 $\theta$。（3）构造前缀：取分割点 $k$，得学生前缀 $p^S=y^S_{1:k}$，其占回复比例随训练步数线性增加。（4）教师续写采样：教师条件于 $(x,p^S)$ 独立采样 $K$ 个续写 $z^T_i$。（5）打分与 GRPO 更新：每个续写得可验证结果奖励 $r_i$，组内归一化为优势 $\hat{A}_i=(r_i-\mathrm{mean})/\mathrm{std}$，用带裁剪重要性比率的 GRPO 目标更新 $\phi$，梯度只落在续写 token。（6）同步：更新后的 $\pi_\phi$ 立即用于后续 OPD 步的监督。（7）循环：每 $\ell$ 个 OPD 步更新一次教师（主实验 $\ell=10$，消融显示 $\ell=1/5/10$ 的 Avg@6 为 51.3/52.5/51.5，几乎无差），直至训练结束。

技术新颖性

技术新颖性体现在三层。问题层：论文首次用受控诊断（Figure 1）量化了教师离策略现象——教师续写准确率随学生前缀比例从 10% 增至 90% 明显下降、学生前缀与教师自身回复间存在持续熵差距——并把教师适配确立为 OPD 的新优化轴，这在 OPD 文献中是空白。机制层：教师 RL 的 rollout 起点是学生前缀而非原始问题，等价于把从学生错误中恢复变成教师的训练分布；Table 4 的对照证明去掉这一条件化后增益消失甚至变负，说明新颖性不在用 RL 训教师，而在在哪训教师。系统层：稀疏更新（每 10 个 OPD 步一次）加线性增长的前缀课程即可获得几乎全部收益，Figure 5 显示 $\ell$ 从 1 到 10 平均精度几乎不变，说明该方法可以低成本嵌入现有 OPD 流水线；Table 5 进一步证明它与损失级改进 OPTR 叠加后在数学/代码上再涨 2.5/1.2 分，二者解决的是教师-学生失配的不同侧面。

**Figure 2**: The overview of SCOUT and its comparison with standard OPD. While standard OPD suffers from unreliable teacher supervision at long prefixes, SCOUT periodically trains the teacher given the student prefix. Upper right subfigure: the student prefix ratio is linearly increased according to training steps.

实验结果

作者用三个教师-学生配对、两个任务域、每方法 3 个种子、每基准 4–32 次评测验证 SCOUT。（1）Qwen3-4B-Instruct-2507→Qwen3-1.7B（Table 1）：数学六基准平均 51.4，比 OPD 49.2 高 2.2 分，超过 GRPO 50.3 与全部 OPD 变体；代码平均 59.7 vs OPD 56.6（+3.1），Relay-OPD 在代码上崩至 12.1。（2）Qwen3-8B-DAPO→Qwen3-1.7B（Table 2）：51.6 vs OPD 49.0（+2.6），六基准全部最优。（3）Skywork-OR1-Math-7B→DeepSeek-R1-Distill-Qwen-1.5B（Table 3）：53.6 vs OPD 52.4（+1.2），该设定下 GRPO 崩溃至 22.6、Prune-OPD 退化至 36.8。机制（RQ1）：Figure 3 右图固定初始学生前缀对比教师训练前后，证明续写提升来自教师本身；Figure 4 显示学生前缀上的熵差距收窄。归因（RQ2）：Table 4 中 OPD+Teacher GRPO（48.8/57.0/50.8）不及 SCOUT（51.4/59.7/51.6），收益来自学生条件化。效率与组合（RQ3）：Figure 5 表明 $\ell=10$ 已足够；Figure 6 显示同数据下 OPD 训 3 epoch 平台化于约 49% 而 SCOUT 1 epoch 升至约 51.5%；Table 5 显示与 OPTR 叠加再涨 2.5/1.2 分至 52.3/60.5。

**Table 1**: Main results for Qwen3-4B-Instruct-2507→Qwen3-1.7B. SCOUT consistently outperforms competing OPD methods across mathematical reasoning and code generation.

**Table 2**: Mathematical reasoning with Qwen3-8B-DAPO→Qwen3-1.7B. SCOUT outperforms all other OPD-based methods across all six benchmarks.

**Table 3**: Mathematical reasoning with Skywork-OR1-Math-7B→DeepSeek-R1-Distill-Qwen-1.5B. GRPO collapses and Prune-OPD degrades substantially in this setting, while SCOUT remains robust.

**Table 4**: Student-conditioned teacher adaptation drives the gains. OPD + Teacher GRPO applies the same outcome-reward teacher updates as SCOUT, but starts teacher rollouts from the original problem rather than from student-generated prefixes.

**Table 5**: SCOUT provides complementary gains on top of OPTR. In the Qwen3-4B-Instruct-2507 → Qwen3-1.7B setting, adding SCOUT improves both OPD and OPTR across math and code.

**Figure 3**: SCOUT improves the teacher's ability to reason from student-generated prefixes. Left: Matched student–teacher checkpoints become more accurate across increasingly long prefixes as training progresses. Right: Holding the student prefixes fixed, the trained teacher outperforms the initial teacher on the same inputs.

**Figure 4**: SCOUT reduces teacher uncertainty on student-generated prefixes. After training, teacher entropy on student prefixes decreases over later response positions, narrowing the gap with entropy on the teacher's own responses.

**Figure 5**: Frequent teacher updates are unnecessary. In the Qwen3-8B-DAPO → Qwen3-1.7B math setting, performance remains similar across moderate update intervals and drops only when updates become too sparse.

**Figure 6**: Additional OPD training does not close the gap to SCOUT. In the Qwen3-4B-Instruct-2507 → Qwen3-1.7B math setting, we train SCOUT for one epoch and OPD for three, on the same data, to compare performance over similar training-compute budgets.

查看结构化数据

任务	指标	本文	基线	提升
数学推理（Qwen3-4B-Instruct-2507→Qwen3-1.7B，六基准平均）	平均准确率(%)	51.4	标准 OPD 49.2（GRPO 50.3，最强 OPD 变体 Relay-OPD 49.3）	+2.2
代码生成（Qwen3-4B-Instruct-2507→Qwen3-1.7B，LCB v5/HumanEval+/MBPP 平均）	平均得分(%)	59.7	标准 OPD 56.6（Relay-OPD 崩至 12.1）	+3.1
数学推理（Qwen3-8B-DAPO→Qwen3-1.7B）	平均准确率(%)	51.6	标准 OPD 49.0	+2.6
数学推理（Skywork-OR1-Math-7B→DeepSeek-R1-Distill-Qwen-1.5B）	平均准确率(%)	53.6	标准 OPD 52.4（GRPO 崩溃至 22.6，Prune-OPD 36.8）	+1.2
数学推理 + OPTR 叠加（Qwen3-4B→Qwen3-1.7B）	平均准确率(%)	52.3	OPTR 49.8	+2.5
代码生成 + OPTR 叠加（Qwen3-4B→Qwen3-1.7B）	平均得分(%)	60.5	OPTR 59.3	+1.2

局限与改进

作者承认的局限：额外 OPD 训练的对照是在固定训练数据上做的，SCOUT 1 epoch 对 OPD 3 epoch 的比较（Figure 6）并不能排除 OPD 用全新数据继续训练也能追平的可能；教师被 RL 更新后在其他任务或通用能力上是否漂移，文中未评估。我观察到的局限：方法依赖可验证结果奖励，目前只在数学和代码上验证，无法直接迁移到开放式写作、对话等缺乏程序化奖励的蒸馏场景；评测集中在 1.5B–1.7B 的小学生模型、教师最大 8B，尚未证明对更大教师或学生是否仍然必要且划算；GRPO 回路每次需为每个学生前缀额外采样 $K$ 个教师续写，虽然 $\ell=10$ 降低了频率，但总体训练算力仍高于 OPD——公平比较时 SCOUT 训 1 epoch 才与 OPD 训 3 epoch 算力相当；前缀分割点 $k$ 的选取与线性增长课程都较粗糙，缺少对最优课程形状的消融；教师更新使监督信号本身不断变化，也让 OPD 的训练动态更难复现与调试。

独立分析的弱点

独立分析几点弱点。其一，奖励可验证性是硬前提：教师的 RL 信号来自最终答案对错，任务无法自动判分（摘要写作、多轮对话）时教师回路即失效；改进方向是用奖励模型或学生端困惑度下降等自评估信号替代。其二，教师能力漂移风险：持续用学生前缀上的结果奖励更新教师，可能使其过拟合于从错误中恢复，损害原始生成质量与作为通用教师的价值；可加对初始教师 $\pi_{\phi_0}$ 的 KL 正则或维护教师检查点集成。其三，计算与工程开销：每次教师更新需 $K$ 个续写采样加 GRPO 训练，更新后还需同步推理服务；可用 LoRA 只更新教师适配器或缓存学生前缀降低成本。其四，前缀选择策略简单：线性增长课程与分割点方案未依据教师熵或学生不确定性自适应选点，可借鉴 Prune-OPD 的相容度信号挑选信息量最大的前缀。其五，外推性存疑：学生仅 1.5B/1.7B，其失败模式与大模型不同，收益是否随学生规模保持需在 7B+ 学生上验证。

未来方向

作者提出的延伸包括把教师适配与更多 OPD 改进（损失级、rollout 级）组合，并在更多模型家族与任务上验证普适性。基于成果可延伸的方向：（1）开放域教师适配——用过程奖励模型或成对偏好替代可验证结果奖励，让 SCOUT 走出数学/代码；（2）教师能力保持——引入对初始教师的 KL 约束或弹性权重巩固，系统绘制恢复能力与自身能力的权衡曲线；（3）更细的课程设计——现有课程只线性加长前缀，可按学生错误类型（事实性/逻辑性/格式性）分层采样前缀，针对性训练教师的恢复策略；（4）理论刻画——把教师-学生共训形式化为联合分布上的合作优化，解释为何稀疏更新（$\ell\le10$）已足够而 $\ell=20$ 掉回 OPD 水平；（5）教师复用与摊销——训练出的抗漂移教师能否作为多个不同学生的共享监督源，摊薄适配成本；（6）与测试时扩展结合——研究适配后的教师是否更擅长对学生采样做 best-of-n 引导或过程验证。

复现评估

复现评估：论文正文未提及开源代码或权重（arXiv 页面暂无代码链接），这是最大复现障碍。利好是构件全公开：训练数据 OpenR1-Math-46K-8192 与 TACO-Verified-7.5K 可在 HuggingFace 获取；模型中仅 Qwen3-8B-DAPO 需自行在 DAPO-MATH 上 GRPO 训 3 epoch 复刻，Qwen3-4B-Instruct-2507、Qwen3-1.7B、Skywork-OR1-Math-7B、DeepSeek-R1-Distill-Qwen-1.5B 均为公开权重；评测基准皆为标准集。成本方面：主实验每方法 3 种子、每基准 4–32 次评测（AIME 级 Avg@32），叠加教师 GRPO 回路，单配置估计需多卡数天，整体属中高难度。若只验证核心结论，可只跑 Qwen3-4B→1.7B 数学设定、$\ell=10$、单种子，评测降到 Avg@8，可压缩到单机 8 卡一日量级。方法概念简单（OPD 之上加一个 GRPO 回路），门槛主要在 OPD 训练框架与教师在线同步的工程细节。

在线策略蒸馏中的离策略教师：SCOUT教师适配框架 On the Off-Policy Teacher in On-Policy Distillation