基于批评引导的在线策略蒸馏恢复可靠监督 Recovering Reliable Supervision via Critique-Guided On-Policy Distillation
教师会跟随学生错误但仍能识别错误，CriticOPD 用批评引导改写恢复蒸馏监督可靠性
前置知识
在策略蒸馏（On-Policy Distillation, OPD）
与离线蒸馏让学生模仿教师生成的完整文本不同，OPD 让学生自己采样 rollout，教师在每个 token 位置以自身的下一 token 分布作为目标，最小化采样反向 KL。学生训练时看到的前缀全部由自己生成，与推理时的状态分布一致，从而缓解占用失配。采样 token 的优势为 $A_t=\log\pi_T(y_t|h_t)-\log\pi_\theta(y_t|h_t)$，即教师与学生对该 token 对数概率之差。
CriticOPD 是对 OPD 损失的定向修补，论文的全部诊断、损失设计和基线对比都围绕 OPD 展开，不理解 OPD 就无法定位监督在哪里失效。
反向 KL 散度
$\mathrm{KL}(p\|q)=\sum_x p(x)\log\frac{p(x)}{q(x)}$ 衡量分布 $p$ 相对参照分布 $q$ 的差异。OPD 最小化 $\mathrm{KL}(\pi_\theta(\cdot|h)\|\pi_T(\cdot|h))$，即以教师为参照、学生为待拟合对象，逐 token 把学生拉向教师。与要求在教师低概率处也覆盖的正向 KL 不同，反向 KL 倾向于集中在教师的高概率模式上，适合单峰的推理链模仿。
CriticOPD 唯一的损失改动就是把该式中的教师目标从 $\pi_T(\cdot| ilde h_t)$ 换成 $\pi_T(\cdot| ilde h_t,c)$，读懂核心公式必须先掌握这一记号。
占用失配（Occupancy Mismatch）
训练时被监督的状态（前缀）分布与推理时模型实际访问的状态分布之间的差异，源自模仿学习的分布漂移研究（DAgger）。若学生只在教师生成的文本上训练，推理时一旦犯错就会进入训练中罕见的前缀，之后无人教过如何返回正轨，误差逐步累积。OPD 的动机正是通过在学生自生成序列上训练来缩小这种失配。
论文用 token 位置和隐状态两个口径的占用失配（图 7、12、13）论证 CriticOPD 在恢复监督可靠性的同时没有引入额外失配，这是与截断/接管类方法对比的关键指标。
可恢复性（Recoverability）
论文借自模仿学习的核心度量：给定学生生成的前缀 $h_t$，教师可恢复性 $\Lambda_T(h_t)=\mathbb{E}_{y\sim\pi_T(\cdot|h_t)}[r(y)]$ 即教师从该前缀续写完整解答后的期望正确率，学生版本 $\Lambda_S$ 同理。若学生能从 $h_t$ 起完美模仿教师，其可达准确率恰为 $\Lambda_T(h_t)$，因此低可恢复性意味着教师的续写分布已不再是可靠的纠正目标。
这是全文的诊断量尺：第 2 节测量它在错误 rollout 上的塌陷，第 3 节用批评把它从 0.14 恢复到 0.67，第 4 节用它解释性能增益的来源。
学习使用特权信息（LUPI）
Vapnik 与 Vashist 提出的训练范式：训练时可访问推理时拿不到的额外信息（特权信息），模型在推断时只依赖常规输入却表现得更好。Lopez-Paz 等将其与蒸馏统一：教师利用特权输入向学生传递知识。典型做法是把特权上下文只放进教师打分或奖励的计算里，而不进入学生的输入序列。
CriticOPD 中批评 $c$ 正是特权信息：学生带着批评改写、教师带着批评打分，但训练序列与推理输入都不含 $c$，学生因此学会无需反馈的自我纠正。
GRPO 与可验证奖励
组相对策略优化：对每个 prompt 采样一组回答，用结果奖励（答案对错）减去组内均值作为优势做策略梯度，无需价值网络，是数学推理 RL 的主流算法，也是本文的无教师基线。可验证奖励（RLVR）指答案可程序化判定的任务设定，如带标准答案的数学题；论文依赖这一设定来判定 rollout 对错并为批评提供参考答案。
GRPO 与 Critique-GRPO 是重要对照组，其实验结果说明结果奖励与批评修订各自单独使用都不足以匹敌 CriticOPD。
研究动机
OPD 隐含假设教师能从学生写出的任意前缀出发续写出正确答案，论文称之为可恢复性，并实测了这一假设。在 Qwen3-1.7B 学生（OPD 训练 80 步）与 Qwen3-4B-Instruct-2507 教师上，从 DAPO-Math-17k 的 900 题各采一条 rollout，在空前缀和按 1/8…7/8 比例选出的 7 个段落边界各切一刀，教师与学生各生成 16 条续写来估计 $\Lambda_T$ 与 $\Lambda_S$。结果：在教师本可解出的题目上，错误 rollout 的 $\Lambda_T$ 从空前的 0.82 一路跌到尾部的 0.29，教师续写以学生错误答案收尾的比例从 1% 升到 35%（占其失败续写的 50%）；而正确 rollout 上 $\Lambda_T$ 始终不低于 0.93，说明退化源于错误前缀而非长度或题目难度。错误 rollout 占训练 token 的 61%，其中 53% 的 token 位于 $\Lambda_T<0.2$ 的前缀，约合全部训练 token 的三分之一接收着低可靠监督。讽刺的是，教师的错误识别精度不受影响：五个 $\Lambda_T$ 分箱（均值 0.07 到 0.93）中有效错误标记率稳定在 73%–81%。
本文的目标是论文的目标可以概括为：在不增加占用失配的前提下，恢复教师对学生生成前缀的监督可靠性。具体而言，所有被监督的 token 仍应全部由学生自己生成（保持 OPD 的 on-policy 特性，推理时也不需要任何反馈或额外轮次），但要让教师在这些状态上提供真正有纠正力的 token 级目标，尤其是覆盖错误之后、教师续写通常失败的响应尾部。最终希望在 AIME、AMC、MATH500 等数学推理基准上稳定超越标准 OPD，同时超过截断式（FastOPD）与接管/重写式（TRD、SKD、RelayOPD）两类补救方法，并保持模型在数学以外的通用能力不退化。
与已有工作不同的是，切入角度的独特之处在于从回避转向修复。先前工作把教师监督不可靠当作需要绕开的静态属性：截断式方法砍掉长响应的后半段，早停式方法提前停止 rollout，接管/重写式方法让教师直接写入或改写学生轨迹——它们要么让学生推理时才到达的后段状态无人监督，要么让学生训练在教师写的、自己几乎不会生成的序列上，反而加大占用失配。本文第一个把模仿学习的可恢复性概念引入 OPD 做系统测量，并发现一个此前被忽视的不对称性：教师的续写能力会随错误前缀崩塌（0.82→0.29），但其识别错误的精度几乎不变（73%–81%）。既然教师看得出错却改不动，就该让它当批评家而非续写者——用批评改写轨迹使错误状态重新变得可恢复，同时把识别能力转化为逐 token 的监督信号。
核心方法
直觉上，既然教师在错误前缀上看得出错但续写不动，就让它做批评家而不是续写者，并把批评当作训练期的特权信息。技术路线是四段流水线（图 2）：(1) 学生对每题采样一条 rollout；(2) 错误或超长的 rollout 交给教师批评——教师拿到题目、参考答案和按段落编号的学生解答，列出每处错误的段落号、原句引用和简短修正建议，与参考答案合并成反馈 $c$；(3) 学生保留到最后一个错误段落末尾的前缀，附上 $c$ 后自己改写剩余部分，得到修订序列 $\tilde y$；(4) 训练时教师把 $c$ 放进上下文对改写后缀打分，学生的对数概率却在不含 $c$ 的序列 $\tilde h_t=(x,\tilde y_{<t})$ 上计算。总目标 $\mathcal{L}=\mathcal{L}_{\mathrm{OPD}}+\mathcal{L}_{\mathrm{fb}}$：正确 rollout 走标准 OPD 反向 KL；改写 rollout 只对后缀施加 $\mathcal{L}_{\mathrm{fb}}(\tilde y;c)=\sum_{t=\tau}^{|\tilde y|}\mathrm{KL}(\pi_\theta(\cdot|\tilde h_t)\|\pi_T(\cdot|\tilde h_t,c))$。保留前缀无损失，因为那里的教师可恢复性本就很低。
核心创新是用上下文而非文本替换来恢复监督：教师目标从 $\pi_T(\cdot|h_t)$ 变为 $\pi_T(\cdot|\tilde h_t,c)$，仅仅在教师的打分上下文里加入批评 $c$。测量显示这一个改动就把切点后的教师可恢复性从 0.14 拉回 0.67（图 6），而学生训练序列和推理输入都不含 $c$——这是教科书式的特权信息用法，学生最终学会的是无需反馈的自我纠正。与教师接管或重写不同，改写序列的每个 token 都出自学生之手，占用失配几乎不变（token 位置总变差距离 0.16 vs OPD 的 0.10，隐状态距离 0.05 与 OPD 持平）。优势项还可精确分解：$A^{\mathrm{fb}}_t=\underbrace{\log\pi_T(\tilde y_t|\tilde h_t)-\log\pi_\theta(\tilde y_t|\tilde h_t)}_{\text{OPD 优势}}+\underbrace{\log\frac{\pi_T(\tilde y_t|\tilde h_t,c)}{\pi_T(\tilde y_t|\tilde h_t)}}_{r_t}$，第二项是 token 与批评之间的逐点互信息，相当于教师给每个纠正 token 发的逐 token 奖励，由此把识别错误的能力变成了信用分配。
方法步骤详情
每步训练（128 个 prompt、每题 1 条 rollout）如下：(1) 触发——学生用 $P_{\mathrm{train}}$ 对每题采样一条 rollout，判对则用标准 OPD 损失；答错或达 16384 token 上限仍未给出答案的进入批评流程。(2) 批评——教师收到题目、参考答案和按空行分段编号的解答，按固定格式输出 ERROR 块（段落号、逐字引用错误句、2–3 句修正建议），禁止泄露答案；贪心解码、上限 2048 token。解析出的错误与参考答案合成反馈 $c$，末行附答案；无完整错误则退回标准 OPD。(3) 切点——保留到最后一个错误段落末尾的位置 $\tau$，即 $h_\tau=(x,y_{<\tau})$，保证改写从可恢复性塌陷的错误状态出发。(4) 改写——学生把 $c$ 附在保留前缀后（提示 $P_{\mathrm{fb}}$），用剩余预算生成新后缀，得到 $\tilde y_{<\tau}=y_{<\tau}$ 的修订序列 $\tilde y$。(5) 反馈蒸馏——只对 $[\tau,|\tilde y|]$ 后缀计算损失：教师带 $c$ 打分、学生不带 $c$ 计算 log 概率（因此是代理梯度而非无偏估计）。Qwen3-1.7B 训练 40 步、0.6B 训练 80 步，在去污染验证集上选检查点。
技术新颖性
技术新颖性有四层。测量层面：首次用可恢复性量化 OPD 监督退化，并通过对照实验分离前缀长度、题目难度、错误前缀三个因素——正确 rollout 上 $\Lambda_T\ge 0.93$ 排除了长度因素，高/低初始成功率分组揭示了错误误导与教师能力不足两种失效模式。方法层面：与减少监督（截断/早停）和替换序列（接管/重写）两大流派不同，CriticOPD 修复而非回避——监督覆盖完整响应尾部，且每个被监督 token 都是学生写的，因此同时占据高教师可靠性与低占用失配（图 7 的右上区域）。机制层面：证明自然语言反馈可以转化为 token 级信用——无批评时教师打分几乎无法区分纠正与继续（每 token 优势差仅 0.24），加入批评后差距达 1.47，且前 32 个 token 贡献了 87% 的增量。设计层面：消融显示批评同时改善学生写的内容与教师打分的可靠性两处，后者贡献更大（去掉批评打分 −1.19 vs 换教师写后缀 −0.66），说明恢复教师目标本身是主要收益来源。
实验结果
主实验（表 1，六基准平均、3 种子）：Qwen3-1.7B 上 CriticOPD 达 54.65，比 OPD 的 50.08 高 4.57 分，其中 AIME 2025 +7.36（30.14 vs 22.78）、AMC 2023 +6.94（69.88 vs 62.94）、AIME 2024 +6.01（41.11 vs 35.10），竞赛题收益最大；两个规模下 6 项中 5 项最佳，超 RelayOPD 0.97、FastOPD 2.10 分。Qwen3-0.6B 上 38.86 vs 34.80（+4.06）。特权信息基线弱得多：OPSD-T 仅 +0.93/+1.82，Critique-GRPO 低于初始学生。跨家族（表 4）：OLMo-3-7B 从 32B 教师蒸馏，54.69→57.23（+2.54）。数学外（表 5）70.69 vs 70.47 持平。机制证据：图 6 中切点后教师可恢复性 0.14→0.67，学生成功率 0.03→0.16；图 8(a) 纠正与继续的每 token 优势差从 OPD 打分的 0.24 [0.19,0.29] 升到 1.47 [1.36,1.58]，前 32 token 占增量 87%；图 8(b) 在 OlympiadBench 错误前缀上平均高 0.023 [0.010,0.036]，正确前缀无差异。消融（表 2）：去批评 −5.90、去答案 −0.85、通用反馈 −1.46、教师代写后缀 −0.66、无批评打分 −1.19。成本（图 14）：总训练 17.2 A100 GPU 时 vs OPD 41.3（0.42 倍，40 步即达所选检查点）；同步数下为 OPD 的 0.96 倍。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 六数学基准平均（Qwen3-1.7B） | 平均准确率（%，32/8 样本，3 种子） | 54.65 | OPD 50.08 | +4.57 |
| AIME 2025（Qwen3-1.7B） | 平均准确率 (%) | 30.14 | OPD 22.78 | +7.36 |
| AIME 2024（Qwen3-1.7B） | 平均准确率 (%) | 41.11 | OPD 35.10 | +6.01 |
| AMC 2023（Qwen3-1.7B） | 平均准确率 (%) | 69.88 | OPD 62.94 | +6.94 |
| 六数学基准平均（Qwen3-0.6B） | 平均准确率 (%) | 38.86 | OPD 34.80 | +4.06 |
| 六数学基准平均 vs 最强基线（Qwen3-1.7B） | 平均准确率 (%) | 54.65 | RelayOPD 53.68 / FastOPD 52.55 | +0.97 / +2.10 |
| 六数学基准平均（OLMo-3-7B ← Olmo-3.1-32B） | 平均准确率（%，单种子） | 57.23 | OPD 54.69 | +2.54 |
| 教师可恢复性（切点后 75% 位置） | ΛT（16 条续写正确率） | 0.67（改写序列） | 0.14（原错误 rollout） | +0.53 |
| 纠正 vs 继续错误的区分度（64 token 续写） | 每 token 优势差 | 1.47 [1.36, 1.58]（带批评打分） | 0.24 [0.19, 0.29]（OPD 打分） | 约 6.1 倍 |
| 数学外六基准平均（Qwen3-1.7B） | 平均准确率 (%) | 70.69 | OPD 70.47 | +0.22（基本持平） |
| 训练总成本（至所选检查点，Qwen3-1.7B） | A100 GPU-小时 | 17.2（40 步） | OPD 41.3（80 步） | 0.42× |
局限与改进
作者承认的局限：(1) 依赖参考答案，只直接适用于答案可验证的任务，开放域需要奖励模型或自主批评，代码任务可用单元测试替代；(2) 模型与域覆盖有限——只测了 Qwen3 两个非思考学生加一次 OLMo-3 单种子实验，全部是数学题，思考模式学生、代码等训练域、更大的师生组合尚未验证；(3) 计算开销——每条被批评的 rollout 需要额外一次教师生成和一次学生生成；(4) 批评质量——教师列出的错误只有 73%–81% 被裁判判定为真实，且诊断依赖 Qwen3-8B 模型裁判，可能与人标不一致；(5) 每条 rollout 只用一份批评。我自己的观察：其一，CriticOPD 学生平均响应 10.2k token，约为 OPD（5.3k）的两倍，4k/8k 生成预算下反而低于 OPD（图 17），部分收益以更长的推理为代价，预算受限的部署要谨慎；其二，切点取批评中最后一个错误，若批评漏掉更早的关键错误，改写会保留错误传播链；其三，教师自己不会做的题（低 $\Lambda_T$ 分箱）上批评能否修复可恢复性未被单独量化，0.6B 实验显示此时批评帮助变小；其四，训练与教师同族同 tokenizer，跨家族蒸馏未测。
独立分析的弱点
独立分析的弱点与改进方向：(1) 长度膨胀——平均响应从 5.3k 涨到 10.2k token，短预算下性能反而落后，改进方向是在反馈模板中加入长度预算约束、对改写后缀加长度正则，或显式惩罚冗余推理。(2) 批评噪声直接进入训练信号——约四分之一的被标记错误不真实，这些噪声通过互信息项 $r_t$ 影响每个 token 的梯度，改进方向是采样多份批评做一致性过滤或多数投票、用更强模型当裁判过滤后再训练，或对批评条目做置信度加权。(3) 错误定位粒度受段落切分限制——按空行分段可能把多个错误并进一段，导致切点过晚或过早，改进方向是句级或 AST 级切分并绘制切点—可恢复性曲线来校验。(4) 只修复轨迹不教自我纠错——推理时学生拿不到反馈，若错误依旧出现可能陷入同一失败模式，改进方向是与 self-correction 目标（如 SCoRe 式多轮 RL）结合，让批评能力内化为学生的自我批评。(5) 域局限——数学之外，代码、Agent 轨迹的错误定义与切点选择完全不同，改进方向是为代码定义编译/测试失败切点、为 Agent 定义工具调用失败切点后复用同一框架。(6) 需要独立 vLLM 教师服务器实时打分，系统复杂度高于纯 RL 训练，可探索离线缓存教师分布。
未来方向
作者提出的方向：把参考答案换成奖励模型或能自主判断正误的批评家，以扩展到无验证答案的任务；测试思考模式学生、代码等更多训练域以及更大的师生组合；用更准确的批评家和多次批评采样降低噪声。基于本文成果还可延伸：(1) 把可恢复性 $\Lambda_T$ 变成训练期的在线监控信号——当一批 rollout 的估计可恢复性跌破阈值时才触发批评，形成自适应课程，进一步省算力；(2) 与接管式方法混合：先批评改写，对改写后教师仍不可恢复的残余状态再交教师接管，两种可靠性修复正交叠加；(3) 机制上追查互信息奖励 $r_t$ 与结果奖励的关系，把蒸馏与 RLVR 的信用分配纳入同一理论框架，解释为何批评能在无结果奖励的后缀上提供有效梯度；(4) 把批评改写加特权打分的框架推广到多模态或工具调用轨迹修复；(5) 检验经 CriticOPD 训练的学生是否习得可迁移的自我批评能力——让学生自己当批评家做迭代蒸馏，考察看得出错这一不对称性能否被继承；(6) 将占用失配（位置 TV 距离与隐状态分类器下界）推广为蒸馏方法的通用评价协议。
复现评估
复现条件较好。代码已开源（github.com/kzhao5/CriticOPD），基于 verl 0.9.0.dev 与 vLLM 0.21 并固定 commit；软件栈为 Python 3.12、PyTorch 2.11、CUDA 13.0、Transformers 5.15。数据用公开的 DAPO-Math-17k，评测基准（AIME 2024/2025、AMC 2023、MATH500、OlympiadBench、Minerva Math）全部公开；所有提示词在附录 A 逐字给出，超参数在表 3 完整列出（128 prompt/步、学习率 $10^{-6}$ 恒定、最大响应 16384 token、批评贪心解码上限 2048 token 等）。算力门槛不高：每次训练一个节点 4 张 A100-80GB（2 卡学生 2 卡教师），0.6B 实验可在 H100/H200/B200 上跑；完整训练仅 40 步（1.7B），共 17.2 GPU 时。检查点选择协议（去污染的 MATH-val 与 Comp-val 验证集、13-gram 污染判定）描述细致，3 种子报告均值与标准差。主要工程难点在于 RL/蒸馏训练本身的稳定性（种子间标准差约 0.5，差异小于 0.5 分的消融不可靠）、vLLM/Transformers 版本匹配，以及诊断实验需生成 900×16 条续写的中等成本。总体复现难度：中低。
论文图表
示意图，对比四种方法在学生出错之后的监督来源与覆盖：OPD 全程由教师监督学生的 token；Truncate（截断）丢弃长响应后段；Takeover（接管）让教师写入学生轨迹；CriticOPD 在错误后用批评引导学生改写，教师带着批评打分但学生训练时不带批评。
一图看懂本文在 OPD 方法谱系中的位置：截断和接管是绕开不可靠监督，CriticOPD 是修复它，且所有被监督 token 仍由学生生成。
沿 rollout 位置绘制教师与学生的续写正确率：正确 rollout 上教师 $\Lambda_T\ge 0.93$、学生 $\Lambda_S$ 从 0.81 升至 0.94；错误 rollout 上（实线为教师本可解出的题目）$\Lambda_T$ 从 0.82 跌至 0.29，$\Lambda_S$ 从 0.34 跌至 0.10，虚线为教师本就难解的题目（0.14→0.05）。
核心诊断图：证明教师监督退化由错误前缀而非长度或题目难度引起，是全文动机的实证基础。
(a) 教师续写的最终答案去向：正确比例从 0.82 降到 0.29，以学生错误答案收尾的比例从 1% 升到 35%（占失败续写的 50%），说明教师常继承学生错误。(b) 五个 $\Lambda_T$ 分箱（均值 0.07–0.93）中有效错误标记率稳定在 73%–81%，识别精度不随可恢复性下降。
揭示全文赖以成立的不对称性——教师改不动但看得出错——这是批评引导设计的直接依据。
图 3 的 Qwen3-0.6B 复现：错误 rollout 上教师可恢复性从 0.89 跌至 0.38（教师可解题目），正确 rollout 上保持高位，模式与 1.7B 一致。
说明可恢复性塌陷不是 1.7B 特有现象，跨学生规模稳健，增强诊断结论的可信度。
0.6B 版图 4：教师以学生错误答案收尾的比例从 0.00 升至 0.15；五个 $\Lambda_T$ 分箱（均值 0.05–0.92）中真实错误比例稳定在 77%–84%。
在小学生上复现不对称性结论，进一步支持方法的普适动机。
以隐状态为口径的占用失配：logistic 回归可分性给出的 TV 下界——CriticOPD 0.05 与 OPD 持平，低于 FastOPD 0.09、SKD 0.15、RelayOPD 0.19、SFT/KD 0.29、TRD 0.50。
补充位置之外的语义层证据：CriticOPD 监督的状态在表示空间里也与推理分布吻合。
生成预算 4k/8k/16k/32k 下的平均准确率：CriticOPD 在 4k 与 8k 预算下低于 OPD，16k 与 32k 下反超，源于其平均响应 10.2k 对 OPD 的 5.3k token。
暴露方法的主要代价——推理变长——对预算受限部署是关键警示，也是理解表 7 长度控制实验的前提。
表 2 各消融变体在六个基准上的逐项结果，例如去批评使 AIME24 从 40.52 掉到 34.48、OlympiadBench 从 60.59 掉到 54.83。
给出消融的完整粒度，便于判断各组件在哪些任务类型上贡献最大。