DuoOPD：基于师生联合结果的多任务在线策略蒸馏 DuoOPD: Learning from Joint Teacher-Student Outcomes for Multi-Task On-Policy Distillation
按师生对错四种组合重设蒸馏反馈：学生结果定方向，联合结果定教师用法
前置知识
在线策略蒸馏（On-Policy Distillation, OPD）
让学生先自己生成响应，教师再对学生生成内容的前缀逐 token 打分给出反馈，而不是模仿教师的固定输出。反馈形式是对学生 log 概率梯度按 log 比率加权，等价于反向 KL 散度梯度的逐 token 采样估计。学生始终在自己熟悉的分布内学习，训练更稳定、样本效率更高。
DuoOPD 改造的正是这套 token 级反馈权重的计算方式，不理解 OPD 的反馈从哪来、如何进入梯度，就无法理解四种结果规则作用的对象与位置。
反向 KL 散度
KL 散度衡量两个分布的差异。反向 KL $\mathrm{KL}(\pi_\theta \| \pi_T)$ 以学生分布为期望，具有模式寻求性质：倾向让学生集中于教师最可能输出的少数模式，而非覆盖教师分布的全部。其梯度可用学生采样 token 上的 log 比率 $d_{0,t}=\log\pi_T(o_t|q,o_{<t})-\log\pi_\theta(o_t|q,o_{<t})$ 加权估计。
论文 OPD 基线的反馈权重就是这个 log 比率，梯度下降时正权重强化、负权重抑制该 token；DuoOPD 的全部设计都围绕'如何重设这个权重'展开。
可验证奖励与结果验证
对有客观答案的任务，用答案匹配、单元测试、指令约束检查等确定性判分器 $V_k$ 把模型输出映射为 0/1 正确性。RLVR（可验证奖励的强化学习）用它当训练信号。本文用它分别验证教师独立响应得 $r_T$、学生响应得 $r_S$，把每条训练响应归入四种组合之一。
DuoOPD 的整条反馈规则都以联合结果 $(r_T, r_S)$ 为条件，没有验证器方法就无法运行——这也是论文承认的核心局限。
Softplus 函数
$\mathrm{sp}(x)=\log(1+e^x)$，是 ReLU 的平滑版本：恒为正、单调递增。论文用它包装 log 比率：$A^+(d)=\mathrm{sp}(d)$ 给出强化权重、$A^-(d)=-\mathrm{sp}(-d)$ 给出抑制权重，二者在 $d=0$ 处仍保留 $\log 2$ 的非零反馈，保证每个有效 token 都得到符合学生结果的反馈。
Softplus 是 DuoOPD 替代 OPDVR 硬门控的关键：门控在 $d<0$ 的正确响应上权重为零（平均仅 0.08–0.09），Softplus 则保留实质强化（0.57–0.65）。
特权上下文蒸馏
让教师获得学生看不到的额外信息（如正确答案、提示）再进行蒸馏，教师的'上帝视角'使反馈更精准，经典工作可追溯到 Lopez-Paz et al. 2016，近期如 OPSD/OPCD 把验证答案注入教师上下文。核心原则是信息隔离：只有教师读参考，学生的上下文保持不变。
DuoOPD 在'仅教师成功'时把验证答案 $o^T$ 注入教师上下文，就是一次受控的特权上下文使用，只影响负反馈的分配而不改变学生条件分布。
研究动机
在线策略蒸馏（OPD）把学生采样响应上的 token 级 log 比率 $d_{0,t}=\log\pi_T(o_t|q,o_{<t})-\log\pi_\theta(o_t|q,o_{<t})$ 当作反馈，完全不考虑师生最终答案的对错。这在多任务场景产生两层问题。其一，师生各自的成功率随任务差异巨大：蒸馏前 Llama 学生答对而教师答错的比例在生物任务上为 5.9%，物理达 9.8%；更异质的任务混合中，师生都错的比例从化学理解的 1% 到物理计算的 34%。其二，反馈方向会与学生结果冲突：OPD 使用的原上下文 log 比率在学生答案正确时平均仍为负——师生都对时 Qwen3 为 $-1.31$、仅学生对时为 $-1.24$（Llama 分别为 $-0.22$ 和 $-0.25$），而正确响应占训练响应的 64–69%，即 OPD 平均在压制学生已答对的内容。OPDVR 按学生对错门控反馈方向，缓解了压正确响应的问题，但无论教师自身成功与否都以同一方式使用教师：失败教师的 token 偏好仍会削弱对正确响应的强化，学生的错误前缀也可能误导一个本可解出该题的强教师。
本文的目标是本文的目标是把'单个教师 + 单个学生 + 多个异质任务'的多任务在线蒸馏改造成能感知师生对错的方法：当教师能解题而学生失败时，借教师的正确答案参考来纠正学生；当学生能解题而教师失败时，保护并强化学生的正确做法；双方一致成功或一致失败时，用教师偏好来调节强化或抑制的强度。设计要求有三条：第一，反馈方向永远由学生的验证结果 $r_S$ 决定，正确响应只被强化、错误响应只被抑制；第二，教师的参与方式由联合结果 $(r_T,r_S)$ 决定，教师成功时提供参考、失败时不再干预强度分配；第三，规则对所有任务统一，不含任何任务特定超参数，每个任务只需自带一个二值验证器。最终要在三组任务混合上稳定超过 OPD、EOPD、OPDVR、ExOPD、FiRe-OPD 五个基线——这三组混合分别在领域（生物/化学/物理）、认知层次（知识/理解/计算）、输出格式与验证方式（答案匹配/指令检查/单元测试）上逐步拉开差异。
与已有工作不同的是，已有工作留出明确空白。任务级的多任务蒸馏（MOPD 决定哪个领域教师监督哪个任务、PromptSD 用软提示教师、MT-GRPO 调整任务权重与采样改善最差任务）只回答'哪个任务用哪个教师、训练多重'，不回答'一条响应上的反馈如何取决于谁做对了'。OPD 本身完全忽略结果；OPDVR 只用学生的对错设置反馈方向，不验证教师；用可靠性探测在 OPD 与强化学习间路由提示、校准 token 目标的工作也只利用单侧信息。DuoOPD 的独特切入点是'联合结果决定教师用法'：同时验证教师和学生，为四种组合各配一种支持方式。它也与特权上下文蒸馏不同——参考 $o^T$ 只在师生分歧且教师成功时注入教师上下文，且只用于分配负反馈；与 H2SD 不同——它额外验证了一个独立的冻结教师，其成功提供参考、其失败触发权重共享。作者还证明了一个诊断性事实：仅靠方向修正只能达到 OPDVR 水平，真正增益来自两个联合结果设计。
核心方法
DuoOPD 把每条响应的反馈拆成两个决策：强化还是抑制，教师如何参与。学生的验证结果 $r_S$ 直接定方向——成功则全部有效 token 得正反馈、失败则全部得负反馈；联合结果 $(r_T,r_S)$ 定强度来源。技术上保留 OPD 的更新骨架，只把式(2)中的 log 比率权重 $d_{0,i,t}$ 替换为 $A_{i,t}=\sigma_i m_{i,t}$：符号 $\sigma_i=2r_{S,i}-1$ 来自学生结果，正的幅度 $m_{i,t}$ 按式(4)由联合结果给出——双方一致时用原上下文的 $\mathrm{sp}(\sigma_i d_{0,i,t})$；仅教师成功时用注入其验证答案后的参考条件 log 比率 $d^T$；仅学生成功时用任务内共享权重 $\bar{m}_k$。最终损失 $\mathcal{L}_{\text{DuoOPD}}=-\frac{1}{B}\sum_i\frac{1}{T_i}\sum_t \mathrm{sg}[A_{i,t}]\log\pi_\theta(o_{i,t}|q_i,o_{i,<t})$，只训练学生。
核心创新是把'反馈方向'与'教师支持方式'解耦，一条四分支规则统一覆盖全部组合，本质区别有三点。第一，用 Softplus 替代 OPDVR 的硬门控：$A^+(d)=\mathrm{sp}(d)=\max\{d,0\}+\log(1+e^{-|d|})$ 既保留门控项又叠加随验证方向的残差，$d=0$ 处仍给出 $\log 2$ 的反馈——师生都对时 log 比率平均为 $-1.31$，门控留给正确响应的平均权重仅 0.08–0.09，Softplus 达 0.57–0.65，否则成功响应近乎无强化。第二，仅学生成功时用带停止梯度的任务内共享权重 $\bar{m}_k$（式(7)，任务内 $\mathrm{sp}(d_0)$ 均值取 sg），把失败教师的 token 偏好从强化幅度中剔除，并保留任务自身强化尺度。第三，仅教师成功时只让教师读参考：用参考条件 log 比率 $d^T_{i,t}$（式(6)）配合 $-\mathrm{sp}(-d^T)$ 沿学生不变轨迹重新分配纠正力度，规避特权上下文抑制探索的风险。
方法步骤详情
第一步缓存：对每个训练问题采样一个教师响应 $o^T\sim\pi_T(\cdot|q)$ 并验证得 $r_T$；开销占 OPD 循环 GPU 时间 23–30%，可跨学生、种子、超参复用。第二步采样：学生以 $\theta_{old}$ 对 48 个问题（每任务 16 个）各生成 1 条响应、1024 token 上限，师生逐前缀打分得 $d_{0,i,t}$，验证器给出 $r_S$。第三步按 $(r_T,r_S)$ 算权重 $A_{i,t}$：都对（56.9%）时 $m=\mathrm{sp}(d_0)$ 强化；都错（14.7%）时 $m=\mathrm{sp}(-d_0)$ 抑制；仅教师成功（13–23%）时把 $o^T_i$ 置入教师上下文，用 $-\mathrm{sp}(-d^T)$ 分配负反馈；仅学生成功（6.9%）时用式(7)的任务内共享正权重 $\bar{m}_k$。第四步用 $\mathcal{L}_{\text{DuoOPD}}$ 更新，参考不进学生上下文、$\mathrm{sg}$ 停梯度，共 60 次更新；循环开销变化 $-0.7\%$/$+7.3\%$。
技术新颖性
本文的贡献不在提出新损失族，而在对现有 OPD 梯度估计器做结果条件化的重构，新颖性有四点。第一，单规则零任务超参：规则只通过每个任务的验证器 $V_k$ 和权重共享范围接触任务，从不估计任务分布 $\rho_k$，同一组设置直接跑通领域、认知层次、输出格式、验证方式都不同的三组混合，在多任务蒸馏中很少见。第二，Softplus 方向规则伴随一个量化诊断：作者实测门控在正确响应上的平均权重仅 0.08–0.09，而 Softplus 为 0.57–0.65，并给出既保留门控项又补足残差的闭式解 $\pm\mathrm{sp}(\pm d)$，这解释了为什么'只做方向修正'的 OPDVR 提升有限。第三，把多任务维度压缩进一个任务内共享标量：教师 log 比率尺度跨任务不同（共享权重的任务均值在 0.56–0.64 间变化），任务内共享在剔除失败教师干扰的同时保留任务自身尺度，消融显示优于跨任务单一权重。第四，受控的特权参考：参考仅在师生分歧、教师成功这一种情况下注入、只影响负反馈分配、只有教师可读，规避了特权上下文抑制探索与自我修正的已知风险。
实验结果
主实验（Table 1，avg@8）：Qwen3-4B→0.6B 上 DuoOPD 宏平均 66.97%，超 OPD（64.39%）2.58 分，物理较 OPD +3.73；Llama-3.1-8B→3.2-3B 上 73.26% 对 OPD 67.28%（+5.98）、超 OPDVR 4.58 分，物理 +7.27。Table 2 附加混合：科学混合宏平均 63.48%，超最强基线 ExOPD 0.86 分，物理计算领先 3.25 分；异质混合宏平均 49.24%，超 OPDVR 1.41 分且三项全第一。最难任务均最高。Figure 1：教师能解的题上高 1.90/3.86 分（Qwen3/Llama），教师失败的题上也高 0.67/2.12 分。消融（Table 3/4）：任一结果换回 $d_0$ 损失 0.76–1.53 分；去参考 −1.49、去共享 −0.71、皆去 −2.41 至 64.56%，接近 OPDVR（64.83%）——方向修正贡献小，增益主要来自两个联合结果设计；任务内共享优于跨任务共享 0.22/0.26/0.35 分（Table 5）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Qwen3 多任务蒸馏（生物/化学/物理知识） | 测试 avg@8 宏平均准确率 | 66.97% | OPD 64.39%（最强基线 EOPD 65.81%） | +2.58 个百分点（较最强基线 +1.16） |
| Llama 多任务蒸馏（生物/化学/物理知识） | 测试 avg@8 宏平均准确率 | 73.26% | OPD 67.28%（最强基线 OPDVR 68.68%） | +5.98 个百分点（较最强基线 +4.58） |
| 科学混合（材料知识/化学理解/物理计算） | 测试 avg@8 宏平均准确率 | 63.48% | 最强基线 ExOPD 62.62% | +0.86 个百分点，物理计算单任务 +3.25 |
| 异质混合（物理知识/IFEval 指令遵循/MBPP 代码生成） | 测试 avg@8 宏平均准确率 | 49.24% | 最强基线 OPDVR 47.83% | +1.41 个百分点，三项任务全部第一 |
| 物理（最难任务，Qwen3/Llama 主混合） | 测试 avg@8 准确率 | 62.10% / 69.02% | 最强基线 60.92%（EOPD）/ 63.90%（OPDVR） | +1.18 / +5.12 个百分点 |
局限与改进
作者承认的局限：方法依赖二值验证器，写作等开放式任务需要能处理分级或不确定判断的反馈规则；教师计算虽已压缩（一次性缓存 + 仅 13–23% 分歧响应需参考打分）仍有下降空间；三组混合都是训练与评测在同一任务集上进行，联合结果引导能否迁移到 held-out 任务未经验证；任务级结果统计 $\rho_k$ 能否用于任务调度也是开放问题。我的补充观察有四点：其一，训练预算很轻（60 次更新、每问题 1 条响应、1024 token 上限），未测试长链推理与需要探索的场景，而参考注入对探索/自我修正的抑制风险在长推理下可能被放大；其二，仅学生成功的响应只占 6.9%，任务内共享权重 $\bar{m}_k$ 依赖批内存在该类响应（式(7)要求 $\mathcal{I}_k$ 非空），某任务批内为空时该规则会退化；其三，参考条件打分把教师的置信度带进负反馈分配，其对错误 token 的定位效果主要靠附录 D.2 的定性分析支持，缺乏理论保证；其四，学生规模仅 0.6B/3B，更大规模或更大的师生能力差距下结论是否成立未知。
独立分析的弱点
独立分析几点弱点。第一，验证器是硬前提：三组任务都有精确匹配、指令检查或单元测试，一旦任务只能用 LLM 判分（如开放式问答、写作），$r_T,r_S$ 的噪声会直接破坏方向规则——错误标签下正确响应会被持续抑制，改进方向是引入分级奖励、多判分器投票或对验证结果做置信加权。第二，共享权重粒度僵化：$\bar{m}_k$ 是整条响应一个标量，对长度差异大、质量参差的响应一视同仁，可改为步骤级/句子级共享，或按响应长度归一化。第三，仅教师成功时的纠正依赖教师参考与错误前缀的对齐：若学生的错误出现在中途而参考走了完全不同的路径，参考条件打分对错误 token 的定位未必精准，可引入错误定位信号或过程奖励模型辅助分配负反馈。第四，四种组合的 Softplus 温度固定为 1，形状是手工选择，未探索按 $|d|$ 自适应调制残差的形式。第五，缓存假设训练提示流固定，若采用动态采样或数据增广，缓存策略需扩展；此外每问题仅 1 条学生采样，联合结果在响应级而非题级判定，题级聚合可能更稳健。
未来方向
作者提出的方向：为开放式任务设计处理分级或不确定判断的反馈规则；通过共享缓存、压缩参考、选择性使用参考进一步压缩教师计算；研究更长推理轨迹下的探索与自我修正；检验联合结果引导对 held-out 任务的迁移能力；利用任务级结果统计 $\rho_k$ 做任务调度。基于成果可以延伸的方向：其一，与任务级方法组合——作者已指出 $r_T$ 可验证任务专属教师、任务权重可缩放 DuoOPD 的每任务反馈、$\rho_k$ 可作调度信号，与 MT-GRPO 的最差任务目标结合值得实验；其二，把参考条件打分从'答案注入'升级为'过程参考'，用教师推理轨迹的关键步骤而非最终答案引导纠正，可能改善错误定位；其三，把四分支规则推广到多教师场景，用教师间一致性或投票作为额外的结果维度；其四，研究 $\bar{m}_k$ 随训练进程的动态自适应——学生进步会改变 $\rho_k$，固定的共享范围和验证器阈值可能需要随训练漂移调整；其五，在数学、代码等长轨迹任务上检验参考注入是否诱发模仿参考路径的探索坍缩。
复现评估
复现条件很好。代码、数据处理脚本、验证器、缓存教师响应（含生成设置）和五个代表性实验配置开源在 https://github.com/YongYuanDeAo/DuoOPD；数据全部来自公开数据集（SciKnowEval V2、RLVR-IFeval 与官方 IFEval、MBPP），附从源数据重建划分的脚本；模型为开源 Qwen3-4B/0.6B 与 Llama-3.1-8B-Instruct/3.2-3B-Instruct。算力适中：冻结 4B/8B 教师 + 0.6B/3B 学生，60 次更新、每更新 48 条响应、1024 token 上限，单机多卡可负担；教师缓存占一次 OPD 循环 23–30% GPU 时间，但可跨学生、种子、超参复用。附录 A/B 给出数据划分、提示词、优化设置与参考路由细节，附录 C/D 给出三种子标准差、训练轨迹与权重统计；验证器为确定性脚本，评估协议（avg@8、宏平均）定义清晰。主要风险是 SciKnowEval V2 划分细节和 IFEval 严格评分实现需对照官方代码核对，总体复现难度中低。
论文图表
