论策略内蒸馏用于强化后能力整合的泛化局限 On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation
近完美的分布内蒸馏会掩盖能力整合缺口：(M)OPD 的 OOD 表现仍落后于基座模型
前置知识
策略内蒸馏 (On-Policy Distillation, OPD)
一种知识蒸馏范式：学生模型在自己生成的轨迹上训练，但监督信号来自教师在每个 token 位置的下一词分布，目标是逐 token 最小化学生到教师的反向 KL 散度 $J_{OPD}(\theta) = \mathbb{E}_{x\sim D,\, y\sim\pi_\theta}\left[\sum_{t=1}^{T} D_{KL}(\pi_\theta(\cdot|h_t)\|\pi^*(\cdot|h_t))\right]$。它兼具 RL 的在线状态分布和蒸馏的密集 token 级监督，收敛极快。
本文的研究对象就是 OPD 及其多教师扩展，理解其目标函数与『学生自采样、教师打分』的机制是读懂全部实验的前提。
多教师策略内蒸馏 (MOPD)
OPD 的扩展：把不同训练域分配给具有对应能力的多个教师，学生最小化各域 OPD 目标的加权和 $J_{MOPD}(\theta) = \sum_{i=0}^{K-1} \alpha_i J_{OPD}(\theta; D_i, \pi_i^*)$，混合权重满足 $\alpha_i \ge 0$ 且归一。工业界用它把分别训练的领域专家整合进一个学生模型。
论文的核心问题是：这种『专精后整合』范式是否能同时迁移教师的泛化能力并保留基座的 OOD 能力，MOPD 是被审计的对象。
RLVR 与 GRPO
可验证奖励的强化学习用自动判分器（如数学答案校验）代替人类标注，GRPO（组相对策略优化）是其中的代表性算法：对同一提示采样一组回答，用组内相对优势 $A$ 归一化后做策略梯度，目标为 $J_{RL}(\theta) = \mathbb{E}_{x\sim D_i,\, y\sim\pi_\theta}[r_i(x,y)]$。本文的自 RL 专家教师即由 GRPO 从同一基座训练。
自 RL 专家教师是蒸馏的监督来源，也是 mixed RL 基线的组成部分；理解 RL 与蒸馏的对照才能理解『整合方式不同导致泛化差异』的论证。
IND 与 OOD：外推与组合泛化
分布内 (IND) 指与蒸馏监督数据直接对应的评测；分布外 (OOD) 指超出监督范围的任务。本文区分两类 OOD：外推泛化指同一能力域内超出训练难度（如 GSM8K 训练→AIME 评测）；组合泛化指分别监督的多种能力需协同使用（如代码+长文本→长文本代码）。OOD 保持指不丢基座已有能力，OOD 泛化指超越基座。
整篇论文的实验设计、IND/OOD 分组标准和结论表述都建立在这套概念区分之上，不区分外推与组合就无法理解各章节。
更新几何：范数、谱集中度与稳定秩
把训练视为参数空间移动 $\Delta W = W - W_0$ 后，可用几何量刻画移动性质：范数 $\|\Delta W\|_F$ 衡量移动幅度；top-k 奇异方向能量占比衡量更新是否集中在少数方向；稳定秩定义为 $\|\Delta W\|_F^2 / \|\Delta W\|_2^2$，越小表示能量越集中于最大奇异方向；子空间投影解释度 $R^2 = 1 - \|\Delta - \hat{\Delta}\|_F^2 / \|\Delta\|_F^2$ 衡量一个更新能被另一组更新张成的子空间解释多少。
第 7 节的核心证据全部由这些量构成：OPD 更新比 RL 更紧凑、MOPD 更新共享结构更强，这直接催生了论文的两种干预方法。
正交 Procrustes 对齐
一个经典的矩阵匹配问题：给定两个更新矩阵 $\Delta_S$ 与 $\Delta_T$，求正交矩阵 $R^\star = \arg\min_{R^\top R = I} \|\Delta_S R - \Delta_T\|_F^2$。若 $\Delta_S^\top \Delta_T = U\Sigma V^\top$ 为奇异值分解，则闭式解为 $R^\star = UV^\top$。它常用于模型合并中把不同模型的参数空间旋转对齐后再相减或相加。
论文的 OOD 修复方法『Procrustes 注意力补丁』正是用它把 OPD 学生更新对齐到 RL 教师更新、减去未匹配分量 $E_{Proc}$，是第 8 节干预的数学基础。
研究动机
现代大模型后训练普遍采用『先专精、后整合』流水线：从同一基座（如 Qwen3-8B）出发，用 GRPO 分别训练数学、代码、智能体、长文本等领域的专家教师，再用多教师策略内蒸馏（MOPD）把能力整合回一个学生。已有工作报告 OPD/MOPD 能在极少步数内达到近乎完美的分布内（IND）蒸馏性能——本文实验中 OPD/MOPD 也确实达到了教师 IND 分数的 96.04–102.73%。但作者发现这种『近完美』只在训练分布内成立：整合后的模型在超出监督分布的任务上可能低于未训练的基座模型。具体表现为两类失败：其一，外推失败，例如在 GSM8K/MATH/DAPO 上训练后在 AIME24/25 上反而低于基座；其二，组合失败，例如分别学好代码与长文本后，在长文本代码（LongBench-v2 Code）上仍停留在基座的 44.00%。更隐蔽的是，三个自 RL 教师自身也出现 OOD 遗忘（低于基座），若只看 IND 指标，这些能力整合的不完整性会被完全掩盖，导致流水线误判整合成功。
本文的目标是本文的目标是把『快速 IND 收敛』与『OOD 保持/泛化』解耦为两个独立实证问题，系统性回答三件事。第一，诊断：OPD/MOPD 究竟能否把教师的泛化能力（外推与组合）迁移给学生、能否保留基座的 OOD 能力？作者设计了覆盖数学推理、代码、智能体工具调用、长文本四类能力的外推实验（自 RL 专家与外部通才教师两种设定）和三组组合实验（代码+智能体→SWE-bench Verified、数学+长文本→GSM-Infinite/DocMath、代码+长文本→LongBench-v2 Code）。第二，归因：OOD 缺口来自教师能力不足还是蒸馏数据覆盖不足？作者用『烧瓶』类比把二者拆成瓶颈 A 与 B 分别放松。第三，干预：能否在不牺牲 IND 性能的前提下修复 OOD 缺口？作者从更新几何出发提出几何补丁与基座保持回放两种方法并验证有效性。
与已有工作不同的是，本文的独特切入角度有三点。第一，审计视角的差异化：Gao et al. 只诊断 MOPD 在训练分布内的能力冲突与失衡，Li et al. 研究的是跨领域（数学→科学）、跨语言的迁移，都未检验『算法本身能否传递泛化』；本文首次证明近完美 IND 蒸馏与 OOD 缺口可以共存，指出 IND 分数是能力整合的虚假信号。第二，机制层面的几何分析：作者不从损失函数出发，而从参数更新 $ΔW = W - W_0$ 出发，测量范数、top-64 奇异能量占比、稳定秩和子空间投影 $R^2$，发现 (M)OPD 的更新比 (mixed) RL 更小且谱更集中（范数仅为 55.4%，top-64 能量 69.0% 对 39.9%），MOPD 更新与单教师 OPD 更新的共享结构远强于 mixed RL 与单 RL 更新（$R^2$ 为 11.0–18.6% 对不足 0.240%），由此形成『紧凑且共享结构的更新限制干扰』的机制假设，并直接推导出可操作的修复手段。第三，双瓶颈分解：把 OOD 缺口归因拆为教师能力与数据覆盖两个可分别操纵的因素，证明只放松任一者不够、同时放松可完全消除 OOD 遗忘。
核心方法
直觉上，这篇论文把蒸馏看作参数空间中的一次受控移动：学生从基座 $\theta_0$ 出发沿某个更新 $\Delta W$ 移动以匹配教师。如果移动小且方向集中，它对基座已有能力（OOD 保持）的破坏就小，但可能不足以继承教师完整的泛化行为；如果移动大且杂乱（如 RL），IND 提升快但 OOD 破坏也大。技术路线分四步递进。第一步做受控合成研究：随机初始化的 Qwen2-100M 在需 2–10 步运算的 GSM-Infinite 题目上预训练得基座，用 GRPO 在 11–14 运算题目上训练自 RL 教师，OPD 学生从同一基座蒸馏，用 15–17 运算题目检验外推。第二步在 Qwen3-8B 上做真实任务的外推实验，教师分自 RL 专家（GSM8K/MATH/DAPO 三个 GRPO 教师）与外部通才（Qwen3-32B），评测 MATH500/AMC23/AIME24/25。第三步做三组组合泛化实验，MOPD 按数据源分配外部教师并与等配比的 mixed RL 对比。第四步测量所有模型的更新几何，并实施两种干预：蒸馏后的 Procrustes 注意力补丁与蒸馏中的基座保持回放。附录 D 还给出局部理论分析，证明理想 RL 教师下 $g_{OPD} = \eta\, g_{RL}$（$0<\eta<1$），OPD 保留 RL 方向同时收缩幅度，OOD 漂移按 $\eta^2$ 缩减。
核心创新是『把近完美 IND 蒸馏与 OOD 泛化解耦』的审计框架加更新几何解释。与已有方法的本质区别在于评价标准：先前 OPD/MOPD 工作以目标域分数为成功标准，本文证明当 IND 达到教师 96.04–102.73% 时，OOD 仍可比基座低 2.45–16.25%——即『IND 分数会掩盖整合不完整』这一盲点此前从未被揭示。解释层面，作者把模型合并文献中的几何工具（更新方向、子空间对齐、稳定秩）首次系统应用于 OPD/MOPD 分析，量化出三点：(1) OPD 更新范数仅为 RL 的 55.4%（0.154 对 0.278）；(2) OPD 更新 top-64 奇异方向承载 69.0% 能量而 RL 仅 39.9%，稳定秩从 RL 的 19.0 降至 6.9；(3) 单教师 OPD 更新张成的子空间能解释 MOPD 更新平方范数的 11.0–18.6%，而单 RL span 对 mixed RL 的解释不足 0.240%。这给出『紧凑且共享结构的更新→更少跨任务干扰→更少 OOD 遗忘』的机制假设。更关键的是，该假设直接转化为两种可操作干预：把模型合并中的正交对齐用作蒸馏后 OOD 修复（Procrustes 补丁 $W_{patch} = W_{OPD} - \alpha E_{Proc}$），以及把 RLVR 中 KL 正则思想转译为蒸馏中的数据级约束（用基座模型作为额外教师做回放）。理论侧则证明 OPD 更新是 RL 更新的收缩投影，从数学上统一了两类现象。
方法步骤详情
完整流程分五步。步骤一（合成受控研究）：随机初始化 Qwen2-100M 在 2–10 运算的 GSM-Infinite 题目上预训练得基座 $\pi_0$；GRPO 在 11–14 运算题目上训练自 RL 教师；OPD 学生从同一 $\pi_0$ 在同分布数据上蒸馏；在 2–17 运算上评测并按蒸馏比率 $\frac{s_{student}-s_{base}}{s_{teacher}-s_{base}}$ 汇报，结果 IND（预训练/后训练段）为 96–104%/93–96%，OOD（15–17 运算）跌至 76–86%。步骤二（外推实验）：从 Qwen3-8B 分别用 GRPO 训练 GSM8K/MATH/DAPO 三个自 RL 教师再 OPD 蒸馏回同基座学生，或用 Qwen3-32B 作外部教师；OPD 损失为逐 token 反向 KL $J_{OPD}(\theta; D, \pi^*) = \mathbb{E}[\sum_t D_{KL}(\pi_\theta(\cdot|h_t)\|\pi^*(\cdot|h_t))]$，学习率 $10^{-6}$，采样温度 1.0、top-p 1.0，蒸馏损失用 k1 且开启策略梯度、关闭任务奖励。步骤三（组合实验）：MOPD 以 $J_{MOPD} = \sum_i \alpha_i J_{OPD}(\theta; D_i, \pi_i^*)$ 为每个数据源固定分配最强外部教师（代码与工具用 Qwen3-30B-A3B-Thinking-2507、长文本用 QwenLong-L1.5-30B-A3B、数学用 Qwen3-32B），与同配方等比例混合的 mixed GRPO 对比，评测 SWE-bench Verified、GSM-Infinite（8K mini800）、DocMath（test-mini）、LongBench-v2 Code。步骤四（瓶颈分析）：保持教师为 Qwen3-32B，把训练数据改为 90% GSM8K 加 10% OpenR1 以同时放松两个瓶颈，在五个数学基准上验证。步骤五（几何与干预）：计算 $\Delta W = W - W_0$ 的范数、谱能量、稳定秩与子空间 $R^2$；对注意力权重矩阵做 Procrustes 补丁——$\Delta_S = W_{OPD} - W_0$、$\Delta_T = W_{RL\,teacher} - W_0$，由 $\Delta_S^\top \Delta_T = U\Sigma V^\top$ 得 $R^\star = UV^\top$、$E_{Proc} = \Delta_T - \Delta_S R^\star$、$W_{patch} = W_{OPD} - \alpha E_{Proc}$（$\alpha = 0.40$）；回放则把任务教师监督的 IND 样本与基座模型监督的域外提示（代码/指令跟随数据）用同一 OPD 损失混合训练。
技术新颖性
技术新颖性体现在四个层面。其一，评测协议创新：由于多源训练语料与独立构建的评测基准之间没有天然 train/test 划分，作者提出性能相对化的操作性 IND/OOD 分组——三个自 RL 教师均超过基座 97% 的基准判为 IND（95%/96%/98% 阈值产生相同划分），并明确区分 OOD 保持与 OOD 泛化两种失败模式，这种在分布不可观测时用模型行为刻画任务兼容性的做法务实且可复用。其二，几何测量创新：把多任务训练合并性分析（更新方向、权重解耦、符号冲突、子空间对齐）引入 OPD/MOPD，首次给出『蒸馏式整合比 RL 式整合更新更紧凑、结构更共享』的定量证据，为 MOPD 相对 mixed RL 更易合并提供实证支撑。其三，干预方法创新：Procrustes 补丁把模型合并技术改造为蒸馏后的 OOD 修复工具，仅对注意力权重做后处理即恢复 AIME25 上 4.17 个百分点；基座保持回放则针对 (M)OPD 目标缺少对基座行为显式约束这一结构性缺陷，用数据级混合替代 KL 正则。其四，理论补充：附录 D 用得分函数分解 $g_{OPD} = \eta\, g_{RL} + r$ 证明理想 KL 正则化 RL 教师保持 RL 方向且收缩幅度，$\eta \approx \sqrt{2\,D_{KL}(p_0\|q^\star)}$，token 级 KL 0.02–0.30 nats 对应 $\eta \in [0.20, 0.77]$，与实测的 OPD 梯度范数约为 RL 60% 吻合；两任务干扰内积项在双残差小时按 $\eta_A \eta_B$ 缩减，解释了 MOPD 跨任务冲突更小的现象。
实验结果
论文的发现可以按实验逐一拆解。其一，合成受控研究：OPD 蒸馏比率在预训练 IND 段（2–10 运算）为 96–104%、后训练 IND 段（11–14 运算）为 93–96%，但在 15–17 运算的 OOD 段跌至 76–86%，证明教师的外推能力未被完整迁移。其二，自 RL 专家外推：单教师 OPD 平均达到教师 IND 的 97.10%，但 OOD 相对基座下降 10.78%（8.56 个百分点）；教师自身遗忘更严重（平均低于基座 11.43 点），OPD 把平均 OOD 遗忘减少 25.09% 至 8.56 点——遗忘被缓解但未消除。其三，MOPD 对 mixed RL：跨三个成对混合与三教师混合，MOPD 平均 OOD 仍低于基座 14.07%（11.18 点），但比 mixed RL 的 15.73 点减少 28.92% 遗忘。其四，外部通才教师（Qwen3-32B→8B）：OPD 达到教师 IND 的 99.34%（差 0.62 点），OOD 仍低于基座 3.73%（2.96 点），证明仅换更强教师不足以消除缺口。其五，组合泛化：MOPD 平均 IND 比基座高 9.24%（比对应教师低 3.97%），但组合任务比最佳教师低 23.82%；具体地，代码+智能体设定中 SWE-bench Verified 从基座 6.63 升至 8.05（教师 9.84，mixed RL 7.79），距教师 18.2%；数学+长文本中 DocMath 从 55.38 升至 60.63 但 GSM-Infinite 从 50.88 降至 49.75，距最佳教师 24.3%；代码+长文本中 LongBench-v2 Code 停在基座的 44.00（教师 50.00/58.00），距最佳教师 24.1%，而 mixed RL 虽把该分升到 46.00 却把长文本组件分从 40.50 压到 38.84。三设置中 MOPD 组合分均比 mixed RL 平均高 1.07 点。其六，双瓶颈消除：Qwen3-32B 教师配合 90% GSM8K 加 10% OpenR1 后，学生在五个基准上全部超过基座，AIME24/25 pass@8 达 86.67/83.33 追平教师，AMC23 达 100.00 超过教师的 95.00。其七，更新几何：OPD 更新范数 0.154 对 RL 的 0.278（55.4%），top-64 奇异能量 69.0% 对 39.9%，稳定秩 6.9 对 19.0；MOPD 更新被单教师 span 解释的 $R^2$ 为 0.157（外推）/0.121（组合），mixed RL 仅为 0.00173/0.000245。其八，干预效果：Procrustes 补丁（$\alpha=0.40$）把 AIME25 avg@8 从 60.83 提至 65.00（基座 65.83），GSM8K 保持 93.48；基座保持回放使 8 个 OOD 指标中 5 个改善，AIME25 avg@8 达 67.50（+6.67 点），超过基座 65.83 与 RL 教师 60.83，GSM8K 仅降 0.18 点。其九，规模检查：在 Qwen3-235B-A22B 上的小规模初步测试未发现该泛化局限随规模明显减轻。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 合成数学推理外推（Qwen2-100M，2–10/11–14 运算训练 → 15–17 运算评测） | 蒸馏比率 $(s_{student}-s_{base})/(s_{teacher}-s_{base})$ | OOD 段 76–86% | IND 段 93–104%（自 RL 教师） | OOD 迁移缺口约 10–20%，首次暴露 IND 近完美下的泛化不完整 |
| 数学外推·自 RL 专家（GSM8K/MATH/DAPO 分别训练 → AMC23/AIME24/25） | 平均 OOD 相对基座损失（百分点） | OPD −8.56 点（−10.78%），IND 达教师 97.10% | 自 RL 教师 −11.43 点 | OPD 将平均 OOD 遗忘减少 25.09%，但仍未回到基座水平 |
| 数学外推·多教师混合（成对与三教师混合） | 平均 OOD 相对基座损失（百分点） | MOPD −11.18 点（−14.07%） | mixed RL −15.73 点 | MOPD 遗忘比 mixed RL 减少 28.92%，但均低于基座 |
| 数学外推·外部通才教师（Qwen3-32B → Qwen3-8B） | IND 蒸馏比率 / OOD 相对基座 | IND 99.34%（差教师 0.62 点）；OOD −2.96 点（−3.73%） | 教师本身在 OOD 上优于基座 | 更强教师仍无法带来 OOD 迁移与保持 |
| 组合泛化·代码+智能体（→SWE-bench Verified） | 解决率（%） | MOPD 8.05% | 基座 6.63% / 共享教师 9.84% / mixed RL 7.79% | 超基座与 mixed RL，但仍低于教师 18.2%（IND 达教师 96.6%） |
| 组合泛化·数学+长文本（→GSM-Infinite 8K / DocMath test-mini） | 组合任务平均 | MOPD：DocMath 55.38→60.63，GSM-Infinite 50.88→49.75，距最佳教师 24.3% | 教师（QwenLong 与 Qwen3-32B）；mixed RL 三设置总体差 26.10% | 组件大升（LongBench-v2 40.50→56.20、GSM8K 83.40→95.53）但组合收益有限，比 mixed RL 高 1.07 点 |
| 组合泛化·代码+长文本（→LongBench-v2 Code） | 准确率（%） | MOPD 44.00（与基座持平） | 长文本教师 58.00 / 代码教师 50.00；mixed RL 46.00（但组件分 40.50→38.84） | 三个组件基准全升，组合任务却原地踏步，距最佳教师 24.1% |
| 双瓶颈消除（Qwen3-32B + 90% GSM8K + 10% OpenR1） | pass@8（AIME）/ 准确率（其余） | AIME24 86.67、AIME25 83.33、AMC23 100.00 | 教师 86.67/83.33/95.00；单 GSM8K 蒸馏时 OOD 低于基座 | OOD 遗忘完全消除，AMC23 反超教师，显示超越教师的潜力 |
| OOD 修复·Procrustes 注意力补丁 | AIME25 avg@8（%）/ GSM8K 准确率（%） | 65.00 / 93.48（$\alpha=0.40$） | OPD 60.83 / 95.30；基座 65.83 / 83.40 | OOD +4.17 点、距基座仅 0.83 点，IND 基本保留 |
| OOD 修复·基座保持回放（GSM8K OPD + 代码回放） | AIME25 avg@8（%） | 67.50（8 个 OOD 指标中 5 个改善） | plain OPD 60.83；基座 65.83；RL 教师 60.83 | +6.67 点，同时超过基座与 RL 教师，GSM8K 仅降 0.18 点 |
| 可控合成算术组合（3 层 Transformer，AB/BA 留出） | min(AB, BA) 最终准确率（5 种子均值，%） | MOPD（warm-RL 教师）78/74；forward-KL 变体 77/74 | mixed warm RL 93/90；直接 SFT 100；warm-RL 专家仅 1–2 | 该可控设定下 mixed RL 反超 MOPD，划定了 MOPD 优势的适用边界 |
局限与改进
作者明确承认的局限包括：主实验只用了 Qwen3-8B 学生、最大外部教师为 Qwen3-32B，学生容量、教师强度与模型家族的依赖关系未系统探索（虽然 Qwen3-235B-A22B 上的初步测试显示局限并未随规模明显减轻）；公开数据集无法复现前沿流水线的数据广度与自适应选数策略；IND/OOD 标签是相对后训练数据的操作性定义，不代表预训练暴露情况；mixed RL 与 MOPD 均未做奖励平衡、混合权重或课程调参，报告的是开箱即用的对比而非各自上限（单任务配方已调优）；受算力限制未能多种子重复训练，仅在数学评测 10% 子集上用 4 个采样种子验证了定性一致性，不构成训练随机性的鲁棒性证据。我自己的观察有四点：第一，跨基准均值可能掩盖单点波动，AIME 的 avg@8 与 pass@8 语义不同，97% 阈值的操作性分组本质上是描述性代理；第二，几何性质与泛化之间只有相关性证据，作者自己也承认因果链未建立；第三，干预实验规模偏小——Procrustes 补丁只汇报了 GSM8K+AIME25 两个数，回放只测了单教师 GSM8K 情形，且回放用的代码数据与被改善的 OOD 评测（编码、推理）存在领域相关性，『超越回放域的泛化』这一结论的证据链还不够长；第四，Procrustes 补丁需要对齐一个 RL 教师的更新，相当于要求流水线额外维护一个 RL 版本，实际成本并不像『后处理补丁』听上去那么低。
独立分析的弱点
弱点一：双瓶颈消除实验只在数学域完成，代码+长文本、代码+智能体等组合设定没有对应的『强教师+扩数据』验证，组合泛化缺口的可修复性仍是开放问题——改进方向是在 SWE-bench Verified 与 LongBench-v2 Code 上重复 90/10 数据扩张加更强教师的实验。弱点二：几何与泛化的因果未验证，紧凑更新可能只是低遗忘的伴随现象而非原因——改进方向是作者已提出的训练中投影/正则化更新加随机方向对照组，把 $\eta$ 收缩、更新秩、$R^2$ 作为可操纵变量做消融。弱点三：结论的适用边界被合成算术实验 itself 反例化——当验证器信号充分且任务可学时 mixed RL（93/90）显著优于 MOPD（78/74），论文未给出何时选哪种算法的决策准则——改进方向是量化『验证器可学性』（如模型在直接监督下能否收敛）作为方法选择的前置诊断。弱点四：基座保持回放需要对每个提示额外做基座前向以产生教师分布，训练成本约翻倍，且回放数据选择（本文用代码与指令跟随）带有人为性——改进方向是用低秩锚定正则（如 $\lambda\|\Delta W\|_F^2$ 或对基座关键子空间的投影约束）替代显式回放。弱点五：OOD 保持以基座为参照，若基座本身较弱，『不低于基座』并不等价于『能力可用』——改进方向是引入绝对能力阈值与多基座（不同预训练版本）对照。弱点六：教师侧自身就存在 OOD 遗忘（平均低于基座 11.43 点），论文聚焦学生侧修复而未研究教师侧正则（如教师训练时加 KL 约束）能否从源头传导改善——这是一个明显值得补做的对照。
未来方向
作者在 9.3 节明确提出的方向有三个：(1) 因果检验——设计能操纵更新方向、同时控制更新幅度、训练预算与 IND 性能的实验，验证紧凑更新与 OOD 保持的因果链；(2) 步级参数空间控制——把 Procrustes 补丁从后处理推广为训练中的投影或正则化，并加入随机方向对照以排除平凡解释；(3) 预算约束下的联合优化——在固定算力下共同研究教师分配、数据覆盖扩张与基座保持回放的配比，检验保持与超越的权衡。基于本文成果还可延伸四个方向：其一，把 $\eta \approx \sqrt{2 D_{KL}(p_0\|q^\star)}$ 从局部理论变成可在线估计的诊断量，用于在蒸馏前预测 OOD 风险并自动调节蒸馏强度；其二，将 MOPD 与任务向量/模型合并方法（TIES、DARE 类符号冲突处理）系统组合，检验『紧凑更新+合并编辑』能否同时保 IND 与修 OOD；其三，在 235B-A22B 初步结果的基础上做规模律研究——外推/组合缺口与 $\eta$、稳定秩是否随参数量、数据量呈可预测的变化；其四，研究回放数据选择的原理（覆盖度与相关性的权衡），以及教师侧 KL 正则化训练（防教师遗忘）向学生侧的传导效应。此外，合成算术中 mixed RL 反超 MOPD 的现象值得独立成文，刻画验证器可学性、任务干扰与方法选择的相图。
复现评估
复现评估：中等难度，有 RL 与蒸馏基础设施的团队可复现主结论。论文未明确承诺开源代码，仅提供项目页（yichenzw.com/opd-generalization.github.io），但训练配置披露得相当完整：附录 A1 给出各设定的批大小、PPO mini-batch、每提示响应数与序列长度（如长文本训练最大 prompt 59,561 token、YaRN 缩放因子 4；学习率 $10^{-6}$；GRPO 每更新 1 个 PPO epoch、KL 系数 0.001、熵系数 0；(M)OPD 采样温度 1.0、top-p 1.0），附录 A2 给出评测生成配置（AIME 每题 8 采样取 avg@8、HumanEval/MBPP 用 EvalPlus v0.3.1 pass@1、LongBench-v2 输入上限 81,000 token、DocMath 温度 0.7/top-p 0.95 且 YaRN×6）。训练数据全部公开可得（GSM8K、MATH、DAPO、Nemotron 竞赛代码、BFCL 合成数据、xLAM60K、ToolACE、DocQA-RL-1.6K、OpenR1），评测基准全部公开（GSM8K/MATH500/AMC23/AIME24-25、HumanEval+/MBPP+、BFCL-v4、LongBench-v2、GSM-Infinite 8K mini800、DocMath test-mini、SWE-bench Verified），外部教师均为开源 Qwen3 系模型（Qwen3-32B、QwenLong-L1.5-30B-A3B、Qwen3-30B-A3B-Thinking-2507），词表兼容使 token 级蒸馏可行。算力方面：合成部分（Qwen2-100M、3 层 Transformer）非常轻；主实验需对 8B 模型做三次 GRPO 专家训练加多次 OPD 蒸馏，长文本部分需 128K 上下文支持，属于中等偏上的学术级算力。主要不确定性在于训练框架细节与随机种子未公开，作者也自述无法多种子重复训练，复现者应有±数个百分点的心理预期。
论文图表
合成受控研究的核心图：横轴为运算步数（难度轴），纵轴为蒸馏比率，虚线 100% 表示完整迁移教师相对基座的改进。预训练 IND 段（2–10 运算）与后训练 IND 段（11–14 运算）的比率约为 96–104% 和 93–96%，而 OOD 段（15–17 运算）跌至 76–86%。
这是全文动机的直接证据：在难度可控的合成任务上干净地证明 OPD 的 IND 近完美与 OOD 迁移不完整可以共存，绕开了真实任务中 IND/OOD 归属不清的问题。
3 层 Transformer 的可控合成算术实验：训练只覆盖算子 A、B 及其重复（AA/BB），评测留出的组合 AB/BA。MOPD 变体（SFT 或 warm-RL 教师、反向或前向 KL）快速上升到约 80–90% 后停滞，mixed warm RL（含 100 步 SFT 预热，阴影标注）在训练后期反超；五种子最终均值 mixed warm RL 93/90 对 MOPD 78/74，直接 SFT 上限 100%。
这张图划定了本文结论的边界：当验证器信号充分且任务可学时，mixed RL 的组合泛化可胜过 MOPD，提醒读者 MOPD 优势是有条件的而非普适。