克服大语言模型推理中在线策略自蒸馏的扩展极限 Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning
把自蒸馏监督转移到教师可被模仿的已验证轨迹上，收益不再随模型规模衰减
前置知识
知识蒸馏与 token 级 KL 散度
让一个模型（学生）去匹配另一个模型（教师）的输出分布。在 token 级蒸馏中，教师在每个位置给出概率分布 $q_t$，学生分布 $p_t$ 通过前向 KL 散度 $\mathrm{KL}(q_t\|p_t)=\sum_a q_t(a)\log\frac{q_t(a)}{p_t(a)}$ 被拉近教师。相比只给一个标量奖励，这提供了逐 token 的密集监督信号。
OPSD 与 OASIS 的损失函数完全建立在这种带 per-entry 裁剪的前向 KL 上，不熟悉它就无法理解论文的损失设计（式 3）和命题 2 的梯度反向分析。
在线策略自蒸馏（OPSD）
同一个模型扮演两个条件化角色：学生只看题目 $x$ 采样解题轨迹；教师额外拿到参考解答 $r$ 这一特权上下文，在学生自己生成的轨迹前缀 $y_{<t}$ 上评估并输出目标分布，学生沿自身轨迹模仿教师。on-policy 采样消除了序列级蒸馏的训练-推理分布错配，保留 token 级密集监督，且比强化学习更省 token。
本文的整个诊断与改进都针对 OPSD（Zhao et al., 2026），OASIS 直接复用其损失、温度与训练协议，只改变被监督的轨迹分布，是读懂对比实验的前提。
特权信息与模仿差距
学习利用特权信息指训练时专家能看见、而学习者部署时不可见的信息。由此产生模仿差距：学生无法复现依赖特权信息的教师行为，前向 KL 下的最优学生只能匹配'上下文平均'的教师分布 $p^\star(\cdot|z)=\mathbb{E}_{R|z}[q(\cdot|z,R)]$，残留损失恰为条件互信息 $I(A;R|Z=z)$（本文命题 1）。
这是论文的理论支柱：它解释了为什么教师优势最大的失败轨迹反而最不适合蒸馏，并预测特权蒸馏会增加学生熵，OASIS 的设计动机直接由此而来。
结果验证器与可验证奖励
对模型输出最终答案自动判定对错的程序（如数学答案比对、代码单元测试）。它广泛用于拒绝采样微调（RFT，保留通过验证的轨迹当训练数据）、STaR/专家迭代，以及 GRPO（把对错作为序列级奖励做强化学习）。
OASIS 的关键区别是用验证器做门控——只决定哪些轨迹被蒸馏，而非训练目标或奖励。理解这一方法谱系，才能体会它与 RFT、GRPO 的本质差异。
Avg@12 评测协议
数学推理的标准评测方式：每道题独立采样 12 条解答（本文用 T=1.0、top-p 0.95、最大 38912 token），取平均正确率。配套还有 Pass@12（至少 1 条正确的题目占比）和 Maj@12（12 条多数投票的正确率）。
论文所有基准分数均以 Avg@12 报告；且 AIME 2024/2025 加 HMMT 2025 总共只有 60 道题，理解该指标有助于判断 +0.59 这类小差距的统计意义。
LoRA 参数高效微调
冻结原模型权重，只训练注入到注意力与 MLP 投影层的低秩矩阵（本文 rank 64、$\alpha{=}128$），大幅降低显存与训练成本，还能无损保留一份初始策略作为冻结教师。
本文全部实验基于 LoRA，教师就是初始策略的冻结副本；100 步短训练加 LoRA 的设定也直接关系到结论的适用范围。
研究动机
在线策略自蒸馏（OPSD）让同一个模型扮演两个角色：学生只看题目 $x$ 采样解题轨迹，教师额外获得书面参考解答 $r$ 这一特权上下文，在学生轨迹的每个前缀上给出目标分布，学生用前向 KL 逐 token 模仿教师。这带来两个具体问题。其一，OPSD 要求每道训练题都配有书面解答，使大量只提供可验证最终答案的数据集（竞赛数学、单元测试代码等）无法使用。其二，监督位置浪费严重：在 Qwen3-1.7B/4B 上，训练 rollout 中只有 28.3%/30.6% 能得到验证正确的答案，62.0%/64.4% 撞上长度上限被截断，即约 70% 的梯度更新落在从未到达正确答案的失败轨迹上。更糟的是，OPSD 的收益随模型规模急剧衰减：相对 base 模型，1.7B 提升 3.05 分、4B 提升 1.98 分、8B 仅剩 0.14 分。
本文的目标是本文目标分两条线。诊断层面：搞清 OPSD 的教师信号中哪些成分真正可被学生学习——具体做法是把 OPSD 耦合在一起的两个角色拆开测量：轨迹脚手架 $y$（决定监督施加在哪些前缀上）与教师上下文 $r$（决定这些前缀处的目标分布），并回答一个此前被忽略的问题：'监督施加在轨迹的哪个位置是否重要'。方法层面：基于诊断结论设计一种新的自蒸馏方法，使其满足三点：(1) 不需要书面参考解答，只需要每题一个可验证的最终答案标签；(2) 把监督集中到教师行为可被学生从自身可得信息复现的状态上；(3) 收益不随模型规模增大而消失，在 1.7B 到 8B 上都保持稳定提升。最终产出的方法命名为 OASIS（On-policy Alignment via Scaffold-Isolated Supervision）。
与已有工作不同的是，已有对 OPSD 的分析都从教师侧入手：Shen 等人把教师信号分解为参考解答诱导分量和仅依赖题目的分量；Ichihara 等人甚至证明为另一道题写的参考解答仍能提供有用监督——说明具体参考解答远没有标准公式暗示的那么重要。本文的独特切入是互补的另一半问题：监督施加在学生轨迹的哪个位置才重要？作者设计了两类仅需推理的探针——信号重放（沿记录的脚手架在不同上下文下重放师生分布、测量 next-token 散度）和截断续写恢复实验（把 rollout 在长度比例 $f\in\{0.1,...,0.9\}$ 处截断，测不同教师上下文下能否续写出正确答案）——把'脚手架正确性'与'上下文正确性'做因子分解，发现前者对下游准确率的影响远大于后者，从而把蒸馏监督的选择问题转化为'教师在哪些状态上可被模仿'的问题。
核心方法
直觉上，论文的诊断显示出一个倒挂：教师最有用的地方恰是学生最难模仿的地方。失败轨迹的前缀上，拿到金参考的教师恢复正确答案的比例比学生高 0.40（77% 对 37%，1.7B），但这些特权信息学生测试时看不到，按命题 1 学生最优只能匹配'上下文平均'的教师分布，留下等于条件互信息 $I(A;R\mid Z)$ 的不可约损失；而在已验证正确的轨迹上，教师对上下文几乎不敏感（用学生自己的失败尝试当上下文，与金参考教师的总变差距离仅 0.065），其行为可被学生复现。因此 OASIS 保持 OPSD 的损失函数、蒸馏温度、裁剪与优化器完全不变，只改变被监督轨迹的分布：每题采样 $K{=}8$ 条 on-policy rollout，用最终答案验证器筛选，取最短验证通过的轨迹作脚手架 $y^\star$，再用另一条同题 rollout（通常是学生自己的未验证尝试）替代书面解答作为教师上下文 $r$，在验证轨迹上做与 OPSD 相同的逐 token 蒸馏。
核心创新是'脚手架隔离监督'：验证器只用来决定'哪些 on-policy 轨迹值得被蒸馏'，而非训练目标或奖励。它与已有范式的本质区别有三：相比标准 OPSD，OASIS 不再把监督盲目铺在未验证轨迹上（后者约 72% 的更新落在失败轨迹、即教师特权优势最大处），而是只在验证通过的脚手架上评估教师分布；相比拒绝采样微调（RFT/STaR），验证通过的轨迹不是被模仿的目标——训练目标仍是教师分布，验证只起门控作用；相比 GRPO，OASIS 用的是密集的逐 token 教师分布而非标量结果奖励（同一验证器下 GRPO 仅提升 0.60/0.60/0.23 分）。同时用学生自己的未验证尝试当教师上下文消解了特权信息：命题 1 证明上下文平均教师是学生可达的最优目标，而已验证脚手架上教师对上下文的敏感性本来就小，这一替换几乎无损。
方法步骤详情
算法 1（一次 OASIS 更新）流程如下。输入：带最终答案 $\{a_i\}$ 的题目、当前策略 $\pi_\theta$（学生）、冻结初始策略 $\pi_{\theta_0}$（教师）、$K{=}8$。(1) 每题用学生提示采样 $K$ 条 rollout 得 $Y(x_i)$；(2) 验证器比对最终答案得通过集 $Y^+(x_i)$；(3) 若 $Y^+=\varnothing$ 则掩码该题、不产生梯度（仅约 1.6% 的全掩码例外保留一条未验证轨迹）；(4) 取最短验证轨迹 $y^\star=\arg\min_{y\in Y^+}|y|$ 为脚手架；(5) 上下文取 $Y\setminus Y^+$ 中最短者，若全部验证通过则用另一条验证轨迹，绝不用 $y^\star$ 自身；(6) 逐前缀计算教师分布 $q_t=\pi_{\theta_0}(\cdot\mid u(x_i,r_i),y^\star_{<t})$ 与学生分布 $p_t=\pi_\theta(\cdot\mid s(x_i),y^\star_{<t})$；(7) 用带 per-entry 裁剪 $\kappa{=}0.05$ 的前向 KL 更新参数。训练配置：LoRA rank 64、学习率 $5\times10^{-6}$ 线性衰减、蒸馏温度 1.1，共 100 步、每步 64 题最多训 32 题，全程只需最终答案标签。
技术新颖性
技术新颖性体现在三点。第一，视角新：把 OPSD 拆成脚手架与上下文两个正交因子并分别测量，提出信号重放与截断恢复两个探针协议，首次系统回答'监督施加位置'这一被忽略的问题，并形式化了特权模仿差距（命题 1：前向 KL 下的最优学生是上下文平均教师 $p^\star(\cdot\mid z)=\mathbb{E}_{R|z}[q(\cdot\mid z,R)]$，最小损失为条件互信息 $I(A;R\mid Z=z)$，且 $H(p^\star)\geq\mathbb{E}[H(q)]$，解释了蒸馏为何增大熵）。第二，机制新：验证器从奖励降级为门控，选出的已验证轨迹仍是 on-policy 的，保留 token 级密集蒸馏优势，同时只需最终答案标签、无需书面推理链。第三，诊断产出新：命题 2 证明 per-entry KL 裁剪会使被裁剪 token 的 logit 梯度反向——实测 $\kappa{=}0.05$ 时裁掉验证脚手架上 97% 的正 KL 质量并影响约三成 token——为 OPSD 训练后期的师生漂移提供了此前缺失的机制性解释。
实验结果
诊断结果：截断恢复实验显示教师特权优势集中在失败轨迹——1.7B 失败前缀上金参考教师恢复率 77% 对学生 37%（$\Delta=+0.40$），4B 降为 67% 对 50%（$+0.17$）；只给答案得 61%，去答案的书面推理 51%，无关参考 32%、空参考 37%，优势确实来自特权内容；已验证前缀上 $\Delta\leq0.04$。教师信号分解：55.0% 来自 thinking 模板、15.4% 来自参考块、参考内容仅 29.6%（4B 降至 17.3%）。OPSD 对 base 增益 +3.05/+1.98/+0.14（1.7B/4B/8B），随规模衰减。OASIS 主结果：在 AIME24/25、HMMT25 的 Avg@12 平均上对 base 提升 +3.64/+3.84/+3.19，对 OPSD 提升 +0.59/+1.86/+3.05；8B 上 OASIS 65.83 对 OPSD 62.78、AVSD 63.58、GRPO 62.87、base 62.64；同验证器下 GRPO 仅提升 0.60/0.60/0.23，证明密集教师分布的贡献超出验证器本身。消融：K=4 生成 22.8M token 得 52.77（K=8 为 43.5M/54.17）；最短验证脚手架 54.17 优于最长 52.33。成本：生成 43.5M token（OPSD 的约 16 倍）但只监督 1.98M，且无需书面解答。
局限与改进
作者承认的局限：实验仅覆盖竞赛数学和 Qwen3 一个模型家族；4B 与 8B 只有单次训练运行（Table 3 显示评测波动远小于 OASIS–OPSD 差距，但训练种子方差未测）；rollout 生成为主要成本，1.7B 上 43.5M token 约为 OPSD 的 16 倍；验证器不完美，$Y\setminus Y^+$ 只能描述为'未被验证为正确'而非必然错误。我的补充观察：其一，最终答案验证无法保证推理过程正确，最短验证轨迹可能选中'答案蒙对但推理有缺陷'的路径；其二，per-entry 裁剪的缺陷只是被诊断而未修复，4B 上两种方法后期都漂移，OASIS 裁剪 token 比例升至 0.51、师生 top-1 一致度降至 0.853；其三，1.7B 上对 OPSD 的 +0.59 落在 30 题评测的采样波动内，作者也承认不具决定性；其四，全部结论建立在 100 步、LoRA 的短程训练上，全参微调与更长训练下结论是否成立未知；其五，全掩码例外仍让约 1.6% 的问题用未验证轨迹训练，与核心主张存在小的张力。
独立分析的弱点
独立分析的主要弱点及改进方向：(1) 生成开销结构失衡——每题固定采样 K=8 条 rollout，43.5M token 的生成成本可能超过获取书面解答的成本；可改为自适应 K：先用小 K 预筛，只对未出验证解的题目追加采样，或跨训练步缓存复用 rollout。(2) 验证器噪声被放大——'取最短验证轨迹'的规则会系统性偏向短解，而短解更可能是猜答案或跳步；可引入轻量过程一致性检查（如让同一模型再独立推导一次）或自洽性投票过滤脚手架。(3) 裁剪机制悬而未决——命题 2 表明被裁剪 token 失去教师上拉且梯度反向，是两方法后期共同漂移的候选解释，但论文未做修复实验；应直接对比无裁剪、per-token 裁剪与大 $\kappa$ 的设定。(4) 短程训练天花板——100 步内 OASIS 只见到 6.4K 问题、约 3.2K 有梯度，监督信号总量偏少，长训后的收敛行为与数据效率曲线缺失。(5) 评测面窄——AIME/HMMT 共 60 题方差大，应补充更大题量的 held-out 集合以支撑细粒度结论。
未来方向
作者明确提出的方向：扩展到'结果验证便宜但无书面解答'的场景，如带单元测试的代码生成。基于本文成果可自然延伸：(1) 修复裁剪机制——按命题 2 的分析实现 per-token 或整条 KL 裁剪、或动态增大 $\kappa$，验证能否消除 4B 上的后期漂移并进一步拉大优势；(2) 更好的可模仿性代理——$I(A;R\mid Z)$ 不可直接计算，可用教师在不同上下文间的 TV/KL 距离、教师熵等在线指标做逐题连续门控，取代二元的验证器筛选；(3) 与 RLVR 互补混合——RL 负责探索、OASIS 把探索出的正确模式以密集信号固化，两者共享同一验证器；(4) 推广到多轮与 agent 任务，那里特权上下文（工具输出、环境状态）问题更尖锐；(5) 规模定律研究——OPSD 增益随规模衰减而 OASIS 在 8B 内稳定，值得在 14B/32B 级别验证趋势是否持续；(6) 理论上把特权模仿差距与模仿学习的 imitation gap 文献（Swamy 等）对接，给出样本复杂度层面的界。
复现评估
复现条件相当好。论文给出完整训练配置（Table 9）：LoRA rank 64/$\alpha$128 作用于所有注意力和 MLP 投影、学习率 $5\times10^{-6}$ 线性衰减且梯度范数裁剪至 0.1、蒸馏温度 1.1、per-entry 裁剪 $\kappa{=}0.05$、rollout 采样 T=1.1/top-p 0.95/top-k 20/上限 1024 新 token、评测 Avg@12 上限 38912 token；算法 1 伪代码、掩码与全掩码例外规则、两类探针协议（附录 A.2：每格 200 条脚手架、恢复探针每上下文采 4 条续写、以最后一个 boxed 答案判定）全部写在正文中。模型 Qwen3-1.7B/4B/8B 与数据 OpenThoughts 数学子集均开源可得。算力需求：2×H100 加 8×A100(80GB)，100 步 LoRA 训练本身规模不大，主要瓶颈是 43.5M token 的 rollout 生成与逐前缀教师前向。正文未见明确代码仓库链接，需自行实现，估计一至两周工作量，复现难度中等；1.7B 规模单机 8 卡即可尝试。
论文图表
三联图。(a) 沿学生 rollout 前缀续写时，有无金参考 r 的续写到达正确答案的比例：1.7B 差 +0.40、4B 差 +0.17，且未验证 rollout 占 OPSD 脚手架的大多数；(b) 1.7B 下被监督脚手架的构成对比：OPSD 仅 28% 验证通过（其余 3% 兜底、69% 未验证），OASIS 则 97% 验证通过；(c) 各方法相对 base 的平均增益随规模的变化：OPSD 从 1.7B 的 +3.05 跌到 8B 的 +0.14，OASIS 保持 +3 以上。
这张图一图概览全文动机：教师优势的位置错配与其随规模的衰减，是引出 OASIS 的直接证据链，看完它就明白论文要解决什么。
主结果表：Qwen3-1.7B/4B/8B 在 AIME 2024、AIME 2025、HMMT 2025 上与 Base/SFT/GRPO/OPSD/AVSD/CRISP 的完整对比。平均分：1.7B 上 OASIS 40.74 对 OPSD 40.15、base 37.10；4B 上 63.70 对 61.84、59.86；8B 上 65.83 对 62.78、62.64。Δ(Ours−OPSD) 随规模从 +0.59 增至 +3.05。
论文的核心实验证据，所有基线对比与'优势随规模扩大'的中心主张都以此表为准。
同一 Qwen3-4B checkpoint 用 3 个评测种子 × 每题 12 样本的均值±标准差：如 AIME 2024 Avg@12 为 OPSD 74.4±0.71 对 OASIS 76.6±0.23，AIME 2025 为 67.9±1.33 对 69.1±0.23，HMMT 2025 为 43.1±0.89 对 45.2±0.23；Pass@12/Maj@12 同步报告。
用重复评测证明 OASIS–OPSD 差距远大于评测随机波动，是对'单次训练、单次评测'质疑的直接回应。
训练预算与得分对照：OPSD/AVSD 使用 12.8K 个带书面解答的问题（各 12.8K rollouts），OASIS 只见 6.4K 题、约 3.2K 有梯度、生成 51.2K rollouts、完全不需要书面解答；得分上 4B 为 OASIS 63.70 对 OPSD 63.60、AVSD 62.90，8B 为 65.83 对 64.80、64.03，落后的单列差距也在约 1 分内。
量化'标注问题减半、零书面解答仍持平或更优'的数据效率主张，是方法实用价值的关键卖点。
脚手架选择规则消融：固定同一批被监督问题，最短验证脚手架（平均 603 token）得 Avg@12 54.17±0.58、Pass@12 80.00、Maj@12 68.88；最长验证脚手架（909 token）得 52.33±0.51、73.33、60.00。
验证'取最短验证轨迹'（式 6）这一经验选择确有优势：短脚手架提供更紧凑的监督路径，而非随意设定。