在策略蒸馏的多副面孔:陷阱、机制与修复 The Many Faces of On-Policy Distillation: Pitfalls, Mechanisms, and Fixes
剖析OPD/OPSD成败,提出三类失败机制与对应稳定化修复。
前置知识
在策略蒸馏(OPD)
一种大语言模型后训练方法。让学生在自己的采样轨迹(rollout)上训练,并由一个或多个教师模型在这些轨迹的每个 token 位置上提供密集监督信号。区别于传统的离线蒸馏,OPD 的数据来自学生自身策略,因此属于 on-policy 学习。优化目标形如 $\mathcal{L}_{\text{OP(S)D}} = \mathbb{E}_{x,y}\frac{1}{T}\sum_t \ell_t(\pi_\theta, \text{stopgrad}(\pi_T))$,其中 $\ell_t$ 可以是 reverse-KL、sampled-token policy gradient 等。
本文的核心研究对象就是 OPD 和其衍生形式 OPSD;理解 OPD 的目标函数结构和'教师被强制基于学生前缀给出监督'这一关键设定,是理解后续所有失败机制(如前缀扭曲教师、TopK 梯度偏差)的必要前提。
在策略自蒸馏(OPSD)
OPD 的一个特例。教师不是更强的外部模型,而是学生模型本身在外加'特权信息 (Privileged Information, PI)'条件下的版本。PI 可以是标准答案、系统提示、用户偏好等。形式上 $\pi_T(\cdot|x,y_{<t},I) = \pi_\theta(\cdot|x,y_{<t},I)$,但学生在测试时是看不到 $I$ 的;因此 OPSD 试图把训练时借助 PI 学到的能力压缩到测试时的 PI-free 策略里。
OPSD 是本文重点对比的方法;文章用大量实验证明 OPSD 的成败高度依赖 PI 的结构是否对应'共享潜变量',这一区分是理解本文'PI-marginalized policy'失败机制的关键。
Reverse-KL 与 Top-K 截断
Reverse-KL $D_{\text{KL}}(\pi_\theta \Vert \pi_T) = \sum_v \pi_\theta(v)\log \frac{\pi_\theta(v)}{\pi_T(v)}$ 是 mode-seeking 的,倾向于让学生保留自己的高概率 token,被广泛用于防止灾难性遗忘。然而在 GPU 内存限制下,实践中往往只保留教师或学生 TopK 个 token 的概率来近似,这种'未归一化'的 TopK reverse-KL 会在梯度里残留 +1 偏置项。本文指出:在 TopK 截断下 $\sum_{v\in S_K}\pi_\theta(v)\nabla_\theta \log \pi_\theta(v) = \nabla_\theta \sum_{v\in S_K}\pi_\theta(v) \neq 0$,导致优化不稳定。
TopK reverse-KL 是几乎所有 OPD 实现的标配损失;理解其梯度偏差的来源,是看懂为什么'stop-gradient TopK'、'重归一化 TopK'或'sampled-token PG'三种修复都能稳定训练的关键。
GRPO/RLVR
Group Relative Policy Optimization (GRPO) 是一种基于群体的强化学习算法,通过在同一个 prompt 下采样一组响应,用组内相对奖励代替 critic 来估算 advantage,常见于 LLM 的可验证奖励强化学习(RLVR)场景。本文把 GRPO 当作 OPD 的对比基线,并提出先用 GRPO 训练教师,再用 OPD 蒸馏给学生(称为 Qwen3-1.7B-GRPO teacher)。
GRPO 是衡量 OPSD 是否真的带来训练效率与性能提升的对照实验基线;同时,本文一个核心改进就是'先 RLVR 教师再蒸馏'。
研究动机
近两年,On-Policy Distillation (OPD) 和 On-Policy Self-Distillation (OPSD) 已经成为大语言模型后训练领域的一类重要方法,文献中既有大量成功案例(如数学推理加速、内部化系统提示、持续学习),也有近期的负向报告(训练不稳定、性能下降)。Agarwal 等人在 MiniLLM 等工作中证明 OPD 可以优于离线蒸馏;Choi 等人则在 self-distillation for reasoning 中报告了 OPD 可以提高推理能力。但 TU 等近期工作指出 OPD 可能引发 prompt knowledge internalization 时的稳定性问题。本质上,'OPD/OPSD 什么时候真的管用、什么时候会失效、为什么'这一问题在社区里仍处于经验混乱的状态:有报告称 Qwen3-1.7B + Qwen3-8B 教师在 OpenThoughts 数据集上 OPD 初期提升后崩溃成重复输出 'maybe maybe maybe...',也有报告称 Qwen3-4B 在 CharacterBench 上 OPSD 快速超过 GRPO 和 PPO。这种'一会儿神一会儿鬼'的现象,使得研究者难以判断在某个具体任务上是否值得投入算力做蒸馏。
本文的目标是本文旨在系统性地回答三个问题:OPD 和 OPSD 在哪些任务上有效、哪些任务上失败、为什么失败和成功。基于此,作者希望为 LLM 研究者提供一个清晰的'何时用 OPD、何时用 OPSD、何时改用 RL、何时插 SFT 预热'的决策指南,并给出具体的算法修复(stop-gradient TopK、RLVR 教师、SFT 预热)以稳定实际训练。
与已有工作不同的是，本文的核心切入角度是'机制级诊断'而非'新算法':现有 OPD/OPSD 文献大多各自报告成功或失败案例,缺乏对失败机制的统一理论刻画。本文通过控制变量实验,把失败定位到三个独立的机制——(1) 学生前缀把教师逼入陌生状态,(2) TopK reverse-KL 的未截断偏差让梯度发散,(3) OPSD 的目标函数结构注定只能学到 PI 上的边缘分布。当这三个机制被逐一修复后,作者进一步提出一个组合管线:SFT 给出良构初始化 → RLVR 提升任务表现 → OPD 把改进后的 on-policy 行为再压回学生,这套组合正是过往工作没有明确串联起来的。
核心方法
本文是一篇系统性的实证+机制研究,不提出一个全新的整体算法,而是把 OPD/OPSD 的设计空间拆成'教师构造 / 特权信息 PI / 蒸馏损失'三个轴,逐一跑实验来定位失败。具体技术路线分四步:(a) 在数学推理、风格对齐、安全对齐、系统提示内部化四类任务上分别训练 OPSD/OPD 头对头对照 GRPO/PPO;(b) 用教师前缀条件化实验(如 GPQA-Diamond)量化教师被学生前缀'扭曲'的程度;(c) 推导 TopK reverse-KL 的梯度,显式指出未归一化带来的 +1 偏置项是模型崩溃的根因;(d) 在该诊断基础上提出三类修复:stop-gradient TopK 目标、RLVR 增强后的教师、student 端的 SFT 预热。直觉上,文章相当于对 OPD/OPSD 做了一次完整的'病理切片+外科手术'。
本文的核心创新是把 OPD/OPSD 的失败归因到三个可独立修复的机制,而不是泛泛地说'不稳定'。第一个机制是 Prefix-Distorted Teacher State:在 GPQA-Diamond 上,独立 Qwen3-14B 教师准确率 62.1%(123/198),但让学生先采样一半前缀再让教师续写,准确率跌到 46.0%(91/198),绝对损失 16.16 个百分点。第二个机制是 TopK Reverse-KL 的梯度偏差:在 TopK 集合 $S_K(y_{<t})\subset \mathcal{V}$ 上,$\sum_{v\in S_K}\pi_\theta(v)\nabla_\theta\log\pi_\theta(v) = \nabla_\theta \sum_{v\in S_K}\pi_\theta(v) \neq 0$,所以原 reverse-KL 梯度中能整除掉的常数 +1 项无法消除,导致 $e^{-\pi_S(v|x,y_{<t})} < \pi_T(v|x,y_{<t},I)$ 的 token 仍被抑制,长期累积表现为重复 token 比例从 0.51 飙到 0.99、Math500 准确率从约 0.78 跌到接近 0。第三个机制是 PI-Marginalized OPSD Policy:数学证明 OPSD 的最优学生是教师在 PI 上的几何平均 $p_S^*(y|x) \propto \exp\mathbb{E}_{I\sim D(\cdot|x)}\log p_T(y|x,I)$,这意味着当 PI 是题特定的($I_1,I_2,I_3$ 各管一题),学生只学到它们的'公共交集',对单题而言必然弱于任何一个 PI-conditioned 教师。这点和已有工作不同:已有工作大多默认'PI 越丰富越好',本文用 (10)-(11) 的形式化反驳了这一点。
方法步骤详情
方法整体按下面几步推进。Step 1(设计空间映射):把 OP(S)D 拆成 Teacher Construction 在 {Self-Teacher, Frozen, EMA} 乘 Privileged Information 在 {None, Answer Only, Full Response, System Prompt} 乘 Loss 在 {Full-vocab KL, Sampled-Token PG, TopK Reverse-KL, Stop-Grad TopK, Renormalized TopK} 三个轴。Step 2(失败实验):在 OpenThoughts(DAPO-Math-17k 等等)上跑 Qwen3-1.7B 学生 + Qwen3-8B 教师的 OPD,观察到 step 700 后 'wait'/'maybe' 这类改写 token 频率骤升,step 1000 时整段重复 'maybe'、长度爆掉、Math500/AIME24/AIME25 准确率几乎归零;同时跑 step-0 学生自身做教师的 OPSD,在同一任务上无法稳定提升,并验证了即使把教师用 GRPO 强化训练过(OPSD, full response, RL teacher)也无济于事。Step 3(机制诊断):设计三组诊断实验——(3a) 让 Qwen3-14B 在 Qwen3-1.7B 学生前缀上续写,统计正确/错误的迁移;(3b) 在 TopK=5 和 TopK=20 上同时跑 unnormalized、stop-grad、renormalized、sampled-PG 四种 loss,看哪一种能稳定训练;(3c) 推导 (10)-(11) 给出的 OPSD 最优学生形式,并在 DAPO 上用 Qwen3-8B 教师 + Qwen3-1.7B 学生验证 vanilla OPD > answer-PI OPD > response-PI OPD 的反序排名,验证 PI 越多反而越糟。Step 4(修复方案):(4a) Stop-grad TopK loss(式 12):把 $\log\pi_S$ 项 stopgrad,得到与 policy-gradient 视角一致的 advantage 加权形式;(4b) RLVR-adapted teacher:在 OpenThoughts 上先对 Qwen3-1.7B 跑 DAPO 200 步得到 Qwen3-1.7B-GRPO,其推理性能与 Qwen3-8B 相当,但 Top20 词表分布与 Qwen3-1.7B 学生更对齐,显著提升 OPD 效果;(4c) SFT 预热:用 Qwen3-4B 教师在 SFT split(前 30000 prompts)上以 temperature=0.3 采样 20000 条正确回答,用 ShareGPT 格式 + LlamaFactory qwen3 模板、FlashAttention-2、DeepSpeed ZeRO-2 在 Qwen3-1.7B-Base 上训 2 个 epoch(学习率 1e-5、cosine 衰减、warmup 0.05),把学生在 Qwen3-4B traces 上的 NLL 从 0.640 降到 0.335、PPL 从 1.896 降到 1.397,再进入 OPD 阶段。Step 5(管线组合):论文最后建议的组合是 SFT 提供良构初始化 → RL 改进任务表现 → OPD 把改进后的 on-policy 行为压回学生,得到稳定的端到端流水线。
技术新颖性
技术新颖性主要在三方面。第一,把 OPD 的不稳定性分解成三个'可独立修复、可独立验证'的机制,而不是把它们混为一谈,这是与 TU 和 Luo 等之前工作的关键区别——前者只能定性地说'不稳定',本文给出可量化的诊断指标(重复率、teacher-student TopK overlap、prefix-conditioned teacher 准确率)。第二,TopK reverse-KL 的 +1 偏置推导是新的形式化结果,作者显式证明在 TopK 截断下,反向 KL 梯度中能整除掉的常数项不再为零,因此提出 stop-grad 或重归一化作为两种独立修复路径,并验证两者等价有效。第三,'RLVR-adapted teacher 比单纯更大的 teacher 更适合 OPD'的发现是反直觉的:Qwen3-1.7B-GRPO 在 Math500/AIME24/AIME25 上与 Qwen3-8B 表现相当,但 OPD 蒸馏效果显著更好,直接挑战了'teacher 越强越好'的传统假设;作者用 TopK vocabulary overlap 的对齐程度来解释这一现象。
实验结果
实验分四类任务、共 10+ 个 chart,核心发现可归纳为以下几点。数学推理 OPSD 全面失败:在 OpenThoughts 上,Qwen3-1.7B 学生 + step-0 self teacher 跑 OPSD,无论 answer-only PI 还是 full-response PI,Math500/AIME24/AIME25 三条曲线都没能稳定超过 baseline;full-response PI 比 answer-only PI 更差(Figure 3)。即使把教师换成在 OpenThoughts 上跑了 GRPO 的 Qwen3-1.7B-RL,OPSD 仍然表现不佳,说明不是教师能力不够。OPD 在数学上会经历'初期涨—step700 后崩':Qwen3-1.7B + Qwen3-8B 在 OpenThoughts 上跑 unnormalized Top20 reverse-KL,初期 Math500 提升到约 0.78,大约 step 700 时 'wait'/'maybe' 等改写 token 频率骤升,step 1000 时整段重复 'maybe'、响应长度爆到 16384 上限、repeat_ratio 趋近 1、Math500/AIME24/AIME25 准确率几乎归零(Figure 4)。机制 1 验证:在 GPQA-Diamond 上独立 Qwen3-14B 教师准确率 62.12%(123/198),但用 Qwen3-1.7B 学生生成前缀截断后让教师续写,准确率跌到 45.96%(91/198),绝对下降 16.16 个百分点;transition 统计显示 40 题 'correct→wrong' 而只有 8 题 'wrong→correct',输出格式正确率也从 98.48% 掉到 78.79%,定量证实学生前缀把教师逼到不熟悉的状态(Figure 8 + Appendix A.22)。机制 2 验证:TopK=5 时 unnormalized reverse-KL 训练 600+ 步后崩;stop-gradient 版本和重归一化版本都能稳定训练,Math500 在 0.6 区间内不坍塌;TopK=1 时未 stop-grad 仍崩,放进 policy-gradient 形式则稳定(Figure 11/12)。机制 3 验证:在 DAPO 数据集上用 Qwen3-8B 教师 + Qwen3-1.7B 学生,vanilla OPD 的 loss 最低、answer-PI OPD 居中、response-PI OPD loss 最高、最终准确率反向排序,直接支持'PI 越多教师-学生 mismatch 越大'(Figure 10)。OPSD 在风格对齐和系统提示内部化上稳定胜过 GRPO/PPO:在 CharacterBench 和 EmotionBench 上,Qwen3-4B-Instruct 学生在同样采样预算下,OPSD 收敛更快、最终奖励和 eval 分数都优于 GRPO 与 PPO(Figure 5);在安全对齐 Wildguardmix 上 OPSD 早期提升迅速,但最终性能被教师上限卡住,GRPO 反而能在 OPSD 饱和后继续涨(Figure 7)。OPSD 用于推理压缩:在 DAPO-Math-17k 上,Qwen3-8B thinking-mode 学生跑 OPSD,Math500 Pass@1 与 GRPO 持平,但 eval 响应长度和训练 rollout 长度都显著短于 GRPO+长度惩罚,样本效率更高(Figure 6)。RLVR-adapted 教师显著优于单纯更大教师:在 OpenThoughts 上,Qwen3-1.7B-GRPO(200 步 DAPO 后)和 Qwen3-8B 的 Math500/AIME24/AIME25 表现相当,但用前者的 OPD 蒸馏效果显著更好;进一步发现 Qwen3-1.7B-GRPO 的 Top20 词表分布与 Qwen3-1.7B 学生更对齐,这是 teacher-student overlap 差异的直接证据(Figure 13)。SFT 预热可稳定 OPD:在 Qwen3-4B 教师 + Qwen3-1.7B-Base 学生上,direct OPD 初始会生成乱码/非英文 Unicode 字符,任务奖励几乎为 0;先在 20000 条 Qwen3-4B traces 上 SFT 2 epoch 后,NLL 从 0.640 降到 0.335,PPL 从 1.896 降到 1.397,再跑 OPD 即可稳定提升 task reward 和 Math500 准确率(Figure 14)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Math500 (数学推理) | Pass@1 | Stop-grad TopK + SFT 预热后稳定训练,step 约 600 时约 0.60;未修复的 unnormalized TopK 在约 step700 后崩塌至接近 0 | 基线 Qwen3-1.7B 直接监督 | 修复后的 OPD 相对崩塌方案稳定获得约 0.6 准确率;OPSD 在 OpenThoughts 上三种 PI 条件均未稳定超过 baseline |
| AIME24 (数学竞赛) | Pass@1 | Unnormalized TopK 在 step 1000 时崩塌至约 0;停止梯度修复方案保持稳定 | Qwen3-1.7B baseline | 修复后避免 0.15+ 量级的崩塌掉点 |
| AIME25 (数学竞赛) | Pass@1 | Stop-grad TopK 训练保持稳定;unnormalized 同样在约 step1000 崩塌到约 0 | Qwen3-1.7B baseline | 修复方案对 AIME25 同样有效 |
| GPQA-Diamond (推理,前缀条件化诊断) | 准确率 | Qwen3-14B 教师 standalone 62.12%(123/198),prefix-conditioned 续写 45.96%(91/198) | Standalone teacher 62.12% | 学生前缀让教师绝对下降 16.16 个百分点,正确率/格式正确率均显著退化 |
| CharacterBench (风格对齐) | LLM-judge eval 分数 | Qwen3-4B-Instruct 学生 OPSD 训练 10000 代,eval 分数稳定 0.875-0.925,优于 GRPO 和 PPO | GRPO 与 PPO 同等采样预算 | OPSD 收敛速度更快、最终分数更高 |
| EmotionBench (情绪对齐) | LLM-judge eval 分数 | Qwen3-4B-Instruct 学生 OPSD 在约 10000 代达到 eval 0.85-0.88,优于 GRPO/PPO | GRPO 与 PPO 同等采样预算 | OPSD 收敛更快、最终分数更高 |
| DAPO-Math-17k 推理压缩(Qwen3-8B thinking mode) | MATH-500 Pass@1 与响应长度 | OPSD 的 MATH-500 Pass@1 约 0.93,eval 响应长度约 3000 tokens,显著短于 GRPO+length penalty | GRPO with length penalty | OPSD 长度减少 30-50%,Pass@1 不掉 |
| Wildguardmix (安全对齐,Qwen3-1.7B nothink) | eval/wildguard | OPSD 训练约 1500 步达到 eval 约 0.76,快速但提前饱和;GRPO 持续涨至 0.78 | GRPO | OPSD 早期收敛更快但被教师上限卡住;GRPO 最终更高 |
| OpenThoughts RLVR-adapted teacher 对比 | Math500/AIME24/AIME25 | Qwen3-1.7B-GRPO 与 Qwen3-8B 表现相当;但用前者做 OPD 教师显著优于后者 | Qwen3-8B teacher (相同 benchmark) | RLVR-adapted 1.7B 教师比原生 8B 教师在 OPD 蒸馏中表现更好,体现词表对齐比绝对能力更重要 |
局限与改进
作者在 Conclusion 中明确指出本文结论基于有限模型家族与规模,更大的设置可能表现不同。除此之外,从附录 A.8 / A.10 / A.21 还可以补充以下观察的局限:第一,OPD 评估易受 max validation response length 影响,数学推理中 OPD 倾向于生成更长/更重复的响应,如果验证长度上限不够大,准确率会被'是否能答完'而不是'是否能答对'主导,需要统一控制评估长度。第二,过早比较 OPD 与 RL 的样本效率是有偏的——OPD 早期涨得快但天花板低,GRPO 早期慢但能持续涨,作者用 Figure 6/Figure 7 提醒读者不能只看 early-stage sample efficiency。第三,OPSD 在多轮对话类任务(Persuasion for Good,Qwen-1.7B / Qwen-4B 学生)上约 20-30 步就崩塌,truncation ratio 迅速冲到约 1.0,说明 PI 是 instance-specific 时 OPSD 不可救药(A.13)。第四,当学生 thinking mode 关闭而教师开启时,OPSD 会发生'thinking mode hacking',学生学会自发产出 ... ... 的控制 token,导致输出格式错误(A.14)。第五,delta-logprob 与 token entropy 的 Pearson 相关仅 -0.1125 (Qwen3-8B) 和 -0.2076 (Qwen3-1.7B),说明用熵做加权蒸馏没有强信号支撑(A.21)。作者自己的分析之外,读者也容易注意到:本文所有结论几乎都在 Qwen3 系列上得出,未见 Llama/Gemma/Mistral 等其他家族的对照;OPSD 修复后的鲁棒性(例如长上下文、多模态)未验证;PI 结构分类目前是定性的'题特定 vs 共享潜变量',缺乏量化度量来指导工程选型。
独立分析的弱点
第一,OPSD 对 PI 结构极度敏感,但作者没有给出量化判据——什么样的 PI 是'shared latent rule'、怎样在实验前预判,仍是黑盒。一个可行的改进方向是引入'PI 同质性度量',例如 PI-conditioned teacher 分布之间的 Jensen-Shannon 散度均值,作为 OPSD 适用性的预筛选指标。第二,Stop-grad TopK 修复只解决了损失函数的局部偏差,但对'学生前缀扭曲教师'这一更深层问题无能为力;具体表现为 Qwen3-1.7B 学生 + Qwen3-8B 教师即使换成 stop-grad 也仍会出现长度异常。改进方向是引入'teacher state reset'机制——当教师在学生前缀上概率低于某阈值时,丢弃或软重置该 prefix,或者用 teacher-side 的 rejection sampling 过滤明显矛盾的前缀。第三,RLVR-adapted teacher 需要先跑 200 步 GRPO,代价不低,且论文没比较'DPO/SimPO 替代 GRPO'是否能给出同样的词表对齐效果。第四,SFT 预热要求 20000 条高质量教师轨迹,数据生成成本高(本文跑了 Qwen3-4B、temperature=0.3、max 4096 tokens、过滤到只剩正确答案),改进方向是探索 self-distilled SFT 或合成数据替代。第五,本文结论只在 Qwen3 1.7B/4B/8B/14B 上验证,模型家族多样性不足,改进方向是在更多家族和尺寸上做小规模复现实验以确认机制的普适性。第六,'SFT → RL → OPD'组合管线在论文中只是建议,没有给出端到端实验数据来验证其相对于直接 SFT 或直接 RL 的最终收益。
未来方向
作者在 Conclusion 中明确建议了迭代自改进管线:SFT 提供稳定初始化 → RL 改进任务特定行为 → OPD 把改进后的 on-policy 行为压回学生,这一循环可以多轮迭代。除了作者提出的方向,基于文章结果还可以延伸出以下未来研究:(1) 把 PI 结构从二分类('shared vs instance-specific')扩展到连续度量,设计 OPSD 自适应调度——PI 同质时启用 OPSD,异质时退回 vanilla OPD 或 RL;(2) 把 stop-grad TopK 的修复思路推广到其他截断式 KL 估计(如 tail-augmented、SDPO 等),并研究 stop-grad 对前向 KL、JSD 等其他散度的影响;(3) RLVR-adapted teacher 的方向上,可以尝试用 DPO/IPO/SimPO 等偏好学习替代 GRPO,看是否能用更低成本获得同样词表对齐;(4) 研究 teacher-side rejection sampling 或前缀重置,以缓解 prefix-distorted teacher state;(5) 把 OPD 与 tree-of-thought、self-consistency 等推理时策略结合,看是否能突破'学生独自解不出来的题被教师引导出来'的瓶颈;(6) 把 On-Policy Distillation 拓展到多模态 LLM、agent 类任务(工具调用、代码生成),验证 PI-marginalized 这一机制是否仍然主导;(7) 设计更系统化的诊断工具集(prefix teacher eval、TopK overlap、repeat ratio、teacher signal correctness-skewed)并以开源形式发布,让社区能在新方法上快速做 red team。
复现评估
论文对实验设置披露较充分。模型与数据集:主要使用 Qwen3 系列(1.7B/4B/8B/14B),thinking mode 可关;数据集包括 OpenThoughts、DAPO-Math-17k、Wildguardmix、CharacterBench、EmotionBench、Persuasion for Good、Mixture of Thoughts 等。关键超参(Table 1):rollout batch size 64、prompts per batch 64、samples per prompt 1、maximum rollout response length 4096(RL 基线 8192)、rollout temperature 1.0、top-p 0.95;optimizer Adam、learning rate 2e-6、cosine decay、warmup fraction 0.1、weight decay 0.1、Adam beta1/beta2 = 0.9/0.98;TopK=20,advantage estimator 方面 GRPO 用 GRPO、PPO 用 GAE (gamma=1.0, lambda=0.95)。SFT 阶段超参(Table 2):Qwen3-1.7B-Base 学生用 4 张 RTX PRO 6000 Blackwell + DeepSpeed ZeRO-2,学习率 1e-5、cosine、warmup ratio 0.05、2 epoch、BF16、FlashAttention-2。评测设置:max response length 16384、temperature 1.0、top-p 0.95。算力:全文实验在 10 张 NVIDIA RTX PRO 6000 Blackwell GPU 服务器上完成。开源情况:论文附录 A.6 详细记录了 SGLang 的 TopK API 兼容性问题(per-position token 列表 vs flat list)和修复方案,这部分直接帮助 OPD 复现。综合来看,只要能访问 Qwen3 系列模型权重和上述数据集,加上 8-10 张 RTX PRO 6000 级别的 GPU,核心实验(数学 OPD 崩塌、stop-grad TopK、OPSD 对齐)是可以复现的;但 RLVR-adapted teacher 与 SFT 预热管线对算力和数据准备的门槛较高,完全复现需要几周级工程量。
论文图表
总览图,把 OP(S)D 设计空间划分为 Teacher Construction(Self/Frozen/EMA) 乘 Privileged Information(None/Answer Only/Full Response/System Prompt) 乘 Loss Design(Full-vocab KL/Sampled-Token PG/TopK Reverse-KL/Stop Grad Top-K)三个轴。下方显示 OPD 在数学推理任务上失败、在 prompt internalization 与风格学习上成功两类典型场景。
作为整篇文章的导览图,这张图把后续所有实验和机制诊断放在同一个坐标系里,读者理解全文的最佳入口。
示例响应:Qwen3-1.7B 学生训练时 thinking mode 关闭但教师开启,学生学会自发产生 <think>...</think>...<think> 的畸形控制序列,把本该关掉的思考模式再次触发。
展示 OPSD 在 thinking-mode 不一致配置下的具体失败样例,提醒实际工程部署时教师-学生的模式必须一致。
Qwen3-1.7B-Base 学生对 Qwen3-4B 教师 traces 的 NLL 从 SFT 前的 0.640 降到 SFT 后的 0.335,PPL 从 1.896 降到 1.397,说明 SFT 把学生拉到教师分布的近邻。
量化展示 SFT 预热的有效性——直接以 NLL/PPL 指标证明 student-teacher 分布对齐被显著改善。