通过直接在策略蒸馏实现由弱到强的泛化 Weak-to-Strong Generalization via Direct On-Policy Distillation
Direct-OPD：用小模型RL的策略位移当隐式奖励，低成本提升更强的学生模型
前置知识
强化学习与可验证奖励（RLVR）
RLVR是一种后训练范式，用可客观验证的结果（如数学题正确性、代码是否通过测试）作为奖励来微调大语言模型。每次更新需要当前策略先生成rollout（采样多条推理轨迹）、用验证器打分、再据此更新参数。它是当前提升推理能力的主流配方，但代价与被训练模型的规模直接相关：模型越大每条rollout越慢、每轮迭代越昂贵，为每个新强模型从头重跑RLVR会让后训练本身成为瓶颈。
本文要解决的核心痛点正是RLVR在大模型上代价过高，理解RLVR的工作流程才能理解为什么作者要'在便宜的小模型上跑RL再迁移'。
在策略蒸馏（On-Policy Distillation, OPD）
OPD是知识蒸馏的一种变体：学生在自己采样得到的状态/轨迹上接受教师监督，而非在教师生成的数据上模仿。给定prompt，学生采样响应，在每个访问到的前缀处读取学生与教师的下一token分布，最小化两者在该状态上的KL散度。这种'学生自己采样、教师打分'的方式让监督对齐学生实际访问的状态分布，是当前推理模型蒸馏的主流形式。
Direct-OPD完整继承了OPD的on-policy、top-k接口，只在'从教师读取什么信号'这一点上与标准OPD分道扬镳，理解OPD才能看懂本文的对照基线与失败案例。
KL正则化RL与'策略即奖励'恒等式（DPO）
在带KL惩罚的强化学习目标 $\max_\pi E_{y\sim\pi}[r(x,y)-\beta\log\frac{\pi(y|x)}{\pi_{ref}(y|x)}]$ 中，最优策略有闭式解 $\pi^*\propto\pi_{ref}\exp(r/\beta)$，从而 $\log\frac{\pi^*}{\pi_{ref}}=\frac{1}{\beta}(r-\log Z)$。这意味着策略与参考的对数比值（去掉每prompt常数后）正比于奖励——即'策略即奖励'恒等式。DPO用它从偏好数据直接拟合策略而无需显式奖励模型。本文反向使用该恒等式：从已训练好的post-RL策略与其pre-RL参考中'读出'隐式奖励。
这是全篇的理论基石——它证明了'一对小模型checkpoint在策略空间里就等价于一个密集隐式奖励模型'，是理解Direct-OPD为何成立的关键。
弱到强泛化（Weak-to-Strong Generalization）
弱到强泛化研究一个较弱监督者能否激发更强模型的能力。传统设定里学生能力受限于监督者质量（若用弱模型标签监督，学生上限被压制在监督者水平）。它关系到可扩展监督、潜在知识激发、易到难泛化等。本文设定中教师是更小更弱的RL模型，但目标不是复制教师，而是把教师RL产生的'改进方向'迁移给已超过教师的学生。
本文的核心实验正是'学生起点已超过post-RL教师却仍能获益'，这直接挑战了'弱监督只能得到弱学生'的直觉，是论文标题与立意的来源。
研究动机
强化学习与可验证奖励（RLVR）是当前提升大语言模型推理能力的主流后训练配方，但其成本与被训练模型的规模强绑定：每次参数更新都要求当前策略先生成大量rollout、再用验证器打分、然后据此更新，模型越大每条rollout越慢、每轮迭代越昂贵。随着推理模型持续放大，为每一个新发布的强模型从头重跑RLVR，有让后训练本身成为瓶颈的风险。一个看似自然的解法是先在小模型上跑RL、再把post-RL的小模型当教师直接蒸馏给学生，但这会失败——因为教师的最终策略把"RL带来的有用增益"与"小模型自身的能力上限"纠缠在一起。论文给出有力反例：R1-Distill-7B初始在AIME 2024已达56.7，已经高于post-RL的JustRL-1.5B教师（51.3），但vanilla OPD反而把它拖低到约50，说明弱教师的最终策略是有用监督的糟糕载体。
本文的目标是本文的目标是提出一种弱到强的后训练范式：在便宜的小模型上跑RL，再把那次RL学到的东西廉价地迁移给更强的目标模型，从而避开在大模型上直接跑RL的高昂开销。关键约束是——不假设小教师比学生更强，小模型只是承载RL信号的廉价载体，迁移的应是RL诱导的"改进"而非小模型本身。作者希望迁移成本远低于直接在大模型上跑RL：理想情况下，仅用8张A100、约4小时的迁移阶段，就能达到直接在大模型上跑RL（如Polaris用32张A100跑一周）相当的效果，并且能让学生在已超过post-RL教师的情况下仍获得增益，而非被弱教师拖累。
与已有工作不同的是，本文的独特切入角度是"迁移教师的策略位移，而非教师的最终策略"。具体地，用post-RL教师 $\pi_T$ 与其pre-RL参考 $\pi_{Tref}$ 的对数比定义教师策略位移 $\Delta_T(y|x)=\log\pi_T(y|x)-\log\pi_{Tref}(y|x)$，它为正表示RL使其更可能的响应、为负表示被抑制的响应；这一减法把小模型在RL前就已偏好的内容丢弃，只保留RL改变的部分。更关键的是，借助"策略即奖励"恒等式（与DPO同源），这个位移在数学上等价于训练小模型所用的奖励（差一个正尺度与每prompt常数）。因此一对小模型checkpoint就直接在策略空间里存储了RL的监督信号。与所有模仿或逼近教师最终策略的工作不同，本文读取并迁移的是这个隐式奖励，并在学生自己的on-policy状态上施加，无需训练显式奖励模型、也无需在目标模型上跑稀疏奖励RL。
核心方法
Direct-OPD的整体思路是"在便宜处跑RL，在昂贵处只做廉价迁移"。它需要一对小模型checkpoint作为教师——RL前的参考 $\pi_{Tref}$ 和RL后的 $\pi_T$——外加一个待训练的学生及其初始化 $\pi_S$。训练时，学生从自身当前策略 $\pi_\theta$ 采样rollout，在每个访问到的前缀处同时查询两个教师checkpoint，计算它们在该token上的对数差作为逐token的密集"奖励"，用这个奖励在学生自己访问的状态上推动学生，并用一个KL项把学生锚定在其初始化 $\pi_S$。直觉上，一对checkpoint在策略空间里记录了"RL让小模型更可能做什么、更不可能做什么"，Direct-OPD直接把这个方向移植到学生自己的状态上。技术路线上，它完整继承了在策略蒸馏的on-policy、top-k接口，只在"从教师读取什么信号"这一点上与标准OPD分道扬镳，并配以一个由密集奖励符号驱动的自适应KL控制器来稳健迁移，训练horizon仅用2k token的短响应。
核心创新点是把"教师的RL诱导策略位移"当作可迁移的隐式奖励，这与现有蒸馏工作的本质区别在于读取的信号不同。标准OPD与所有知识蒸馏都让学生去匹配（或超越）教师的最终输出分布；当教师是更弱的post-RL小模型时，这会把小模型的能力上限也一并引入、甚至覆盖学生更强的行为。Direct-OPD则对比小模型自身RL前后的状态，用位移 $\Delta_T=\log\pi_T-\log\pi_{Tref}$ 隔离出纯RL增益。关键的理论支撑是KL正则化RL的最优解闭式形式 $\pi^*\propto\pi_{ref}\exp(r/\beta)$ 给出 $\log(\pi^*/\pi_{ref})=\frac{1}{\beta}(r-\log Z)$，即策略/参考对数比在去掉每prompt常数后正比于奖励。本文把这条DPO所用恒等式反向使用：不再从偏好拟合策略，而是从已有的post-RL checkpoint与参考中把奖励"读回来"，于是一对小模型checkpoint就等价于一个免费的、密集的、逐token的隐式奖励模型。
方法步骤详情
方法分七步。第一步定义教师策略位移 $\Delta_T(y|x)=\log\pi_T(y|x)-\log\pi_{Tref}(y|x)$。第二步写序列级目标 $J=E_xE_{y\sim\pi_\theta}[\Delta_T-\alpha D_{KL}(\pi_\theta\|\pi_S)]$，它是以学生初始化 $\pi_S$ 为参考的KL正则化RL目标，最优解 $\pi^*\propto\pi_S(\pi_T/\pi_{Tref})^{1/\alpha}$。第三步把序列位移精确分解为逐token奖励 $r_t(v)=\log\pi_T(v|s_t)-\log\pi_{Tref}(v|s_t)$，用零折扣逐token代理。第四步做top-k动作空间限制：取学生top-k支撑集 $S_t=TopK_v\pi_\theta(v|s_t)$ 并重归一化。第五步用解析的top-k策略梯度——因每个前缀上已有完整top-k奖励与概率，故把单token蒙特卡洛估计换成在受限分布上的期望（Rao-Blackwell化），权重 $\bar{p}_t(v)$、奖励 $r_t(v)$。第六步对权重stop-gradient得静态系数 $Aw_t(v)=stop\_gradient(\bar{p}_t(v)\cdot r_t(v))$，避免softmax Jacobian注入额外项。第七步自适应KL控制 $\alpha_{m+1}=clip(\alpha_m(1+\epsilon\cdot sgn(\bar{r}_m)),0.5,2.5)$，默认 $\epsilon=0.01$，$\bar{r}_m$ 为batch级学生加权位移均值，KL项用verl框架标准实现解析施加。
技术新颖性
技术新颖性体现在四点。第一，反向使用"策略即奖励"恒等式：DPO用该恒等式从偏好拟合策略，本文反过来从一对已训练的小模型checkpoint读出密集、逐token的隐式奖励，无需训练显式奖励模型、也无需在目标上跑稀疏奖励RL。第二，把迁移对象从"教师最终策略"改为"教师RL诱导位移"，从而天然规避弱教师的能力上限，使学生即便已超过post-RL教师仍能受益——这是与所有模仿/逼近教师最终分布的蒸馏工作的本质区别。第三，提出一个由密集奖励符号驱动的自适应KL控制器（区别于标准面向目标KL值的自适应控制器），用来对抗教师奖励尺度不可观测导致的迁移尺度失配。第四，实证揭示Direct-OPD不需要"师生top-k高重叠"这一标准OPD成功条件、能跨思维模式迁移；并用prefix累积间隙诊断证明短horizon训练能改变长rollout行为，揭示了密集奖励与验证准确率在rollout分布上的依赖关系。
实验结果
核心发现围绕三个研究问题。RQ1（弱教师能否提升已超过教师的学生）：用R1-Distill-1.5B→JustRL-1.5B迁移给三个学生——Qwen3-1.7B在AIME 2024从48.3升到58.3（+10.0）；Qwen3-4B从72.5升到77.6（+5.1）；R1-Distill-7B从56.7升到63.1（+6.4），后两者起点已远超post-RL教师（51.3）。换用Nemotron→QuestA这组不同流水线的教师对，同样改善Qwen3-1.7B（+10.7）与R1-Distill-7B（+4.9），证明效果不限于单一教师族。RQ2（弱到强路径是否优于直接大模型RL）：在等RL步数下，先在1.5B上跑1500步RL（约160h/32×A100）再迁移（约4h/8×A100），其7B成绩优于直接在7B上跑RL（约320h），wall-clock曲线上T600–T1500点位于直接RL之上；Qwen3非思考模式下1.7B跑100步RL再迁给4B即达直接4B RL的0.635水平。RQ3（能否顺序组合多个位移）：Qwen3-1.7B上先迁JustRL再迁QuestA，AIME 2024从48.3经58.3升至63.8（累计+15.5）。分析还表明：效果不需师生top-k高重叠、可跨思维模式迁移；2k短horizon训练反而比6k更好（验证48.8 vs 45.6）且能改变更长rollout行为；最优KL因对而异，自适应KL会把密集奖励均值拉回近零的平衡区。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2024 弱到强迁移（Qwen3-1.7B，JustRL教师对） | ave@32 准确率（%） | Direct-OPD 迁移后 58.3 | 初始 48.3（post-RL教师仅 51.3） | +10.0 个百分点 |
| AIME 2024 弱到强迁移（R1-Distill-7B，JustRL教师对） | ave@32 准确率（%） | Direct-OPD 迁移后 63.1 | 初始 56.7；vanilla OPD 反降至约 50 | +6.4 个百分点（且超越 post-RL 教师 51.3） |
| 等步数预算：弱到强迁移 vs 直接大模型 RL（R1-Distill-7B） | AIME 2025 准确率（wall-clock 匹配） | 先小模型 RL 再 Direct-OPD 迁移（T600–T1500） | 直接在 R1-Distill-7B 上跑 RL | 同等 wall-clock 下迁移路径准确率更高 |
| 计算成本（Qwen3-1.7B 提升 AIME 2024） | 算力/时间 | Direct-OPD 约 4 小时 / 8×A100 | Polaris 直接跑 RL 约 1 周 / 32×A100 | 达到相近提升（48.3→58.3）但算力低一个数量级 |
局限与改进
作者明确承认信号是有条件的：当教师/参考的改进在学生实际访问的状态上不具意义时Direct-OPD会失败，且最优响应长度与KL强度仍依赖具体的教师-学生对，需要针对调整。本文观察补充几点：所有结果只在数学推理（AIME 2024/2025）上验证，未覆盖代码、科学问答等其他可验证领域，泛化性证据有限；教师对需要预先在小模型上跑完整RL（如160小时/32×A100），迁移虽便宜但"总成本"仍可观，论文把弱到强路径的总wall-clock（小模型RL+迁移）与直接大模型RL比较，结论依赖小模型RL已可被复用的前提；顺序组合的"阶段边界存在小不连续"反映评估方差，长链组合的稳定性未充分论证；自适应KL控制器仅用密集奖励符号，设计较启发式，缺乏理论最优性保证。
独立分析的弱点
第一个弱点是评估范围窄：仅在AIME 2024/2025两个数学基准上验证，没有代码生成（如HumanEval/LiveCodeBench）、多步工具使用、科学问答等同样"可验证"的任务，无法判断位移迁移是否对非数学推理同样有效——改进方向是在更广的RLVR任务族上验证，并报告迁移后是否保持非目标任务的通用能力。第二个弱点是"总成本"叙事：迁移阶段虽仅4小时/8×A100，但前提是已有一组在小模型上跑完的RL checkpoint（1500步约160小时/32×A100），若教师RL不能被多个学生复用，性价比下降——改进方向是研究单次小模型RL能服务多少异构学生、以及能否增量复用。第三个弱点是超参敏感：最优响应长度（2k）与KL系数均因对而异、需逐一搜索，工程上不便——改进方向是把自适应KL从"符号驱动"升级为面向验证曲线的控制器，或自动搜索响应长度。第四个弱点是可靠性诊断缺失：论文指出位移在学生离分布变远时变得不可靠，但训练中没有可信的早停/失败信号——改进方向是引入在线的"教师/参考置信度"门控，在不可靠状态上降低权重。
未来方向
作者提出的未来方向包括：研究位移信号在何种学生访问状态上可靠（论文已初步给出KL与响应长度条件，但未给完整理论刻画）；扩展到更多教师对与更广任务族，验证"可复用改进信号"假设的边界。基于成果可延伸的方向有：第一，把顺序组合推广为"多教师位移并行或加权融合"，研究不同RL run学到能力的互补性与组合算术。第二，将Direct-OPD与显式奖励/过程奖励结合，用隐式位移奖励作为冷启动、再用少量可验证信号精修，降低纯位移迁移在边缘情形的失效。第三，把"策略位移即奖励"推广到除RLVR外的后训练场景（如偏好对齐、安全微调），考察post-SFT/post-DPO与其参考的位移是否同样可迁移。第四，理论上刻画"弱到强迁移成立的充要条件"，把KL系数、响应长度、教师/学生容量差等与可迁移性联系起来，给出可计算的可靠性度量。
复现评估
复现评估中等偏上。论文提供了项目主页（https://bytedtsinghua-sia.github.io/Direct-OPD/）和联系邮箱，但正文未明确给出代码/权重开源承诺，也未附完整超参表与训练配置附录（至少在所给文本范围内未见）。所用资产多为公开模型族：学生Qwen3-1.7B/4B、R1-Distill-7B，教师对R1-Distill-1.5B→JustRL-1.5B、Nemotron-1.5B→QuestA-Nemotron-1.5B，训练数据为公开DAPO数据集，训练框架为开源verl。算力需求方面，迁移阶段便宜（约4小时/8×A100），但教师RL阶段需要约160小时/32×A100，对小团队仍是不小门槛。方法描述较完整（目标函数、top-k估计、stop-gradient、自适应KL控制器公式与默认值 $\epsilon=0.01$、$[0.5,2.5]$ 均给出），理论上可按论文复现，但最优响应长度与KL需按教师-学生对重新搜索，复现成本与调参工作量不可忽视。
论文图表
训练中师生top-k重叠率曲线，分别对比post-RL教师（实线）与教师参考（虚线），左JustRL对、右QuestA对。模式对齐的R1-Distill迁移进入更高重叠区（符合标准OPD直觉），而跨模式的Qwen3迁移重叠率保持较低、且与教师参考的重叠也未补偿性上升。
揭示Direct-OPD区别于标准OPD的关键机制——它不依赖、也不导致对教师高概率token的渐进模仿，而是在学生自身支撑内用位移信号给动作排序。
上行迁入Qwen3-1.7B、下行迁入R1-Distill-7B，各列依次为学生熵、post-RL教师熵、教师参考熵、教师减参考的熵差。结果显示学生actor熵保持受控、未坍缩，而教师/参考熵差随训练收窄。
排除'低重叠迁移是熵坍缩/平凡锐化'的退化解释，佐证机制是把位移信号施加在学生分布内而非复制教师策略。
在固定KL=1下扫描响应长度512/2k/4k，报告AIME 2024/2025平均验证准确率（ave@32）。2k设置在Qwen3-1.7B与R1-Distill-7B上给出最稳定的验证曲线；更短或更长的rollout均不能稳定改进。
给出关键工程结论与超参敏感性的证据——中等响应长度（2k）在避免长响应噪声的同时捕获足够信号，支撑短horizon训练的合理性。
在64条固定长rollout上跟踪prefix累积间隙 $G_T=\sum_{t\le T}g_t$，其中 $g_t$ 在actor的top-16 token上加权 $\log\pi_{JustRL}-\log\pi_{R1}$；$G_T$ 越高表示actor更像post-RL教师。左：未训练Qwen3-1.7B的64条轨迹全部漂负。中：2k/4k/6k训练（40步、KL=1）的actor在全约16k位置上都高于基线，且2k actor越过了其2k训练horizon。右：同checkpoint的AIME 2024/2025验证显示2k最佳（48.8 vs 6k的45.6）。
解释短horizon为何有效——它把可靠的前缀位移方向泛化到更长rollout，而过长horizon会引入不可靠的晚前缀信号反而损害验证。
2k响应下扫描固定KL（0.8/1/1.5/2）并以自适应KL为黑线对比，针对R1-Distill-7B、Qwen3-1.7B、QuestA→Qwen3-1.7B三组。上行AIME 2024/2025验证准确率，下行密集token奖励。最优固定系数因对而异；密集奖励大不等于验证好；自适应KL在初始修正后把密集奖励均值拉向近零。
给出KL为何不只是正则化项而控制奖励可靠性的核心分析，并论证自适应KL控制器的设计动机——把学生保持在教师/参考比较仍有信息量的区域。