自蒸馏 RLVR：用证据比调幅、环境奖励定向，破解自蒸馏特权信息泄漏难题 Self-Distilled RLVR
自蒸馏只控更新幅度，环境奖励锚定方向
前置知识
RLVR（可验证奖励强化学习）
RLVR 是一类使用可自动验证的结果（如数学题答案正确性）作为奖励的后训练范式。它不依赖人类偏好标注，而是用规则式 verifier 给每个 rollout 输出二值奖励 R(x,y) ∈ {0,1}。GRPO（Group Relative Policy Optimization）是其代表方法：对同一问题采样 G 个回答，用组内均值 μG 和标准差 σG 归一化得到序列级优势 A(i) = (R(x,y(i)) - μG)/σG，然后用 PPO 风格的裁剪代理目标更新策略。
本文的基线方法和改造对象都是 RLVR/GRPO，必须理解 sequence-level advantage（每个回答共享一个标量优势）的稀疏信号本质，否则无法体会 RLSD 要解决的 token-level credit assignment 问题。
On-Policy Distillation (OPD) 与 Self-Distillation (OPSD)
OPD 让一个固定教师模型在学生自己采样的轨迹上提供逐 token 的监督信号（通常是 KL 散度或 JS 散度），属于 on-policy + dense token-level 信号。OPSD 是其轻量化变种：教师与学生是同一个模型 π_θ，但教师额外获得特权信息 r（如参考答案或 verifier 反馈），即 P_T(·|x,r,y<t) vs. P_S(·|x,y<t)。OPSD 无需外部教师，但学生永远无法看到 r。
RLSD 直接从 OPSD 改起，必须先理解为什么把同一模型在有/无 r 的两种条件下当作教师/学生会引发信息不对称问题——这是本文定理 1 的前提。
特权信息泄漏（Privileged Information Leakage）
指模型在训练时学会了利用某种上下文信号 r（如参考答案），但在推理时 r 不可用，因此表现崩盘。具体表现为模型输出中出现「参照解 says ...」、「the reference solution ...」之类的显式引用，或在内部表示里把 r 编码进参数。论文用 leakage count（每条轨迹中泄漏标记词出现的次数）作为量化指标。
这是 OPSD 的核心症状，本文 Figure 2 给出了示例，Figure 3(a) 显示泄漏随训练单调上升，理解它才能看懂 RLSD 为什么必须把 r 从更新方向中隔离。
策略梯度与 token-level advantage
策略梯度统一形式为 ∇θ J ∝ E[Σ_t Â_t ∇θ log π_θ(y_t | x, y_<t)]，其中 Â_t 是 token 级别的优势估计。GRPO 把 Â_t 设为与位置无关的常数 A，OPSD 用教师对数比 Δ_t = log P_T(y_t) - log P_S(y_t) 作为 Â_t。RLSD 则设计为 Â_t = A · clip(exp(sign(A)·Δ_t), 1-ε_w, 1+ε_w)。
三种方法的本质差异全部体现在 Â_t 的设计上，掌握统一模板才能看清 RLSD 在 GRPO 和 OPSD 之间的精确定位。
互信息 I(Y_t; R | X, Y_<t)
互信息衡量给定上下文 (x, y_ 0 表示教师的逐 token 预测存在学生无法消除的依赖结构。论文定理 1 把 OPSD 损失分解为理想损失 L* 加上这个互信息项。
这是本文理论分析的关键数学量，理解 KL 分解恒等式 L_OPSD = L* + I(Y_t; R | X, Y_<t) 是看懂整篇论文形式化论证的门槛。
研究动机
近一年里，On-Policy Self-Distillation (OPSD) 因其「同模型当教师与学生」的高效训练范式而备受关注——它在 Qwen3-VL 等模型上能以远低于 GRPO 的代价提供 dense 的逐 token 监督。然而作者在 Qwen3-VL-8B-Instruct 上的实验揭示了一个系统性失败模式：OPSD 在 10-20 步内就达到验证集峰值（Figure 1(a) 红线），随后性能单调下滑；同时 Figure 2 显示模型在推理时开始显式引用「the reference solution says ...」这种特权信息；Figure 3(a) 量化显示泄漏词频随训练步数从接近 0 上升到 30 多次/100 步。Figure 3(c) 更进一步指出 OPSD 下师生 KL 散度在最初几步后即停滞不再下降，说明存在一个学生无法跨越的下界。这种「早收敛 → 退化」的曲线使得 OPSD 实际不可用，更糟的是作者用 Teacher's Top-1、Student's Top-1 等三种变体（Figure 3）证明：只要 r 进入梯度的方向项，泄漏就不可避免——损失压缩方式无法拯救这个结构性缺陷。
本文的目标是作者希望在保留 OPSD 高 token 效率的同时彻底消除泄漏与性能退化。具体目标有三点：(1) 在理论上形式化 OPSD 失败的结构性根因，给出不可消除的互信息下界；(2) 设计一种新范式，使得更新方向完全由环境 verifier 锚定，更新幅度才由教师信号调控，从而把特权信息「隔离」在方向项之外；(3) 在多模态推理基准上以 GRPO 同等算力（仅多一次 forward pass）证明所提方法稳定优于 GRPO、OPSD、SDPO 与 GRPO+OPSD 等所有强基线。
与已有工作不同的是，已有工作要么停留在 OPD（依赖外部大教师，算力高且要求师生同词表，如 MIMO-v2-Flash 中的 MOPD），要么用 OPSD 的 distribution matching 形式（GRPO+OPSD、SDPO），都没意识到「教师使用学生看不到的特权信息」这一信息不对称本身就是结构性病灶。TRRD 等同期工作虽然也指出 KL 与奖励的加性冲突，但仍在 trust region 锚上做加性插值，没能从「方向 vs. 幅度」的非对称需求这一根本视角重写 advantage 函数。本文首次给出 KL 分解定理把病灶锁定在互信息项上，并提出方向-幅度解耦的 RLSD 作为首个结构性解药。
核心方法
RLSD 的核心直觉可以用一句话概括：把「要往哪走」和「每步迈多大」这两件事拆给两个不同信号负责。环境 verifier（像 GRPO 一样给 0/1 奖励）天然可靠但稀疏，它只能告诉整条轨迹对不对，无法分辨某个 token 是关键推理还是套话；教师自蒸馏信号天然 dense 且逐 token，但它被特权信息污染，不能直接当方向。RLSD 因此设计了一个特殊的 advantage：方向由 sign(A)（来自 verifier 的组相对优势）单独决定，保证一旦答案错了整条轨迹都被惩罚；幅度则由证据比 w_t = P_T(y_t)/P_S(y_t) 控制——当 A>0 时，r 偏好的 token 拿到更大权重（wt = P_T/P_S），当 A<0 时取倒数，把最大惩罚集中到 r 也最不喜欢的 token 上。整个设计可以无缝插入 GRPO 的代理目标，只多一次 teacher-mode forward pass。
RLSD 的本质创新是把「教师分布 P_T」的角色从「要模仿的生成目标」改成「逐 token 信用分配的标量乘法器」。具体地，定义 privileged information gain Δ_t = sg(log P_T(y_t) - log P_S(y_t))，stop-gradient 阻断其反向传播；再构造 w_t = exp(sign(A)·Δ_t) = (P_T/P_S)^{sign(A)}，使得 wt > 0 严格保持 sign(A) 不变；最终 advantage 形如 Â_t = A · clip(w_t, 1-ε_w, 1+ε_w) · ((1-λ)+λ·...) 并线性插值 λ 从 0.5 衰减到 0 以平稳切换。这一形式与传统 GRPO（Â_t = A）与 OPSD（Â_t = Δ_t）的关键区别在于：verifier 奖励通过 A 与 sign(A) 决定 token 收益的正负，教师信号仅调制同一符号内的相对大小，从结构上断绝了 r 进入更新方向的可能性（论文附录 A.6 给出形式证明）。
方法步骤详情
完整 RLSD 训练流程（Algorithm 1）共四步。Step 1 On-policy rollout：对 batch 内每个问题 x 配以其对应的特权信息 r（注意：RLSD 只需 ground-truth 最终答案，不需完整推理链），用当前策略 π_θ 采样 G 条回复 y^(1..G)。Step 2 计算 sequence-level advantage：把 G 条回复送入 verifier 得二值奖励 R(x, y^(i))，按 GRPO 公式 A^(i) = (R(x,y^(i))-μ_G)/σ_G 计算组相对优势。Step 3 token-level 信用重分配：对每条回复 y^(i)，做一次 teacher-mode forward pass（即把 r 也喂入上下文）得到 P_T，逐 token 计算 Δ_t^(i) = sg[log π_θ(y_t^(i)|x,r,y_<t) - log π_θ(y_t^(i)|x,y_<t)]；接着按 sign(A^(i)) 取 w_t^(i) = exp(sign(A^(i))·Δ_t^(i))，clip 到 [1-ε_w, 1+ε_w]（论文 ε_w=0.2），再乘 A^(i) 并与常数项线性插值（λ 从 0.5 线性衰减到 0 over 前 50 步）。Step 4 策略更新：把 Â_t^(i) 直接替换 GRPO 目标 L_GRPO 中的常数优势，按标准 PPO 裁剪 (ε_low=0.2, ε_high=0.28) 做梯度上升。整个流程相比 GRPO 仅多一次 teacher-mode forward pass，且每 10 步把教师参数同步到学生参数并冻结之，以保证 P_T 不被自身更新扰乱。
技术新颖性
技术新颖性体现在三个层面。理论层面，本文首次给出 OPSD 损失与理想 marginal matching 损失的 KL 分解恒等式 L_OPSD = L* + I(Y_t; R | X, Y_<t)（定理 1），并证明 I 独立于 θ，从而构成 OPSD 的不可消除下界；进一步在 per-sample 梯度上分解出偏差项 δ(θ;r)，证明其方差正比于 Var_r[P_T(·|r)]，即与互信息同向增长，由此统一解释了「早收敛-晚退化」的两阶段现象（命题 1）。方法层面，本文首次把策略梯度中更新方向与更新幅度的非对称需求显式化为 sign(A) · |log P_T/P_S| 的乘性解耦，并通过贝叶斯视角证明 P_T/P_S 等价于后验-先验比 P(r|x,y_≤t)/P(r|x,y_<t)（定理 4），把自蒸馏信号从「要模仿的目标」重新诠释为「证据支持的强度」。实验层面，本文首次系统比较了完整 OPSD、Teacher's Top-1、Student's Top-1 三种 leakage bandwidth 不同的变体，给出了「只要 r 进入梯度方向，泄漏就不可避免」的实证判据，并提出 RLSD 作为唯一同时满足 on-policy + 高 token 效率 + 富信号 + 环境锚定四项的范式（Table 1）。
实验结果
论文在 Qwen3-VL-8B-Instruct 上以 MMFineReason-123K 为训练集、训练 200 步，在五个多模态推理基准上报告结果（Table 2）。整体看 RLSD 平均准确率达到 56.18%，相比 Base LLM (51.49%) 提升 4.69%，相比 GRPO (53.86%) 提升 2.32%，相比 GRPO+OPSD (52.91%) 提升 3.27%，是所有方法中最优。逐基准拆解：MMMU 上 RLSD 达到 67.22%，比 GRPO 高 2.11 个百分点；MathVista 上 RLSD 78.10% 比 GRPO 高 1.90%；MathVision 上 RLSD 52.73% 比 GRPO 高 3.91%，是单点提升最大的项目；ZeroBench 上 RLSD 24.85%，仅次于 SDPO 的 25.15%，但 RLSD 在其他四项都领先；WeMath 上 RLSD 58.00% 比 GRPO 高 1.43%。训练动态方面（Figure 5）：RLSD 在初始上升斜率上比 GRPO 更陡，且收敛上限明显更高；entropy 动态上 GRPO 出现快速熵塌陷，而 RLSD 通过 token 选择性强化维持了更高熵水平；credit assignment 的 clip ratio 稳定在 3-6% 之间，说明裁剪机制持续生效，充当 trust region 约束。Case study（Figure 6）进一步可视化：在正确数方块案例中，RLSD 把最大 credit 放在「识别黄方块 + 做减法」等关键 token；在错误条形图案例中，最大 blame 集中在「3x=28.5」与「x=9.5」这两个错误 token 上，证明其 credit 分配确实聚焦在决定正确性的关键位置。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMMU 多学科多模态推理 | 准确率 (%) | 67.22 | 65.11 (GRPO) | +2.11 |
| MathVista 视觉数学推理 | 准确率 (%) | 78.10 | 76.20 (GRPO) | +1.90 |
| MathVision 高难度竞赛级视觉数学 | 准确率 (%) | 52.73 | 48.82 (GRPO) | +3.91 |
| ZeroBench 前沿模型挑战基准 | 准确率 (%) | 24.85 | 22.60 (GRPO) | +2.25 |
| WeMath 结构化数学推理 | 准确率 (%) | 58.00 | 56.57 (GRPO) | +1.43 |
| 五基准平均准确率 | 准确率 (%) | 56.18 | 53.86 (GRPO) | +2.32 (相对 Base +4.69) |
局限与改进
作者在第 8 节明确承认本文实验聚焦于多模态推理场景，纯文本推理、视频理解、以及非 Qwen 系列模型的实验仅做了初步验证，将在未来版本补全；此外 v2 版本实验量有限，主要做概念验证。结构上还有几个值得讨论的限制：(1) RLSD 仍依赖特权信息 r 的存在（即使是简单的 ground-truth 答案），因此无法完全无监督地训练，而 GRPO 只需要 verifier；(2) 当 r 与 x 关联很弱时（如无法提供任何 privileged hint），Δ_t 会退化为 0，方法等价于 GRPO，没法在那种场景下发挥优势；(3) 教师每 10 步才同步参数，这个频率是经验值，没有给出最优同步频率的理论或消融；(4) 论文只在 8B 规模上验证，缺少更大模型（如 70B+）或更小模型（<2B）上的稳定性证据；(5) λ 调度从 0.5→0 over 50 步的设置未做消融，对长程训练的影响未知。
独立分析的弱点
独立分析论文设计与实验，有以下几个相对薄弱之处。第一，定理 1 假设 P(r|x) 非退化，但在实际数据集 MMFineReason-123K 中每个 x 只配一个 r，理论上是非退化的现实近似，「I 独立于 θ」这一核心论点对有限样本场景的鲁棒性未做实验验证。第二，per-sample 梯度分解（命题 1）证明 δ 的方差正比于 Var_r[P_T]，但作者没给出该方差的上界控制策略，只能靠后续 clip；若有 r 高度噪声的场景，clip 可能频繁触发导致退化为常数 advantage。第三，leakage 的量化指标是「the reference solution」之类的显式词频，但更隐蔽的泄漏（如参数空间里 x→r 的隐式编码）不一定能被这个指标捕获，论文缺少对隐式泄漏的检测手段。第四，对比实验里 GRPO+OPSD 用了「调好的权重」但权重选择细节没披露，无法判断 GRPO+OPSD 的弱是结构性的还是调参不充分。第五，方法依赖 teacher mode forward pass 必须用同一模型同时看到 (x, r) 与 (x)，这对架构有要求——若模型不支持可变长 prefix 拼接或前缀缓存，实现成本会显著上升。改进方向分别是：引入多 r 采样估计 I 的近似值；为 Δ_t 设计方差正则项；用 probing 或激活模式相似度检测隐式泄漏；为 GRPO+OPSD 做更彻底的网格搜索；提供 prefix caching 的工程模板。
未来方向
作者在第 8 节预告了若干后续工作：(1) 把 RLSD 扩展到纯文本推理、视频理解、Qwen 之外的模型家族（如 LLaMA、InternVL 系列）；(2) 用更多基准、更长训练 schedule（>200 步）验证长期稳定性。基于本文成果还可以延展出几条值得探索的方向：一是把 RLSD 的「方向-幅度解耦」原则应用到其他 RLVR 变体（如 DPO、SimPO），构造更通用的信用分配框架；二是研究当 r 质量参差不齐（如噪声参考解）时，Δ_t 的鲁棒化方案——例如引入 trust ratio 或置信度加权；三是把 P_T/P_S 的贝叶斯解释（定理 4）用于在线课程学习，根据 I(Y_t; R|X) 动态筛选对当前模型最有信息量的特权信息；四是探索完全无 r 的自蒸馏版本（例如把 r 换成学生自己上一轮的 rollout，类似 SDPO 的设置但保留 RLSD 的乘法形式）；五是拓展到多模态 RLHF 场景，把人类偏好作为额外信号叠加在 verifier reward 之上。
复现评估
复现性整体良好但仍有门槛。论文基于开源框架 VERL 与 EasyR1 实现，核心超参与训练设置全部披露：Qwen3-VL-8B-Instruct 基座、MMFineReason-123K 训练集（基于 MMFineReason-1.8M 经 Qwen3-VL-4B-Thinking 四次推理失败筛选）、上下文长度 8192、prompt 4096、response 4096、batch size 256、group size G=8、温度 1.0、GRPO 学习率 1e-6、OPSD/SDPO 学习率 1e-5、PPO 裁剪 ε_low=0.2 ε_high=0.28、teacher 每 10 步同步、ε_w=0.2、λ 从 0.5 线性衰减到 0 over 前 50 步、4 节点 × 8× H200 140GB GPU。算法流程已在 Algorithm 1 中以伪代码形式完整给出。复现难度主要在算力门槛——32 张 H200 完整跑完多组对比实验成本极高，且实验对比覆盖 5 个基线方法（GRPO、OPSD、SDPO、GRPO+OPSD + Base），每个都要重训到 200 步。此外 OPSD 的「verified reasoning traces」需要先用 Qwen3-VL-235B-A22B-Thinking 蒸馏并验证正确性，这一步依赖一个超大教师模型，是外部资源瓶颈。论文当前未公开训练代码与最终 checkpoint。
论文图表
左图(a) 给出验证集平均性能随训练步数的变化曲线，OPSD（红线）在前 10-20 步达到峰值后单调下滑，而 RLSD（蓝/绿线）继承 GRPO 的稳定性且收敛上限更高；右图(b) 给出在五个推理基准上的最终对比，RLSD 在 200 步时已超过 GRPO 训练 400 步的结果，展示更快收敛。
这是整篇论文最核心的「主结果图」，一眼就能看到 RLSD 相对 OPSD 与 GRPO 的双重优势——既稳定又更高，对应 motivation 中 OPSD 性能崩塌问题与 method 中方向-幅度解耦的有效性。
展示 OPSD 训练后模型在「样本均值是否在总体均值 $1 范围内」这道题上的输出片段，模型显式写出「the reference solution uses 9 values」「the reference solution says 'No'」等字样，而这些 reference 在推理时不可见。
这是「特权信息泄漏」最直观的定性证据，对应 motivation 中关于 OPSD 系统性失败的描述，让读者立刻理解为什么必须把 r 从更新方向中隔离。
三子图：(a) 三种 OPSD 变体（full、Teacher's Top-1、Student's Top-1）在 100 步训练中泄漏词频全部单调上升，其中 Teacher's Top-1 最严重，Student's Top-1 最轻但仍存在；(b) 验证准确率均先升后降；(c) 师生 on-policy KL 散度在 OPSD 下停滞不降，而 OPD 持续下降，证明确有不可消除下界。
这是支撑定理 1 与命题 1 的核心实证图，也是 leakage bandwidth 概念的实验依据，直接支撑 method 中关于「方向项含 r 必然泄漏」的论证。
21 行伪代码完整描述 RLSD 训练迭代：sample → reward → advantage → teacher forward → Δ_t → w_t → clip → 插值 → 策略更新，每行都对应一段可独立实现的功能块，最后给出最终目标 L_RLSD 的闭式形式。
这是 RLSD 实现层面的「源代码视图」，与方法 steps 字段一一对应，任何想复现的工作都必须以此为蓝图。