基于点互信息的推理强化学习反自蒸馏方法

AntiSD通过反转自蒸馏梯度方向解决推理RL的捷径偏置问题

前置知识

可验证奖励的强化学习(RLVR)

RLVR是一类以最终答案正确性作为稀疏标量奖励的强化学习范式，典型代表是GRPO算法。它对一组采样轨迹计算组内归一化优势$A_i^{seq}=(R_i-\mu_R)/\sigma_R$，用策略梯度优化生成模型。由于奖励只在轨迹终点给出一个比特，token级别的信用分配成为核心难题。

本文AntiSD正是GRPO基础上添加per-token信号的混合方法，必须理解GRPO的优势计算和稀疏奖励机制才能读懂后文式(2)中$A_{i,t}=A_i^{seq}+\lambda\cdot\delta_t$的组合方式。

在线自蒸馏(On-policy Self-Distillation)

自蒸馏用学生自身作教师，但教师额外看到训练时才有、推理时没有的特权上下文$c$。学生$\pi_S(\cdot|x,y_{<t})$采样rollout，教师$\pi_T=\pi_\theta(\cdot|x,c,y_{<t})$同网络做额外前向打分得到per-token信号。

AntiSD直接针对自蒸馏的per-token梯度方向发起挑战，必须先理解$\pi_S/\pi_T$的同源设定才能领会式(4)中$u_t=\log(\pi_T/\pi_S)$为何能闭式化成条件点互信息PMI。

点互信息(Pointwise Mutual Information, PMI)

PMI衡量两事件共现相对独立的对数似然比。自蒸馏中$u_t=\log\pi_\theta(y_t|x,c,y_{<t})-\log\pi_\theta(y_t|x,y_{<t})$即给定上下文的条件PMI，符号决定$c$对token概率是提升还是压制。

PMI是本文Section 3.1的核心数学工具，作者用它精确刻画了默认自蒸馏的捷径偏置——$u_t\gg0$对应Given/Assign等结构连接词被强化，$u_t\ll0$对应Wait/Let/Maybe等审思token被惩罚。

f-散度与Jensen-Shannon散度

f-散度$D_f(P\|Q)=\mathbb{E}_Q[f(P/Q)]$衡量分布差异。JS散度导数$\phi(u)=\tfrac{1}{2}(\text{softplus}(u)-\log 2)$在两端有$\log 2$量级自然界，自动抑制极端token梯度贡献。

AntiSD选择上升JSD而非下降反向KL，关键在于JSD形状天然对过采样的审思侧封顶、欠采样的捷径侧线性，正好对冲自蒸馏的不对称分布问题(观察O2)。

策略梯度的score-function恒等式

$\mathbb{E}_{v\sim\pi}[f(v)\nabla\log\pi(v)]=\mathbb{E}[\nabla f(v)]$使per-token KL梯度闭式化为$-\mathbb{E}[u_v\nabla\log\pi_S]$，$u_t$因此即per-token advantage。

推导式(3)和式(5)都依赖这一恒等式，是把per-token KL/JSD的梯度翻译成实际优化信号的数学桥梁。

研究动机

近两年on-policy自蒸馏成为推理RL的热门方向，但作者在4B到30B的5个模型上反复观察到一个令人困惑的现象：在AIME 2024/2025/2026、HMMT 2025这类高难度数学基准上，默认自蒸馏方法往往跑不过一个强GRPO基线，甚至出现灾难性崩溃。具体来说，Qwen3-8B的GRPO基线在AIME24上达到73.5%准确率，而叠加默认自蒸馏后骤降至40.1%；Qwen3-4B-IT-2507上GRPO为67.8%，自蒸馏后变成59.8%。作者通过对Qwen3-4B-IT-2507在AIME-25上的per-token信号$u_t=t_t-s_t$进行诊断，发现了一个结构性捷径偏置：教师一旦看到验证过的解，就会在Given/Assign/succeeds这类「答案已暗示的结构连接词」上变得高度自信（$u_t\gg0$，红色），同时对Wait/Let/Maybe/Alternatively这类驱动多步搜索的「审思token」大幅降权（$u_t\ll0$，蓝色，部分极端值$u_t\le-20$），于是默认的下降方向把学生推向已经知道答案的捷径，抑制了真正的推理探索。

本文的目标是论文的具体目标有三：(1) 给出自蒸馏per-token信号失效的严格数学刻画，把它证明为条件点互信息PMI并由此暴露捷径偏置的成因；(2) 提出一种drop-in替代方案Anti-Self-Distillation (AntiSD)，用梯度方向反转+JSD封顶+熵触发门控三件套，让训练从第一步起就获得有信息量的per-token信用信号；(3) 在5个4B-30B模型上一致地验证AntiSD能在2-10×更少的训练步内达到GRPO基线的准确率，并把最终精度额外提升2.1-11.5个点。

与已有工作不同的是，现有自蒸馏方法（包括36,7,31,21,30等近期工作）大多共享同一个梯度方向——下降$\pi_S$到$\pi_T$的KL，并且主要在instruction-following、科学QA、工具调用等任务上报告收益，没有触及AIME/HMMT级别的难题。本文与它们的本质差异在于：(a) 把per-token信号解释为条件PMI并揭示了符号错误的结构性根源；(b) 反转梯度方向从第一步起就改变优化语义；(c) 选用JSD+熵门控的组合，天然适配过采样审思侧和欠采样捷径侧的不对称分布，这是简单的符号取反+固定截断所做不到的。

核心方法

AntiSD的直觉可以一句话概括：「既然per-token信号的方向反了，那就把它正过来，并且用JSD的形状防止过度反应，用熵触发门防止信号退化成噪声」。技术上，它在GRPO的轨迹级优势$A_i^{seq}$之上添加一项per-token shaping：把默认的$+u_t$替换为$-φ(u_t)$，其中$φ(u)=\tfrac{1}{2}(\text{softplus}(u)-\log 2)$是JSD的f-散度导数；在梯度层面，这等价于对JS散度做策略梯度上升而非对反向KL做下降；最后用一个基于教师per-token中位熵$H$的施密特触发器，在$H$跌破$\tau_{down}$时关闭AntiSD项，在$H$回升到$H_{warm}$时重新打开，避免教师熵坍塌后$u_t$被数值floor主导而失效。整个方案无需任何额外网络或奖励模型，是默认自蒸馏的直接drop-in替换。

本文的核心创新是把per-token credit assignment的瓶颈从「信号稀疏」重新定义为「信号极性错误+信号不对称」：$u_t=\log(\pi_T/\pi_S)$闭式等于条件PMI的事实，让作者可以严格论证默认$\delta_t=+u_t$必然奖励被特权信息暗示的shortcut token、惩罚驱动搜索的deliberation token，而简单的符号反转又会让优化发散。这一洞察使得「JSD形状+熵门控」成为天然选择：JSD在小$|u|$时近似线性以恢复反向KL行为，在大负$u$端被$\log 2$量级的softplus渐近线封顶以吸收审思侧的heavy-tailed spikes（$u_t\le-20$），在大正$u$端保留线性以惩罚shortcut token。

方法步骤详情

方法分五步。第一步：采样$G$个rollout，若组内有正确解则抽对应解作特权上下文$c$，否则从数据集采解并拼接二进制反馈。第二步：计算学生logit $\log\pi_\theta(y_t|x,y_{<t})$与教师logit $\log\pi_\theta(y_t|x,c,y_{<t})$，得$u_t=t_t-s_t$，学生侧stop-gradient。第三步：按式(6)算$A_t^{AntiSD}=-φ(u_t)$，$φ(u)=\tfrac{1}{2}(\text{softplus}(u)-\log 2)$；与GRPO的$A_i^{seq}$加性组合为$A_{i,t}=A_i^{seq}+λ\delta_t$。第四步：用batch中位教师熵$H$驱动施密特触发器$g$，$H\ge H_{warm}$时$g=1$，$H<\tau_{down}$时$g=0$，$λ=g\cdot\lambda_{max}$。第五步：前$W$步以$λ=0$自动校准$H_{warm}$与$\tau_{down}=0.93 H_{warm}$，0.93跨模型共享，按Algorithm 1执行策略梯度更新。

技术新颖性

技术新颖性体现在三个层面。第一，把per-token KL的闭式gradient通过score-function恒等式化为$-\mathbb{E}[u_v\nabla\log\pi_S]$，从而证明per-token reward本身是条件PMI，这一身份此前在on-policy self-distillation文献中未被显式给出。第二，提出「上升JSD + 熵门控」的组合替代默认的「下降反向KL」，并严格证明$φ(u)\ge-\tfrac{1}{2}\log 2$提供了不对称封顶（仅在heavy-tailed的审思侧），与观察O2直接对应。第三，把门控设计成跨模型自校准的施密特触发器而非超参数网格，使得$\tau_{down}=0.93 H_{warm}$在Qwen3和Olmo-3两个模型族之间无缝迁移，0.93这个magic number无需per-model tuning。

**Figure 2**: Qwen3-4B-IT-2507在AIME-25上的per-token信号$u_t=t_t-s_t$分布

实验结果

主结果见Table 1，三个核心模式成立。(i) 早燃：AntiSD用2-10×更少步达到GRPO精度——Qwen3-4B-IT-2507达10×加速，Olmo3-7B-IT为9.5×，Qwen3-8B为5×，Qwen3-30B-A3B为2.9×，Olmo3-7B-TK为2×。(ii) 最终精度绝对优势：AntiSD在Avg列上比GRPO高+2.1到+11.5点（Qwen3-8B 65.7 vs 57.4 / Qwen3-4B 62.8 vs 51.3 / Olmo3-7B-IT 48.3 vs 43.0 / Olmo3-7B-TK 66.2 vs 64.1 / 30B-A3B 66.8 vs 59.1），5个模型中4个在5个指标全部领先。(iii) 默认SD全面溃败：5个模型上+SD的Avg都低于+GRPO。Figure 3的HMMT25 pass@k显示AntiSD领先从k=1延续到k=32。Table 4的continual AntiSD仅30 post-resume步即达Avg 65.0，6×加速叠加而非替代GRPO。

**Table 1**: 主结果（accuracy %）：5个模型在5个数学基准上的GRPO/SD/AntiSD对比

**Table 2**: Qwen3-8B在代码推理（HumanEval+/MBPP+）上的AntiSD vs GRPO对比

**Table 3**: Qwen3-4B-IT-2507上三个knob的组件敏感性

**Table 4**: Qwen3-8B上的continual AntiSD：从GRPO@200续训50步

查看结构化数据

任务	指标	本文	基线	提升
AIME 2024	avg@32 准确率(%)	78.4 / 76.6 / 62.4 / 77.6 / 79.4	73.5 / 67.8 / 57.0 / 76.5 / 74.1 (GRPO)	+4.9 / +8.8 / +5.4 / +1.1 / +5.3
AIME 2025	avg@32 准确率(%)	73.4 / 70.2 / 49.1 / 75.3 / 75.6	65.2 / 57.7 / 45.3 / 71.7 / 66.8	+8.2 / +12.5 / +3.8 / +3.6 / +8.8
AIME 2026	avg@32 准确率(%)	73.7 / 74.4 / 55.2 / 76.1 / 74.1	64.2 / 63.5 / 52.1 / 75.3 / 65.5	+9.5 / +10.9 / +3.1 / +0.8 / +8.6
HMMT 2025	avg@32 准确率(%)	54.4 / 46.7 / 32.3 / 56.2 / 55.2	39.2 / 34.1 / 31.2 / 50.5 / 42.2	+15.2 / +12.6 / +1.1 / +5.7 / +13.0
MinervaMath	avg@4 准确率(%)	48.5 / 46.4 / 42.4 / 45.8 / 49.7	45.1 / 33.2 / 29.1 / 46.4 / 47.1	+3.4 / +13.2 / +13.3 / -0.6 / +2.6
HumanEval+ (代码)	avg@10 准确率(%)	41.6 (Qwen3-8B)	40.4 (GRPO)	+1.2
MBPP+ (代码)	avg@10 准确率(%)	63.3 (Qwen3-8B)	61.0 (GRPO)	+2.3

局限与改进

作者在论文中明确指出三个局限。第一，PMI刻画的是per-token gradient contribution而非全局最优解性质，组合$A_{i,t}=A_i^{seq}+λ\delta_t$的收敛性分析仍待补充。第二，评估集中在数学推理和有限代码基准，多轮agentic setting和SWE-bench级别代码任务尚未探索。第三，$\tau_{down}=0.93$虽在5个模型间可迁移，但未验证<4B或>30B的泛化。我观察到Qwen3-4B-IT-2507在step 80左右SD行出现熵崩溃（回复长度顶到32K cap），AntiSD的No-gate变体也在~90步崩溃，说明低熵初始点上系统仍脆弱；continual AntiSD在Qwen3-4B上略低于from-base峰值~1pp，提示GRPO策略盆地无法完全吸收deliberation压力。

独立分析的弱点

深入分析，我认为本文存在四个值得改进的弱点。(1) 门控仅在「教师中位熵」一个标量上做决策，未考虑token级别不确定性差异；可改为per-segment自适应门控。(2) 特权上下文$c$的构造（组内正确解+二进制反馈）相对粗糙，对context/reward的边界划分缺乏理论指导；可尝试context-only或reward-only极端版本做因式分解。(3) Continual AntiSD在Qwen3-4B上未完全复现from-base峰值（差~1pp），说明GRPO饱和后策略分布已偏离原出发点，$H_{warm}$重校准可能不够；可引入KL约束或参考策略回拉防止drift。(4) 实验缺少与PRM800K、PRIME等SOTA PRM方法的同条件对比，代码推理实验只在Qwen3-8B单模型做，泛化结论偏弱。

未来方向

作者在Section 6与Appendix E中指出了两个自然延伸方向：多轮agentic setting和更广的代码基准。从结果出发我认为还有几条可走的路。(a) 把AntiSD的per-token shaping形式推广到非数学领域，比如开放式对话、检索增强生成、多模态推理，看JSD形状是否仍能封住heavy-tailed bias。(b) 把熵门控替换为更精细的信号质量度量，例如$\pi_T$对$\pi_S$的KL、token级别置信区间、或一个轻量级value head，把施密特触发器升级为连续加权函数。(c) 在更大的模型（>30B）和RLHF后期阶段验证AntiSD是否仍提供增量收益，特别是DAPO-Math-17k之外的训练分布迁移。(d) 把per-token reward的PMI身份用作可解释性工具，反向分析训练过程中token级别偏置的演化路径，构建「推理过程诊断仪表盘」。(e) 把AntiSD与过程奖励模型PRM正交叠加：前者提供deliberation压力、后者提供步骤正确性信号，二者的组合可能进一步突破GRPO的信用瓶颈。

复现评估

复现评估整体良好。GitHub（github.com/FloyedShen/AntiSD）和W&B（wandb.ai/brain-cog/AntiSD）公开代码与实验记录，覆盖Qwen3家族（4B/8B/30B-A3B）和Olmo-3家族（7B-IT/7B-TK），数据集DAPO-Math-17k与AIME/HMMT/Minerva/HumanEval+/MBPP+等基准均公开。代码基于verl[24]框架，continual AntiSD的checkpoint继承逻辑清晰。算力门槛是主要障碍：5个模型各跑200步on-policy RL，最大到30B MoE，单实验需数十到上百张A100/H100，2-10×的speedup主要节省训练时间。Appendix C给出教师prompt完整示例但特权上下文采样逻辑与gate的5步warmup需读源码；Table 3的Div/$\tau_{down}$/Compose三knob敏感性实验提供了基础超参搜索范围。最具挑战的是No-gate变体在Qwen/Olmo上的不同失败模式，需扫描完整曲线才能观察。

基于点互信息的推理强化学习反自蒸馏方法 Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information