负向自蒸馏：通过规避缺陷学会推理 Negative Self-Distillation: Learning to Reason by Avoiding Flaws
让模型自演“粗心推理者”生成负向教师，推开缺陷token的概率分布，无标签提升数学推理
前置知识
On-Policy Self-Distillation (OPSD, 在策自蒸馏)
一种 LLM 自改进范式：模型把特权信息（如 ground-truth 标准答案）拼进提示，让同一模型充当“知道答案的教师”，对自己采样出的推理轨迹提供逐 token 的密集 KL 监督，从而绕开“找外部更强教师”的不现实要求。
本文的出发点正是 OPSD 的缺陷：知道答案的教师会产生人工过度自信、线性直给的轨迹，模仿它会压制探索与自我纠错。NSD 是 OPSD 的“反号”替代方案，不懂 OPSD 就无法理解其对比设计。
RLVR 与 GRPO
RLVR 用可验证奖励（如数学答案对错）做强化学习；GRPO 对每个问题采样一组（如 n=8）轨迹，用组内相对奖励做优势估计。其痛点是过易/过难问题上组内奖励全同导致优势坍缩、梯度消失，且结果级奖励无法做细粒度 credit assignment。
本文基线 Intuitor 和 TTRL 都是 GRPO 变体，且 NSD 的效率优势（每样本 1 条 rollout 对比 8 条、每步 68s 对比 187s）必须放在 GRPO 的 rollout 开销背景下才能理解。
Unlikelihood 训练
Welleck 等人提出的负向目标：最小化 $-\log(1-p_\theta(y_t))$，直接压低不希望出现的 token 的概率。缺陷是对学生本就高置信的 token，损失与梯度会爆炸（$p\to1$ 时趋于无穷），破坏语言先验与训练稳定性。
NSD 的核心损失就是“门控 + Sigmoid 有界化”改造过的 unlikelihood，论文用整节推导其梯度性质，必须先懂原始目标才能看懂改造动机。
前向 KL 散度
$D_{KL}(p\|q)=\sum_v p(v)\log\frac{p(v)}{q(v)}$，衡量用 q 近似 p 的信息损失。本文在采样 token 上做单样本重要性加权估计：$L_{KL}=\pi_{ref}(y_t)\log\frac{\pi_{ref}(y_t)}{\pi_\theta(y_t)}$，避免昂贵的全词表计算。
它是 NSD 总损失中的正则锚（权重 α=0.01），把学生拴在参考分布附近；消融实验显示去掉它后训练在约 120 步发生 KL 坍缩与振荡，是稳定性的关键组件。
风格 token 与任务 token
RLCSD 提出的 token 分类：style token 承载语言结构（标点、空格、连接词、停用词），task token 承载推理内容（数字、算符、LaTeX 命令）。已有研究表明蒸馏训练信号常被 style token 主导，学生学到的是文风而非推理。
NSD 门控的有效性就用 style-task 比值来量化（NSD 门控 2.6×–3.5×，远低于 OPSD 的 5.4×，越低越好），这是理解“只罚缺陷、不伤语言先验”这一卖点的核心指标。
Avg@8 与 Pass@8
对每题独立采样 8 次：平均正确率叫 Avg@8，衡量平均性能与稳定性；至少一次答对的比率叫 Pass@8，衡量能力上限与输出多样性。
论文主表（Table 1）用 Avg@8，附录（Table 6）补 Pass@8：NSD 在两者上都领先（Pass@8 上 ΔAvg 高达 +9.7%），说明提升不是靠采样运气，两者结合才能完整评估。
研究动机
当前提升 LLM 推理的主流范式各有硬伤。RLVR（如 GRPO）存在两个结构性瓶颈：一是每题要采一整组 rollout（GRPO 类方法 n=8），在过易或过难的问题上组内奖励几乎全同，造成优势坍缩与梯度消失；二是结果级奖励均匀摊到整条序列上，掩盖了细粒度的 token 级 credit assignment。On-Policy Distillation 虽提供密集 token 级监督，但要求一个能力严格更强、且与学生 tokenizer 兼容的外部教师，实践中往往不可得。于是 OPSD 让模型自己当教师，把标准答案作为特权信息拼进提示来生成逐 token 监督。然而近期研究（Kim et al., 2026b 等）发现 OPSD 会严重损害复杂推理：知道答案的教师天然生成“人工自信、线性直给”的轨迹，强迫学生最小化与该分布的散度，等于系统性压制高熵探索、不确定性表达和自我纠错——而“等等，让我再验算一下”这类反思行为恰恰是攻克难题的关键。模仿一个开了上帝视角的完美教师，反而会教坏学生。另一类无标签方案（Intuitor 用自信度、TTRL 用多数投票）又依赖模型对答案对错的自我判断，弱模型自信不等于正确，Intuitor 在 Qwen3-1.7B 上甚至下降 0.5%。
本文的目标是本文要构造一个完全自举、无需标签的推理后训练框架：不使用 ground-truth 答案、不依赖外部教师、也不依赖多数投票或置信度这类基于模型自我判断的伪标签，却能提供稳定、密集、token 级的训练信号。验证目标有三层：其一，在 1.7B/4B/8B 三个规模、七个数学基准（AIME 2024/2025/2026、HMMT 2025、AMC 2023、OlympiadBench、MATH-500）上稳定超越 OPSD、Intuitor、TTRL；其二，不仅不牺牲模型的反思与自我纠错能力，还要显著增强它，避免 OPSD 式的过度自信；其三，保住模型的预训练语言先验（不被 unlikelihood 目标“误伤”语法与标点），同时训练效率要优于 GRPO 类基线——每样本只需 1 次 rollout、不做全词表 logit 对齐。
与已有工作不同的是，本文的独特切入是把自蒸馏的“符号”反过来：既然模仿特权教师会引入过度自信偏差，那就学“避开缺陷”而不是“模仿完美”。具体做法是让模型给自己生成一个题目专属的“负面人设”提示（如“你是一个粗心的学生，经常算错质因数分解，从不验算”），用同一份模型权重在不同上下文下实例化一个负向教师 $\pi_{\text{neg}}$，然后优化学生分布远离它。与 Intuitor、TTRL 不同，NSD 完全不需要模型判断“答案对不对”，只需要模型知道“坏习惯长什么样”——后者要容易得多。与朴素 unlikelihood 训练也不同，NSD 发现“负向教师认为概率高的 token”不都是缺陷（普通语法 token 在两种上下文下都高频），于是用负向教师与良性参考模型的逐 token 概率差做动态门控，只惩罚真正被负面条件抬升概率的 token，从机制上隔离了行为缺陷与语言基础。
核心方法
直觉：人的进步很大程度来自“见过错误、学会规避”——体会过粗心计算的代价，就会主动验算。NSD 把这个直觉工程化为三步流水线。第一步，负向条件生成：对每个无标签问题 $x$，先从学生模型采样初始解答 $y_{\text{init}}\sim\pi_\theta(\cdot|x)$，再用元提示（让模型扮演“数学教育专家+提示工程师”，构造含 persona、trigger、flawed execution、fatal omission 四要素的“定向攻击提示”，明令禁止验算步骤）生成题目专属的负向条件 $n\sim\pi_\theta(\cdot|x,y_{\text{init}})$。第二步，实例化两个冻结教师：参考模型 $\pi_{\text{ref}}$（只看原问题）和负向教师 $\pi_{\text{neg}}$（看问题+负面人设），二者共享完全相同的初始权重，唯一区别是上下文。第三步，NSD 训练：学生对每题只采一条轨迹，逐 token 计算门控 $G_t=\max(0,\pi_{\text{neg}}-\pi_{\text{ref}})$，用 Sigmoid 有界的 unlikelihood 惩罚压低被负面条件抬升的 token，再加权重 $\alpha=0.01$ 的逐点前向 KL 锚定。整个损失只需 3 个标量概率，无需全词表 logit 投影，两次教师前向可并行 prefill。
核心创新是“同权重、异上下文”的对比式负向监督。$\pi_{\text{neg}}$ 与 $\pi_{\text{ref}}$ 权重完全相同，差值 $G_t=\max(0,\pi_{\text{neg}}(y_t|x,n_i,y_{\pi_{\text{ref}}$，说明负面人设专门抬高了它——比如粗心人设会抬高“直接写答案”这类冒进 token——惩罚强度随差距成比例放大。这与 RLCSD 的 style/task token 理论吻合：NSD 门控的 style-task 比值最低（2.6×–3.5×），显著优于熵加权 OPSD（3.9×）与原始 OPSD（5.4×）。第二个关键设计是 Sigmoid 有界惩罚 $L_{\text{GU}}=G_t\cdot 2^{-\pi_\theta}$：对 logit 的梯度为 $G\cdot\frac{\pi_c(1-\pi_c)}{(2-\pi_c)^2}$，当 $\pi_c\to1$ 时梯度趋于 0，天然保护标点等高置信结构 token，把最强梯度留给 $\pi_c\approx0.6$ 的中置信、真正承载推理歧义的 token，从数学上解决了原始 unlikelihood 的梯度爆炸。
方法步骤详情
完整流程（Algorithm 1）：输入无标签数据集 $\mathcal{D}_{\text{raw}}=\{x_i\}$、初始模型 $\pi_{\theta_0}$、KL 权重 $\alpha$。① 冻结两个教师 $\pi_{\text{ref}},\pi_{\text{neg}}\leftarrow\pi_{\theta_0}$。② 对每个问题 $x_i$：学生采样一条推理轨迹 $y=(y_1,\dots,y_T)\sim\pi_\theta(\cdot|x_i)$（Qwen3 非思考模式，最大 4096 token），再基于 $x_i$ 与 $y$ 生成负向提示 $n_i\sim\pi_\theta(\cdot|x_i,y)$（Solution-aware 元提示，输出 2–3 句“定向攻击提示”）。③ 逐 token 处理：取三个标量 $p_{\text{ref}}=\pi_{\text{ref}}(y_t|x_i,y_{<t})$、$p_{\text{neg}}=\pi_{\text{neg}}(y_t|x_i,n_i,y_{<t})$、$p_\theta=\pi_\theta(y_t|x_i,y_{<t})$；计算门控 $G_t=\max(0,p_{\text{neg}}-p_{\text{ref}})$；累加单 token 损失 $L^{(t)}_{\text{NSD}}=G_t\cdot 2^{-p_\theta}+\alpha\, p_{\text{ref}}\log\frac{p_{\text{ref}}}{p_\theta}$。④ 对序列求和得 $J_i$，梯度更新 $\theta$。训练配置：MATH 训练集（丢弃标签），Qwen3-1.7B/4B/8B，2 epochs，batch 32，学习率 $1\times10^{-6}$，$\alpha=0.01$，top-k=32，8×A100 80GB 单机。
技术新颖性
新颖性有四层。范式层面：首个把“自生成负向条件 + token 级门控散度”做成完整无标签自蒸馏框架的工作——与 NSR 等仅用负样本的结果级 RLVR 不同，NSD 在 token 粒度操作且显式隔离语言先验；与 Intuitor/TTRL 等依赖自我判断的方法不同，其信号源自上下文对比而非答案猜测。机制层面：用同权重模型的概率差作门控，本质是对负面条件的逐 token 点态互信息度量，把“缺陷在哪”转化为可计算的分布对比；消融证明其滤除 style token 的能力（2.6×–3.5×）优于熵加权（3.9×）与 OPSD 损失加权（5.4×）。数值层面：Sigmoid 有界 unlikelihood 带来参数免费的隐式梯度衰减——附录 A 证明标准 unlikelihood 梯度 $G\cdot\pi_c/(1-\pi_c)$ 随置信度线性放大并在 $\pi_c\to1$ 时爆炸，OPSD 梯度反而随概率上升（易过学 style token），而 Sigmoid 版峰值落在中置信区、高置信端归零，并在 100 个真实样本的梯度分布中得到验证。工程层面：每样本 1 条 rollout（较 GRPO 类省约 60% rollout 时间）、仅 3 个标量概率、无全词表投影、双教师并行 prefill，每步 68s（wiki-irr 版 54s）对比 OPSD 105s、Intuitor 187s。
实验结果
① 主结果（Table 1，Avg@8 非思考模式）：NSD 在三个规模全部拿下七基准平均最佳：1.7B +2.3%（CI [+0.7,+4.0]，p=0.001）、4B +7.5%（CI [+5.4,+9.5]，p<10⁻⁴）、8B +6.0%（CI [+4.0,+7.9]，p<10⁻⁴）。4B 上 AIME 2024 从 23.8→35.8、AIME 2025 从 20.4→31.3、AIME 2026 从 17.9→29.2、HMMT 从 10.8→16.3、AMC 从 68.8→76.3；8B 上 AIME 2024 从 28.8→39.6。对照基线：4B 最佳基线仅 Intuitor +1.3%，8B 的 OPSD 仅 +0.3%、TTRL −0.1%，1.7B 的 Intuitor 为 −0.5%。② 反思能力（Table 2）：Qwen3-4B 每响应反思 token 均值 NSD 7.5，基座 3.6，OPSD 2.18，Intuitor 0.75——正向基线全面压缩反思，NSD 反而翻倍。③ 变体研究（Figure 4）：question-only 离线策略 ΔAvg 7.3% 接近在线 solution-aware 的 7.8%，最轻量的 wiki-irr 也有 6.6%；离线 solution-aware 最弱（4.5%）。④ 效率（Figure 5）：每步 68s（在线）/54s（wiki-irr）对比 OPSD 105s、Intuitor 187s；n=1 使 rollout 开销较 n=8 基线降约 60%。⑤ Pass@8（Table 6）：ΔAvg +7.2%/+8.3%/+9.7%，8B 的 AIME 2026 从 43.3→60.0，多数基线 Δ≤2.2% 甚至为负。⑥ 思考模式（Table 7）：NSD +3.0%（OlympiadBench 45.9→57.9），Intuitor 因过度思考崩至 −11.3%。⑦ 门控质量（Table 3）：style-task 比 2.6×–3.5× 对比 OPSD 5.4×。⑧ KL 消融（Figure 6）：去掉 KL 后约 120 步 KL 坍缩、门控失活、训练振荡。⑨ 案例（Table 9）：AIME 2025 II #12 基座与 OPSD 均 0/8，NSD 4/8，能显式放弃失败路径改用聚合变量法。⑩ 策略梯度变体（Table 8）：1.7B 下 PG 版更优（wiki-irr +5.0%），wiki-irr 在 PG 下全场最佳（+5.9%/+5.8%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学七基准平均 (Qwen3-4B) | Avg@8 平均绝对提升 ΔAvg | +7.5% (NSD, p<10⁻⁴) | +1.3% (Intuitor, 最佳基线)；OPSD +1.0%，TTRL +0.2% | +6.2 个百分点 |
| 数学七基准平均 (Qwen3-8B) | Avg@8 ΔAvg | +6.0% (NSD, p<10⁻⁴) | +1.9% (Intuitor)；OPSD +0.3%，TTRL −0.1% | +4.1 个百分点 |
| 数学七基准平均 (Qwen3-1.7B) | Avg@8 ΔAvg | +2.3% (NSD, p=0.001) | +1.1% (OPSD, 需 gold 标签)；Intuitor −0.5% | +1.2 个百分点 |
| AIME 2024 (Qwen3-4B) | Avg@8 准确率 | 35.8% | 23.8% (基座模型) | +12.0 个百分点 |
| AIME 2024 (Qwen3-8B) | Avg@8 准确率 | 39.6% | 28.8% (基座模型) | +10.8 个百分点 |
| 数学七基准 (Qwen3-8B) | Pass@8 ΔAvg | +9.7% (NSD) | +2.1% (Intuitor)；TTRL −1.0% | +7.6 个百分点 |
| 思考模式七基准 (Qwen3-4B) | Avg@8 ΔAvg | +3.0% (OlympiadBench 45.9→57.9) | +0.2% (OPSD)；Intuitor −11.3% | +2.8 个百分点 (vs OPSD) |
| 反思行为 (Qwen3-4B, AIME+HMMT) | 每响应反思 token 频率 | 7.5 (NSD) | 3.6 (基座)；OPSD 2.2；Intuitor 0.8 | 较基座翻倍，与基线方向相反 |
| 训练效率 (8×A100) | 每步墙钟时间 | 68s (在线) / 54s (wiki-irr) | 105s (OPSD) / 187s (Intuitor) | 比 OPSD 快约 35%，比 Intuitor 快约 64% |
| 门控信号质量 (100 训练样本) | style-task ratio (越低越好) | 2.6× (wiki 门控) 至 3.5× | 5.4× (OPSD) / 3.9× (Entropy-OPSD) | 接近 OPSD 的一半 |
局限与改进
作者承认两点：一是方法依赖学生自身生成有意义负向条件的能力，极小或极弱模型可能造不出有区分度的“负面人设”，1.7B 的增益（+2.3%）明显低于 4B（+7.5%）即是证据，不过作者预期随基座能力增强该瓶颈会自然缓解；二是在线策略需要额外的负向条件生成与两次教师前向，虽然可用 wiki-irr（54s/步）和并行 prefill 缓解。我的补充观察：其一，评估全部集中在 Qwen3 家族的数学推理任务，代码、科学问答、智能体等域未验证，外推性未知；其二，wiki-irr 仅用随机维基段落当“负向条件”就拿到 6.6% 增益、且在策略梯度变体下反而全场最佳（+5.0%/+5.9%/+5.8%），这暗示相当一部分收益可能来自“对上下文噪声的一般性鲁棒化”而非精确的缺陷定位，论文的因果机制解释还不完整；其三，反思能力只用反思 token 频率这一代理指标度量，未验证每次反思确有纠错收益，频率上升也可能是表面模仿；其四，训练只做 2 epochs 且只报验证集最佳 checkpoint，长期训练稳定性和超参（α=0.01）敏感性缺乏系统扫描。
独立分析的弱点
① 弱模型瓶颈：1.7B 增益仅 +2.3%，负面条件质量受限于模型自身能力。改进方向：用固定的更强模型离线批量生成负面人设库，或维护模板化的 persona+trigger 组合字典，把条件生成与被训模型解耦。② 域局限：只在 MATH 上训练、只在数学上评测。改进方向：把“负面人设”泛化到代码（如“你是一个不做边界检查的程序员”）、科学问答与智能体轨迹，检验门控机制的跨域迁移性。③ 机制归因不足：wiki-irr 的强势表现提示增益可能部分来自一般性抗噪而非针对性去缺陷。改进方向：设计严格对照——相同惩罚预算下比较“门控惩罚”“随机 token 惩罚”“最高熵 token 惩罚”，分离两种效应并给出定量归因。④ 反思度量粗糙：token 频率上升不等于反思质量提升。改进方向：引入 LLM 评委或人工标注的反思有效率、错误恢复率等更细的指标。⑤ 部署成本：需常驻两个教师分片（论文配置占用 2 张 GPU）。改进方向：教师量化、缓存高频 top-k 概率，或离线预计算门控信号。⑥ 报告方式：只报各基准最佳 checkpoint 的均值，缺少全程学习曲线与多次运行方差，难以评估训练过程的稳定性差异。⑦ 负面人设提示里“禁止验算”等攻击要素若意外泄漏到推理行为中，可能损害回答的有用性，需要安全性评估。
未来方向
作者提出的方向：随基座模型能力增强，自生成负面条件质量会提高，方法收益随规模放大（4B/8B 增益已印证这一趋势）；wiki-irr 等免生成策略可作为低成本默认选项；框架可扩展到策略梯度范式（附录 D.3 已给出 $A_t=-L^{(t)}_{\text{NSD}}$ 的 PG 版本并验证可行）。基于其成果可延伸的方向：① 正负混合课程——RLVR 的正信号告诉模型“什么对”，NSD 的负信号告诉它“什么错”，二者互补，可能同时突破正信号稀疏与优势坍缩的瓶颈；② 把门控思想反哺正向 OPSD——Table 3 显示 NSD 门控滤除 style token 最有效，可直接用作正向蒸馏损失的 token 加权器；③ 自博弈式负向条件进化——让“攻击者”（生成更刁钻负面人设）与“防御者”（学生）交替优化，形成红蓝对抗式自改进；④ 跨域验证与安全应用——用“有害条件教师”做发散训练的对齐潜力值得探索；⑤ 理论工作——把门控 $G_t$ 与逐 token 点态互信息（PMI）建立形式化联系，解释“为何远离负面上下文能提升推理”；⑥ 与持续学习结合，研究 Sigmoid 有界 unlikelihood 是否天然抑制灾难性遗忘。
复现评估
复现条件较好。论文给出了 GitHub 代码与 Hugging Face 模型权重链接（开源）；训练数据是公开的 MATH 数据集（按论文设定丢弃标签即可），基座是公开的 Qwen3-1.7B/4B/8B。算力需求：单节点 8×A100 80GB（NSD 配置为 4 卡跑学生 + 2 卡跑教师，另 2 卡空闲），训练 2 epochs，每步约 68s（在线）或 54s（wiki-irr）。超参在附录 Table 5 完整披露：batch 32、actor lr $1\times10^{-6}$、warmup 比例 0.1、$\alpha=0.01$、top-k=32、最大响应 4096、KL 系数 0.01；三类负向条件生成与教师提示模板在附录 C.3 全文给出（含 question-only 与 solution-aware 两版元提示）。评测协议详尽：Avg@8、temperature 0.6、top-p 0.95、32K 输出长度；OlympiadBench 用官方判题器做符号比较（675 道非证明题）。主表报告 95% CI 与单侧 p 值，统计严谨性高于多数同类工作。主要门槛是需要一套 RL/蒸馏训练基础设施与八卡级算力；建议从 wiki-irr 变体入手复现（无需在线生成，54s/步），再逐步过渡到在线 solution-aware。综合难度：中等。
论文图表