自蒸馏零：自修订把二元奖励转化为稠密监督信号

让模型自己当老师，把稀疏二元奖励转成稠密 token 级自监督。

前置知识

RLVR（可验证奖励强化学习）

在数学、代码等可验证任务中，根据最终答案是否正确给出 0/1 二元奖励，用 GRPO/DAPO 等算法更新策略的方法。优点是奖励廉价易得，缺点是每个响应只有 1 bit 信号，无法定位推理过程的哪个环节出错。

本文正是在批判 RLVR 监督稀疏、样本效率低这一痛点，是 SD-ZERO 的对比基线和改进对象。

On-Policy 自蒸馏

用模型自己作为教师，对自身在线采样的响应提供 token 级分布监督（KL 散度损失）。区别于传统蒸馏：教师与学生是同一个模型的不同阶段或角色，无需外部教师模型。

SD-ZERO 的第二阶段本质上是一种 on-policy 自蒸馏，但其教师信号来自「修订器」而非外部高分演示，是本文的核心技术骨架。

Outcome-conditioned Self-Revision（结果条件自修订）

让模型在看到自己初始回答与该回答的对/错反馈后，再生成一个改进版本。正确的回答被要求「复述更简洁」，错误的回答被要求「重新开始」。这是一种用结果奖励激活模型内部纠错能力的方式。

这是 SD-ZERO 第一阶段 SRT 的核心机制，也是把 0/1 奖励注入到响应级监督的关键设计。

KL 散度作为 token 级奖励

在生成第 $t$ 个 token 时，度量学生策略与教师策略分布的差距 $D_{KL}^{(t)}$。KL 大说明教师在该位置强烈不同意学生，可视为稠密的局部奖励信号。

SD-ZERO 第二阶段的损失函数正是这种 KL 散度，对应论文提出的「token 级自定位」现象，是理解 Figure 4 的关键。

研究动机

现有大模型后训练方法存在两类显著痛点。一是 RLVR（如 GRPO/DAPO）只用最终答案对错的 0/1 信号做策略更新，监督极为稀疏，导致训练样本效率低，必须采样大量响应才能学到有用信号；二是在线和离线蒸馏方法虽然能提供稠密 token 级监督，但要么需要外部更强教师（如 OPSD），要么依赖高质量演示数据（如 SDFT、SDPO），这些监督在许多领域要么不可得要么采集代价高昂。Table 2 的对比表清楚表明，没有任何一种方法同时做到「无需外部教师 + 无需高质量演示 + 提供 token 级稠密监督」这三件事。

本文的目标是本文的核心目标是回答一个关键问题：「模型能否仅凭自己的初始尝试（哪怕是错误的）和稀疏的 0/1 奖励，自己生成更优的稠密监督？」更具体地说，作者希望提出一种两阶段方法——先在少量自生成修订数据上激活模型的纠错能力（Self-Revision Training, SRT），再以修订器为教师、把二元奖励转化为稠密 token 级自监督（On-Policy Self-Distillation），最终在数学和代码推理任务上取得相比基线方法更优的样本效率和准确率。

与已有工作不同的是，本文的独特切入角度是把「修订」这一行为本身作为监督信号来源：让同一个模型扮演生成器和修订器两种角色——生成器产出候选答案，修订器在给定答案和二元奖励的条件下产出改进版。第二阶段再用修订器当作冻结的教师，对生成器的在线响应做 KL 蒸馏。这种「自我对弈式自蒸馏」无需任何外部教师或人工高质量演示，就把稀疏结果奖励变成了稠密 token 级自监督，并通过周期性同步教师实现迭代自我进化。这与 OPSD/SDFT 依赖外部演示、SDPO 依赖反复筛选的范式形成本质区别。

核心方法

SD-ZERO 的整体直觉是「让模型学会怎么改自己，再把这种改的能力蒸馏回去」。技术路线分两阶段：第一阶段 Self-Revision Training（SRT）在 6K 自生成的「初始答案 + 对错 + 修订版」三元组上微调，模型既会从零生成（生成损失 {generation}$），也会在看到自己答案与结果反馈后修订（修订损失 {revision}$），总损失 $\mathcal{L}_{SRT}=L_{revision}+L_{generation}$。第二阶段 Self-Distillation 冻结 SRT 模型作为教师（修订器），学生在线采样响应并接收 0/1 奖励，再用 KL 损失匹配修订器在「给定响应+奖励」条件下的 token 分布 $\mathcal{L}_{SD}=\mathbb{E}_{(x,a)}\mathbb{E}_{y\sim\pi_ heta}\sum_{t=1}^{|y|}D_{KL}(\pi_ heta\|\pi_{ heta_{SRT}})$，从而把二元奖励重塑为稠密逐 token 修正信号。

核心创新点是把「结果条件下的自修订」当作教师信号源，这与已有自蒸馏方法有本质区别：OPSD/SDFT 用外部高分演示或更优模型作为教师，要求额外的监督来源；SDPO 通过反复采样筛选自我生成的「最优」轨迹，代价高昂且不稳定。SD-ZERO 巧妙之处在于：第一阶段构造了一个天然具备「看到自己错误就能改」能力的修订器，第二阶段则把这个能力作为教师去纠正生成器的实时输出。整个流程只用 (x, a) 二元奖励，不依赖任何外部演示或额外教师模型。教师还可通过周期性同步（即用当前学生替代冻结的 SRT 教师）实现迭代自我进化，让性能持续提升。

方法步骤详情

方法分四步。构造修订数据：对每个问题 $x$ 采样 $y_{init}\sim\pi_\theta(\cdot|x)$，用 $r\in\{0,1\}$ 标注，再用条件提示 $P_r$（正确→「rephrase」、错误→「start over」）生成修订版 $y_{revised}$，仅保留修订成功的轨迹得 $\mathcal{D}_{REVISION}$。SRT 微调：用联合损失 $\mathcal{L}_{SRT}=L_{revision}+L_{generation}$ 训练得 $\pi_{\theta_{SRT}}$。Self-Distillation：学生 $\theta\leftarrow\theta_{SRT}$、冻结教师 $\pi_{\theta_{SRT}}$，每题采样 $y$、得 $r$，KL 损失匹配教师在 $(x,y,P_r,y_{<t})$ 下的 token 分布。迭代进化：每 epoch 同步教师 $\theta_{SRT}\leftarrow\theta$，继续训练。

技术新颖性

技术新颖性体现在三方面。其一，把修订能力作为「教师信号」这一抽象视角本身是新的——以往的 self-revision 工作把修订当作推理增强手段，SD-ZERO 则把它当作教师分布的构造器。其二，发现了「token 级自定位」现象：教师虽然只接收 0/1 奖励，但 KL 散度会自然集中在响应中的少数关键 token 上（Figure 4），意味着自蒸馏自动把稀疏奖励分配到了推理的关键节点，无需人工设计 credit assignment。其三，「周期性教师同步」的迭代自我进化机制让方法具备了 GRPO 等 RL 方法通常没有的「单 epoch 性能饱和后可继续提升」的能力，实验显示同步一次还能再涨 ≥3 个百分点（Figure 5）。这些设计与传统 RL 的全局稀疏奖励、传统蒸馏的固定教师形成鲜明对比。

**Figure 2**: Overview of SD-ZERO. In Phase 1 (SRT), we collect 6K outcome-conditioned self-revision traces by sampling an initial response from the base model, prompting the model to self-revise its incorrect response, and keeping the correct self-revision. In Phase 2 (Self-Distillation), we conduct on-policy self-distillation with the self-revise (SRT) model acting as both student and teacher.

**Figure 4**: Reviser converts binary outcome reward into dense token-level reward.

实验结果

核心发现分三层。Layer 1：SRT 单阶段已显著超所有基线——6K 自生成修订训练的 SRT 平均提升 7.8%（Qwen3-4B-Instruct）和 9.2%（Olmo-3-7B-Instruct），优于 SFT（15K DeepSeek-R1 演示）、RFT、GRPO（DAPO 变体）和 SDFT。Layer 2：第二阶段 Self-Distillation 再叠加 2.7%（Qwen）和 1.2%（Olmo），总提升 10.5%/10.4%。Qwen 单项：LiveCodeBench 从 61.8 飙至 82.6（+20.8），AIME25 从 45.8 升至 60.0（+14.2）。Layer 3：SRT 拉长响应（显式修订），Self-Distillation 把长度压缩约 2 倍且性能更优——模型把「Wait, let me start over」内化为预判式推理（Figure 6）。Generate-then-Revise 评测基模型仅 +1.1%，SD-ZERO 仍 +5.3%，修订能力未被削弱；pass@8 同样大幅提升，区别于 GRPO 的分布锐化。

**Table 1**: Performance comparison of SD-ZERO and SRT (Self-Revision Training, Phase 1) against baseline post-training methods on math and code reasoning benchmarks, reported as avg@8.

**Figure 3**: Comparison of outcome-conditioned self-revision capability on AIME24, Qwen3-4B-Instruct.

**Figure 5**: Self-evolved reasoning through teacher synchronization in SD-ZERO. SD-ZERO can iteratively improve the model by reusing its own learned self-revision behavior as supervision.

**Figure 6**: Evolution of self-revision behavior across training phases for Qwen3-4B-Instruct on OpenR1-Math.

查看结构化数据

任务	指标	本文	基线	提升
AIME24（数学竞赛，avg@8）	准确率	Qwen3-4B: 68.3 / Olmo-3-7B: 61.7	Qwen3-4B 基线 59.6，SRT 66.7；Olmo-3-7B 基线 56.7，SRT 59.2	Qwen +8.7 / Olmo +5.0
AIME25（数学竞赛，avg@8）	准确率	Qwen3-4B: 60.0 / Olmo-3-7B: 53.8	Qwen 基线 45.8；Olmo 基线 42.1	Qwen +14.2 / Olmo +11.7
HMMT25（数学竞赛，avg@8）	准确率	Qwen3-4B: 45.4 / Olmo-3-7B: 40.4	Qwen 基线 26.7；Olmo 基线 25.0	Qwen +18.7 / Olmo +15.4
AMOBench（奥数，avg@8）	准确率	Qwen3-4B: 16.0 / Olmo-3-7B: 5.5	Qwen 基线 9.8；Olmo 基线 1.3	Qwen +6.2 / Olmo +4.2
OpenR1-Math（holdout，avg@8）	准确率	Qwen3-4B: 60.4 / Olmo-3-7B: 55.3	Qwen 基线 55.8；Olmo 基线 48.9	Qwen +4.6 / Olmo +6.4
MATH（数学，avg@8）	准确率	Qwen3-4B: 93.6 / Olmo-3-7B: 94.0	Qwen 基线 91.0；Olmo 基线 91.1	Qwen +2.6 / Olmo +2.9
Codeforces（编程，avg@8）	准确率	Qwen3-4B: 56.1 / Olmo-3-7B: 43.5	Qwen 基线 48.0；Olmo 基线 31.7	Qwen +8.1 / Olmo +11.8
LiveCodeBench（编程，avg@8）	准确率	Qwen3-4B: 82.6 / Olmo-3-7B: 57.8	Qwen 基线 61.8；Olmo 基线 32.4	Qwen +20.8 / Olmo +25.4

局限与改进

作者明确承认几点局限。第一，方法只在 instruct 模型（Qwen3-4B-Instruct、Olmo-3-7B-Instruct）上验证，对长链 thinking 模型效果未知——该类模型的探索性 reasoning 包含「假起步和部分修正」，难以区分 productive exploration 与 genuine error。附录 F 初步实验显示对带 thinking 的 Qwen3-4B 套用 SDFT 在竞赛数学上反而掉点。第二，方法聚焦可验证奖励领域（数学、代码），如何推广到无 ground truth 的开放领域仍是开放问题，作者建议用元认知信号（一致性、自纠错）作奖励。第三，Table 12 显示没有 SRT 直接做 Self-Distillation 仅带来微弱提升，方法依赖 SRT 阶段基础，意味着需先准备 6K 高质量修订轨迹。我个人的观察：KL 损失对每条采样响应需教师前向到该响应结尾，算力开销显著高于普通 SFT，更大模型/更长上下文下成本会迅速上升；迭代同步时机缺乏理论指导，目前经验性地每 epoch 同步一次，可能不是最优。

独立分析的弱点

独立分析有几处可改进方向。其一，方法对 SRT 阶段数据质量较敏感——修订成功率取决于基模型初始能力，若基模型在某些问题上完全无法产出修订正确解，该题就被排除，可能造成长尾问题训练不足；可考虑引入重要性采样或难例挖掘弥补。其二，第一阶段条件提示 $ 是手工硬编码（正确→「rephrase」/错误→「start over」），这种 prompt engineering 风格的「奖励注入」虽有效，但能否用更通用的 RL 隐式学习替代值得探索，可减少人工设计。其三，Self-Distillation 阶段教师冻结是单点固定，迭代同步后又是另一个新的固定点，这种「跳变式」教师更新可能导致训练不稳定，论文未充分讨论收敛性或震荡，建议借鉴 EMA 软更新。其四，论文只对比了 GRPO（DAPO）等基线，未与 RLOO、Reinforce++、OnlineDPO 等同样使用 0/1 奖励的方法深入对比，可能遗漏某些场景下更优选择。

未来方向

作者提出三个未来方向。其一是把方法扩展到 thinking 模型——需要更细粒度的错误识别机制把「探索性 reasoning」与「真错误」分开，这可能要求结合过程奖励模型（PRM）或基于 MCTS 的轨迹评估。其二是无验证领域的扩展——探索用 LLM-as-a-judge、一致性投票、Self-Check 等元认知信号替代二元奖励，可能需要重新设计修订提示模板。其三，迭代自我进化的更深入研究——目前每 epoch 同步一次，未来可研究自适应的同步时机（基于验证集 plateau 检测）、多学生集成蒸馏、或在多个领域上并行自我进化再合并。基于本文结果还可延伸的方向包括：把 SD-ZERO 拓展到多模态推理（OCR、视觉问答）；与 RLHF 第一阶段结合，利用人类偏好作为额外教师信号；以及把 token 级 KL 信号可视化为可解释的「模型自检工具」，用于检测幻觉或错误推理。

复现评估

复现可行性较高。作者给出完整代码（github.com/princeton-pli/Self-Distillation-Zero），数据来自公开 OpenR1-Math 和 Codeforces，模型为开源权重（Qwen3-4B-Instruct、Olmo-3-7B-Instruct），评估覆盖 8 个公开 benchmark。训练用 16K token 上下文、temperature 0.7、avg@8 评测；32K 上下文用于评估。附录 C 给出数据筛选、超参和 sample budget 对齐方式。算力未明确披露总 GPU 时长，使用 4B/7B 模型加 15K 训练样本、单 epoch 对齐 GRPO 等基线，整体属中规模实验（数周内单节点 8×H100 量级可复现）。潜在难点：(1) 第二阶段 KL 损失的实现细节（mask 范围、teacher forward 的 KV cache 利用）可能影响数值稳定性；(2) 修订轨迹过滤阈值依赖附录 G 的具体规则；(3) 周期性同步时机对最终结果敏感，需复现者根据训练曲线判断。整体对学术研究者复现友好。

自蒸馏零：自修订把二元奖励转化为稠密监督信号 Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision