自蒸馏为何会（有时）削弱大语言模型的推理能力？ Why Does Self-Distillation (Sometimes) Degrade the Reasoning Capability of LLMs?
自蒸馏通过压制不确定性表达损害数学推理泛化
前置知识
自蒸馏 (Self-Distillation)
自蒸馏是一种后训练范式，使用同一模型的两个实例：一个作为教师（接收特权信息如正确答案），另一个作为学生（仅接收原始问题）。教师为学生的输出提供密集奖励信号，通过最小化两者下一token分布之间的KL散度进行训练。数学形式为 $\mathcal{L}_{Self-Distillation}(\theta) = \sum_t \text{KL}\left[\pi_\theta(\cdot | x, y_{<t}) \| \text{stopgrad} \pi_\theta(\cdot | x, c, y_{<t})\right]$，其中 $c$ 是教师获得的额外上下文信息。
这是论文研究的核心方法，理解自蒸馏的工作机制是理解其如何压制认识论表达的基础
认识论表达 (Epistemic Verbalization)
指模型在推理过程中显式表达不确定性，使用如"Wait""Hmm""perhaps""maybe"等认识论标记（epistemic tokens）。论文定义了10个认识论标记：wait, hmm, perhaps, maybe, actually, alternatively, seems, might, likely, check。这些表达看似冗余，但实际上是模型在自我贝叶斯推理中保留替代假设、支持渐进不确定性降低的重要信号。
这是论文的核心发现——自蒸馏通过压制这些认识论标记导致性能下降，理解这一点是理解整个论文的关键
条件互信息 (Conditional Mutual Information)
论文用 $I(y^*; c | x) = H(y^*|x) - H(y^*|x,c)$ 来量化教师上下文 $c$ 对正确答案 $y^*$ 的信息量。这个度量捕捉了给定额外上下文 $c$ 后，关于正确答案的不确定性减少量。信息量越大，教师生成的推理轨迹越自信、越简洁。
这是论文的理论框架核心，用于分析为什么不同条件设置下自蒸馏的效果不同
GRPO 与 SDPO
GRPO (Group Relative Policy Optimization) 是标准的强化学习方法，使用可验证奖励训练。SDPO (Self-Distillation Policy Optimization) 是自蒸馏的强化学习版本，教师模型可以访问正确解来提供密集奖励信号。两者的关键区别在于：GRPO允许模型自然地表达不确定性，而SDPO倾向于生成更简洁、更自信但可能压制认识论表达的推理。
论文的核心对比实验就是比较这两种方法在数学推理任务上的表现差异
任务覆盖率 (Task Coverage)
指训练数据集覆盖的问题类型的多样性程度。论文发现，当任务覆盖率低（如化学领域仅有6种主要问题类型）时，自蒸馏的简洁推理风格可以快速优化域内性能；但当任务覆盖率高（如数学领域有14000个不同问题）时，压制认识论表达会损害对未见问题的泛化能力。
这是论文解释为什么自蒸馏在某些领域有效但在数学推理中失效的关键因素
研究动机
自蒸馏在多个领域（如化学、科学问答、工具使用、代码生成）展现出优异性能，能够生成更简洁的推理轨迹同时提高准确率。然而，当将相同方法应用于数学推理任务时，出现了截然相反的现象：尽管训练分数持续提高、响应长度持续减少，但在分布外（OOD）基准测试上的性能却显著下降。具体数据显示，在DAPO-Math-17k数据集上使用DeepSeek-R1-Distill-Qwen-7B进行SDPO训练时，响应长度从约7500 token降至约2500 token，但AIME24准确率从54.79%降至20.21%，降幅高达约40%。这种在正确答案指导下训练却导致性能下降的悖论，需要深入理解其背后的机制。
本文的目标是本文旨在系统性地理解和解释自蒸馏在数学推理任务中导致性能下降的根本原因。具体目标包括：（1）识别影响自蒸馏效果的关键因素——信息丰富度和任务覆盖率；（2）揭示"认识论表达压制"这一机制，即自蒸馏如何通过压制模型表达不确定性的能力来损害推理性能；（3）通过控制实验量化条件上下文信息量 $I(y^*; c | x)$ 与认识论表达、推理性能之间的关系；（4）为自蒸馏和后训练方法的优化提供理论洞见和实践指导。
与已有工作不同的是，现有研究主要关注自蒸馏的训练效率和域内性能提升，但忽略了其对模型推理行为的深层影响。本文的独特切入角度在于：（1）首次从认识论表达（epistemic verbalization）的视角分析自蒸馏的副作用，发现模型表达不确定性不仅是风格特征，更是支持稳健推理的关键机制；（2）提出信息论框架，用条件互信息 $I(y^*; c | x)$ 系统分析教师上下文的信息量如何影响学生的推理行为；（3）发现任务覆盖率是决定自蒸馏有效性的关键调节因素，解释了为什么相同方法在不同领域效果截然相反；（4）揭示了一个重要洞见：即使训练目标数学上正确（引导模型走向正确答案），推理行为的隐性转变仍可能损害泛化能力，这挑战了"正确答案足以指导训练"的传统假设。
核心方法
本文采用系统性的实证研究方法，通过三个递进层次的实验来揭示自蒸馏影响推理能力的机制。首先，在生成阶段研究不同条件上下文（无引导、解引导、去除思考内容、重新生成条件）如何影响模型的推理行为，量化信息丰富度与认识论表达的关系。其次，通过离策略自蒸馏（SFT）验证认识论表达压制是否具有实际影响——比较在认识论密集（无引导）和认识论稀疏（解引导）的正确轨迹上训练的效果。最后，在策略自蒸馏（on-policy self-distillation）设置下，比较GRPO和SDPO在多个模型（DeepSeek-R1-Distill-Qwen-7B、Qwen3-8B、Qwen3-1.7B、Olmo3-7B-Instruct）上的表现，并通过变化任务覆盖率 $|D| \in \{1, 8, 64, 128, 512\}$ 来验证任务覆盖率与泛化能力的关系。整个研究的核心框架是将教师上下文的信息量形式化为条件互信息 $I(y^*; c | x) = H(y^*|x) - H(y^*|x,c)$，并分析其对认识论表达和推理性能的影响。
本文的核心创新在于揭示了"认识论表达压制"（epistemic verbalization suppression）这一机制。与已有方法的本质区别在于：已有研究将自蒸馏视为简单的知识迁移过程，关注的是训练效率和域内性能；而本文发现自蒸馏实际上在改变模型的推理风格——从不确定性感知的推理（uncertainty-aware reasoning）转变为过度自信的推理（overconfident reasoning）。具体而言，当教师接收丰富的特权信息（如完整解）时，其生成的推理轨迹会压制认识论标记（如"Wait""Hmm"），学生模仿这种风格后，在训练分布内可以高效优化，但在分布外问题上会丧失探索替代假设和自我纠错的能力。这一发现挑战了"只要训练目标指向正确答案，推理行为自然会改善"的假设，揭示了优化目标的数学正确性不足以保证推理行为的稳健性。
方法步骤详情
方法分为四个主要步骤：（1）构建条件上下文信息量的控制比较：使用DAPO-Math-17k数据集的100个问题，定义四种生成设置——无引导（$c=\emptyset$，$I=0$）、解引导（$c=s$，最大$I$）、去除思考内容（$c=s_{\backslash think}$，中等$I$）、重新生成条件（$c=y_r$，中等$I$），并验证信息量排序 $I(y^*; \emptyset|x) = 0 < I(y^*; s_{\backslash think}|x) \leq I(y^*; y_r|x) \leq I(y^*; s|x)$。（2）离策略SFT实验：在800条正确响应上训练，$D_{ug}$为无引导响应（$E[E(y)]$高，$\approx 12k$ tokens），$D_{sg}$为解引导响应（$E[E(y)]$低，$\approx 2k$ tokens），比较两者对AIME24、AIME25、AMC23、MATH500的影响。（3）策略自蒸馏实验：使用Qwen3-8B和DeepSeek-R1-Distill-Qwen-7B，比较GRPO和SDPO在DAPO-Math-17k上的训练动态，追踪训练分数、响应长度、OOD性能（AIME24、AMC23）和认识论标记变化。（4）任务覆盖率消融实验：变化训练问题数量 $|D| \in \{1, 8, 64, 128, 512\}$，比较GRPO和SDPO在不同覆盖率下的表现差异，验证任务多样性对认识论表达价值的调节作用。
技术新颖性
本文的技术新颖性体现在多个层面：（1）理论框架创新——首次将认识论表达与信息论框架结合，用条件互信息 $I(y^*; c | x)$ 形式化分析教师上下文信息量对推理行为的影响，这在自蒸馏研究中是全新的视角；（2）机制发现——识别出"认识论表达压制"这一隐性副作用，这不同于显式的长度惩罚或正则化，而是自蒸馏目标函数的自然结果；（3）实验设计创新——通过控制条件上下文的信息量（从无引导到完整解引导）构建了精确的因果分析，而非仅观察相关性；（4）关键洞见——发现任务覆盖率是调节自蒸馏效果的关键因素，解释了为什么化学领域（6种问题类型、高重复曝光）和数学领域（14000个不同问题、低重复曝光）的效果截然相反；（5）实践指导——提出固定教师（EMA rate=0.0）优于移动目标（EMA rate=0.05）的发现，揭示了自蒸馏中的正反馈循环机制。
实验结果
本文的核心发现可以从多个实验层次进行分析。在条件上下文信息量实验中，Table 1显示无引导生成的平均分数为0.30、平均长度13,054 tokens、认识论标记182.5个；而解引导生成的分数为0.98、长度1,873 tokens、认识论标记仅8.8个，确认了信息量增加导致认识论表达大幅减少的单调关系。在离策略SFT实验中，Table 2显示在解引导数据上训练导致AIME24从54.79%降至20.21%（降幅约64%）、AMC23从89.06%降至57.03%（降幅约36%），而无引导数据训练几乎无性能变化，证明认识论表达压制具有实际危害。在策略自蒸馏实验中，DeepSeek-R1-Distill-Qwen-7B上SDPO（$c=s$）导致AIME24从54.7降至约20（降幅约40%）、AMC23从89.3降至约76（降幅约15%）；Qwen3-8B上SDPO同样导致显著性能下降，特别是在更难的AIME24上。任务覆盖率消融实验显示，当 $|D| \leq 128$ 时SDPO快速达到高分（效率优势），但当 $|D|=512$ 时SDPO开始落后于GRPO；在OOD评估中，小 $|D|$ 导致更严重的性能退化，验证了任务多样性对认识论表达价值的调节作用。此外，固定教师（EMA=0.0）始终优于移动目标（EMA=0.05），揭示了自蒸馏中"越训练越自信"的正反馈循环问题。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME24 (离策略SFT) | 准确率 (%) | SFT on $D_{ug}$: 51.04% | Base: 54.79% | 小幅下降但基本保持 |
| AIME24 (离策略SFT) | 准确率 (%) | SFT on $D_{sg}$: 20.21% | Base: 54.79% | 大幅下降约64% |
| AMC23 (离策略SFT) | 准确率 (%) | SFT on $D_{sg}$: 57.03% | Base: 89.06% | 大幅下降约36% |
| AIME24 (策略自蒸馏, DeepSeek-7B) | Acc@16 | GRPO: 56.0 | Base: 54.7 | +1.3 (提升2.4%) |
| AIME24 (策略自蒸馏, DeepSeek-7B) | Acc@16 | SDPO ($c=s$): ~20 | Base: 54.7 | 大幅下降约40% |
| AMC23 (策略自蒸馏, DeepSeek-7B) | Acc@16 | GRPO: 91.1 | Base: 89.3 | +1.8 (提升2.0%) |
局限与改进
本文存在若干局限性需要考虑。首先，实验主要集中在数学推理领域，虽然论文通过对比化学、代码等领域进行了分析，但对其他推理密集型任务（如逻辑推理、常识推理、多步规划）的适用性仍需验证。其次，认识论标记的定义基于固定的10个词（wait, hmm, perhaps, maybe等），这可能无法完全捕捉所有形式的不确定性表达，特别是不同语言或文化背景下的表达方式。第三，论文的理论分析主要基于条件互信息的信息论框架，但对认识论表达如何具体支持推理过程的因果机制分析仍不够深入——我们知道压制它会损害性能，但对其在推理中的具体功能（如保留替代假设、支持假设检验）的分析主要停留在直觉层面。第四，实验规模相对有限，主要在7B-8B规模的模型上进行，对更大规模模型（如70B、700B）是否具有相同规律尚不清楚。第五，论文发现固定教师优于移动目标，但对最优的教师选择策略（如课程学习、自适应调整）的探索不足。最后，虽然论文识别了任务覆盖率的关键作用，但对如何在实际应用中优化覆盖率（如数据选择、采样策略）的具体指导有限。
独立分析的弱点
本文存在几个可以改进的弱点。（1）认识论标记的定义过于简单——仅使用10个固定英文词汇可能遗漏其他重要的不确定性表达，特别是中文、日文等语言中的表达，建议使用更灵活的检测方法如语义相似度或专门训练的分类器。（2）条件互信息 $I(y^*; c | x)$ 的计算依赖于对正确答案分布的假设，实际中难以精确估计，可以考虑引入更实用的代理度量如上下文与正确答案的token重叠率。（3）任务覆盖率的分析仅通过变化问题数量 $|D|$ 实现，未考虑问题类型分布的影响，建议引入更精细的覆盖率度量如问题嵌入空间的覆盖度。（4）实验中固定教师为初始策略的设定虽然有效，但可能不是最优的，可以探索自适应教师选择策略。（5）论文主要关注数学推理，对其他推理类型（如因果推理、类比推理）的泛化分析不足，建议在更多推理任务上验证结论的普适性。
未来方向
基于本文的发现，未来研究可以在多个方向展开。（1）认识论表达的精细化控制：开发能够根据问题难度自适应调整认识论表达强度的方法，在简单问题上保持简洁，在困难问题上保留探索性推理。（2）任务感知的自蒸馏：根据训练数据的任务覆盖率动态调整自蒸馏的强度或教师上下文的信息量，避免在高覆盖率场景下过度压制认识论表达。（3）认识论表达的正向利用：不仅避免压制认识论表达，还可以主动强化它们作为推理质量的信号，例如将认识论标记的出现作为奖励信号的一部分。（4）跨语言和跨文化研究：探索不同语言中认识论表达的形式和功能差异，开发更具普适性的检测和优化方法。（5）理论深化：建立认识论表达与推理性能之间的更严格理论联系，例如通过贝叶斯推理框架形式化认识论表达的信息价值。（6）实际应用指导：开发实用的自蒸馏配置指南，帮助从业者根据具体任务特点（域内vs域外、任务覆盖率等）选择合适的训练策略。
复现评估
本文的复现条件较为友好。论文提供了详细的实验设置：使用DAPO-Math-17k数据集（14,000个问题，公开可用）、多个开源模型（Qwen3-1.7B/8B、DeepSeek-R1-Distill-Qwen-7B、Olmo3-7B-Instruct均为公开模型）、标准评估基准（AIME24/25、AMC23、MATH500）。认识论标记的定义明确（10个固定词汇），实验流程清晰（四种条件设置、SFT训练、策略自蒸馏训练）。计算资源方面，主要实验在7B-8B规模模型上进行，需要中等规模的GPU集群。论文提到附录提供了更多细节（如prompt设计、认识论标记验证、消融实验），这些都有助于复现。但需要注意的是，论文未明确说明是否开源代码，部分实验细节（如学习率、batch size等超参数）可能需要从附录或补充材料中获取。总体而言，复现难度中等，主要挑战在于计算资源和数据准备。
论文图表
展示了在Chemistry领域（Olmo3-7B-Instruct）和Math领域（DeepSeek-Distill-Qwen-7B）上，GRPO和SDPO的训练分数和响应长度随训练步数的变化。Chemistry中SDPO快速提高分数并减少长度，Math中SDPO虽然减少长度但分数显著下降。
这是论文的核心对比图，直观展示了自蒸馏在不同领域效果截然相反的现象，引出了论文的核心研究问题。