基于迭代自策略蒸馏的推理压缩方法 On-Policy Self-Distillation for Reasoning Compression
用自身简洁行为蒸馏模型，无需标注即压缩推理token并提升准确率
前置知识
推理模型的思维链（Chain-of-Thought）
现代推理模型如OpenAI o1、DeepSeek-R1和Qwen3会在给出最终答案前生成大量内部推理过程，这些推理链通常包含数千个token，用于探索问题空间、验证思路和自我纠错。这种机制在处理困难问题时非常有效，但也会导致模型在简单问题上过度思考，产生大量冗余token，造成计算资源浪费和推理延迟。例如论文提到，询问简单的2+2时，模型可能花费500个token考虑是否涉及二进制算术。
本文的核心问题就是如何压缩这些冗余推理链，同时保持或提升模型准确率，因此理解思维链的工作机制是理解CRISP方法的前提。
KL散度（Kullback-Leibler Divergence）
KL散度是衡量两个概率分布差异的指标，定义为 $D_{KL}(P||Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)}$。在本文中，反向KL散度 $D_{KL}(\pi_\theta || \pi_{\bar{\theta}})$ 用于衡量学生模型分布与教师模型分布的差异。反向KL是模式寻求（mode-seeking）的，倾向于让学生模型集中在教师模型认为高概率的区域，而不会在教师模型认为低概率的区域放置过多概率质量。
CRISP的核心训练目标就是最小化学生与教师之间的反向KL散度，这是理解方法技术原理的关键概念。
知识蒸馏（Knowledge Distillation）
知识蒸馏是一种模型压缩技术，通过让一个小模型（学生）学习大模型（教师）的输出分布来转移知识。传统蒸馏通常使用冻结的教师模型，而本文采用的自蒸馏方法使用同一个模型同时作为教师和学生，教师通过条件化在简洁指令上来生成更简洁的推理，然后将这种行为蒸馏回基础模型。
CRISP是一种特殊的自蒸馏方法，理解传统蒸馏的范式有助于认识本文方法的创新之处。
策略梯度与强化学习方法的局限性
现有推理压缩方法（如L1、DiPO、DLER）通常使用强化学习，通过在奖励函数中加入长度惩罚来压缩推理。这些方法需要真实答案来计算奖励，容易导致模型熵崩溃（抑制探索性token如'Wait'、'Alternatively'），并且需要复杂的优化过程（PPO裁剪、GAE等）。本文正是要绕过这些限制。
理解现有RL方法的局限性有助于认识CRISP作为替代方案的价值。
研究动机
现代推理模型如OpenAI o1、DeepSeek-R1和Qwen3在处理问题时会产生大量内部推理token，这种过度思考（overthinking）现象导致了严重的计算资源浪费。例如，当询问简单的数学问题时，模型可能会花费500个token考虑是否涉及二进制算术。现有的推理压缩方法各有限制：强化学习方法（如L1、DiPO、DLER）需要真实答案作为奖励信号，且容易导致模型熵崩溃，抑制了对困难问题的探索能力；监督微调方法（如SEER、TokenSkip）在他人推理数据上训练会导致分布偏移，使模型遗忘自身推理风格；提示工程方法（如Chain of Draft）效果有限且不可持续。这些方法通常对所有问题一视同仁，无法根据问题难度自适应调整压缩程度。
本文的目标是本文的目标是开发一种无需真实答案、无需奖励工程、无需难度估计的推理压缩方法，能够在保持或提升准确率的同时大幅减少推理token数量，并且能够自适应地根据问题难度调整压缩程度——简单问题压缩更多，困难问题保留更多推理空间。
与已有工作不同的是，CRISP的独特切入角度在于发现模型本身就具备简洁推理的潜在能力，只需要给予'许可'即可。通过使用同一个模型同时作为教师（条件化在简洁指令上）和学生（无指令），并用反向KL散度训练，CRISP能够将简洁行为内化到模型权重中。这种方法的精妙之处在于：简洁指令改变了教师的输出分布，但不改变学生的行为模式，因此避免了分布偏移问题；反向KL是模式寻求的，只在学生已访问的区域进行更新，从而稳定了迭代训练过程；压缩信号自然地从KL目标中涌现，对不同难度的问题产生不同强度的压缩压力。
核心方法
CRISP（Compressed Reasoning via Iterative Self-Policy Distillation）的核心思想是：让模型自己教自己简洁推理。具体来说，给定一个推理模型 $\pi_\theta$，定义教师为同一模型条件化在简洁指令 $c$ 上的版本 $\pi_\theta(\cdot|x,c)$，学生为无指令的版本 $\pi_\theta(\cdot|x)$。训练时，学生生成推理轨迹，然后最小化学生与教师之间的逐token反向KL散度。通过周期性地将学生权重同步到教师（每 $M$ 步更新一次），教师不断获得更强的压缩能力，从而推动学生持续缩短推理长度。整个过程无需真实答案，只需问题陈述即可生成训练数据。论文在Qwen3-8B和Qwen3-14B上验证，使用约13,600个竞赛级数学问题训练，仅需1个epoch、约100步即可收敛。
CRISP的核心创新在于三个方面的结合：首先，使用同一模型的两种条件化版本（有/无简洁指令）作为教师和学生，避免了传统蒸馏中的分布偏移问题；其次，采用反向KL散度 $D_{KL}(\pi_\theta||\pi_{\bar{\theta}})$ 而非正向KL，这使得训练在学生已访问的分布区域进行，稳定了周期性教师更新；第三，通过隐式奖励机制实现压缩——教师偏好的token获得正奖励，学生过度生成的token获得负奖励，无需显式长度惩罚。与RL方法相比，CRISP不需要真实答案；与SFT方法相比，它避免了遗忘自身推理风格；与提示方法相比，它将压缩能力内化到模型权重中。消融实验表明定性'be concise'指令优于显式百分比目标，反向KL显著比正向KL更稳定。
方法步骤详情
CRISP的训练过程包含以下步骤：首先，初始化教师权重 $\bar{\theta} \leftarrow \theta_0$，使用数据集 $D$ 中的数学问题（约13,600个竞赛级问题，仅使用问题陈述，无需答案）。在每个训练步 $k$，若 $k \mod M = 0$ 则更新教师权重 $\bar{\theta} \leftarrow \theta$（周期性刷新）。然后采样一批问题 $\{x_1,...,x_B\}$，对每个问题生成学生推理轨迹 $y_i \sim \pi_\theta(\cdot|x_i)$（温度1.0，最大长度8192 token）。对轨迹中的每个token位置 $t$，计算学生logits $q_t \leftarrow \pi_\theta(\cdot|x_i, y_{i,<t})$ 和教师logits $p_t \leftarrow \pi_{\bar{\theta}}(\cdot|x_i, c, y_{i,<t})$（教师前向传播不计算梯度）。计算逐token KL散度 $D_{KL}(q_t||p_t)$ 并求和得到损失 $L_i = \sum_t D_{KL}(q_t||p_t)$。最后用梯度下降更新学生参数 $\theta \leftarrow \theta - \eta \nabla_\theta \frac{1}{B}\sum_i L_i$。训练使用学习率 $1 \times 10^{-6}$，全局batch size 32，教师更新间隔 $M=50$，8×H200 GPU。
技术新颖性
CRISP的技术新颖性体现在多个层面：理论方面，论文证明了逐token KL目标等价于序列级反向KL散度（Lemma 1），并将KL目标解释为隐式奖励 $r(y_t, x) = \log \pi_{\bar{\theta}}(y_t|x,c,y_{<t}) - \log \pi_\theta(y_t|x,y_{<t})$，无需显式奖励函数。方法方面，周期性教师更新策略（每 $M$ 步）比冻结教师更有效，因为它创建了渐进式更强的压缩目标。消融实验表明 $M \in \{40,50,60\}$ 的稳定区间，而 $M=1$ 会导致崩溃。此外，定性'be concise'指令优于显式百分比目标（后者压缩更多但牺牲准确率），这是对指令设计的重要发现。论文还提供了准确性保持界、有界遗忘界和难度自适应压缩的形式化证明。
实验结果
论文的核心发现令人印象深刻：首先，'少即是多'现象——CRISP在MATH-500上同时提升了准确率并减少了token数量，Qwen3-8B从77.7%提升到86.6%（+8.9pp），token减少58.8%；Qwen3-14B从70.0%提升到86.1%（+16.1pp），token减少56.5%。在AIME 2024上，14B模型提升10.5pp同时压缩41%。其次，压缩自然适应难度：MATH-500压缩56-59%，AIME 2025压缩35%，约1.6倍差异自动涌现。第三，自蒸馏不导致熵崩溃——训练过程中熵保持稳定，与RL方法形成对比。第四，压缩通过隐式奖励塑造提升准确率：训练时准确率单调上升，8B从52%升至66%，14B从46%升至72%。第五，方法跨模型泛化：DeepSeek-R1-Distill-Llama-8B准确率提升1.4-5.0pp，token减少11-32%；跨任务泛化：在DeepPlanning上token减少42-51%同时保持规划质量。MMLU准确率完全保持（8B: 73.2→73.3, 14B: 76.9→76.9）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH-500（500道数学问题） | 准确率（Acc, %）和平均推理token长度（Len） | Qwen3-8B: Acc=86.6%, Len=1,921; Qwen3-14B: Acc=86.1%, Len=1,686 | Qwen3-8B: Acc=77.7%, Len=4,661; Qwen3-14B: Acc=70.0%, Len=3,872 | 8B: +8.9pp准确率, -58.8%token; 14B: +16.1pp准确率, -56.5%token |
| AIME 2024（30道竞赛数学问题） | 准确率（Acc, %）和平均推理token长度（Len） | Qwen3-8B: Acc=69.6%, Len=9,152; Qwen3-14B: Acc=76.3%, Len=7,577 | Qwen3-8B: Acc=72.5%, Len=14,170; Qwen3-14B: Acc=65.8%, Len=12,844 | 8B: -2.9pp准确率, -35.4%token; 14B: +10.5pp准确率, -41.0%token |
| AIME 2025（30道竞赛数学问题） | 准确率（Acc, %）和平均推理token长度（Len） | Qwen3-8B: Acc=57.1%, Len=10,726; Qwen3-14B: Acc=61.7%, Len=10,137 | Qwen3-8B: Acc=62.5%, Len=16,682; Qwen3-14B: Acc=67.1%, Len=15,642 | 8B: -5.4pp准确率, -35.7%token; 14B: -5.4pp准确率, -35.2%token |
| MMLU（通用能力基准） | 准确率（Acc, %） | Qwen3-8B: 73.3%; Qwen3-14B: 76.9% | Qwen3-8B: 73.2%; Qwen3-14B: 76.9% | 通用能力完全保持，无遗忘 |
| DeepSeek-R1-Distill-Llama-8B跨模型泛化 | 准确率（Acc, %）和token减少率 | MATH-500: Acc=62.7%, -32.2%; AIME 2024: Acc=42.9%, -17.3%; AIME 2025: Acc=32.1%, -11.4% | MATH-500: Acc=61.3%; AIME 2024: Acc=37.9%; AIME 2025: Acc=27.5% | 准确率提升1.4-5.0pp，token减少11-32% |
局限与改进
论文承认的局限性包括：首先，CRISP需要较强的指令遵循能力，较小的模型可能无法可靠响应简洁指令，这解释了为什么较大模型收益更大，但最小能力阈值仍待确定。其次，虽然实验表明简洁指令条件化的教师能提升准确率，但论文未深入分析何时以及为何简洁指令会提升或降低不同模型族的准确率。从独立观察来看，方法在AIME 2025上准确率下降约5pp，说明在最困难的问题上压缩仍会带来一定代价；压缩率在不同模型间差异显著（Llama仅32% vs Qwen的57-59%），暗示方法对模型架构和训练数据的敏感性；此外，论文仅在数学推理和规划任务上验证，未涉及代码生成、常识推理等领域。
独立分析的弱点
论文存在几个值得深入探讨的弱点：首先，压缩率在不同模型间差异巨大（Llama仅32% vs Qwen的57-59%），论文将其归因于Llama已产生较短的基础回复和对指令的较低响应度，但未深入研究如何提升对指令不敏感模型的压缩效果，改进方向可以是探索更强的指令微调或渐进式压缩策略。其次，方法在最困难的AIME 2025上准确率下降约5pp，说明KL目标在极端难度下可能过于激进，改进方向包括引入难度感知的KL权重或自适应教师更新频率。第三，训练数据仅使用DAPO-Math-17k的问题陈述，未探索数据规模和多样性对压缩效果的影响，改进方向是研究数据增强和跨领域迁移。第四，消融实验表明M=1会导致崩溃，但未解释根本原因，也未探索更稳定的替代更新策略。
未来方向
作者提出的未来方向包括：表征最小能力阈值以确定哪些模型能从CRISP受益；更细粒度地分析简洁指令何时提升vs降低准确率。基于本文成果可延伸的方向包括：将CRISP扩展到代码生成、常识推理等非数学领域，探索多模态推理的压缩；研究压缩率与下游任务性能的帕累托前沿，实现用户可控的压缩-准确率权衡；开发自适应教师更新策略，根据训练动态自动调整M值；结合RL方法的优势，在CRISP压缩基础上用轻量RL进一步优化；探索分布式训练和更大规模模型上的效果。
复现评估
论文的复现性较好：训练使用标准监督学习基础设施，无需奖励模型或价值函数，每步仅需两次前向传播（学生有梯度、教师无梯度）。数据集DAPO-Math-17k是公开的竞赛级数学问题集。模型Qwen3-8B/14B和DeepSeek-R1-Distill-Llama-8B均为开源模型。训练超参数明确：学习率 $1 \times 10^{-6}$，全局batch size 32，教师更新间隔 $M=50$，8×H200 GPU。评估使用veRL的数学答案评分工具和Language Model Evaluation Harness，均为开源。然而，8×H200 GPU的算力要求较高，可能限制个人研究者的复现能力。论文未明确说明是否开源训练代码，但算法描述足够详细，有经验的研究者应能独立实现。
论文图表
