从教学式到建构式：将专家解法转化为可学习的推理过程 Didactic to Constructive: Turning Expert Solutions into Learnable Reasoning
提出DAIL自蒸馏方法，通过分布对齐和对比学习将专家解法转化为可学习的推理轨迹
前置知识
大推理模型（Large Reasoning Models, LRMs）
大推理模型是指通过强化学习等方法专门训练用于复杂推理任务的大型语言模型，如Qwen3、DeepSeek-R1等。这类模型具有长链思维（long chain-of-thought）能力，能够进行多步推理、自我验证和回溯。与标准指令调优模型不同，LRMs在生成最终答案前会进行详细的思考过程，通常包含数千个推理token。这种能力使其能够解决竞赛数学、研究生考试等高难度推理任务。
本文的核心目标是提升LRMs在极难问题上的推理能力，理解LRMs的工作机制对于把握DAIL方法的设计动机至关重要
强化学习与可验证奖励（RLVR）
RLVR是一种在线强化学习方法，模型通过采样推理轨迹并根据最终答案的正确性获得奖励来学习。具体来说，对于每个问题x，模型采样一个解答轨迹，如果最终答案正确，则获得正奖励；否则奖励为0。模型通过优化策略梯度来最大化期望奖励。这种方法已被DeepSeek-R1、Qwen3等模型广泛采用，能够有效提升数学推理能力。
RLVR是当前提升LLM推理能力的主流方法，但存在严重的探索瓶颈问题，DAIL正是为解决这一问题而提出的替代方案
教学式解法（Didactic Solutions）
教学式解法是指人类专家撰写的解题过程，其特点是为人类读者优化，会省略许多中间步骤和详细计算。例如，专家可能会写利用二次公式求解得，而省略具体的代数运算过程。这种解法对人类读者很清晰，但对计算模型来说存在推理跳跃，模型无法从中学到完整的推理链。论文将这种现象称为教学式捷径（didactic shortcuts）。
理解教学式解法与模型推理分布的差异是DAIL方法的核心出发点，直接决定了方法的设计思路
分布外（Out-of-Distribution, OOD）问题
在机器学习中，分布外问题指训练数据与测试数据来自不同分布的情况。在本文语境下，专家解法与模型自身推理过程存在分布不匹配：专家解法是教学式的、压缩的，而模型在后训练过程中学到的是详细的、包含自我验证的推理模式。直接在专家解法上进行行为克隆会导致模型性能下降，因为模型被迫学习与其内部推理机制不一致的模式。
分布外问题是导致直接在专家解法上微调失败的根本原因，DAIL的核心目标就是弥合这一分布差距
对比学习（Contrastive Learning）
对比学习是一种通过比较正负样本来学习表示的方法。在DAIL中，对比学习被用于防止模型学习推理捷径。具体来说，模型被训练来模仿由教师模型生成的完整推理轨迹（正样本），同时避免模仿仅包含中间结果的简化轨迹（负样本）。通过最小化正样本的KL散度同时最大化负样本的KL散度，模型学会区分有效的推理模式和表面的捷径模式。
对比学习是DAIL避免模型学习虚假推理捷径的关键技术，理解其原理对于把握方法的创新性至关重要
研究动机
当前大推理模型（LRMs）在提升推理能力时面临严重的探索瓶颈。具体来说，在使用强化学习与可验证奖励（RLVR）方法时，模型只有在能够采样出正确答案的推理轨迹时才能学习。然而，对于最困难的数学问题（如国际数学奥林匹克级别），模型往往无法生成任何正确的推理路径，导致奖励、优势和梯度均为零。论文引用的研究表明，在这些问题上，模型在多次尝试（如k=32）后pass@k仍然为零。这意味着模型无法从这些最有价值的问题中提取训练信号。此外，即使存在高质量的人类专家解法，直接在这些解法上进行监督微调（SFT）也会导致性能严重下降。实验显示，直接SFT在AIME、BeyondAIME和IMO-AnswerBench等基准测试上的pass@k性能显著低于未训练的基线模型。这是因为专家解法本质上是教学式的，为人类读者优化而省略了关键的中间推理步骤，与模型在后训练过程中学到的详细推理模式存在根本性的分布不匹配。
本文的目标是本文的具体目标是开发一种能够从高质量人类专家解法中学习的方法，即使这些解法对模型来说是分布外的。具体而言，DAIL旨在：（1）在不依赖更强教师模型的情况下，利用少于1000个专家解法实现显著的推理能力提升；（2）在极难的数学问题上（如BeyondAIME、IMO-AnswerBench）实现pass@k的大幅提升，特别是pass@128这类需要通过多次采样才能找到正确答案的指标；（3）提升模型的推理效率，使模型能够用更少的token达到相同的性能水平；（4）实现良好的域外泛化能力，避免灾难性遗忘。论文希望通过这种方法扩展前沿模型的能力边界，使其能够从高价值、不可验证的数据中学习。
与已有工作不同的是，DAIL抓住了现有方法中一个被忽视的关键点：专家解法虽然分布外，但包含了宝贵的解题方法论和洞察，问题在于如何将其转化为模型可学习的形式。与现有工作相比，DAIL的独特视角在于：（1）不同于RLVR方法尝试通过提示或修复学生轨迹来绕过探索瓶颈，DAIL选择扩展专家解法；（2）不同于标准蒸馏需要更强的教师模型，DAIL使用自蒸馏，利用学生模型本身来生成分布内的推理轨迹；（3）不同于简单的行为克隆，DAIL通过对比学习防止模型学习推理捷径。这种扩展+过滤的范式使得DAIL能够在数据极其有限（<1000个样本）的情况下实现显著的性能提升，而现有方法（如GRPO在40K+样本的DeepScaleR上训练）仅能获得边际收益。
核心方法
DAIL的核心思想可以用一个类比来理解：想象一位数学老师（专家）写了解题答案，但答案过于简洁，跳过了许多对新手来说必要的步骤。DAIL的做法是让一个助手（学生模型）在参考老师答案的同时，自己重新完整地推导一遍解题过程，生成详细的步骤。然后，通过对比学习，教会学生区分好的推理和偷懒的推理。具体技术路线分为两步：第一步是分布对齐生成，使用混合策略解码将教学式的专家解法扩展为详细的、分布内的推理轨迹；第二步是对比学习优化，使用对比目标防止模型学习推理捷径。这种方法的精妙之处在于，它既保留了专家解法中的解题方法论，又将其转化为模型能够内化的形式，同时通过对比学习避免了模型学到表面的捷径模式。
DAIL的核心创新点是通过混合策略解码和对比学习的组合，解决了专家解法与模型推理分布不匹配的问题。与已有方法的本质区别在于：（1）混合策略解码（Mixed Policy Rollouts）：不同于直接从教师模型采样（会导致生成轨迹引用专家解法）或完全由学生生成（无法利用专家知识），DAIL让师生协同工作。学生先采样一个token，然后由教师验证其是否合理（概率是否超过阈值tau=0.8），如果合理就接受学生的token，否则由教师生成。这样既保持了学生自然的推理流程，又确保生成的轨迹与专家解法一致。（2）对比学习目标：不同于标准的负对数似然（NLL）损失会迫使模型盲目模仿每个token，DAIL引入了一个负参考模型。该模型仅接收专家解法中的中间结果（如关键数值、符号表达式），而不包含完整的推理过程。通过最大化与负参考模型的KL散度，模型学会避免学习从中间结果强行推导到正确答案的虚假推理。这种设计有效防止了模型学习理性化捷径（rationalization shortcuts）。
方法步骤详情
DAIL方法包含以下完整步骤：第一步，数据准备。收集高质量专家解法数据集D={(xi,si)}，其中xi是问题，si是专家解法。论文使用了两个数据集：e1-verifiable（417个AIME问题）和e1-proof（669个奥林匹克证明题）。第二步，分布对齐生成。对于每个(xi,si)，使用混合策略解码生成分布内的推理轨迹ri。具体过程是：初始化学生模型Mtheta和教师模型MT（教师使用学生初始权重thetaref并以专家解法为上下文）。对于生成的每个token位置i，先从学生采样t，然后验证MT(t)是否大于等于阈值（tau=0.8）。如果验证通过，ri=t；否则从教师采样ri。这一步生成扩展的推理轨迹数据集Dsyn={(xi,ri)}。第三步，负参考构建。通过正则表达式从专家解法中提取中间结果（如数值、符号表达式），构建部分解法，用于定义负参考模型。第四步，对比学习优化。优化目标函数包含两项：一项是最小化学生与教师的KL散度，另一项是最大化学生与负参考模型的KL散度（权重gamma=0.1）。使用LoRA适配器进行高效训练，仅需存储一份模型权重。
技术新颖性
DAIL的技术新颖性体现在以下几个方面：（1）混合策略解码机制：受推测解码（speculative decoding）和交互式模仿学习启发，但目标不同。推测解码是为了加速推理，而DAIL的混合策略解码是为了生成分布对齐的训练数据。与标准蒸馏不同，DAIL不需要更强的教师模型，而是使用学生模型自身作为教师，实现了真正的自蒸馏。（2）对比学习目标设计：论文创新性地引入负参考模型来定义不好的推理。通过构造仅包含中间结果的部分解法作为负参考上下文，模型被诱导生成虚假的推理捷径。对比目标通过惩罚这种模式，使模型学会真正的推理而非表面模仿。这种设计比简单的NLL损失更有效，实验显示对比目标在pass@1和pass@128上都优于NLL。（3）离线训练框架：DAIL的生成过程与训练过程完全解耦，支持大规模并行数据生成。与在线RLVR方法相比，DAIL训练效率极高，每epoch仅需0.1 H100小时（RLVR需要277.6小时）。（4）负参考构造的自动化：使用正则表达式自动提取中间结果构建负参考，无需人工标注，适用于不同领域。
实验结果
论文在多个数学推理基准测试上进行了全面评估，得出以下核心发现：（1）DAIL在Qwen2.5-7B-Instruct上实现了显著提升。在e1-verifiable数据集（417个AIME问题）上训练后，DAIL在IMO-AnswerBench上的pass@128从基线的33.5%提升到37.8%（提升4.3%），在BeyondAIME上从41.0%提升到46.0%（提升5.0%），在AIME 2024/2025上从51.7%提升到63.3%（提升11.6%）。值得注意的是，DAIL的pass@1略低于基线（6.4% vs 6.8%），但pass@128显著更高，表明DAIL提升了模型通过多次采样找到正确答案的能力。（2）DAIL在Qwen3（think）模型上同样有效。在e1-proof数据集（669个证明题）上训练后，Qwen3-8B在IMO-AnswerBench上的pass@128从25%提升到35%（提升10%），在BeyondAIME上从40%提升到50%（提升10%）。更重要的是，DAIL实现了推理效率的显著提升：用2倍更少的token达到相同性能。例如，在512 token预算下，DAIL训练的模型达到约35%的pass@128，而基线模型需要1024 token才能达到类似水平。（3）DAIL具有良好的域外泛化能力。在GPQA-Diamond（非数学领域）上，DAIL训练的模型保持或优于基线性能。例如，Qwen3-8B在4096 token预算下，pass@128从93.4%提升到96.0%，表明DAIL的改进不会导致灾难性遗忘。（4）DAIL在非数学领域也有效。在Reasoning Gym的Maze任务上，DAIL将pass@128从96.0%提升到100%；在Rotten Oranges任务上从74.0%提升到92.0%；在Tool Alpaca工具调用基准上从75.0%提升到76.5%。（5）对比学习目标显著优于NLL。实验显示，使用对比损失训练的模型在所有指标上都优于使用NLL的模型，在混合策略解码设置下，pass@128提升约2%。（6）混合策略解码对推理模型至关重要。对于Qwen3这类长链思维模型，混合策略解码比直接采样效果更好，因为它防止生成轨迹引用专家解法，保持了更自然的推理流程。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| IMO-AnswerBench | pass@128 | 37.8% | 33.5% | 4.3%绝对提升 |
| BeyondAIME | pass@128 | 46.0% | 41.0% | 5.0%绝对提升 |
| AIME 2024/2025 | pass@128 | 63.3% | 51.7% | 11.6%绝对提升 |
| GPQA-Diamond（Qwen3-8B） | pass@128 (4096 tokens) | 96.0% | 93.4% | 2.6%绝对提升 |
| Maze (Reasoning Gym) | pass@128 | 100% | 96.0% | 4.0%绝对提升 |
| Rotten Oranges (Reasoning Gym) | pass@128 | 92.0% | 74.0% | 18.0%绝对提升 |
局限与改进
论文存在以下局限性：（1）数据集规模有限且领域特定。DAIL仅在少于1000个专家解法上训练，虽然这是设计选择（证明数据效率），但也意味着方法在更大数据集上的表现尚不清楚。训练数据主要来自数学竞赛，虽然论文展示了在非数学领域的结果，但这些领域的改进相对较小。（2）对基线模型能力有要求。实验显示，对于较弱的模型（如Llama-3.1-8B-Instruct），DAIL不仅没有提升反而导致性能下降。这表明DAIL需要模型具有一定的基础推理能力才能有效，对于能力较弱的模型，训练问题可能过于困难。（3）仅限于离线设置。DAIL是离线方法，无法像在线RL那样根据模型当前状态动态调整训练数据。虽然论文认为这是优势（训练效率高），但也意味着无法利用模型在训练过程中能力提升后生成的新数据。（4）负参考构造的领域依赖性。当前使用正则表达式提取中间结果的方法主要针对数学领域，对于其他领域（如代码、自然语言推理）需要设计不同的提取策略。（5）评估指标的局限性。论文主要使用pass@k指标，特别是pass@128，这需要生成大量样本。在实际应用中，这种高采样成本可能不现实。（6）缺乏与蒸馏方法的全面对比。虽然论文提到DAIL不需要更强的教师模型，但与使用Qwen3-235B-A22B等更强模型的标准蒸馏相比，DAIL在高token预算下性能略低（49.0% vs 55.0%），表明自蒸馏仍有性能差距。
独立分析的弱点
DAIL方法存在以下可改进的弱点：（1）混合策略解码的效率问题。混合策略解码需要师生协同工作，每生成一个token都需要教师验证，这增加了数据生成的计算成本。虽然论文声称生成过程可以并行化，但对于长推理轨迹（特别是LRMs可能生成数万token），这种开销仍然显著。改进方向可以是设计更高效的验证机制，如批量验证或基于置信度的选择性验证。（2）对比学习目标的敏感性。论文中gamma=0.1是通过验证集调优得到的，但这个值可能对不同任务和模型不鲁棒。此外，负参考的构造方式（正则表达式提取中间结果）可能无法捕获所有类型的推理捷径。改进方向包括自适应gamma调整和更复杂的负样本构造策略。（3）对训练数据质量的依赖。DAIL需要高质量的专家解法，论文提到收集成本高达每样本$1000。虽然数据效率高，但获取这些数据仍然是瓶颈。改进方向包括利用更强的模型生成伪专家解法，或开发更好的数据筛选和增强方法。（4）缺乏在线适应能力。DAIL是纯离线方法，无法根据训练过程中的模型状态调整。改进方向可以是设计混合在线-离线框架，在训练后期引入在线生成的数据。（5）负参考可能引入噪声。通过正则表达式提取的中间结果可能包含不相关的信息，或者遗漏重要的推理步骤。这种噪声可能影响对比学习的效果。改进方向是开发更精确的中间结果提取方法，或使用学习的方法来识别关键推理步骤。
未来方向
论文作者提出和基于成果可延伸的未来研究方向包括：（1）扩展到更多领域。论文展示了在数学、迷宫、工具调用等领域的初步结果，但DAIL的潜力远不止于此。未来可以探索在代码生成、科学推理、法律推理、医学诊断等领域的应用，这些领域通常也有高质量的专家解法但难以通过RL学习。（2）与在线方法结合。DAIL可以作为在线RL方法的预训练阶段，先用DAIL建立基础推理能力，然后用RL进一步优化。这种混合方法可能结合两者的优势。（3）开发更智能的负参考构造方法。当前基于正则表达式的提取方法比较粗糙，未来可以开发基于学习的方法来识别推理中的关键步骤和捷径。（4）研究DAIL与模型能力的交互。论文发现DAIL对弱模型无效，未来需要深入研究模型能力与训练数据难度之间的关系，开发自适应的训练策略。（5）探索DAIL在安全和对齐中的应用。论文在Impact Statement中提到，DAIL可以帮助模型以人类方式推理拒绝、隐私政策等安全相关问题，这是一个有前景的研究方向。（6）提高推理效率。虽然DAIL已经展示了推理效率的提升（2倍更少token），但进一步压缩推理过程、减少冗余推理仍有很大空间。（7）开发更通用的自蒸馏框架。DAIL的混合策略解码和对比学习可以推广到其他需要从分布外数据学习的场景。
复现评估
DAIL的复现评估如下：（1）开源情况：论文承诺开源代码（https://github.com/ethanm88/DAIL）和训练数据（e1-proof数据集已在HuggingFace发布）。代码开源将大大降低复现难度。（2）数据集：e1-verifiable数据集来自公开的AIME问题和AoPS Wiki社区解法，可以获取。e1-proof数据集来自IMO教练Evan Chen的网站，已获授权公开发布。两个数据集规模都不大（417和669个样本），数据收集成本可控。（3）算力需求：DAIL训练效率很高，每epoch仅需0.1 H100小时（使用LoRA适配器）。相比之下，GRPO训练需要277.6 H100小时。论文使用4块A40 GPU进行DAIL训练，4块H100 GPU进行RL基线训练。对于学术实验室，4块A40是可负担的硬件配置。（4）复现难度：中等。主要挑战在于：a）混合策略解码的实现需要仔细调优tau参数（论文选择tau=0.8）；b）对比学习目标的实现需要正确构建负参考模型；c）数据预处理需要实现正则表达式提取中间结果。但论文提供了详细的超参数设置（表6）和实现细节（附录C），应该可以指导复现。（5）评估复现：使用标准的pass@k指标和公开基准测试（AIME、BeyondAIME、IMO-AnswerBench、GPQA-Diamond），评估设置清晰。论文生成128个样本进行评估，需要一定的推理计算资源，但这是可重复的。
论文图表
