基础推理范式促进语言模型的域外泛化 Fundamental Reasoning Paradigms Induce Out-of-Domain Generalization in Language Models
用符号推理轨迹分别诱导演绎、归纳、溯因能力，可大幅提升LLM域外推理性能
前置知识
演绎推理（Deduction）
演绎推理是从一般规则和前提出发，推导出必然结论的过程。在逻辑学中，如果前提为真且推理规则有效，则结论必然为真。在本文中，演绎推理以布尔可满足性（SAT）问题为载体：给定一组布尔公式，模型需要找到使所有公式同时为真的一组变量赋值。这类任务要求模型严格按照逻辑规则进行前向推理，不允许引入外部知识或假设。
本文发现演绎推理是最具迁移性的基础推理能力，训练在演绎任务上的模型在域外真实任务上表现最优，理解演绎推理的本质有助于把握全文核心发现。
归纳推理（Induction）
归纳推理是从具体观察中抽象出一般规则的过程。与演绎相反，归纳是从特殊到一般的推理方向。在本文中，归纳推理以数列预测任务为载体：给定一个包含重复模式（加法、减法、乘法）的数字序列，模型需要识别隐藏的规律并预测下一个数字。归纳推理要求模型从数据模式中发现潜在规则，而非依赖已知规则进行推导。
归纳推理在本文中表现出中等迁移能力，理解其与演绎推理的差异有助于理解三种推理范式之间的非对称迁移关系。
溯因推理（Abduction）
溯因推理是从观察结果出发，反向推导最可能的解释或前提的过程，也被称为'最佳解释推理'。在本文中，溯因推理以逻辑公式和已知原子命题为载体：给定一组逻辑公式和若干已知但真值未知的原子命题，模型需要假设某些目标为真，然后反向追溯哪些原子命题的真值组合能使这些目标成立。溯因推理需要模型进行反向搜索和假设检验，是三种推理范式中最困难的。
溯因推理在域内提升最小且迁移效果最差，但理解其困难性对解释'溯因悖论'（abductive paradox）至关重要。
Upcycling（上循环/混合专家化）
Upcycling是一种将密集（dense）Transformer层转换为混合专家（Mixture-of-Experts, MoE）层的技术。具体做法是将原始MLP块复制为多个专家MLP，并添加一个路由器（router）在推理时选择激活哪些专家。Sparse-Upcycling变体不需要额外训练路由器，新专家MLP直接复制预训练权重，路由器随机初始化。这种方式通过模型宽度扩展来增加容量，同时避免新旧知识之间的干扰。
Upcycling在本文中是整体表现最优的诱导方法，尤其对Qwen3-8B在所有范式下都带来最高增益，是本文方法论贡献的核心之一。
域外泛化（Out-of-Domain Generalization, OOD）
域外泛化是指模型在训练数据分布之外的任务上保持良好性能的能力。在本文中，OOD分为两层：一是符号OOD，即在未见过的其他符号推理任务上测试（如训练在演绎上，测试在归纳上）；二是真实OOD，即在完全用自然语言表述、需要真实世界知识的推理任务上测试（如侦探推理、自然语言推理、逻辑推理等）。本文的核心贡献正是证明在符号数据上诱导的推理能力能够迁移到真实任务中。
OOD泛化是本文的核心研究问题——从符号到真实任务的迁移能力是判断方法有效性的关键标准。
研究动机
当前提升大语言模型推理能力的研究存在两个根本性问题。首先，已有工作（如Zheng et al., 2025; Hu et al., 2025）通常将演绎、归纳和溯因三种基础推理范式混为一谈，要么只比较归纳与'演绎+溯因'的组合，要么只专注于演绎推理（如Tan et al., 2025），无法揭示每种范式对整体推理能力的独立贡献。其次，现有方法普遍使用包含世界知识的推理数据来训练模型（如DeepSeek-R1、OpenThoughts等），这使得模型性能的提升究竟来自真正的推理能力改进还是事实性知识的回忆变得无法区分。例如，一个在医疗问答上表现更好的模型，可能只是记住了更多医学知识，而非推理能力更强。这种训练数据中世界知识与推理能力的纠缠，严重阻碍了我们对LLM推理机制的理解。
本文的目标是本文的具体目标有三个层次。第一，构建一个不包含世界知识的符号推理数据集，分别覆盖演绎、归纳和溯因三种基础推理范式，并为每个问题生成详细的推理轨迹（reasoning trajectories）。第二，系统性地比较多种诱导方法（全参数微调、LoRA微调、模型上扩缩、Upcycling）在将这些推理能力注入学生模型时的效果差异。第三，评估诱导后的模型在域内符号任务和域外真实任务上的泛化能力，量化每种推理范式的独立贡献和跨范式迁移效果，目标是在真实OOD任务上实现显著性能提升（最终达到最高14.60点的提升）。
与已有工作不同的是，本文的独特切入角度在于'解耦'——将推理能力从世界知识中解耦出来。不同于以往用自然语言推理数据（同时包含知识和推理）训练模型的做法，本文使用程序化生成的符号任务（SAT问题、数列预测、逻辑公式溯因）作为推理载体，这些任务不依赖任何真实世界知识，纯粹考验逻辑推理能力。这一视角使得研究者能够首次精确地隔离和量化每种基础推理范式的贡献。此外，本文还首次系统性地探索了超越标准微调的多种诱导方法（包括模型结构层面的up-scaling和upcycling），发现不同方法的效果与模型架构高度相关，这为未来的推理能力训练提供了方法论层面的指导。
核心方法
本文的方法可以类比为'专项体育训练'：与其让运动员（学生模型）同时练习所有项目导致每项都不精，不如分别针对跑步（演绎）、跳远（归纳）、投掷（溯因）进行专项训练，然后评估每项训练对其他项目的迁移效果。具体技术路线分为四个阶段：首先，基于Hu et al. (2025)的符号推理数据集进行增强，解决原数据集在任务指令和答案格式上的缺陷；其次，使用两个教师模型（Qwen3-30B-Instruct和Llama-3.3-70B-Instruct）为训练集问题生成推理轨迹，每个问题采样5条轨迹；然后，分别使用全参数微调、LoRA、Up-scaling和Upcycling四种方法将三种推理范式分别注入两个学生模型（Llama-3.1-8B-Instruct和Qwen3-8B）；最后，在域内符号任务、域外符号任务和真实OOD任务三个层次上全面评估诱导效果。
本文最核心的创新在于'知识无关的推理诱导'（knowledge-free inducing）。以往提升LLM推理的方法，无论是DeepSeek-R1的强化学习还是OpenThoughts的数据配方，都不可避免地将世界知识和推理能力混合在一起训练。本文的关键洞察是：通过使用程序化生成的符号任务（布尔可满足性、数列预测、逻辑溯因），可以构建纯粹考验逻辑推理能力的训练数据，从而将推理能力的提升与事实性知识的积累彻底解耦。这一方法使得学生模型不仅能在域内任务上提升，更重要的是能在完全用自然语言表述、需要真实世界知识的域外任务上实现显著泛化——甚至超越教师模型本身。例如，用Llama-3.3-70B作为教师训练Llama-3.1-8B学生，学生在RECV任务上达到81.73，而教师仅为77.07。这证明了通过符号结构传递的'纯粹推理技能'比混合了世界知识的推理轨迹更有效。
方法步骤详情
本文方法包含以下完整步骤。第一步，数据准备：基于Hu et al. (2025)的数据集进行增强——将演绎任务的布尔公式转换为合取范式（CNF）并以JSON格式输出答案；修正溯因任务的指令，明确区分'已知原子命题'与'真命题'的区别，并使用Prolog搜索使目标成立的原子命题真值组合；归纳任务保持原样。最终训练集包含约16,000个问题。第二步，轨迹采样：使用Qwen3-30B-Instruct和Llama-3.3-70B-Instruct两个教师模型，在零样本设置下为每个训练问题生成5条推理轨迹（不同随机种子），最大生成长度设为10,000 token，过滤掉少于20词的无效回复。最终获得约82,000条（Llama教师）和约60,000条（Qwen教师）轨迹。第三步，模型诱导：对每个学生模型分别使用四种方法——Full FT更新全部参数；LoRA注入低秩分解（Llama用秩1024，Qwen用秩512）；Up-scaling使用LLaMAPro将模型分为4组，每组插入3个新层；Upcycling使用Sparse-Upcycling将奇数层的dense层转换为MoE层（每层1个专家MLP）。第四步，评估：在域内符号测试集、域外符号测试集和5个真实OOD数据集（True Detective、αNLI、WinoWhy、FOLIO、RECV）上评估准确率，使用Qwen3-30B-Instruct作为评判模型进行格式鲁棒的答案匹配。
技术新颖性
本文的技术新颖性体现在三个层面。第一，数据层面：不同于以往使用自然语言推理数据（如数学题、代码推理）的做法，本文首次构建了纯粹基于符号任务的推理轨迹数据集，每个任务严格对应一种推理范式，实现了推理能力与世界知识的彻底解耦。第二，方法层面：本文首次系统性地将模型结构修改方法（Up-scaling和Upcycling）应用于推理能力诱导，而不仅仅停留在参数高效微调（LoRA）或全参数微调。特别是Upcycling方法，通过将dense层转换为MoE层，既扩展了模型容量又避免了新旧知识的干扰，在Qwen3-8B上展现出一致性最优的效果。第三，发现层面：本文首次揭示了三种推理范式之间的'非对称迁移'关系——演绎 > 归纳 > 溯因，以及'溯因悖论'——在需要溯因推理的真实任务上，训练演绎推理反而比训练溯因推理效果更好。这些发现对理解LLM推理机制和设计推理训练方案具有重要指导意义。
实验结果
本文的实验结果揭示了多个重要发现。在符号域内任务上，专用训练（单范式）带来最大提升：Llama-3.1-8B通过Up-scaling在演绎任务上提升56.00点，Qwen3-8B通过Upcycling在演绎上提升12.33点。Mix设置（三范式混合）虽然在域内表现竞争力，但无法超越专用模型的峰值。在符号域外任务上，观察到明显的非对称迁移顺序：演绎 > 归纳 > 溯因。以Qwen3-8B使用Upcycling为例，演绎训练对归纳任务带来73.00的迁移增益，对溯因任务带来34.67的增益；而溯因训练仅对演绎带来74.67（相对较低），对归纳带来62.00。教师模型质量至关重要：Qwen3-30B教师在符号任务上远超Llama-3.3-70B（演绎82.00 vs 33.00），学生模型从更强的教师获得更多收益。在真实OOD任务上，演绎训练同样表现最优：Qwen3-8B通过演绎Upcycling达到70.14的平均分，归纳为69.49，溯因为69.34，Mix仅为69.04。最引人注目的是'超越教师'现象：13/16个诱导模型在真实任务上超越了教师模型，Llama学生通过溯因Full FT在αNLI上达到81.73（教师为77.07），即使学生初始性能已经高于教师（如Qwen学生αNLI 81.26 > Qwen教师75.77），学生仍能在13/16种情况下继续提升，最高达84.24。关于诱导方法，Upcycling在Qwen3-8B上提供最稳健的改进（8/8个设置中有7个最优），而Llama-3.1-8B则从多种方法中受益（Full FT、LoRA、Up-scaling各有优势）。同一家族的师生配对在真实任务上优于跨家族配对（如Llama教师训练Llama学生效果最好），这与符号任务上更强教师总是更好的规律形成对比。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 符号演绎（域内） | 准确率 | 92.00（Qwen3-8B, 演绎Upcycling, Qwen教师） | 79.67（Vanilla Qwen3-8B） | +12.33 |
| 符号归纳（域内） | 准确率 | 77.00（Qwen3-8B, 归纳Upcycling, Qwen教师） | 67.33（Vanilla Qwen3-8B） | +9.67 |
| 符号溯因（域内） | 准确率 | 46.00（Qwen3-8B, 溯因Upcycling, Qwen教师） | 35.33（Vanilla Qwen3-8B） | +10.67 |
| True Detective（OOD） | 准确率 | 44.50（Qwen3-8B, 演绎Upcycling, Qwen教师） | 40.14（Vanilla Qwen3-8B） | +4.36 |
| αNLI（OOD） | 准确率 | 85.56（Qwen3-8B, 归纳LoRA, Qwen教师） | 81.26（Vanilla Qwen3-8B） | +4.30 |
| FOLIO（OOD） | 准确率 | 84.24（Qwen3-8B, 归纳Upcycling, Qwen教师） | 78.33（Vanilla Qwen3-8B） | +5.91 |
| RECV（OOD） | 准确率 | 81.73（Llama3.1-8B, 溯因Full FT, Llama教师） | 71.98（Vanilla Llama3.1-8B） | +9.75 |
| 真实OOD平均 | 平均准确率 | 70.97（Qwen3-8B, 演绎Upcycling, Qwen教师） | 68.42（Vanilla Qwen3-8B） | +2.55，最高+14.60（Llama3.1-8B在RECV上Full FT） |
局限与改进
本文的局限性主要有以下几个方面。首先，作者明确承认所有数据和评估均为英文，考虑到推理能力在不同语言中的表达方式和认知策略可能存在差异，结论的跨语言适用性尚未验证。其次，每种基础推理范式仅使用了一个代表性任务（演绎用SAT、归纳用数列预测、溯因用逻辑溯因），虽然作者认为这些任务足以诱导OOD泛化，但无法排除其他符号任务可能带来不同结论的可能性。此外，本文的评估存在一些值得关注的技术细节：使用Qwen3-30B-Instruct作为答案评判模型虽然基于近期分析显示其比Llama和DeepSeek-R1更稳健，但评判模型本身的偏见可能影响结果的客观性；10,000 token的最大生成长度可能对某些复杂推理任务构成限制；轨迹质量过滤仅排除少于20词的回复，可能遗漏了一些逻辑错误但文本较长的轨迹。从更深层次看，本文的方法本质上是一种'间接诱导'——通过符号任务的训练来间接提升真实任务的推理能力，其中的迁移机制尚不完全清晰，为什么符号推理技能能迁移到需要世界知识的真实任务上，这一问题值得进一步理论分析。
独立分析的弱点
本文存在几个值得关注的弱点。第一，符号任务的选择过于单一：每种推理范式仅用一个任务类型，这使得结论的普适性存在风险。例如，SAT问题可能天然适合Transformer架构的注意力机制（论文也引用了Aggarwal et al., 2025关于Transformer注意力的贝叶斯几何分析），如果换成其他演绎任务（如自然演绎证明），结论可能不同。改进方向是扩展符号任务的多样性，为每种范式设计多种任务类型并进行消融实验。第二，Mix设置（三范式混合）在真实任务上表现不佳的解释较为粗糙——作者仅推测'非结构化任务中混合训练稀释了单范式的强归纳偏置'，但缺乏深入分析。可以设计实验来量化不同范式之间的干扰程度，例如通过梯度分析或表示空间可视化来理解为什么混合训练会导致性能下降。第三，Upcycling方法虽然整体最优，但其计算开销和推理延迟的分析不足——MoE层在推理时虽然只激活部分专家，但路由器的引入增加了额外计算，论文未提供推理效率的对比数据。第四，师生家族匹配的发现虽然有趣，但仅在两个模型家族上验证，需要更多家族的实验来确认这一规律的普遍性。
未来方向
本文开辟了多个值得深入的研究方向。作者在结论中提出，未来将探索'在不稀释各范式独立贡献的前提下组合多种推理范式的原则性方法'，这是对Mix设置表现不佳的直接回应。具体而言，可以研究课程学习（curriculum learning）策略——先分别训练各范式再逐步混合，或者设计多任务学习中范式间的正交约束。此外，基于本文的发现，可以延伸出以下方向：将框架扩展到多语言环境，验证演绎>归纳>溯因的非对称迁移规律是否跨语言成立；探索更多符号任务类型对诱导效果的影响，特别是图论问题（演绎）、模式匹配（归纳）和诊断推理（溯因）等；研究推理范式诱导与链式思维（Chain-of-Thought）提示的交互效应；将方法应用于更大规模的模型（如70B+），探索规模增大后非对称迁移规律是否仍然成立；以及从理论角度分析为什么知识无关的符号推理训练能迁移到知识密集的真实任务上。
复现评估
本文的复现条件相对友好。代码已在GitHub开源（https://github.com/voalmciaf/FR-OOD）。训练数据方面，基础符号数据集来自Hu et al. (2025)的公开数据，作者对其进行了增强并释放；推理轨迹需要使用教师模型生成，Llama教师的轨迹生成约需280小时，Qwen教师约需304小时（在AMD MI300X上），这对大多数实验室来说是可承受的。训练硬件需求为单张NVIDIA A100 80GB，使用FlashAttention 2和bf16混合精度加速。所有实验使用TRL库的SFT trainer，学习率5e-6（降为5e-7），配合余弦调度器。评估使用5个公开数据集（True Detective、αNLI、WinoWhy、FOLIO、RECV），均为公开可获取的。总体而言，复现难度中等——主要瓶颈在于教师轨迹的生成（需要30B/70B模型的推理资源），但训练和评估阶段的资源需求较为适中，一个配备A100的实验室即可完成。
论文图表
