通过分治推理训练大语言模型提升测试时可扩展性

用强化学习训练LLM进行分治推理，在竞赛级数学任务上超越链式思维推理

前置知识

链式思维推理（Chain-of-Thought, CoT）

CoT是一种让大语言模型通过逐步推理来解决复杂问题的技术。模型不再直接输出答案，而是生成一系列中间推理步骤，每一步都基于前一步的结果，最终得出答案。这种技术在数学推理、逻辑推理等任务中效果显著。例如，对于一个数学题，模型会先列出已知条件，然后逐步推导，最后计算出答案。CoT推理的关键特点是其严格顺序性——每一步都依赖于前一步的输出。

本文的核心论点是CoT推理存在局限性，需要更高级的分治推理范式来突破。理解CoT的工作原理和局限性是理解本文动机的关键。

分治策略（Divide-and-Conquer, DAC）

分治策略是一种经典算法设计范式，核心思想是将复杂问题分解为多个更小、更易管理的子问题，独立求解每个子问题，然后组合子问题的解来得到原始问题的最终答案。在LLM推理中，DAC策略让模型先将输入问题分解为一组子问题，然后依次求解这些子问题，最后基于子问题的解来解决原始问题。与CoT的严格顺序推理不同，DAC允许多条推理路径并行探索。

DAC是本文提出的核心推理范式，论文的主要贡献是将DAC策略整合到强化学习训练流程中，而非仅在推理阶段使用。

强化学习用于LLM训练（RL for LLMs）

强化学习是一种通过与环境交互来学习最优策略的机器学习范式。在LLM训练中，RL通过让模型生成多个候选答案，根据答案正确性给予奖励信号，然后更新模型参数以提高生成正确答案的概率。常用的RL算法包括PPO、GRPO等。本文采用GRPO作为优化策略，并扩展了Clip-Higher和token级损失技术。相比监督微调，RL允许模型通过自我探索来学习，不需要昂贵的专家标注数据。

本文的训练框架基于RL实现，选择RL而非SFT是因为在前沿模型上，更强的专家标注往往不可获得或成本过高。

GRPO优化策略

GRPO（Group Relative Policy Optimization）是一种用于LLM强化学习训练的优化算法。它通过在同一问题上采样多个回答（称为group），计算组内回答的相对奖励差异来更新策略，而非依赖绝对奖励值。这种方法可以减少奖励方差，提高训练稳定性。本文在GRPO基础上集成了Clip-Higher技术（设置上限epsilon_h = 0.28）和token级损失技术，以增强探索能力和训练效率。

GRPO是本文实验中采用的核心RL算法，理解其工作原理有助于把握训练细节和实验设置。

测试时可扩展性（Test-Time Scalability）

测试时可扩展性指的是在推理阶段通过增加计算资源（如采样更多回答、使用更多rollout）来提升模型性能的能力。具体来说，Pass@k指标衡量的是在k次采样中至少有一次得到正确答案的概率。好的测试时可扩展性意味着随着k的增加，性能能够持续提升。本文发现DAC推理比CoT推理具有更强的测试时可扩展性，在Pass@32指标上提升尤为明显。

提升测试时可扩展性是本文的核心目标之一，也是评价推理范式优劣的关键维度。

研究动机

当前大语言模型在复杂推理任务中主要依赖链式思维（CoT）推理，这种推理方式通过逐步推理来解决问题。然而，在模型能力的极限边界上，CoT往往力不从心，其严格的顺序特性限制了测试时可扩展性。具体来说，论文评估了大量指令跟随模型和推理模型在数学基准上的表现，发现大多数模型在直接使用DAC推理时表现反而不如CoT推理。以Qwen2.5-7B-Instruct为例，其在竞赛级问题上的DAC准确率仅为0.4%，远低于CoT的5.6%。这表明通用后训练与DAC推理之间存在根本性的不匹配——模型虽然具备基础推理能力，但在分治推理方面却几乎无法有效工作，即便是在那些用CoT就能解决的较简单问题上也是如此。

本文的目标是本文的具体目标是通过端到端的强化学习框架来提升大语言模型的分治推理能力，从而在最具挑战性的推理任务上充分发挥模型的潜力。作者希望通过DAC-RL训练，使模型不仅能够有效地将复杂问题分解为子问题，还能在求解子问题的基础上解决原始问题，并且这种能力能够泛化到未见过的难题上。最终目标是在竞赛级数学推理基准上实现比标准CoT更高的性能上限和更强的测试时可扩展性。

与已有工作不同的是，本文的独特切入角度在于，它首次将分治策略从推理阶段引入到训练阶段。现有工作如Tree-of-Thought、DeAR、Seed-Prover和DeepSeek-Prover-V2等都只在推理时使用DAC策略，依赖复杂的提示工程，导致模型的通用后训练与DAC推理风格之间存在不匹配。本文通过统一的RL框架同时优化问题分解（division）和问题求解（conquering）两个阶段，使模型在训练过程中就学会分治推理，从而弥合了这一鸿沟。这种端到端的训练方式是本文与已有工作的本质区别。

核心方法

DAC-RL的核心思路是让模型在训练过程中同时学习分和治两个阶段。直觉上，这类似于人类解决复杂数学题时的策略：先将大问题拆解为几个小问题，分别求解，最后组合答案。具体技术路线是：在每个RL训练迭代中，策略模型对每个输入问题执行两个任务——(1)分解：将问题生成为一组子问题；(2)征服：依次求解子问题，然后基于子问题的解解决原始问题。两个阶段的优化目标统一在一个RL训练框架中，通过GRPO算法进行策略更新。关键设计是，分解阶段的奖励信号来自征服阶段的求解正确性——如果分解出的子问题有助于最终求解，则给予正奖励，否则给予负奖励。

本文的核心创新点是将DAC策略整合到端到端的RL训练中，而非仅在推理阶段使用。与已有方法的本质区别体现在三个方面：首先，已有方法如Tree-of-Thought和DeAR只在推理时进行问题分解，依赖复杂提示工程，而DAC-RL在训练过程中就让模型学会分治推理；其次，DAC-RL的训练框架统一了分解和征服两个阶段的优化，分解阶段的奖励直接来自征服阶段的求解正确性，形成闭环反馈；第三，DAC-RL不需要额外的子问题标注数据，通过RL的自我探索来学习分解策略，这在专家标注昂贵或不可获得的场景下尤为重要。此外，随着训练进行，生成的子问题会不断进化和改进，这种多样化的探索对于维持生成多样性和防止熵崩溃至关重要。

方法步骤详情

DAC-RL的完整训练流程如下：(1)问题分解（Division）：在每次迭代中，策略模型被提示将训练集中的每个问题x分解为Gd组子问题，每组包含至少Ns个子问题（实验中Ns=3）。(2)征服求解（Conquering）：对于每组子问题Pg，将其与原始问题x拼接形成征服提示，引导模型依次求解子问题，然后解决原始问题，生成Gc个候选征服响应。(3)奖励计算：征服阶段的奖励R(yc)基于最终答案的正确性R(yc) = 1{Extract(yc) = a}。分解阶段的奖励R(yd)综合考虑格式有效性、数量有效性和求解帮助性三个因素。(4)策略更新：使用GRPO算法，基于累积的经验缓冲区B更新策略参数theta，目标函数为J(theta) = E[R(yd) + R(yc)]。

技术新颖性

DAC-RL的技术新颖性体现在多个层面。首先，在奖励设计上，分解阶段的奖励机制创新性地将征服阶段的求解正确性作为子问题质量的代理信号，通过Lemma 2.1证明了最终答案奖励与子问题正确性之间的正相关关系Cov[1{si=1}, 1{C=1}] >= 0。其次，在训练稳定性上，作者发现强制要求生成至少Ns个子问题是关键设计——没有这个约束，模型会退化为直接求解原始问题（即回到标准CoT）。第三，在探索多样性上，DAC训练过程中子问题的进化和改进促进了征服阶段更广泛、非重复的探索，这对于维持生成多样性和防止熵崩溃至关重要。第四，在推理效率上，尽管增加了子问题求解步骤，DAC训练反而产生了更紧凑的推理轨迹，减少了因最大长度约束导致的截断问题。

实验结果

本文的实验结果表明DAC推理范式在多个维度上优于标准CoT推理。在Qwen3-4B-Instruct-2507模型上，DAC-RL在四个竞赛级基准上的平均Pass@1达到46.1%，Pass@32达到75.3%，分别比CoT-RL高出8.6%和6.3%。值得注意的是，CoT-RL在这个已经经过充分后训练的模型上未能带来性能提升（平均Pass@32从72.1%降至69.0%），而DAC-RL则突破了CoT的性能上限。在Qwen2.5-7B-Instruct上，DAC-RL同样带来了显著提升，平均Pass@1从5.6%提升至10.4%，Pass@32从24.1%提升至30.4%。中间检查点评估显示，两个模型都从较低的DAC准确率开始，但随着训练进行，DAC性能稳步增长并最终超越CoT。Deep DAC训练进一步增强了推理能力，在Qwen3-4B上实现了Pass@32 81.6%的成绩。混合训练实验表明，仅在难题上应用DAC训练就能同时提升模型的CoT和DAC推理能力，CoT推理在所有基准上提升了超过10%。测试时可扩展性分析显示，增加子问题组数（更大的n和更小的m）在竞赛级基准上持续优于CoT基线。冷启动蒸馏实验表明，从更强模型蒸馏DAC能力比蒸馏CoT更有效，后续RL训练带来的增益也更大（从1.4%提升到2.4%）。

**Figure 5**: 标准CoT-RL、Mix-RL和DAC-RL的综合比较

**Figure 7**: Qwen3-4B训练过程中的响应长度、裁剪比率和训练熵

查看结构化数据

任务	指标	本文	基线	提升
AIME 2024	Pass@1	63.9% (RL-DAC)	45.9% (RL-CoT)	+18.0%
AIME 2025	Pass@1	54.2% (RL-DAC)	52.1% (RL-CoT)	+2.1%
Beyond-AIME	Pass@1	34.6% (RL-DAC)	30.4% (RL-CoT)	+4.2%
HMMT 2025	Pass@1	31.9% (RL-DAC)	21.8% (RL-CoT)	+10.1%
竞赛级基准平均	Pass@1	46.1% (RL-DAC)	37.5% (RL-CoT)	+8.6%
竞赛级基准平均	Pass@32	75.3% (RL-DAC)	69.0% (RL-CoT)	+6.3%

局限与改进

本文存在几个值得注意的局限性。首先，实验仅在两个模型（Qwen2.5-7B-Instruct和Qwen3-4B-Instruct-2507）上进行，且均为相对较小的模型（7B和4B参数），在更大规模模型上的效果尚不明确。其次，评估基准仅限于竞赛级数学推理任务，且要求答案为整数格式，这限制了结论的普适性——作者也承认规则验证器在开放式数学格式上往往难以准确评估。第三，强制执行子问题求解格式约束会带来对齐税：虽然格式遵循率从42.6%提升到92.1%，但模型性能反而下降（平均Pass@32从81.6%降至77.3%），这表明严格的格式约束可能限制了模型的推理灵活性。第四，DAC-RL的训练成本高于标准CoT-RL，因为每个问题需要生成多组子问题和对应的征服求解，增加了计算开销。此外，论文未充分讨论DAC推理失败时的错误传播问题——如果子问题分解不当或某个子问题求解错误，可能会导致整个推理链崩溃。

独立分析的弱点

本文存在几个可以改进的弱点。第一，奖励设计方面，征服阶段的奖励仅基于最终答案的正确性，没有显式的子问题正确性监督信号。虽然Lemma 2.1证明了最终答案奖励与子问题正性的正相关关系，但这种间接监督可能在子问题数量较多时出现信号稀释问题。改进方向可以是引入中间验证器或过程奖励模型来评估子问题求解质量。第二，子问题分解质量控制方面，当前的格式和数量有效性检查较为简单，无法评估分解的语义质量——即使子问题数量满足要求，分解本身可能没有抓住问题的关键结构。可以考虑引入分解质量评估器或基于信息论的分解质量度量。第三，实验范围有限，仅在整数答案的数学任务上评估，未涉及代码推理、逻辑推理或自然语言推理等场景。第四，训练效率方面，每个问题需要Gd x Gc = 4 x 8 = 32次rollout，计算成本较高，可以探索更高效的采样策略。

未来方向

未来研究方向可以从多个维度展开。首先，可以将DAC-RL框架扩展到更多推理任务类型，如代码生成、科学推理、常识推理等，验证分治推理范式的通用性。其次，可以探索自适应分解策略——根据问题难度动态决定是否需要分解以及分解的粒度，而非对所有问题都进行固定策略的分解。第三，可以研究DAC推理与过程奖励模型（Process Reward Model, PRM）的结合，利用PRM为子问题求解提供更精细的监督信号。第四，可以探索更大规模模型上的DAC-RL训练效果，特别是70B+参数的模型，观察分治推理能力是否随模型规模提升而增强。第五，可以研究DAC推理在多轮对话、多步骤任务规划等更复杂场景中的应用。最后，基于本文发现的Mix-RL能够同时提升CoT和DAC推理能力，可以进一步研究最优的混合训练策略和问题难度阈值选择。

复现评估

本文的复现条件相对良好。代码已在GitHub开源（https://github.com/MasterVito/DAC-RL），提供了完整的训练和评估代码。训练数据集DAPO-Math-17k是公开可用的，冷启动蒸馏使用的DeepMath-103K数据集也包含难度标签。然而，完全复现存在一些挑战：首先，训练需要相当的计算资源，400个训练步骹（约6个epoch）在单个GPU上可能需要数天时间；其次，评估涉及32次采样的Pass@1平均和1024次采样的Pass@k分析，推理成本较高；第三，Deep DAC训练设置使用了24,576 token的最大推理长度和额外的200步训练，增加了计算需求。总体而言，对于有一定计算资源的研究团队，本文的核心方法应该是可复现的，但完整的实验设置（包括Deep DAC和冷启动实验）可能需要显著的计算投入。

通过分治推理训练大语言模型提升测试时可扩展性 Training LLMs for Divide-and-Conquer Reasoning Elevates Test-Time Scalability