DiffCoT：扩散风格的大语言模型思维链推理 DiffCoT: Diffusion-styled Chain-of-Thought Reasoning in LLMs
将CoT推理重新表述为迭代去噪过程，通过扩散滑动窗口缓解错误积累
前置知识
Chain-of-Thought (CoT) 推理
CoT是一种增强大语言模型推理能力的技术，要求模型在给出最终答案之前显式输出逐步的中间推理过程。具体来说，给定一个问题提示p，模型需要生成一系列推理步骤s1:K等于s1, s2, ..., sK，其中最后一步sK对应答案a。这种分解方式使模型能够将复杂问题分解为可管理的子问题，从而提高在数学、逻辑等需要多步推理任务上的表现。CoT的条件分布可表示为p参数化下给定p的条件概率，等于从k等于1到K的乘积，其中每个条件因子是基于问题p和先前步骤s1到k-1的步骤sk的概率。这种公式化的表达使得模型能够逐步构建推理链，每个步骤都依赖于前面的步骤，形成连贯的推理路径。
理解CoT推理是理解本文的基础，因为DiffCoT的核心目标就是解决CoT推理中存在的错误积累问题。作者将CoT重新表述为扩散风格的去噪过程，因此需要读者首先理解传统CoT的工作原理和局限性。
Exposure Bias（暴露偏差）
暴露偏差是序列生成任务中的一个经典问题，由Bengio等人在2015年提出。在训练时，模型使用ground-truth的前缀作为输入来预测下一个token，这被称为教师强制。然而在推理时，模型必须使用自己之前生成的（可能包含错误的）前缀作为输入。这种训练和推理条件的不一致性会导致错误积累：早期的小错误会通过后续步骤被放大，最终导致整个序列的质量急剧下降。在CoT推理场景中，这意味着推理步骤1中的错误会在步骤2、3中传播，最终得出错误的答案。研究表明，一旦推理链偏离正确路径，后续步骤有超过70%的概率会继续错误，这凸显了暴露偏差对多步推理任务的严重影响。
暴露偏差是本文要解决的核心问题。DiffCoT的设计哲学就是为了减少训练时的教师强制监督与推理时的推理动态之间的差异，从而实现更稳定的推理行为。理解这个概念有助于理解为什么要引入扩散模型来重新表述CoT推理。
Diffusion Models（扩散模型）
扩散模型是一种生成式框架，通过逐渐向数据添加噪声将其转化为简单分布（如高斯分布），然后学习逆向过程从噪声中逐步恢复原始数据。正式地，前向过程定义了噪声算符，在第t步应用：xt等于对xt-1应用算符，其中t是扩散步骤索引，eta t是噪声变量。逆向过程则学习参数化的转移来重构原始样本。与自回归不同，扩散模型通过迭代去噪优化整个序列的全局目标，隐式地通过对数密度的梯度场耦合所有位置。这种全局优化的特性使得扩散模型能够从损坏的数据中恢复原始信息，这正好对应了CoT推理中对错误中间步骤进行修正的需求。
DiffCoT的核心创新就是将扩散模型的原理引入到CoT推理中。扩散模型的全局修正能力正好对应CoT推理中对错误中间步骤进行修正的需求。理解扩散模型的工作原理对于理解DiffCoT的去噪机制和滑动窗口设计至关重要。
Direct Preference Optimization (DPO)
DPO是一种无需显式奖励模型的偏好优化方法，直接在策略空间中优化模型以匹配人类偏好。DPO将优化问题转化为对比学习形式，通过最小化偏好对和拒绝对之间的对数似然差距来训练。具体损失函数涉及比较两个序列（偏好序列和拒绝序列）在当前策略和参考策略下的对数概率差，其中beta控制偏好信号的强度，sigma是sigmoid函数。这种方法避免了训练显式的奖励模型，直接通过比较两个序列的输出来优化模型，使得模型更倾向于生成高质量的响应。在数学推理任务中，DPO可以用来优化推理步骤的质量，使模型更倾向于生成正确的推理路径。
DiffCoT使用DPO作为训练目标，因此理解DPO的工作原理对于理解DiffCoT的训练过程很重要。此外，本文还将DiffCoT与Step-DPO、Full-Step-DPO等基于DPO的方法进行比较，这些是本文的主要基线方法。
Sliding Window Mechanism（滑动窗口机制）
滑动窗口是一种序列处理技术，通过在序列上移动固定大小的窗口来处理可变长度的输入。在DiffCoT中，滑动窗口用于同时实现生成和修正功能：在去噪迭代t中，包含先前生成的CoT步骤的窗口被更新为较低噪声版本，同时窗口向前移动一步，模型预测下一步（初始化为高噪声状态）。滑动窗口的大小为m，步幅为n，这使得模型能够在保持token级自回归的同时，对历史步骤进行迭代细化。这种设计允许模型在生成新步骤的同时回望和修正之前的步骤，实现了生成和修正的统一。
滑动窗口是DiffCoT的核心技术组件，它使得方法能够在单一框架中统一生成和修正。理解滑动窗口的工作方式对于理解DiffCoT如何平衡AR和扩散两种生成模式至关重要。
研究动机
现有的Chain-of-Thought推理方法存在严重的错误积累问题。具体而言，CoT推理在训练时采用教师强制策略，即每个推理步骤都依赖于前一步的ground-truth输出。例如，在数学问题求解中，步骤sk的生成基于问题p和正确的前驱步骤s1:k-1。然而在推理时，模型可能基于包含错误的中间步骤进行生成，这种训练和推理条件的不一致性导致了暴露偏差。早期推理步骤中的错误会不可逆地传播到后续步骤，最终导致错误的最终答案。实验表明，在GSM8K等数学推理任务中，一旦早期步骤出现错误，后续步骤有超过70%的概率会继续偏离正确路径。虽然现有的偏好优化方法（如Step-DPO、Full-Step-DPO）试图通过步骤级别的监督来改善CoT推理，但它们仍然采用严格的前向生成方式，无法对已经生成的中间步骤进行全局修正。
本文的目标是本文的目标是设计一个新的CoT推理框架，能够有效缓解暴露偏差和错误积累问题，同时保持与现有自回归模型的兼容性。具体来说，作者希望实现以下目标：第一，将CoT推理重新表述为全局可修正的轨迹，使中间步骤在生成后仍然可以基于后续上下文进行自适应修正；第二，在保持token级自回归生成的同时，引入全局修正机制，使模型能够从损坏的中间步骤中恢复；第三，设计一个统一的框架，能够平衡自回归的因果性和扩散的全局修正能力，从而在推理时实现更稳定的行为。
与已有工作不同的是，本文的独特切入角度是将CoT推理重新表述为扩散风格的迭代去噪过程。与现有方法的关键区别在于：第一，现有方法（包括Step-DPO、Full-Step-DPO）仍然采用严格的前向生成范式，每个步骤一旦生成就固定不变，而DiffCoT允许对整个推理轨迹进行迭代更新，中间修订和前向推进无缝集成到统一的细化过程中。第二，现有的偏好优化方法主要关注局部步骤的对齐，忽略了推理轨迹内的未来信号，而DiffCoT通过扩散模型的全局优化目标隐式地耦合所有位置。第三，现有方法在训练时只在正确的前缀上进行优化，而DiffCoT通过混合构建（结合clean步骤和noisy步骤）训练模型在部分损坏的推理前缀下进行偏好一致的更新。这种重新表述使得模型能够从多样化的和复合的错误中恢复，而不是仅仅在正确的推理路径上进行前向生成。
核心方法
DiffCoT的核心思想是将CoT推理从严格的、前向的、前缀条件的过程转变为一个迭代的去噪过程。直觉上，就像扩散模型能够从噪声中逐步恢复图像一样，DiffCoT能够从损坏的推理链中逐步恢复正确的推理轨迹。技术路线上，DiffCoT首先构建一个扩散风格的训练数据集，其中推理步骤按照其奖励分数从低噪声到高噪声排序。然后，引入一个扩散滑动窗口机制，在推理步骤级别集成扩散原理，允许在生成新步骤的同时对先前生成的步骤进行细化。为了保持因果一致性，进一步设计了因果扩散噪声调度，按照推理步骤的顺序分配噪声强度。整个框架可以在预训练的LLM上高效微调，无需从头训练扩散语言模型。
DiffCoT的核心创新在于将CoT推理重新表述为扩散风格的迭代去噪过程。与自回归似然最大化独立优化条件因子不同，扩散模型在完整轨迹分布上优化全局目标，隐式地通过对数密度的梯度场耦合所有位置。这种全局优化自然地与CoT推理中轨迹级恢复的需求相一致。具体而言，DiffCoT引入了三个关键技术创新：第一，扩散风格的步骤级前向加噪，通过奖励排序构建从低噪声到高噪声的推理状态分布；第二，扩散滑动窗口去噪，统一生成和修正，在保持token级自回归的同时实现全局修正；第三，因果扩散噪声调度，明确编码推理步骤的时间依赖性，平衡全局错误修正和因果推理的结构要求。
方法步骤详情
DiffCoT的完整方法包含三个主要步骤。第一步是扩散风格的前向加噪。给定问题提示p，作者采用蒙特卡洛树搜索逐步构建搜索树进行分步解决方案探索。在每个步骤k，收集多个候选响应并使用外部奖励模型或基于rollout的成功率进行评分。奖励最高的候选被视为最低噪声状态，其余候选按照奖励排序形成序列，对应逐渐增加的噪声状态。步骤级噪声因此通过从最佳轨迹的偏差来衡量。第二步是滑动窗口去噪。模型接收问题提示p和前驱推理步骤s1:k作为输入，维护大小为m、步幅为n的扩散滑动窗口。在去噪迭代t，包含先前生成的CoT步骤的窗口被更新为较低噪声版本，同时窗口向前移动一步，模型预测下一步（初始化为高噪声状态）。迭代这个去噪过程最终产生干净轨迹。第三步是应用DPO损失进行训练。作者构造win序列和lose序列，前缀条件是过去的文本s1:k-1，然后应用DPO损失优化模型。为了保持因果一致性，作者重新定义噪声调度为推理步骤k和迭代t的联合函数，在扩散滑动窗口内，该调度遵循渐进安排，早期步骤用较弱噪声扰动，后期步骤用较强噪声扰动。
技术新颖性
DiffCoT的技术新颖性体现在多个方面。第一，它首次将扩散模型的原理系统地引入到CoT推理中，提出了一种全新的CoT范式。虽然之前有一些工作尝试在文本生成中使用扩散（如Diffusion-LM），但DiffCoT是在推理步骤级别应用扩散，这与之前的token级别应用有本质区别。第二，扩散滑动窗口机制是一种新颖的技术设计，它能够在单一框架中统一生成和修正。这与传统方法中生成和修正是分离的阶段不同。第三，因果扩散噪声调度是一个重要的技术贡献，它解决了将非因果的扩散模型应用于因果推理任务时的挑战。虽然之前有Diffusion Forcing等工作也考虑了因果性，但DiffCoT的噪声调度是专门针对CoT推理设计的，通过按照推理步骤顺序分配噪声强度来保持因果结构。第四，DiffCoT提供了一个离策略的训练范式，这使得方法可以与现有的预训练LLM无缝集成，无需从头训练扩散语言模型。
实验结果
实验结果显示DiffCoT在三个多步CoT推理基准上持续优于现有的CoT偏好优化方法。在GSM8K数据集上，使用Qwen3-8B作为骨干模型时，DiffCoT达到了91.5%的准确率，相比基线方法Step-DPO（88.7%）和Full-Step-DPO（88.7%）提升了约2.8个百分点。在SVAMP数据集上，DiffCoT在Qwen3-8B上达到了89.3%，相比Step-DPO（87.7%）和Full-Step-DPO（87.9%）提升了约1.5个百分点。在MATH数据集上，DiffCoT的优势在更难的级别上更加明显：在MATH-L4（第四级别，较难）上，使用Qwen3-4B时DiffCoT达到了24.4%，而Step-DPO和Full-Step-DPO分别只有12.3%和18.4%，提升幅度达到6.1个百分点以上；在MATH-L5（最难的第五级别）上，DiffCoT达到了13.2%，而Step-DPO和Full-Step-DPO分别只有5.0%和5.1%，提升幅度超过8个百分点。这些结果表明DiffCoT在更难的问题上带来了更大的改进，这意味着当正确推理路径更加稀疏时，DiffCoT能够更好地利用不同解决方案路径之间的信息，使更广泛的探索更加有效。消融实验验证了关键组件的有效性：当滑动窗口大小和步幅都设置为1（退化为纯AR方法）时，性能显著下降；当滑动窗口过大时，性能也下降，说明需要平衡因果连通性和错误修正能力。当破坏因果噪声调度时，性能大幅下降，证明了因果扩散噪声的重要性。错误积累分析实验显示，在随机前缀损坏设置下，DiffCoT在不同噪声强度下都显著高于Full-Step-DPO的修正成功率，这证明了DiffCoT更强的补偿积累的中间噪声的能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GSM8K（小学数学应用题） | 准确率（%） | 91.5 | Step-DPO: 88.7, Full-Step-DPO: 88.7 | +2.8个百分点 |
| SVAMP（简单算术问题） | 准确率（%） | 89.3 | Step-DPO: 87.7, Full-Step-DPO: 87.9 | +1.5个百分点 |
| MATH-L4（数学问题，难度级别4） | 准确率（%） | 24.4 | Step-DPO: 12.3, Full-Step-DPO: 18.4 | +6.1至+12.1个百分点 |
| MATH-L5（数学问题，难度级别5，最难） | 准确率（%） | 13.2 | Step-DPO: 5.0, Full-Step-DPO: 5.1 | +8.1至+8.2个百分点 |
| AIME 2025（美国邀请数学考试） | 严格准确率（%） | 20.0 | Step-DPO: 14.4, Full-Step-DPO: 12.2 | +5.6至+7.8个百分点 |
局限与改进
作者在论文中承认了几个局限性。第一，DiffCoT的数据构建和训练遵循离策略范式，其中偏好数据是使用与被优化策略不同的策略收集的。这种行为策略和训练策略之间的不匹配可能引入分布偏移、有偏的值估计和训练不稳定性，特别是在扩展到更难的数据集或更长的推理链时。第二，类似于Diffusion Forcing，DiffCoT通过重新访问和修改历史推理步骤打破了前缀条件生成的局部马尔可夫性质。虽然这种违规能够实现更强的能力，但也增加了生成过程中的不确定性和可控性挑战，通常需要更多的训练迭代和更大量的数据才能实现稳定的收敛。第三，方法依赖于高质量的候选响应生成和准确的奖励评估，如果基础模型的生成能力较弱或奖励评估不准确，可能会影响最终性能。第四，当前的实现主要针对数学推理任务，在其他领域的泛化性还需要进一步验证。
独立分析的弱点
尽管DiffCoT在多个基准上取得了显著的性能提升，但仍存在一些可以改进的弱点。第一，方法的计算开销较大，特别是在使用MCTS生成候选响应和进行rollout评估时，需要大量的计算资源。根据论文所述，在300个GSM8K样本上训练和推理大约需要11个GPU小时，这可能限制方法的可扩展性。改进方向可以是探索更高效的候选生成策略，或者使用近似方法来评估候选响应的质量。第二，方法对超参数的选择较为敏感，特别是滑动窗口的大小和步幅。消融实验表明，窗口太小或太大都会导致性能下降，这意味着在实际应用中需要进行仔细的超参数调优。改进方向可以是设计自适应的窗口大小选择机制，根据问题难度或推理链长度动态调整窗口大小。第三，方法的离策略训练范式可能导致策略和奖励评估之间的不匹配，特别是在扩展到新领域时。改进方向可以是探索在线学习策略，或者设计更稳定的离策略训练算法。第四，当前方法主要针对数学推理任务，在其他类型的推理任务（如常识推理、逻辑推理）上的效果可能不如数学推理明显。改进方向可以是设计任务特定的噪声调度机制，或者探索与其他推理增强技术的结合。
未来方向
作者在论文中提出了一些未来研究方向。第一，探索该范式在更多骨干模型和更广泛推理领域上的可扩展性。当前实验主要集中在数学推理任务上，未来可以扩展到常识推理、科学推理、代码生成等其他需要多步推理的任务。第二，探索与强化学习的结合。正如论文讨论部分所指出的，扩散模型的去噪过程理论上等价于偏好优化，因此DiffCoT可以自然地集成强化学习，利用RL直接优化扩散滑动窗口的去噪动力学。第三，研究更高效的训练和推理算法，减少计算开销，使方法能够在更广泛的设置中应用。第四，探索与其他推理增强技术的结合，如外部知识检索、形式化验证、符号推理等，以进一步提升推理能力和可靠性。第五，研究方法的解释性，理解扩散滑动窗口是如何学习和执行推理修正的，这有助于建立对方法的信任并指导进一步的改进。
复现评估
DiffCoT的可复现性评估较为积极。首先，作者已经在GitHub上开源了代码（https://github.com/caoshidong66/DiffCoT），这为研究者复现结果提供了基础。其次，论文提供了详细的实现细节，包括数据生成过程（使用MCTS进行rollout-based thought search，每个步骤采样5个候选，进行8次独立rollout计算成功率）、模型训练配置（使用LoRA进行高效微调，rank为8，alpha等于16，使用DPO损失，beta等于0.1，使用AdamW优化器，余弦学习率调度）和评估协议。第三，实验在多个公开数据集（GSM8K、SVAMP、MATH）上进行，这些数据集都可以公开获取，便于进行公平比较。第四，实验在多个骨干模型上进行了验证，包括Llama3-8B、Qwen3-8B、Qwen3-4B和Ministral3-8B，这证明了方法在不同模型架构上的泛化能力。然而，也存在一些可能影响复现性的因素。第一，MCTS-based数据生成过程可能存在随机性，虽然作者说明了rollout的数量（R等于8），但没有提供随机种子的设置细节。第二，计算资源要求较高，需要NVIDIA A100 80GB GPU，这可能限制一些研究者的复现能力。第三，论文提到训练只进行了一个epoch，这种设置是否在所有情况下都足够稳定还需要进一步验证。总体而言，考虑到代码开源和详细的实现细节，DiffCoT的复现难度中等，有经验的NLP研究者应该能够复现主要结果。
论文图表
这张图对比了传统的CoT推理方法和DiffCoT方法。图展示了现有的分步CoT推理方法采用teacher-forcing训练，每一步依赖于前一步的ground-truth输出。在推理时，这个假设被打破，导致exposure bias和错误积累。图展示了DiffCoT沿着噪声（扩散）和时间（自回归）两个维度执行CoT推理，能够迭代修正先前的错误，有效缓解exposure bias。图中的例子展示了一个数学问题，现有方法在步骤3中就出现了错误，然后这个错误在步骤4中被传播。而DiffCoT能够通过迭代去噪修正步骤3和步骤4，最终得到正确的答案。
这张图对于理解论文的核心贡献非常重要，它直观地展示了DiffCoT与传统CoT方法的根本区别，说明了为什么DiffCoT能够缓解exposure bias和错误积累问题。通过具体的数学例子，读者可以清楚地看到两种方法在错误修正能力上的差异。
这张图展示了一个具体的例子，说明了DiffCoT如何修改早期阶段的推理步骤。蓝色高亮的步骤表示扩散滑动窗口。图中展示了一个数学问题，早期步骤引入了语义上无关或信息量弱的步骤，这些步骤在严格的逐步推理中会积累并阻碍到达正确解决方案。DiffCoT能够通过扩散过程逐步细化早期推理步骤，而不是僵硬地坚持初始推理前缀，模型在生成后续步骤的同时逐步改进先前生成的步骤，最终从局部一致但全局次优的推理路径中转移出来，到达正确的解决方案。
这张图通过具体的例子展示了DiffCoT的错误修正能力，这对于理解DiffCoT与传统自回归推理的关键区别非常重要。它说明了DiffCoT是如何通过全局修正而不是局部前向生成来改进推理的。
这张图展示了一个具有逐步推理注释的代表性数据集示例。问题是一个关于卡车中安全帽数量的数学应用题。对于每个推理步骤，图展示了5个候选思路及其对应的步骤评估（success_rate）。例如，在步骤1中，某个候选描述了初始粉色帽子的计算，成功率达到0.75。在步骤2中，另一个候选详细描述了John移除6个粉色帽子和12个绿色帽子的过程，成功率为1.0。这个例子展示了DiffCoT的数据构建过程：在每个步骤收集多个候选，通过rollout评估其质量，然后根据奖励排序形成从低噪声到高噪声的状态。
这张图对于理解DiffCoT的数据构建过程非常重要，它展示了如何通过MCTS和rollout-based评估构建扩散风格的训练数据。通过具体的例子，读者可以清楚地理解步骤级噪声是如何定义的，以及候选响应是如何根据奖励分数排序的。