DiffThinker:基于扩散模型的生成式多模态推理框架,将多模态推理从符号空间重新定义为视觉空间的原生图像生成任务 DiffThinker: Towards Generative Multimodal Reasoning with Diffusion Models
将多模态推理重新定义为图像到图像生成任务,在长时程视觉推理任务上显著超越SOTA MLLMs,实现了高效、可控、并行且可协作的推理范式
前置知识
Flow Matching
Flow Matching 是一种生成建模框架,通过学习从噪声分布到目标数据分布的速度场来构建连续概率路径。它使用常微分方程来定义从简单噪声分布到复杂数据分布的变换过程,通过最小化预测速度与真实速度之间的均方误差进行训练。在推理阶段,通过数值积分如欧拉法逐步从噪声恢复出数据样本。这种方法相比传统的扩散概率模型提供了更稳定的训练动态和更高效的推理过程。
DiffThinker 基于 Flow Matching 实现推理过程,理解这一框架对于掌握其训练目标函数和推理更新规则至关重要。该框架决定了模型如何学习从噪声到解决方案的变换过程,是实现高效推理的核心理论基础。
Multimodal Diffusion Transformer (MMDiT)
MMDiT 是扩散模型的一种架构,使用 Transformer 来处理多模态输入。它将视觉和语言表示在独立的 Transformer 层中处理,然后通过交叉注意力机制实现跨模态交互。这种架构能够有效捕获图像和文本之间复杂的依赖关系,是当前多模态生成模型的主流架构之一。MMDiT 的优势在于能够处理高分辨率的视觉输入,同时保持对文本条件的精确控制。
DiffThinker 采用二十亿参数的 MMDiT 作为骨干网络,理解其架构有助于理解模型如何处理视觉输入和文本指令的联合表征。该架构的选择直接影响模型的推理能力和生成质量。
Classifier-Free Guidance (CFG)
CFG 是扩散模型中控制条件生成与样本保真度平衡的核心机制。它通过加权组合条件预测和无条件预测来增强模型对条件信号的响应。其中 w 是引导强度参数,较大的 w 值增强条件遵循性但可能导致过饱和和视觉伪影,较小的 w 值则提高样本多样性但可能降低条件准确性。合适的 w 值选择对于平衡逻辑精度和生成质量至关重要。
论文通过消融实验发现 w 等于 4 是 DiffThinker 的最优配置,理解 CFG 有助于理解如何平衡推理的逻辑精度和生成保真度。这一机制直接影响模型输出的准确性和视觉质量。
图像到图像生成任务
图像到图像生成是指给定一张输入图像和相关条件如文本描述,生成一张新的输出图像的任务。与文本到图像生成不同,这类任务需要保持与输入图像的结构一致性,同时根据条件进行有针对性的修改。在 DiffThinker 中,推理过程被建模为从问题图像到解决方案图像的直接映射,跳过了传统方法中的符号转换环节。
这是 DiffThinker 与传统 MLLMs 的核心区别所在,理解这一范式转换是理解整篇论文创新点的基础。这种直接在视觉空间进行推理的方式避免了信息损失并提高了效率。
研究动机
现有多模态大语言模型在复杂长时程、视觉中心的推理任务中存在显著局限性。虽然链式思维和 Thinking with Image 等范式在一定程度上增强了推理能力,但它们仍然主要依赖文本中心的符号映射。具体而言,MLLMs 存在以下问题:推理过程不可控且延迟高昂,冗长的链式思维导致生成过程不可控,且推理延迟随任务复杂度快速增长。多轮交互的 Thinking with Image 范式进一步加剧了计算开销。文本中心的推理方式难以有效跟踪视觉信息在长序列中的状态变化,特别是在涉及空间配置、路径规划等视觉中心的任务中表现不佳。即使采用强化学习进行优化,MLLMs 在复杂视觉推理任务上的性能仍然受限,且训练成本极高。
本文的目标是本文提出 DiffThinker 框架,旨在建立一种全新的生成式多模态推理范式。核心目标是将多模态推理从传统的文本中心符号映射重新定义为原生的图像到图像生成任务。具体而言,DiffThinker 试图通过在视觉空间内直接进行推理,实现更优越的逻辑一致性和空间精度。通过固定步数的生成过程,提供可控且稳定的推理成本。利用扩散模型天然的并行推理能力,同时探索多个候选解决方案。作为 MLLMs 的协作伙伴,弥补其在视觉想象方面的不足。最终目标是证明生成式多模态推理在复杂长时程、视觉中心任务上比传统 MLLMs 更有效、更高效。
与已有工作不同的是,本文的独特切入角度在于范式转换,即从符号空间到视觉空间。与之前工作不同,DiffThinker 不再依赖文本符号来表示推理轨迹,而是将推理过程本身建模为一种视觉生成任务。这种转换带来了几个本质区别:之前的方法如特定任务的数独求解器、几何求解器通常需要从零开始训练任务特定架构,而 DiffThinker 通过统一的生成范式能够快速适配多种多模态推理任务。虽然最近的工作如 ThinkMorph、Chain of Visual Thought 开始探索在视觉空间中进行推理,但它们仍然基于自回归 MLLMs 架构,而 DiffThinker 直接采用扩散模型进行原生图像生成。与 Thinking with Video 范式不同,DiffThinker 证明了图像生成在计算效率上优于视频生成,同时保持优异的推理性能。
核心方法
DiffThinker 的整体思路是将多模态推理任务重新定义为图像到图像的生成问题,直接在视觉空间中进行推理。直觉上,对于路径规划、数独、拼图等视觉中心任务,其解决方案本身就具有自然的视觉表征形式。传统 MLLMs 需要将视觉输入转换为文本符号,在符号空间中进行推理,再将结果映射回视觉输出,这个过程不可避免地会丢失视觉信息且效率低下。DiffThinker 则跳过符号转换环节,直接从问题图像生成解决方案图像。技术路线上,DiffThinker 基于 Qwen Image Edit 模型,采用 Flow Matching 作为理论框架,使用二十亿参数的多模态扩散变换器作为骨干网络。在变分自编码器的潜在空间中,模型学习从噪声到解决方案的速度场,通过数值积分常微分方程来生成解决方案。模型接受视觉输入和文本指令作为条件,通过 MLLM 提取条件潜变量来引导生成过程。
核心创新点是将多模态推理从符号空间转移到视觉空间,并利用扩散模型的固有特性来实现高效、可控、并行且可协作的推理。与已有方法的本质区别在于:传统 MLLMs 采用多模态到文本的映射,Thinking with Image 范式采用迭代交互的方式,而 DiffThinker 采用多模态到图像的映射。这种转换使推理过程能够保持视觉信息的完整性和连续性,避免了符号转换带来的信息损失。此外,扩散模型的采样过程天然具有并行探索能力,能够在早期阶段同时评估多个候选路径,通过迭代逐步收敛到最优解,这是自回归 MLLMs 所不具备的固有特性。这种范式转换为多模态推理开辟了全新的技术路线。
方法步骤详情
DiffThinker 的完整方法步骤如下。训练阶段首先进行数据准备,给定问题图像和文本指令,通过变分自编码器编码器将图像编码到潜空间得到数据潜变量。然后使用 MLLM 处理用户指令,提取条件潜变量。接着从标准正态分布采样噪声向量。随后从对数正态分布采样时间步。通过线性插值构造中间潜变量。计算目标速度场驱动从噪声到数据的流动。最后训练多模态扩散变换器速度场,通过最小化均方误差损失函数进行优化。推理阶段首先从噪声开始初始化。然后对于预设的时间步数,使用欧拉法进行迭代更新,其中步长为总步数的倒数。接着使用无分类器引导公式进行条件引导,设置引导尺度为四。随后将最终潜变量通过变分自编码器解码器解码回像素空间得到解决方案图像。最后通过解析函数将解决方案图像映射为符号格式以进行评估。整个过程固定为二十步,确保推理成本可控且稳定。
技术新颖性
DiffThinker 的技术新颖性体现在多个方面。首先,范式转换:首次将多模态推理系统地建模为图像到图像生成任务,这是对传统多模态到文本和多模态到文本带工具范式的根本性创新。其次,架构统一:通过统一的生成框架适配多种不同类型的多模态推理任务,包括序列规划、组合优化、约束满足、空间配置,无需为每个任务设计特定架构。再次,固有并行性:扩散模型的采样过程天然支持并行推理,能够在早期阶段同时探索多个候选路径,通过迭代逐步剪枝无效路径,这是自回归模型难以实现的。此外,可控推理成本:通过固定步数的常微分方程求解,确保推理成本与任务复杂度无关,解决了 MLLMs 推理延迟不可控的问题。最后,协作能力:DiffThinker 能够生成多个候选解决方案供 MLLM 验证,实现生成式推理器和符号推理器的互补协作。这些新颖性共同构成了生成式多模态推理这一全新范式的技术基础。
实验结果
论文在七个任务上进行了全面评估,涵盖四个领域:序列规划包括视觉空间规划、视觉空间规划超级版和迷宫,组合优化包括旅行商问题,约束满足包括数独,空间配置包括拼图和视觉拼图。核心发现包括:整体性能方面,DiffThinker 在平均准确率达到百分之八十七点四,显著超越 GPT-5 的百分之二十一点一、提升百分之三百一十四点二,超越 Gemini 3 Flash 的百分之四十一点三、提升百分之一百一十一点六,以及微调后的 Qwen3 VL 32B 的百分之六十二点九、提升百分之三十九点零。DiffThinker 加版本进一步提升至百分之八十八点五。序列规划任务方面,在视觉空间规划任务上网格大小三到八,DiffThinker 达到百分之九十八点三平均准确率,远超 GPT-5 的百分之七十八点零和 Gemini 3 Flash 的百分之八十九点五。在更复杂的视觉空间规划超级版任务上网格大小十六到三十二,DiffThinker 达到百分之九十八点八平均准确率,而 GPT-5 和 Gemini 3 Flash 仅分别为百分之三点零和百分之二十七点七。在迷宫任务上网格大小八到三十二,DiffThinker 达到百分之九十八点三平均准确率,而 GPT-5 和 Gemini 3 Flash 分别为百分之零点六七和百分之二点零。组合优化任务方面,在旅行商问题任务上城市数量十二到十八,DiffThinker 达到百分之七十四点七平均准确率,而 Qwen3 VL 32B 微调仅为百分之三十七点三。约束满足任务方面,在数独任务上给定线索数三十到四十五,DiffThinker 达到百分之六十二点零平均准确率,而 Qwen3 VL 32B 微调仅为百分之四十点七。空间配置任务方面,在拼图任务上拼图布局二乘二到四乘四,DiffThinker 达到百分之九十八点三平均准确率,而 Qwen3 VL 32B 微调仅为百分之六十五点七。在视觉拼图任务上,DiffThinker 达到百分之九十八点零准确率,而 Qwen3 VL 32B 微调仅为百分之二十八点七。这些结果表明,随着任务复杂度增加,MLLMs 的性能急剧下降,而 DiffThinker 能够通过生成式推理保持高性能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VSP 序列规划 | 平均准确率网格大小三到八 | 百分之九十八点三 | GPT-5 为百分之七十八点零 | 提升百分之二十六点零 |
| VSP-Super 复杂序列规划 | 平均准确率网格大小十六到三十二 | 百分之九十八点八 | Gemini 3 Flash 为百分之二十七点七 | 提升百分之二百五十六点七 |
| Maze 迷宫导航 | 平均准确率网格大小八到三十二 | 百分之九十八点三 | GPT-5 为百分之零点六七 | 提升超过一万三千五百七十倍 |
| TSP 旅行商问题 | 平均准确率城市数量十二到十八 | 百分之七十四点七 | Qwen3 VL 32B 微调为百分之三十七点三 | 提升百分之一百点三 |
| Sudoku 数独 | 平均准确率给定线索数三十到四十五 | 百分之六十二点零 | Qwen3 VL 32B 微调为百分之四十点七 | 提升百分之五十二点三 |
| Jigsaw 拼图 | 平均准确率二乘二到四乘四 | 百分之九十八点三 | Qwen3 VL 32B 微调为百分之六十五点七 | 提升百分之四十九点六 |
| 整体性能 | 所有任务平均准确率 | 百分之八十七点四 | Qwen3 VL 32B 微调为百分之六十二点九 | 提升百分之三十九点零 |
局限与改进
论文承认的局限性包括分布外泛化能力受限,由于推理过程直接建模为生成任务,模型处理未见复杂场景的能力严重依赖于其底层基础模型的表示深度。当前生成式基础模型的零样本推理能力有限,因此 DiffThinker 在分布外任务上的表现受限。任务范围限制方面,本文主要关注视觉中心任务,在这些任务上 DiffThinker 显著超越传统 MLLMs。然而,MLLMs 在文本中心任务如复杂数学问题上仍保持明显优势。作者的观察包括过度并行推理,在某些简单任务如小规模视觉空间规划中,DiffThinker 可能进行过度的并行推理,导致无法保留唯一的正确轨迹,最终失败。深度推理衰减方面,在起点和目标点距离较远的迷宫实例中,DiffThinker 可能无法维持深度推理,仅提供初步轨迹。局部最优陷阱方面,在旅行商问题等组合优化任务中,DiffThinker 容易陷入局部最优解。细节分辨困难方面,在随机生成的拼图测试集中,某些实例包含极其难以区分的区域,DiffThinker 虽能生成全局合理的图像,但细节可能错误。这些局限性表明,生成式多模态推理范式仍有改进空间。
独立分析的弱点
独立分析的弱点包括零样本能力不足,DiffThinker 在未训练的任务上表现有限,这表明其依赖训练数据中内化的任务知识,而非真正的泛化推理能力。改进方向是开发更强大的多模态生成基础模型,专门针对推理进行优化,增强其零样本推理能力。复杂任务上的局部最优方面,在旅行商问题等组合优化任务中,DiffThinker 容易陷入局部最优解。改进方向是引入显式的优化机制,如将扩散采样与局部搜索算法结合,或者通过强化学习进一步优化生成过程。长距离依赖处理方面,在起点和目标点距离较远的迷宫任务上,DiffThinker 的深度推理能力衰减。改进方向是增强模型的长程依赖建模能力,可能通过增加变换器层数、引入记忆机制或分层推理来解决。细节精度不足方面,在拼图任务中,模型在难以区分的区域上犯错。改进方向是引入局部精细化的后处理步骤,或者通过多尺度生成机制同时关注全局结构和局部细节。计算资源需求方面,虽然 DiffThinker 的推理效率优于 MLLMs,但其二十亿参数的模型仍然需要大量计算资源。改进方向是探索模型压缩技术如知识蒸馏、量化或开发更轻量级的架构。
未来方向
作者提出的未来研究方向包括更强的分布外泛化,优先开发更强大的多模态生成基础模型,专门针对推理进行优化,增强其分布外泛化能力。跨范式协作方面,深入研究生成式推理器与 MLLMs 之间的协作和协同效应,通过整合 DiffThinker 的优越视觉精度和 MLLMs 的高级语言和符号能力,扩展多模态推理的范围。更广的任务范围方面,探索生成式多模态推理在更多类型任务上的应用,超越本文聚焦的视觉中心任务。基于成果可延伸的方向包括多模态推理世界模型,将生成式推理与世界建模结合,构建能够理解物理规律和因果关系的世界模型。实时推理应用方面,利用 DiffThinker 的可控推理成本优势,将其应用于需要实时决策的场景,如机器人导航、自动驾驶等。人机协作推理方面,探索 DiffThinker 作为人类推理伙伴的潜力,通过可视化推理轨迹帮助人类理解复杂问题。推理过程的可解释性方面,进一步研究扩散模型内部推理过程的可解释性,揭示其如何在潜在空间中进行逻辑推理。跨模态推理扩展方面,将生成式推理范式扩展到其他模态组合,如音频视觉、触觉视觉等多模态推理任务。
复现评估
复现评估方面开源情况良好,论文基于开源模型 Qwen Image Edit 2509 和 Qwen Image Edit 2511 构建,这些模型已公开发布。论文提供了项目页面,预计包含代码和模型权重。数据集方面,论文详细描述了训练和测试数据的统计信息。训练数据包括视觉空间规划五百到一万样本、视觉空间规划超级版一万到两万样本、迷宫一万样本、旅行商问题五千到一万样本、数独七千五百到一万五千样本、拼图四千到五千样本、视觉拼图四百样本。测试集每个难度级别包含一百个样本。算力需求方面,训练在八张英伟达 H200 显卡的集群上进行。训练时长方面,DiffThinker 与 Qwen3 VL 32B 微调相当约八小时,低于强化学习的训练开销约二十三小时。推理延迟方面,DiffThinker 为一点一秒,与 Qwen3 VL 8B 微调的一点零秒相当,快于 Qwen3 VL 32B 微调的一点四秒。实现细节方面,论文提供了详细的超参数配置,包括流匹配、监督微调和强化学习的框架、训练轮数五五一、学习率十的负四次方十的负四次方十的负六次方、低秩适应秩三十二三十二负、批大小八三十二一百二十八或六十四。复现难度中等。主要挑战包括需要八张 H200 显卡进行训练,计算资源需求较高。需要准备或合成特定任务的数据集。需要理解流匹配和扩散模型的实现细节。但论文提供了详细的实现细节和超参数,且基于开源模型,降低了复现门槛。
论文图表
Figure 1a 展示了 DiffThinker、Gemini 3 Flash 和 GPT-5 在七个任务上的整体性能对比。每个任务的准确率用柱状图表示,显示 DiffThinker 在所有任务上都显著优于基线模型。Figure 1b 展示了视觉空间规划超级版、数独和拼图三个任务的视觉化结果对比。DiffThinker 直接生成解决方案图像包括红色路径、完整数独网格、正确拼图,而基线结果是文本输出的后处理可视化,其中错误被高亮显示。
这张图对理解论文至关重要,因为它直观展示了 DiffThinker 的核心优势,即通过将推理重新定义为原生图像到图像生成任务,DiffThinker 在复杂长时程、视觉中心推理任务上实现了更优越的逻辑一致性和空间精度。视觉化对比清楚地显示了 DiffThinker 生成的解决方案的准确性,而基线模型的文本输出在转换回视觉形式时引入了错误。
Figure 2 展示了三种多模态推理范式的对比。标准 MLLMs 将输入直接映射到符号解决方案,例如 R 和 D 代表 Right 和 Down 动作。Thinking with Images MLLMs 通过迭代工具调用与多模态输入交互。DiffThinker 将多模态推理重新定义为直接生成的图像到图像任务,其中解决方案在视觉空间中生成,然后解析为符号解决方案以确保公平比较。
这张图对理解论文的范式转换至关重要。它清晰地展示了 DiffThinker 与传统方法的本质区别,即从符号空间到视觉空间的转换。通过对比三种范式,读者可以直观理解为什么 DiffThinker 能够在视觉中心任务上超越传统 MLLMs。
Figure 3 展示了论文中使用的七个主要任务。每一列代表一个特定任务。第一行显示图像输入。第二行显示 DiffThinker 生成的结果。第三行呈现来自 MLLM 基线的输出。任务包括视觉空间规划路径规划、视觉空间规划超级版复杂路径规划、迷宫迷宫导航、旅行商问题旅行商问题、数独数独、拼图拼图和视觉拼图视觉拼图。
这张图对理解论文的任务设置和评估基准至关重要。它直观展示了 DiffThinker 和 MLLM 在不同类型任务上的输出形式差异,帮助读者理解为什么视觉中心任务更适合生成式推理范式。
Figure 4 可视化了 DiffThinker 中的原生并行推理过程。在早期推理阶段如 Step 1,DiffThinker 避免过早承诺单一路径,而是在网格上并行探索多个候选轨迹。通过连续迭代,模型同时评估全局约束和环境障碍,逐步剪枝无效路径,最终收敛到最优解。
这张图对理解 DiffThinker 的核心优势至关重要。它直观展示了扩散模型固有的并行推理能力,这是自回归 MLLMs 所不具备的特性。通过可视化,读者可以理解 DiffThinker 如何在生成过程中逐步细化多个候选解决方案。
Figure 5a 比较了流匹配、监督微调和强化学习三种训练范式的训练时长小时,显示 DiffThinker 流匹配的训练时间与 Qwen3 VL 32B 微调相当,远低于强化学习的开销。Figure 5b 显示了视觉空间规划超级版十六级每个推理实例的平均推理延迟秒,DiffThinker 为一点一秒,与 Qwen3 VL 8B 微调的一点零秒相当,快于 Qwen3 VL 32B 微调的一点四秒。
这张图对理解 DiffThinker 的效率优势至关重要。它量化证明了生成式推理范式不仅在准确性上超越传统 MLLMs,在训练和推理效率上也具有竞争力。这反驳了扩散模型推理慢的常见认知。
Figure 6a 展示了协作框架,其中 DiffThinker 生成候选解决方案供 MLLM 验证。Figure 6b 展示了拼图四级上的性能,显示协作优于单独模型,且准确性随候选数量的增加而进一步提升。当候选数量等于五时,协作准确率达到约百分之七十八,高于 DiffThinker 单独的约百分之六十五和 MLLM 单独的约百分之五十五。
这张图对理解 DiffThinker 的协作潜力至关重要。它展示了生成式推理器与符号推理器如何互补,DiffThinker 提供视觉想象能力,MLLM 提供反思验证能力。这种协作范式为未来的多模态推理系统提供了新思路。
Figure 7 展示了不同推理步数下准确性和推理时间的权衡。横轴表示推理步数十、二十、三十、四十,纵轴表示准确性或推理时间。结果显示 DiffThinker 在仅十步时就保持了高性能,增加到二十步带来明显的性能提升,超过二十步后准确率趋于稳定。在二十步时,准确性达到约百分之九十八点三,推理时间约一点一秒。
这张图对理解 DiffThinker 的可控性优势至关重要。它证明了可以通过固定步数实现可控的推理成本,同时保持高性能。这解决了 MLLMs 推理延迟不可控的问题。
Figure 8a 展示了一百个训练样本时的定性分析结果。由于基础模型的零样本推理能力有限,DiffThinker 最初专注于掌握任务特定的渲染语法如网格对齐和轨迹连续性。Figure 8b 展示了迷宫三十二级和数独三十五级上准确率随训练样本增加的定量结果。DiffThinker 随数据扩展持续受益,在十万样本时迷宫三十二级准确率超过百分之九十,而 MLLMs 的性能仍然有限。
这张图对理解 DiffThinker 的学习过程至关重要。它展示了 DiffThinker 如何从浅层视觉模仿过渡到深度结构推理,以及数据规模对性能的影响。这为理解生成式推理范式的学习动态提供了洞察。
Figure 9a 展示了不同无分类器引导尺度 w 等于一、二、三、四、五、六、七下第一步预测的样本的视觉影响。在 w 等于一时,条件不足导致轨迹微弱且不确定。在 w 等于七时,数值过饱和导致视觉伪影和纹理扭曲。w 等于四时,作为逻辑放大器,生成大胆且精确的路径。Figure 9b 展示了不同任务上准确率随无分类器引导尺度的变化趋势,确认 w 等于四是大多数任务的峰值性能点。
这张图对理解 DiffThinker 的超参数选择至关重要。它展示了如何在逻辑精度和生成保真度之间平衡,为理解扩散模型中的条件引导机制提供了实用洞察。
Figure 10 通过均匀采样帧的累积展示了 DiffThinker Video 的视觉轨迹。DiffThinker Video 通过生成视频来解决迷宫问题,视频中的黄色球逐步导航路径朝向目标。这展示了视频生成模型也具有内在的多模态推理能力。
这张图对理解视频生成范式的推理能力至关重要。它提供了将推理扩展到视频维度的直观展示,帮助读者理解视频生成如何表示连续的状态演变。
Figure 11 展示了图像生成 DiffThinker 和视频生成两种范式在迷宫八级上的性能比较。横轴表示训练时长小时,纵轴表示准确率百分比。结果显示 DiffThinker Video 以更高的训练开销获得了更低的准确率。DiffThinker 在约八小时训练后达到约百分之九十五准确率,而 DiffThinker Video 在相同训练时长下仅达到约百分之八十准确率。
这张图对理解图像生成与视频生成的效率权衡至关重要。它证明了图像生成在计算效率上优于视频生成,同时保持优异的推理性能。这突出了视频生成用于多模态推理的计算成本问题。