← 返回 2026-01-02

DiffThinker:基于扩散模型的生成式多模态推理框架,将多模态推理从符号空间重新定义为视觉空间的原生图像生成任务 DiffThinker: Towards Generative Multimodal Reasoning with Diffusion Models

Zefeng He, Xiaoye Qu, Yafu Li, Tong Zhu, Siyuan Huang, Yu Cheng 📅 2025-12-30 👍 53 2026-07-13 08:35
多模态推理 序列规划 扩散模型 组合优化 视觉推理

将多模态推理重新定义为图像到图像生成任务,在长时程视觉推理任务上显著超越SOTA MLLMs,实现了高效、可控、并行且可协作的推理范式

前置知识

Flow Matching

Flow Matching 是一种生成建模框架,通过学习从噪声分布到目标数据分布的速度场来构建连续概率路径。它使用常微分方程来定义从简单噪声分布到复杂数据分布的变换过程,通过最小化预测速度与真实速度之间的均方误差进行训练。在推理阶段,通过数值积分如欧拉法逐步从噪声恢复出数据样本。这种方法相比传统的扩散概率模型提供了更稳定的训练动态和更高效的推理过程。

DiffThinker 基于 Flow Matching 实现推理过程,理解这一框架对于掌握其训练目标函数和推理更新规则至关重要。该框架决定了模型如何学习从噪声到解决方案的变换过程,是实现高效推理的核心理论基础。

Multimodal Diffusion Transformer (MMDiT)

MMDiT 是扩散模型的一种架构,使用 Transformer 来处理多模态输入。它将视觉和语言表示在独立的 Transformer 层中处理,然后通过交叉注意力机制实现跨模态交互。这种架构能够有效捕获图像和文本之间复杂的依赖关系,是当前多模态生成模型的主流架构之一。MMDiT 的优势在于能够处理高分辨率的视觉输入,同时保持对文本条件的精确控制。

DiffThinker 采用二十亿参数的 MMDiT 作为骨干网络,理解其架构有助于理解模型如何处理视觉输入和文本指令的联合表征。该架构的选择直接影响模型的推理能力和生成质量。

Classifier-Free Guidance (CFG)

CFG 是扩散模型中控制条件生成与样本保真度平衡的核心机制。它通过加权组合条件预测和无条件预测来增强模型对条件信号的响应。其中 w 是引导强度参数,较大的 w 值增强条件遵循性但可能导致过饱和和视觉伪影,较小的 w 值则提高样本多样性但可能降低条件准确性。合适的 w 值选择对于平衡逻辑精度和生成质量至关重要。

论文通过消融实验发现 w 等于 4 是 DiffThinker 的最优配置,理解 CFG 有助于理解如何平衡推理的逻辑精度和生成保真度。这一机制直接影响模型输出的准确性和视觉质量。

图像到图像生成任务

图像到图像生成是指给定一张输入图像和相关条件如文本描述,生成一张新的输出图像的任务。与文本到图像生成不同,这类任务需要保持与输入图像的结构一致性,同时根据条件进行有针对性的修改。在 DiffThinker 中,推理过程被建模为从问题图像到解决方案图像的直接映射,跳过了传统方法中的符号转换环节。

这是 DiffThinker 与传统 MLLMs 的核心区别所在,理解这一范式转换是理解整篇论文创新点的基础。这种直接在视觉空间进行推理的方式避免了信息损失并提高了效率。

研究动机

现有多模态大语言模型在复杂长时程、视觉中心的推理任务中存在显著局限性。虽然链式思维和 Thinking with Image 等范式在一定程度上增强了推理能力,但它们仍然主要依赖文本中心的符号映射。具体而言,MLLMs 存在以下问题:推理过程不可控且延迟高昂,冗长的链式思维导致生成过程不可控,且推理延迟随任务复杂度快速增长。多轮交互的 Thinking with Image 范式进一步加剧了计算开销。文本中心的推理方式难以有效跟踪视觉信息在长序列中的状态变化,特别是在涉及空间配置、路径规划等视觉中心的任务中表现不佳。即使采用强化学习进行优化,MLLMs 在复杂视觉推理任务上的性能仍然受限,且训练成本极高。

本文的目标是本文提出 DiffThinker 框架,旨在建立一种全新的生成式多模态推理范式。核心目标是将多模态推理从传统的文本中心符号映射重新定义为原生的图像到图像生成任务。具体而言,DiffThinker 试图通过在视觉空间内直接进行推理,实现更优越的逻辑一致性和空间精度。通过固定步数的生成过程,提供可控且稳定的推理成本。利用扩散模型天然的并行推理能力,同时探索多个候选解决方案。作为 MLLMs 的协作伙伴,弥补其在视觉想象方面的不足。最终目标是证明生成式多模态推理在复杂长时程、视觉中心任务上比传统 MLLMs 更有效、更高效。

与已有工作不同的是,本文的独特切入角度在于范式转换,即从符号空间到视觉空间。与之前工作不同,DiffThinker 不再依赖文本符号来表示推理轨迹,而是将推理过程本身建模为一种视觉生成任务。这种转换带来了几个本质区别:之前的方法如特定任务的数独求解器、几何求解器通常需要从零开始训练任务特定架构,而 DiffThinker 通过统一的生成范式能够快速适配多种多模态推理任务。虽然最近的工作如 ThinkMorph、Chain of Visual Thought 开始探索在视觉空间中进行推理,但它们仍然基于自回归 MLLMs 架构,而 DiffThinker 直接采用扩散模型进行原生图像生成。与 Thinking with Video 范式不同,DiffThinker 证明了图像生成在计算效率上优于视频生成,同时保持优异的推理性能。

核心方法

DiffThinker 的整体思路是将多模态推理任务重新定义为图像到图像的生成问题,直接在视觉空间中进行推理。直觉上,对于路径规划、数独、拼图等视觉中心任务,其解决方案本身就具有自然的视觉表征形式。传统 MLLMs 需要将视觉输入转换为文本符号,在符号空间中进行推理,再将结果映射回视觉输出,这个过程不可避免地会丢失视觉信息且效率低下。DiffThinker 则跳过符号转换环节,直接从问题图像生成解决方案图像。技术路线上,DiffThinker 基于 Qwen Image Edit 模型,采用 Flow Matching 作为理论框架,使用二十亿参数的多模态扩散变换器作为骨干网络。在变分自编码器的潜在空间中,模型学习从噪声到解决方案的速度场,通过数值积分常微分方程来生成解决方案。模型接受视觉输入和文本指令作为条件,通过 MLLM 提取条件潜变量来引导生成过程。

核心创新点是将多模态推理从符号空间转移到视觉空间,并利用扩散模型的固有特性来实现高效、可控、并行且可协作的推理。与已有方法的本质区别在于:传统 MLLMs 采用多模态到文本的映射,Thinking with Image 范式采用迭代交互的方式,而 DiffThinker 采用多模态到图像的映射。这种转换使推理过程能够保持视觉信息的完整性和连续性,避免了符号转换带来的信息损失。此外,扩散模型的采样过程天然具有并行探索能力,能够在早期阶段同时评估多个候选路径,通过迭代逐步收敛到最优解,这是自回归 MLLMs 所不具备的固有特性。这种范式转换为多模态推理开辟了全新的技术路线。

方法步骤详情

DiffThinker 的完整方法步骤如下。训练阶段首先进行数据准备,给定问题图像和文本指令,通过变分自编码器编码器将图像编码到潜空间得到数据潜变量。然后使用 MLLM 处理用户指令,提取条件潜变量。接着从标准正态分布采样噪声向量。随后从对数正态分布采样时间步。通过线性插值构造中间潜变量。计算目标速度场驱动从噪声到数据的流动。最后训练多模态扩散变换器速度场,通过最小化均方误差损失函数进行优化。推理阶段首先从噪声开始初始化。然后对于预设的时间步数,使用欧拉法进行迭代更新,其中步长为总步数的倒数。接着使用无分类器引导公式进行条件引导,设置引导尺度为四。随后将最终潜变量通过变分自编码器解码器解码回像素空间得到解决方案图像。最后通过解析函数将解决方案图像映射为符号格式以进行评估。整个过程固定为二十步,确保推理成本可控且稳定。

技术新颖性

DiffThinker 的技术新颖性体现在多个方面。首先,范式转换:首次将多模态推理系统地建模为图像到图像生成任务,这是对传统多模态到文本和多模态到文本带工具范式的根本性创新。其次,架构统一:通过统一的生成框架适配多种不同类型的多模态推理任务,包括序列规划、组合优化、约束满足、空间配置,无需为每个任务设计特定架构。再次,固有并行性:扩散模型的采样过程天然支持并行推理,能够在早期阶段同时探索多个候选路径,通过迭代逐步剪枝无效路径,这是自回归模型难以实现的。此外,可控推理成本:通过固定步数的常微分方程求解,确保推理成本与任务复杂度无关,解决了 MLLMs 推理延迟不可控的问题。最后,协作能力:DiffThinker 能够生成多个候选解决方案供 MLLM 验证,实现生成式推理器和符号推理器的互补协作。这些新颖性共同构成了生成式多模态推理这一全新范式的技术基础。

实验结果

论文在七个任务上进行了全面评估,涵盖四个领域:序列规划包括视觉空间规划、视觉空间规划超级版和迷宫,组合优化包括旅行商问题,约束满足包括数独,空间配置包括拼图和视觉拼图。核心发现包括:整体性能方面,DiffThinker 在平均准确率达到百分之八十七点四,显著超越 GPT-5 的百分之二十一点一、提升百分之三百一十四点二,超越 Gemini 3 Flash 的百分之四十一点三、提升百分之一百一十一点六,以及微调后的 Qwen3 VL 32B 的百分之六十二点九、提升百分之三十九点零。DiffThinker 加版本进一步提升至百分之八十八点五。序列规划任务方面,在视觉空间规划任务上网格大小三到八,DiffThinker 达到百分之九十八点三平均准确率,远超 GPT-5 的百分之七十八点零和 Gemini 3 Flash 的百分之八十九点五。在更复杂的视觉空间规划超级版任务上网格大小十六到三十二,DiffThinker 达到百分之九十八点八平均准确率,而 GPT-5 和 Gemini 3 Flash 仅分别为百分之三点零和百分之二十七点七。在迷宫任务上网格大小八到三十二,DiffThinker 达到百分之九十八点三平均准确率,而 GPT-5 和 Gemini 3 Flash 分别为百分之零点六七和百分之二点零。组合优化任务方面,在旅行商问题任务上城市数量十二到十八,DiffThinker 达到百分之七十四点七平均准确率,而 Qwen3 VL 32B 微调仅为百分之三十七点三。约束满足任务方面,在数独任务上给定线索数三十到四十五,DiffThinker 达到百分之六十二点零平均准确率,而 Qwen3 VL 32B 微调仅为百分之四十点七。空间配置任务方面,在拼图任务上拼图布局二乘二到四乘四,DiffThinker 达到百分之九十八点三平均准确率,而 Qwen3 VL 32B 微调仅为百分之六十五点七。在视觉拼图任务上,DiffThinker 达到百分之九十八点零准确率,而 Qwen3 VL 32B 微调仅为百分之二十八点七。这些结果表明,随着任务复杂度增加,MLLMs 的性能急剧下降,而 DiffThinker 能够通过生成式推理保持高性能。

Comprehensive Results across All Tasks providing detailed evaluation across four domains including sequential planning combinatorial optimization constraint satisfaction and spatial configuration with closed source MLLMs open source MLLMs and generative multimodal reasoners
Table 1: Comprehensive Results across All Tasks providing detailed evaluation across four domains including sequential planning combinatorial optimization constraint satisfaction and spatial configuration with closed source MLLMs open source MLLMs and generative multimodal reasoners
Detailed statistics for training and testing datasets across five task categories showing difficulty levels training samples and test samples for VSP VSP-Super Maze TSP Sudoku Jigsaw and VisPuzzle tasks
Table 2: Detailed statistics for training and testing datasets across five task categories showing difficulty levels training samples and test samples for VSP VSP-Super Maze TSP Sudoku Jigsaw and VisPuzzle tasks
Hyperparameter settings for different training paradigms comparing Flow Matching SFT and GRPO including framework epochs learning rate LoRA rank batch size rollout size and KL coefficient configurations
Table 3: Hyperparameter settings for different training paradigms comparing Flow Matching SFT and GRPO including framework epochs learning rate LoRA rank batch size rollout size and KL coefficient configurations
查看结构化数据
任务指标本文基线提升
VSP 序列规划 平均准确率网格大小三到八 百分之九十八点三 GPT-5 为百分之七十八点零 提升百分之二十六点零
VSP-Super 复杂序列规划 平均准确率网格大小十六到三十二 百分之九十八点八 Gemini 3 Flash 为百分之二十七点七 提升百分之二百五十六点七
Maze 迷宫导航 平均准确率网格大小八到三十二 百分之九十八点三 GPT-5 为百分之零点六七 提升超过一万三千五百七十倍
TSP 旅行商问题 平均准确率城市数量十二到十八 百分之七十四点七 Qwen3 VL 32B 微调为百分之三十七点三 提升百分之一百点三
Sudoku 数独 平均准确率给定线索数三十到四十五 百分之六十二点零 Qwen3 VL 32B 微调为百分之四十点七 提升百分之五十二点三
Jigsaw 拼图 平均准确率二乘二到四乘四 百分之九十八点三 Qwen3 VL 32B 微调为百分之六十五点七 提升百分之四十九点六
整体性能 所有任务平均准确率 百分之八十七点四 Qwen3 VL 32B 微调为百分之六十二点九 提升百分之三十九点零

局限与改进

论文承认的局限性包括分布外泛化能力受限,由于推理过程直接建模为生成任务,模型处理未见复杂场景的能力严重依赖于其底层基础模型的表示深度。当前生成式基础模型的零样本推理能力有限,因此 DiffThinker 在分布外任务上的表现受限。任务范围限制方面,本文主要关注视觉中心任务,在这些任务上 DiffThinker 显著超越传统 MLLMs。然而,MLLMs 在文本中心任务如复杂数学问题上仍保持明显优势。作者的观察包括过度并行推理,在某些简单任务如小规模视觉空间规划中,DiffThinker 可能进行过度的并行推理,导致无法保留唯一的正确轨迹,最终失败。深度推理衰减方面,在起点和目标点距离较远的迷宫实例中,DiffThinker 可能无法维持深度推理,仅提供初步轨迹。局部最优陷阱方面,在旅行商问题等组合优化任务中,DiffThinker 容易陷入局部最优解。细节分辨困难方面,在随机生成的拼图测试集中,某些实例包含极其难以区分的区域,DiffThinker 虽能生成全局合理的图像,但细节可能错误。这些局限性表明,生成式多模态推理范式仍有改进空间。

独立分析的弱点

独立分析的弱点包括零样本能力不足,DiffThinker 在未训练的任务上表现有限,这表明其依赖训练数据中内化的任务知识,而非真正的泛化推理能力。改进方向是开发更强大的多模态生成基础模型,专门针对推理进行优化,增强其零样本推理能力。复杂任务上的局部最优方面,在旅行商问题等组合优化任务中,DiffThinker 容易陷入局部最优解。改进方向是引入显式的优化机制,如将扩散采样与局部搜索算法结合,或者通过强化学习进一步优化生成过程。长距离依赖处理方面,在起点和目标点距离较远的迷宫任务上,DiffThinker 的深度推理能力衰减。改进方向是增强模型的长程依赖建模能力,可能通过增加变换器层数、引入记忆机制或分层推理来解决。细节精度不足方面,在拼图任务中,模型在难以区分的区域上犯错。改进方向是引入局部精细化的后处理步骤,或者通过多尺度生成机制同时关注全局结构和局部细节。计算资源需求方面,虽然 DiffThinker 的推理效率优于 MLLMs,但其二十亿参数的模型仍然需要大量计算资源。改进方向是探索模型压缩技术如知识蒸馏、量化或开发更轻量级的架构。

未来方向

作者提出的未来研究方向包括更强的分布外泛化,优先开发更强大的多模态生成基础模型,专门针对推理进行优化,增强其分布外泛化能力。跨范式协作方面,深入研究生成式推理器与 MLLMs 之间的协作和协同效应,通过整合 DiffThinker 的优越视觉精度和 MLLMs 的高级语言和符号能力,扩展多模态推理的范围。更广的任务范围方面,探索生成式多模态推理在更多类型任务上的应用,超越本文聚焦的视觉中心任务。基于成果可延伸的方向包括多模态推理世界模型,将生成式推理与世界建模结合,构建能够理解物理规律和因果关系的世界模型。实时推理应用方面,利用 DiffThinker 的可控推理成本优势,将其应用于需要实时决策的场景,如机器人导航、自动驾驶等。人机协作推理方面,探索 DiffThinker 作为人类推理伙伴的潜力,通过可视化推理轨迹帮助人类理解复杂问题。推理过程的可解释性方面,进一步研究扩散模型内部推理过程的可解释性,揭示其如何在潜在空间中进行逻辑推理。跨模态推理扩展方面,将生成式推理范式扩展到其他模态组合,如音频视觉、触觉视觉等多模态推理任务。

复现评估

复现评估方面开源情况良好,论文基于开源模型 Qwen Image Edit 2509 和 Qwen Image Edit 2511 构建,这些模型已公开发布。论文提供了项目页面,预计包含代码和模型权重。数据集方面,论文详细描述了训练和测试数据的统计信息。训练数据包括视觉空间规划五百到一万样本、视觉空间规划超级版一万到两万样本、迷宫一万样本、旅行商问题五千到一万样本、数独七千五百到一万五千样本、拼图四千到五千样本、视觉拼图四百样本。测试集每个难度级别包含一百个样本。算力需求方面,训练在八张英伟达 H200 显卡的集群上进行。训练时长方面,DiffThinker 与 Qwen3 VL 32B 微调相当约八小时,低于强化学习的训练开销约二十三小时。推理延迟方面,DiffThinker 为一点一秒,与 Qwen3 VL 8B 微调的一点零秒相当,快于 Qwen3 VL 32B 微调的一点四秒。实现细节方面,论文提供了详细的超参数配置,包括流匹配、监督微调和强化学习的框架、训练轮数五五一、学习率十的负四次方十的负四次方十的负六次方、低秩适应秩三十二三十二负、批大小八三十二一百二十八或六十四。复现难度中等。主要挑战包括需要八张 H200 显卡进行训练,计算资源需求较高。需要准备或合成特定任务的数据集。需要理解流匹配和扩散模型的实现细节。但论文提供了详细的实现细节和超参数,且基于开源模型,降低了复现门槛。