← 返回 2026-01-07

统一思考者：用于图像生成的通用推理模块化核心 Unified Thinker: A General Reasoning Modular Core for Image Generation

Sashuai Zhou, Qiang Zhou, Jijin Hu, Hanqing Yang, Yue Cao, Junpeng Ma, Yinchao Ma, Jun Song, Tiezheng Ge, Cheng Yu, Bo Zheng, Zhou Zhao 📅 2026-01-06 👍 8 2026-07-13 08:35
图像生成 强化学习 推理增强 模块化架构 视觉语言模型
arXiv HuggingFace PDF

通过解耦的Thinker-Generator架构和两阶段强化学习，显著提升图像生成的推理能力

前置知识

扩散模型

一种基于概率流的生成模型，通过逐步添加噪声到数据，然后学习逆向去噪过程来生成新样本。扩散模型由前向扩散过程（添加高斯噪声）和反向去噪过程（神经网络学习去噪）组成，通过优化噪声预测目标来训练，最终可以从纯噪声逐步恢复出高质量数据。扩散模型的核心优势是训练稳定、生成质量高，是目前图像生成的主流架构之一。

本文使用Qwen-Image-Edit作为Generator，这是一个基于扩散模型的图像编辑器，理解扩散模型的基本原理有助于理解为什么需要强化学习来优化其执行过程。

多模态大语言模型

能够同时处理文本、图像等多种模态数据的大型语言模型。MLLM通过视觉编码器将图像转换为特征向量，与文本token一起输入到语言模型中进行联合建模，实现跨模态的理解和生成。这类模型通常在大量图文对数据上进行预训练，然后通过指令微调来提升特定任务的性能。

本文的Thinker是一个独立的MLLM（使用Qwen2.5-VL-7B或Qwen3-VL-8B），负责理解指令并生成结构化推理轨迹，理解MLLM的工作原理有助于理解Thinker的设计和训练过程。

强化学习

一种机器学习范式，智能体通过与环境交互来学习策略，以最大化累积奖励。强化学习包含状态、动作、奖励三个核心要素，智能体根据当前状态选择动作，环境反馈奖励和新状态，智能体通过优化策略来最大化长期期望奖励。常用的算法包括策略梯度、Actor-Critic、PPO等。

本文采用Group Relative Policy Optimization (GRPO)进行两阶段强化学习，分别优化Thinker的规划能力和Generator的执行能力，理解强化学习的基本概念有助于理解本文的训练策略和奖励机制。

Chain-of-Thought推理

一种提示技术，要求模型在给出最终答案之前先生成中间推理步骤，类似于人类逐步思考的过程。CoT可以分解复杂问题，显式化推理过程，提高模型在逻辑推理、数学计算等任务上的表现。推理轨迹通常包含问题分析、逐步推理、最终结论等环节。

本文的Thinker生成结构化推理轨迹，本质上是将CoT思想应用到图像生成领域，通过显式的中间表示来连接抽象指令和视觉执行。

研究动机

现有的开源图像生成模型在处理逻辑密集型指令时存在明显的推理-执行差距。虽然GPT-4o和Nano Banana等闭源模型已经展示了强大的推理驱动图像生成能力，但开源系统（如Qwen-Image-Edit、BAGEL、UniWorld等）在处理逻辑密集型或隐含指令时仍然存在显著差距。具体来说，当前方法面临两个主要失败模式：一是推理不准确，导致逻辑错误的编辑；二是渲染不精确，即使推理正确也无法转化为准确的视觉输出。例如，在解决数独谜题或进行时空推理等任务时，模型难以准确识别和执行隐含约束。

本文的目标是本文的目标是构建一个通用的推理模块化核心，能够插接到不同的图像生成器和工作流程中，显著提升模型在推理密集型图像生成和编辑任务上的性能。具体来说，作者希望实现一个能够解耦推理和生成的框架，其中Thinker专门负责指令理解和规划，Generator专门负责像素级合成，通过这种解耦设计实现推理能力的模块化升级，而无需重新训练整个生成模型。

与已有工作不同的是，本文的独特切入角度在于将推理和生成分离开来，而不是像现有工作那样将两者紧密耦合或完全分离。现有方法主要分为两类：内置推理方法将推理内化到生成器中，通过统一训练耦合多模态理解和生成，但这种紧密耦合降低了模块化并可能破坏训练稳定性；外部规划器驱动方法使用MLLM为冻结的生成器规划，但存在推理-执行不匹配的问题，文本空间的规划没有基于生成器的能力进行对齐。本文提出的解耦Thinker-Generator架构通过两阶段强化学习将推理策略与像素级反馈对齐，解决了推理-执行不匹配的问题。

核心方法

Unified Thinker采用先思考后执行的架构，将推理模块Thinker和生成模块Generator参数化解耦。Thinker是一个独立的、可训练的多模态大语言模型（MLLM），负责将指令转化为分层的、生成器友好的规划，包含意图摘要、显式约束和有序子目标。Generator是一个基于扩散的模型，负责根据Thinker的输出合成最终图像。整个框架的训练分为两个阶段：第一阶段是在HieraReason-40K数据集上进行联合监督微调，建立初步的规划质量；第二阶段是端到端的双阶段强化学习，将Generator放入循环中，使用基于最终图像约束满足度的奖励来优化Thinker，直接将Thinker的策略与像素级反馈对齐。

核心创新点在于通过端到端的强化学习将推理规划与视觉执行紧密对齐。与现有方法不同，本文将Thinker作为独立的MLLM模块，专门负责推理和规划，而Generator专注于像素合成。关键的创新是两阶段强化学习策略：第一阶段优化Thinker提供有效规划的能力，通过采样多个候选推理轨迹并使用相对优势反馈训练；第二阶段优化Generator的执行保真度，通过将扩散模型的ODE采样转换为等效的反向时间SDE来引入受控随机性。这种设计使得Thinker学习到不仅语义正确而且可执行的计划，而Generator学习到更好地遵循这些计划。

方法步骤详情

方法步骤包含完整的训练和推理流程。数据构建阶段，作者构建了HieraReason-40K数据集，通过Gemini-3-Pro生成初始结构化推理轨迹，每个样本包含用户指令、可选的参考图像、结构化推理轨迹和可执行的增强提示词。推理轨迹遵循固定的三阶段流程：首先分析输入以识别任务类型和意图摘要；然后将隐含需求显式化并进行必要的推理，如计数、谜题求解、数值计算、时间外推、基于规则的变换和属性查找；最后将解析的目标转换为可执行的增强提示词。对于图像编辑任务，强制执行仅编辑原则，增强提示词仅描述预期的更改。第一阶段联合监督微调使用两个同步视图：理解视图将输入与结构化推理轨迹配对，生成视图将可执行增强提示词与目标图像配对，优化加权损失。第二阶段双阶段强化学习中，阶段1对齐推理轨迹与生成器偏好，Thinker采样多个推理路径，Generator生成对应图像并根据最终图像质量分配奖励，通过优化Thinker；阶段2优化Generator执行保真度，将ODE采样器转换为等效的反向时间SDE以引入受控随机性，通过优化Generator。

技术新颖性

技术新颖性体现在多个方面：首先提出了通用的解耦推理-生成框架，Thinker作为独立模块可以跨模型和任务迁移；其次构建了HieraReason-40K数据集，包含结构化推理轨迹和严格格式要求，为Thinker训练提供了高质量的冷启动数据；创新性地提出了双阶段强化学习策略，将Group Relative Policy Optimization应用到视觉生成领域，通过相对优势反馈分别优化Thinker和Generator；设计了仅编辑原则和大脑与手原则等系统提示策略，确保推理轨迹的可执行性和生成器的正确理解；验证了Thinker的跨生成器迁移能力，在BAGEL和Qwen-Image-Edit上都能取得一致的改进。

Data construction pipeline for HieraReason-40K. We combine seed knowledge and user requests to generate structured reasoning traces and executable enhanced prompts.
Figure 3: Data construction pipeline for HieraReason-40K. We combine seed knowledge and user requests to generate structured reasoning traces and executable enhanced prompts.
Our proposed two-stage framework for reasoning-aware image generation. Stage 1 initializes the Thinker Model and Generator Model. Given an Image and Prompt, the Thinker generates a Reasoning Thought which then guides the Generator to produce a Refined Image. Stage 2 further refines the Thinker and Generator Models to enhance their capability in integrating complex reasoning into high-fidelity visual outputs.
Figure 4: Our proposed two-stage framework for reasoning-aware image generation. Stage 1 initializes the Thinker Model and Generator Model. Given an Image and Prompt, the Thinker generates a Reasoning Thought which then guides the Generator to produce a Refined Image. Stage 2 further refines the Thinker and Generator Models to enhance their capability in integrating complex reasoning into high-fidelity visual outputs.
Mean reward score over training.
Figure 5: Mean reward score over training.
Per-step rollout generation time over training.
Figure 6: Per-step rollout generation time over training.

实验结果

在四个评估设置中，Unified Thinker在推理密集型任务上取得了显著改进。在RiseBench推理图像编辑基准上，Qwen-Image-Edit + Unified Thinker (Qwen2.5-VL-7B)在四个推理维度（时间、因果、空间、逻辑）上的Overall得分从基线的8.9%提升到24.2%，在时间推理上从4.7%提升到24.7%，在空间推理上从17.0%提升到38.0%，在因果推理上从10.0%提升到22.2%。在WiseBench推理文本到图像生成基准上，整体得分从基线的0.62提升到0.73，在文化领域从0.57提升到0.75，在生物领域从0.57提升到0.75，在物理领域从0.75提升到0.79。在GEditBench通用图像编辑基准上，G_O得分从7.56提升到7.67。在PRISM通用文本到图像生成基准上，Avg得分从73.8提升到75.6。消融研究显示，仅添加Thinker模块就将RiseBench的Overall从8.9%提升到16.4%，联合监督微调进一步提升到20.2%，完整的双阶段强化学习最终达到24.2%。Thinker的跨生成器迁移能力得到验证，在BAGEL上也能取得一致改进。

Performance comparison of models on the RiseBench benchmark. We report three general performance metrics and four reasoning dimensions.
Table 1: Performance comparison of models on the RiseBench benchmark. We report three general performance metrics and four reasoning dimensions.
Results on GEditBench for general instruction-based image editing. We report G_SC, G_PQ, and G_O on the English split.
Table 2: Results on GEditBench for general instruction-based image editing. We report G_SC, G_PQ, and G_O on the English split.
Results on WiseBench for reasoning-based text-to-image generation. We report accuracy across six knowledge domains and the overall score.
Table 4: Results on WiseBench for reasoning-based text-to-image generation. We report accuracy across six knowledge domains and the overall score.
Training stage ablation results on RiseBench, WiseBench, and GEdit. The baseline is based on Qwen-Image-Edit.
Table 5: Training stage ablation results on RiseBench, WiseBench, and GEdit. The baseline is based on Qwen-Image-Edit.
Ablation of the Thinker design on RiseBench. We report Reasoning, Consistency, Visual, and Overall metrics.
Table 6: Ablation of the Thinker design on RiseBench. We report Reasoning, Consistency, Visual, and Overall metrics.
Composition of HieraReason-40K. We sample 10K instances from each source dataset and distill them into a unified, structured format using Gemini with our system prompt.
Table 7: Composition of HieraReason-40K. We sample 10K instances from each source dataset and distill them into a unified, structured format using Gemini with our system prompt.
Visual demonstrations of Unified Thinker on unified image generative tasks, including image editing and text-to-image generation, along with reasoning.
Figure 2: Visual demonstrations of Unified Thinker on unified image generative tasks, including image editing and text-to-image generation, along with reasoning.
查看结构化数据
任务指标本文基线提升
推理图像编辑 Overall (四个推理维度平均) 24.2% 8.9% 提升172%
推理文本到图像 Overall (六个领域平均) 0.73 0.62 提升18%
空间推理 空间维度准确率 38.0% 17.0% 提升124%
时间推理 时间维度准确率 24.7% 4.7% 提升426%
通用文本到图像 Avg (对齐和美学平均) 75.6 73.8 提升2.4%

局限与改进

作者承认的方法局限性包括：仍然依赖于中间表示的质量和覆盖范围、训练数据和强化学习期间使用的自动奖励，这可能引入偏差并限制在评估基准之外的泛化能力；虽然Thinker设计为生成器无关，但在不同扩散后端上的可执行性并非完全不变，某些困难编辑（如细粒度的几何变化、严格的局部性或精确的文本渲染）仍然具有挑战性；额外的规划阶段增加了推理延迟和计算成本，相比于直接提示单个生成器。此外，观察到的局限性包括：VLM奖励模型的评分可能引入主观偏差；两阶段强化学习的计算开销较大；Thinker的推理质量受限于训练数据的覆盖范围；在非推理密集型任务上的改进相对较小。

独立分析的弱点

独立分析的弱点包括：首先，Thinker的推理质量高度依赖于HieraReason-40K数据集的覆盖范围，对于训练数据中未见过的新型推理任务可能表现不佳，改进方向是扩展训练数据的多样性和覆盖范围，引入更多知识领域的推理样本；其次，VLM奖励模型的主观性可能引入偏差，不同奖励模型可能产生不同的优化方向，改进方向是使用多奖励模型集成或引入人类反馈进行校准；第三，两阶段强化学习的计算开销较大，需要大量GPU资源，改进方向是探索更高效的强化学习算法或蒸馏方法；第四，在非推理密集型任务上的改进相对较小，存在潜在的权衡，改进方向是设计自适应的推理激活机制，根据任务复杂度动态调整推理深度；第五，跨生成器迁移能力虽然得到验证，但不同生成器之间的可执行性仍然存在差异，改进方向是设计生成器自适应的规划表示。

未来方向

未来研究方向包括：作者提出的扩展方向包括改进中间表示的设计，使其更加通用和可执行；探索更高效的强化学习算法以降低计算开销；扩展训练数据的多样性和覆盖范围。基于本文成果可延伸的方向包括：将Unified Thinker扩展到视频生成和编辑任务，处理时序推理；探索更细粒度的空间控制，如精确的文本渲染和几何变换；研究多模态推理，结合音频、触觉等其他模态；开发更轻量级的Thinker架构，降低部署成本；研究推理的可解释性，让用户能够理解和调整Thinker的推理过程；探索与其他推理模块的集成，如知识图谱检索；研究few-shot和zero-shot的推理能力迁移。

复现评估

复现评估：项目代码已在GitHub上开源，提供了完整的训练和推理代码；HieraReason-40K数据集的构建方法和系统提示在附录中详细描述，使用了公开可用的数据源；训练使用NVIDIA H20 GPU，监督微调需要16个GPU，强化学习需要64个GPU，计算资源要求较高；模型基于开源的Qwen2.5-VL-7B和Qwen3-VL-8B，Generator使用Qwen-Image-Edit，这些模型都是公开可用的；评估基准都是公开的；虽然代码开源，但计算资源要求较高，完整复现可能需要大量的GPU资源；训练细节在附录中详细描述，有助于复现。

论文图表

Challenges in reasoning-aware image generation. Existing models, exemplified by Qwen-Image-Edit, exhibit two failure modes: inaccurate reasoning leading to logically incorrect edits, and imprecise rendering where correct reasoning does not translate into faithful visual outputs. Our Unified Thinker aims to address both issues.
Figure 1: Challenges in reasoning-aware image generation. Existing models, exemplified by Qwen-Image-Edit, exhibit two failure modes: inaccurate reasoning leading to logically incorrect edits, and imprecise rendering where correct reasoning does not translate into faithful visual outputs. Our Unified Thinker aims to address both issues.

这张图展示了推理感知图像生成中的挑战。通过数独谜题的例子说明了现有模型的两种失败模式：没有Thinker时推理不准确，导致逻辑错误的编辑；有Thinker但未对齐时渲染不精确，即使推理正确也无法转化为准确的视觉输出。图中展示了两个示例，一个是数独谜题求解，一个是网格填空任务。

这张图对理解论文至关重要，因为它直观地展示了本文要解决的核心问题——推理-执行不匹配的两种表现形式，为后续的方法设计和实验评估奠定了基础。

Table 3: Results on PRISM for general text-to-image generation. We report alignment, aesthetics, and average using GPT-4.1 as evaluation.

这个表格展示了在PRISM通用文本到图像生成基准上的结果。报告了对齐、美学和平均三个指标。Qwen-Image-Edit + Unified Thinker (Qwen3-VL-8B)的Avg得分为78.1，显著高于基线的73.8。

这个表格展示了Unified Thinker在通用文本到图像生成任务上的性能，证明了方法的通用性和对美学质量的改进。

Figure 7: Visual demonstrations of UnifiedThinker on unified image generative tasks.

这张图展示了UnifiedThinker在统一图像生成任务上的视觉演示，包括多个时间推理任务（雪地物体、蜡烛、面包、人物锻炼、物种演化）和空间推理任务（立方体堆叠）。每个示例展示了指令、输入图像、推理过程和输出图像。

这张图直观地展示了UnifiedThinker在不同推理任务上的能力，证明了方法的通用性和有效性。

Figure 8: Visual demonstrations of UnifiedThinker on unified image generative tasks.

这张图继续展示UnifiedThinker的视觉演示，包括空间推理任务（绘制从蘑菇屋到泥坑的路径）、因果推理任务（热成像效果、儿童涂鸦）。每个示例展示了详细的推理过程和生成的视觉结果。

这张图进一步展示了UnifiedThinker在不同推理类型上的能力，包括空间推理和因果推理，证明了方法的多样性。

Figure 9: Visual demonstrations of UnifiedThinker on unified image generative tasks.

这张图继续展示UnifiedThinker的视觉演示，包括更多因果推理任务。每个示例展示了详细的推理过程和生成的视觉结果，验证了方法在复杂推理任务上的能力。

这张图提供了更多的视觉证据，支持UnifiedThinker在推理密集型任务上的有效性。