思考后生成：基于LLM编码器的推理感知文本到图像扩散模型 Think-Then-Generate: Reasoning-Aware Text-to-Image Diffusion with LLM Encoders
让LLM先推理再生成，突破T2I模型的文字-像素映射局限
前置知识
扩散模型（Diffusion Models）
扩散模型是一类生成模型，通过逐步向数据添加高斯噪声（前向过程）将数据转化为纯噪声，然后学习反向去噪过程来生成新样本。在文本到图像生成中，Stable Diffusion和FLUX系列是代表性模型，它们使用潜在扩散（Latent Diffusion）架构，在压缩的潜在空间而非像素空间进行操作，大幅提升生成效率。扩散模型的采样过程通常通过求解随机微分方程（SDE）或常微分方程（ODE）实现。
本文提出的T2G范式是在扩散模型基础上进行改进，理解扩散模型的基本原理对于理解方法中的Dual-GRPO优化策略和Flow-GRPO技术至关重要
大语言模型文本编码器（LLM Text Encoder）
现代T2I模型如Qwen-Image采用大语言模型（如Qwen2.5-VL）作为文本编码器，替代早期的CLIP模型。LLM编码器具有两大优势：第一，原生支持混合文本-图像提示的理解；第二，蕴含丰富的世界知识，能增强指令遵循能力。然而，现有模型通常将LLM编码器冻结训练，仅将其作为特征提取器使用，未能充分发挥其推理潜力。
本文的核心创新在于解冻LLM编码器并激活其推理能力，这是突破现有T2I模型局限的关键设计决策
Group Relative Policy Optimization（GRPO）
GRPO是一种强化学习算法，最初在DeepSeek-R1中流行，是PPO的变体。其核心创新是引入组内相对归一化来计算优势函数，避免了训练价值模型的需要。给定一组轨迹，优势估计为奖励与组内均值的差除以标准差。这种设计使GRPO在大模型训练中更高效、更易扩展。对于流匹配模型，Flow-GRPO将确定性ODE转换为等价SDE以实现探索。
本文提出的Dual-GRPO是在标准GRPO基础上针对LLM-DiT复合模型的创新扩展，理解GRPO的基本原理是理解本文方法的技术前提
流匹配模型（Flow Matching Models）
流匹配是一种生成建模框架，通过学习从噪声分布到数据分布的最优传输路径来生成样本。FLUX和本文使用的DiT骨干都基于此框架。与传统扩散模型不同，流匹配使用ODE描述采样过程，这使得直接应用GRPO等策略梯度方法变得困难，因为确定性ODE无法提供多样化的轨迹用于优势估计。Flow-GRPO通过将Flow-ODE转换为等价SDE解决了这一限制。
理解流匹配模型的特点有助于理解本文为何需要特殊的Dual-GRPO设计来同时优化LLM编码器和DiT解码器
Chain-of-Thought（CoT）推理
CoT是一种提示技术，引导语言模型在给出最终答案前先展示中间推理步骤。在T2I场景中，CoT推理允许模型先利用世界知识推理出应该描绘什么内容（如将'刻舟求剑'转化为具体的视觉元素描述），再生成优化后的提示词。这种显式推理过程将概念性指令转化为DiT可渲染的描述性提示。
CoT推理是T2G范式的核心机制，使LLM能够从被动的文本编码器转变为主动的推理代理
监督微调（Supervised Fine-Tuning, SFT）
SFT是大模型训练的标准阶段，使用高质量标注数据对预训练模型进行任务特定的微调。在本文中，SFT阶段使用Gemini-2.5生成的7000个样本数据集，每个样本包含原始用户提示、CoT推理和优化后的提示。SFT的目的是激活LLM编码器的'思考-重写'模式，使其学会先推理再生成的范式。论文通过t-SNE可视化证明SFT过程保持了嵌入空间分布的一致性。
SFT是T2G范式的第一个关键阶段，理解其作用和效果对于理解整个训练流程至关重要
研究动机
当前文本到图像扩散模型存在一个根本性的架构错配问题。尽管最先进的模型如Qwen-Image已经采用大语言模型（如Qwen2.5-VL）作为文本编码器，但这些模型仅将LLM当作冻结的特征提取器使用，完全没有利用LLM内蕴的推理能力和世界知识。这种设计导致模型只能处理字面和描述性指令（如指定物体的颜色或纹理），但对概念性指令束手无策。例如，当用户输入'中国传统端午节食物'时，模型无法推理出应该生成粽子图像；当输入'刻舟求剑'时，模型无法理解这个成语的含义并转化为正确的视觉场景。在WISE基准测试中，原始Qwen-Image仅达到0.61的总分，在化学领域更是低至0.35，无法将抽象概念（如反应化学计量学）转化为逻辑一致的视觉输出。这种'文字-像素映射器'的局限性严重制约了T2I模型在知识密集型任务中的应用。
本文的目标是本文旨在突破现有T2I扩散模型的字面生成局限，实现真正的推理感知文本到图像生成。具体目标包括三个层次：首先，激活LLM编码器的推理能力，使其能够理解和推理原始用户提示，利用世界知识推断应该描绘的视觉内容；其次，建立LLM推理与图像生成之间的端到端优化框架，确保推理输出能够被DiT正确渲染；最后，在概念性指令理解和知识密集型场景生成上达到甚至超越商业闭源模型的水平。论文设定的量化目标是在WISE基准上显著超越现有开源模型（目标0.75+），在T2I-ReasonBench上实现60+的准确率，并在图像编辑任务中展现推理感知能力。
与已有工作不同的是，本文的独特切入角度在于提出'思考后生成'（Think-Then-Generate, T2G）范式，将LLM从被动的文本编码器转变为主动的推理代理。与现有方法的本质区别在于：（1）相对于冻结LLM编码器的标准做法，本文解冻LLM并训练其进行推理；（2）相对于T2I-R1和Uni-CoT等采用统一多模态架构的方法，本文保持扩散模型架构不变，仅改变LLM编码器的功能；（3）相对于Flow-GRPO等仅优化DiT骨干的方法，本文提出Dual-GRPO同时优化LLM编码器和DiT解码器。这种设计的巧妙之处在于，通过最小化架构改动（仅改变训练范式），实现了推理能力的最大化激活。论文还发现，经过SFT后LLM的嵌入空间分布保持高度一致（t-SNE可视化完全重叠），这证明SFT在激活推理能力的同时保持了与DiT的兼容性。
核心方法
T2G范式的核心直觉是：既然LLM蕴含丰富的世界知识，就应该让它在生成图像前先'思考'应该描绘什么内容，而不是简单地将原始提示编码为特征向量。整个方法分为两个阶段：首先是监督微调（SFT）阶段，通过精心构造的数据集教LLM学会'思考-重写'模式——给定原始用户提示，LLM先进行链式推理（CoT）利用世界知识明确应该描绘的内容，再将推理过程总结为描述性的优化提示；然后是Dual-GRPO阶段，通过强化学习联合优化LLM编码器和DiT解码器，使用图像质量作为奖励信号，实现推理与生成的端到端对齐。技术路线的关键创新在于：（1）使用层次化采样策略——对每个用户提示采样J条推理序列，对每条推理序列采样K张图像；（2）设计阶段特定的奖励函数——LLM阶段侧重语义一致性，DiT阶段侧重视觉真实性；（3）引入奖励调度器平衡两个阶段的训练。
T2G范式与已有方法的本质区别在于打破了LLM编码器和DiT解码器之间的'信息瓶颈'。传统方法中，LLM仅作为静态特征提取器，原始提示经过编码后就固定下来，DiT只能基于这些固定特征生成图像。而在T2G范式中，LLM编码器变成了一个活跃的推理代理，它能够：（1）理解原始提示的深层含义（如将'圣诞节'转化为具体的庆祝场景描述）；（2）调用世界知识补充视觉细节（如知道爱因斯坦拉小提琴的历史事实）；（3）将概念性指令转化为DiT可渲染的描述性提示。这种转变的技术关键是Dual-GRPO中的复合策略模型设计：将LLM和DiT视为参数的复合策略，其中LLM生成推理文本，DiT基于推理结果生成图像，通过联合优化确保推理输出与视觉生成的对齐。与Flow-GRPO仅优化DiT骨干相比，本文的Dual-GRPO通过图像质量奖励同时优化两个组件，实现了真正的端到端训练。
方法步骤详情
T2G方法包含以下具体步骤：第一步，构建SFT数据集。从7000个原始用户提示出发，筛选出需要世界知识和推理才能生成语义连贯图像的提示（如'龙舟节传统食物'）。使用Gemini-2.5对每个提示进行CoT推理，生成格式为'原始提示→[长CoT推理]→优化提示'的数据样本。第二步，SFT训练。以5e-6的学习率和32的批量大小对Qwen2.5-VL进行微调，使其学会'思考-重写'模式。通过t-SNE可视化验证SFT保持了嵌入空间分布的一致性。第三步，Dual-GRPO训练。对每个用户提示q，从旧策略采样J=5条推理序列，对每条推理序列采样K=16张图像。计算图像质量奖励并聚合为LLM和DiT各自的优势估计。LLM的学习率为2e-6，DiT的学习率为3e-4，两者在每个迭代都联合更新（平衡调度器设置为0.5）。第四步，推理阶段。给定新提示，LLM先生成CoT推理和优化提示，将优化提示的嵌入作为DiT的条件输入，生成最终图像。
技术新颖性
本文的技术新颖性体现在多个层面。首先，T2G范式本身就是一种全新的思考方式——将LLM从被动编码器转变为主动推理代理，这在T2I领域是首创。其次，Dual-GRPO是对标准GRPO的创新扩展，针对LLM-DiT复合模型设计了层次化采样和阶段特定奖励。具体来说，给定提示q，采样层次结构为：LLM生成J条推理序列，每条推理序列条件DiT生成K张图像，形成树状展开结构。优势估计采用两个维度：LLM的组相对优势通过聚合K张图像的语义一致性奖励计算；DiT的组相对优势通过美学、物理一致性和语义一致性的加权和计算。第三，奖励函数设计具有创新性——LLM阶段的奖励R1是K张图像语义一致性分数的平均值，DiT阶段的奖励R2是美学分数、物理一致性分数和语义一致性分数的加权组合。第四，奖励调度器的设计允许在不同训练阶段调整LLM和DiT的优化重点。最后，t-SNE可视化证明SFT保持嵌入空间一致性的发现本身就是一个重要洞察。
实验结果
本文在多个基准测试中取得了突破性成果，验证了T2G范式的有效性。在WISE基准上，T2G模型达到0.79的总分，相比原始Qwen-Image的0.61提升了30%，几乎与GPT-4o的0.80持平，在所有开源模型中排名第一。在各子领域中，T2G在文化常识（0.80）、时间理解（0.74）、空间理解（0.83）、生物学（0.81）、物理学（0.85）和化学（0.66）上均取得领先，尤其在原本薄弱的化学领域从0.35提升至0.66。在T2I-ReasonBench上，T2G达到68.3%的准确率和92.2的质量分，超越Gemini-2.0的64.8%/88.7%，逼近GPT-4o的78.7%/95.8%。消融研究表明每个组件都至关重要：无SFT+GRPO仅0.65/60.9/86.6，无GRPO为0.74/66.1/90.8，完整T2G为0.79/68.3/92.2。在图像编辑任务中，T2G在UniREdit基准达到68.7分，超越Gemini-2.5-Flash-Image的68.3和Seedream-4.0的55.8；在RISEBench上达到23.9分，是Qwen-Image-Edit（8.9分）的2.7倍。用户研究中，T2G的平均得分为2.98，接近GPT-4o的3.04，显著超越Qwen-Image的2.10和Bagel-think的1.90。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 知识感知文本到图像生成 | WISE总分 | 0.79 | Qwen-Image: 0.61; GPT-4o: 0.80 | 相比Qwen-Image提升30%，接近GPT-4o水平 |
| 推理感知文本到图像生成 | T2I-ReasonBench准确率 | 68.3% | Qwen-Image: 57.8%; Gemini-2.0: 64.8% | 相比Qwen-Image提升10.5个百分点，超越Gemini-2.0 |
| 推理感知文本到图像生成 | T2I-ReasonBench质量分 | 92.2 | Qwen-Image: 87.5; Gemini-2.0: 88.7 | 相比Qwen-Image提升4.7分 |
| 推理感知图像编辑 | UniREditBench | 68.7 | Qwen-Image-Edit: 56.5; Gemini-2.5-Flash: 68.3 | 相比Qwen-Image-Edit提升21.6%，超越Gemini-2.5-Flash |
| 推理感知图像编辑 | RISEBench | 23.9 | Qwen-Image-Edit: 8.9; Seedream-4.0: 10.8 | 相比Qwen-Image-Edit提升168.5% |
| 用户偏好评估 | 平均得分（4模型排名） | 2.98 | Qwen-Image: 2.10; GPT-4o: 3.04 | 接近GPT-4o，显著超越Qwen-Image |
局限与改进
尽管T2G范式取得了显著成果，但仍存在一些局限性。首先，SFT数据集的规模相对较小（7000个样本），且依赖Gemini-2.5生成CoT推理和优化提示，这引入了对商业模型的依赖和潜在的偏差传播。其次，Dual-GRPO训练的计算成本较高——对每个提示需要采样J=5条推理序列和K=16张图像，形成J乘K等于80个样本的树状展开，相比标准GRPO增加了16倍的采样开销。第三，奖励函数设计虽然考虑了美学、物理一致性和语义一致性三个维度，但权重的选择仍是启发式的，缺乏理论指导。第四，论文承认平衡调度器在T2I-ReasonBench的惯用语子领域略逊于分阶段调度器（58.5 vs 62.1），表明不同任务可能需要不同的训练策略。第五，论文主要在Qwen-Image和Qwen-Image-Edit上验证，尚未扩展到FLUX等其他扩散模型架构，泛化性有待验证。最后，对于极其复杂的概念（如量子力学可视化），即使经过T2G训练，模型仍可能产生不准确的视觉表达。
独立分析的弱点
本文存在几个值得关注的弱点。第一，SFT数据集的质量和多样性受限于Gemini-2.5的生成能力，可能存在系统性偏差——Gemini-2.5擅长的场景可能被过度代表，而其薄弱的领域可能被忽略。改进方向是构建多模型协作的数据生成管线，或引入人工审核机制。第二，Dual-GRPO的层次化采样策略虽然有效，但J乘K等于80的样本量导致训练效率较低。可以探索重要性采样或课程学习策略，优先关注奖励信号变化大的样本。第三，奖励函数的设计缺乏可解释性——美学分数、物理一致性分数和语义一致性分数的具体计算方式未在正文中详细说明，难以复现和改进。建议公开奖励模型的详细架构和训练细节。第四，论文未充分讨论推理长度（CoT token数量）对生成质量的影响，可能存在最优推理长度的权衡——过短的推理无法充分调用世界知识，过长的推理可能引入噪声。第五，t-SNE可视化虽然证明了嵌入空间的一致性，但缺乏定量指标（如FID、CLIP Score）来量化SFT对DiT生成质量的影响。
未来方向
基于本文成果，未来研究可以在多个方向展开。第一，将T2G范式扩展到更多扩散模型架构，验证其通用性——特别是FLUX系列和Stable Diffusion 3.5等主流模型。第二，探索自适应推理长度控制，根据提示的复杂度动态调整CoT推理的深度，避免简单提示的过度推理和复杂提示的推理不足。第三，引入人类反馈强化学习（RLHF），使用人类偏好数据替代自动奖励模型，提高奖励信号的质量和可解释性。第四，扩展到视频生成领域，将T2G范式应用于文本到视频扩散模型，让LLM在生成视频前先规划时间序列和场景转换。第五，探索多轮交互式生成，允许用户在推理阶段进行干预和引导，实现更精细的控制。第六，研究推理链的可解释性和可编辑性，允许用户查看和修改LLM的CoT推理过程，提高生成过程的透明度。第七，将Dual-GRPO与其他RL方法（如DPO、KTO）结合，探索更高效的联合优化策略。
复现评估
本文在可复现性方面表现良好。论文已在GitHub开源代码（https://github.com/zhijie-group/think-then-generate），包含完整的训练和推理流程。基础模型Qwen-Image和Qwen2.5-VL均为开源模型，可从HuggingFace获取。SFT数据集的构建过程使用Gemini-2.5，虽然该模型是商业API，但论文提供了详细的数据格式说明（原始提示→[长CoT推理]→优化提示），理论上可以用其他开源LLM替代。Dual-GRPO的实现细节较为完整：LLM学习率2e-6、批量大小256、每输入5个响应；DiT学习率3e-4、批量大小32、裁剪范围1e-4；生成过程采样16张图像、10步推理、SDE窗口为2。算力需求方面，Dual-GRPO需要同时采样J乘K等于80个样本，对GPU内存和计算时间要求较高，但论文未提供具体的硬件配置和训练时间。总体而言，具备中等算力资源的研究团队可以复现本文结果，但SFT数据集的构建需要Gemini-2.5 API访问权限。
论文图表