← 返回 2026-06-11

i1：构建强文本到图像模型的简单且完全开放的配方 i1: A Simple and Fully Open Recipe for Strong Text-to-Image Models

Boya Zeng, Tianze Luo, Shu Pu, Jucheng Shen, Taiming Lu, Gabriel Sarch, Zhuang Liu 📅 2026-06-09 👍 17 2026-07-13 08:37

受控实验开源模型数据混合策略文生图扩散模型模型架构设计

通过300+受控实验揭示关键设计，训练出媲美顶尖模型的3B参数全开源文生图模型

前置知识

Diffusion Transformer (DiT)

DiT是扩散模型的一种现代架构，它用Transformer替代了传统的U-Net。将图像分块成token序列，通过自注意力机制处理噪声预测。DiT使用流匹配作为训练目标，能够高效地生成高质量图像。它通常包含位置编码、归一化层和前馈网络等组件，支持多模态条件注入。

i1模型基于DiT架构，理解DiT的工作原理对于理解本文的架构选择（如长跳连接、双流设计）至关重要。

Adaptive Layer Normalization (AdaLN)

AdaLN是扩散模型中用于注入时间步和文本条件信息的标准机制。它学习从时间步嵌入到注意力层和MLP输入缩放和位移因子的线性投影，以及它们输出的门控因子。AdaLN需要大量参数来学习条件信息，是现代文生图模型的重要组成部分。

本文发现AdaLN在文生图场景下作用有限，i1移除了AdaLN来减少参数并简化设计。

Flow Matching

流匹配是一种用于训练连续归一化流的框架，通过学习向量场来将数据分布转化为简单分布（如高斯分布）。在扩散模型中，流匹配目标通常表现为预测噪声或速度向量。相比传统的扩散损失，流匹配提供更稳定的训练和更好的生成质量。

i1使用流匹配作为训练目标，这是现代文生图模型的标准选择，理解它有助于理解训练过程的数学基础。

Dual-Stream MMDiT

MMDiT（Modality-Dependent DiT）是一种双流架构，为图像和文本token使用独立的注意力和MLP参数，但在跨模态交互时共享注意力机制。单流架构则共享所有参数。双流设计允许模型学习模态特定的表示，同时通过跨模态注意力实现有效融合。

本文发现双流骨干在性能和参数权衡上最优，i1采用双流MMDiT架构是关键设计决策。

Classifier-Free Guidance (CFG)

CFG是一种在推理时提高生成质量的技术。它同时生成有条件和无条件（空文本提示）的预测，通过线性组合这两个预测来增强条件信息对生成过程的影响。CFG scale控制条件信息的强度，典型值在7-15之间。Rescale CFG是进一步的改进，动态调整CFG强度。

i1使用CFG scale=12和Rescale CFG来提升生成质量，这是推理配置的重要组成部分。

研究动机

当前领先的文本到图像模型存在严重的可复现性和透明度问题。虽然许多模型公开发布了权重，但它们往往不披露训练数据和完整的训练配方，使得研究人员难以将进展归因于具体的建模或数据选择。例如，FLUX.1 [Dev]、HiDream-I1和Qwen-Image等模型虽然性能强劲，但它们的训练数据来源、数据混合策略和训练细节都不公开。另一方面，完全开放的模型（如BLIP3o、DeCo、PixNerd）在性能上远落后于领先的开放权重模型，平均性能差距超过29.5个百分点。这种不对称状态限制了开源社区的累积研究能力，研究人员无法建立在现有工作的基础上，也无法理解哪些设计选择真正重要。

本文的目标是本文的目标是通过系统研究文本到图像扩散模型的建模和数据设计空间，建立一个强性能的完全开放模型，为开源研究提供实用的基础。具体来说，作者通过300多个受控实验，总计算量超过70万TPU v6e小时，系统探索了文本编码器选择、骨干架构设计、数据混合策略等关键设计决策。基于这些发现，训练i1模型，这是一个3B参数的文本到图像扩散模型，只使用公开可用的数据集，在多个代表性基准上与领先模型竞争，并大幅超越现有的完全开放模型。

与已有工作不同的是，本文的切入角度是系统性设计空间探索而非追求单个新颖架构。与大多数现有工作不同，本文没有引入复杂的新模块，而是仔细重新审视现有但未被充分利用的设计（如长跳连接），并对标准组件进行简单修改（如使用更大的文本编码器适配器）。本文抓住了两个被忽视的关键问题：一是多文本编码器组合的效果可能主要来自增加的适配器参数而非编码器多样性，二是等权重数据混合是一个简单但强大的默认策略。通过严格的受控实验（每次只改变一个设计选择，不累积修改），本文能够可靠地归因每个设计选择的性能影响，这在缺乏透明度的文生图模型领域是难得的贡献。

核心方法

i1的方法论核心是系统受控实验加简单有效设计组合。整体思路可以类比于烹饪实验：不是发明新食材，而是通过控制变量实验，系统测试现有食材和烹饪技巧的不同组合，找到简单但有效的配方。技术路线上，作者从LightningDiT-XL/2基线出发，在256分辨率预训练阶段系统探索三个维度：建模设计（文本编码器、适配器、AdaLN、骨干架构）、数据设计（合成标题、数据混合策略）、高分辨率训练策略。每个设计选择通过独立的受控实验评估（500K训练步骤），性能提升的选择最终组合成i1模型。i1使用双流MMDiT骨干、T5Gemma-2B文本编码器配合2个Transformer块的大适配器、长跳连接、移除AdaLN、FLUX.2 VAE、等权重数据混合（11个数据集各1.2M图像）和推理时提示重写。

核心创新点是用简单的受控实验揭示设计选择的本质影响，而非追求复杂架构。本文最关键的发现是多文本编码器组合的效果主要来自增加的适配器参数，而非编码器本身提供的多样性。作者发现，使用单个强文本编码器（T5Gemma-2B）配合更大的Transformer适配器（2个Transformer块，17.2M参数/块），可以达到甚至超过组合多个文本编码器的效果，同时不增加文本序列长度（降低内存和计算成本）。另一个关键发现是等权重数据混合：将每个数据集的采样权重上限设为1.2M，使所有数据集在训练中大致等权重，这是一个简单但强大的默认策略。这些发现表明，文生图模型的强性能不需要复杂的架构或庞大的私有数据，仔细探索现有设计空间和简单的数据平衡就能取得竞争性结果。

方法步骤详情

完整流程分为三个阶段：受控实验探索、模型训练、推理评估。受控实验阶段，作者从固定基线开始（LightningDiT-XL/2 + QK-norm + 长跳连接 + 12个公开数据集），每次只改变一个设计选择，训练500K步骤，使用DPG-Bench、PRISM-Bench、LongText-Bench三个基准评估性能。建模设计实验包括：比较不同文本编码器（T5Gemma、T5Gemma2、Qwen3、Qwen3-VL、FG-CLIP）、测试多编码器组合、探索适配器大小（MLP vs 1-3个Transformer块）、移除AdaLN的不同变体、添加/移除长跳连接、比较跨注意力/单流/双流骨干。数据设计实验包括：比较不同VLM生成的合成标题、训练用长短标题比例、测试提示重写策略、数据集权重策略（无权重/不同阈值上限）、单数据集训练实验、高分辨率数据覆盖需求。模型训练阶段，基于实验发现组合最佳设计：使用双流MMDiT骨干（隐藏维度1152，29层）、T5Gemma-2B文本编码器 + 2个Transformer块适配器、长跳连接、移除AdaLN、等权重11个数据集（ImageNet-22K、YFCC、RedCaps、Megalith、Pexels、Places、FLUX-Reason、Midjourney v6、GPT-Edit、TextAtlas、RenderedText）、Qwen3-VL-30B-A3B生成长合成标题。训练流程：256分辨率预训练2M步（batch=512，lr=1e-4，流匹配目标），512分辨率训练0.5M步，1024分辨率训练0.3M步（timestep shift=3.33）。推理评估阶段，使用CFG scale=12和Rescale CFG（rescale strength=1），对所有输入提示应用Qwen3-4B重写以匹配训练提示长度，在GenEval、DPG-Bench、PRISM-Bench、CVTG-2K、LongText-Bench五个基准评估性能。

技术新颖性

技术新颖性体现在三个方面：一是系统性受控实验方法，作者在文生图领域首次进行了如此大规模的严格控制变量研究（300+实验），能够可靠地归因每个设计选择的性能影响，这是对缺乏透明度的现有研究的重要补充；二是重新审视被忽视的设计，如长跳连接（早期U-ViT提出但现代模型很少使用），作者证明它能改善双流模型的性能-参数权衡；三是关键发现反驳了直觉认知：多文本编码器组合的好处主要来自适配器参数增加而非编码器多样性，AdaLN在文生图场景下作用有限可以移除以减少参数；四是数据混合的简单策略：等权重数据混合是一个强默认策略，而且多样数据集下重复训练数据只会导致微小性能下降。与已有技术相比，i1没有引入新的网络模块，而是通过系统性实验识别现有但未充分利用的设计，并对标准组件进行简单修改，如使用更大的文本编码器适配器。

**Figure 4**: High-level illustration of our final i1 model. Rather than introducing major new network modules, i1 combines carefully selected modeling and data design choices into a simple and strong text-to-image model.

实验结果

核心发现来自建模和数据两个维度的设计空间探索。在文本编码器方面，作者测试了5类编码器（T5Gemma、T5Gemma2、Qwen3、Qwen3-VL、FG-CLIP）的多种规模，发现encoder-decoder模型（T5Gemma-2B）表现最佳，DPG-Bench达到84.66，PRISM达到56.4。有趣的是，指令调优（T5Gemma-2B vs base）和更大模型（T5Gemma-2B vs 9B）并没有带来明显提升。在多编码器组合方面，组合T5Gemma-2B + T5Gemma2-1B + FG-CLIP 2将DPG从84.66提升到85.37，但作者发现重复T5Gemma-2B嵌入并使用两个独立MLP适配器（而不是共享适配器）也能达到类似提升（85.09），说明收益来自适配器参数增加而非编码器多样性。使用更大的Transformer适配器（1个block）在跨注意力骨干上带来明显提升：DPG从84.66提升到86.33，PRISM从56.4提升到58.7，LongText从0.211提升到0.414，同时只增加约20M参数（从0.89B到0.91B）。在AdaLN方面，移除AdaLN在MLP适配器时略微提升性能（DPG从84.66提升到84.99），但在大Transformer适配器时效果不明显，作者选择在i1中移除AdaLN以减少参数。在骨干架构方面，长跳连接在所有模型尺寸（1.0B到3.0B）上一致提升性能，3B模型DPG从约86.5提升到约87.0，PRISM从约59提升到约60。双流骨干在所有尺寸上表现最佳，3B模型DPG达到87.67，PRISM达到60.7，LongText达到0.576，优于单流和跨注意力。在数据方面，合成标题器的选择显著影响性能，Qwen3-VL-30B-A3B生成的标题导致最佳DPG约84和PRISM约57性能。标题长度方面，训练在长标题上会导致短提示（如GenEval原始提示）性能差（0.17），但通过提示重写可以恢复并超越（0.73），优于训练在短标题上（0.47）。数据混合方面，等权重策略（阈值1.2M）实现DPG 85.15、PRISM 58.4、LongText 0.40，优于无权重（DPG 84.66、PRISM 56.4、LongText 0.211）。移除弱数据集（iNaturalist）进一步提升到DPG 85.56、PRISM 58.7、LongText 0.384。数据规模方面，将ImageNet-22K从13.7M子采样到0.4M只导致微小性能下降，使用5张标题/图像时效果更好。混合数据集子采样到每数据集0.4M（总共4.4M唯一图像，而非88.1M）也只导致轻微下降：DPG从85.56降至84.67，PRISM保持58.7，LongText保持0.382。高分辨率训练方面，512分辨率训练显著提升文本渲染能力，LongText从0.749提升到0.924，即使只用真实或合成数据训练也能达到类似提升，说明强高分辨率生成不需要高分辨率训练数据匹配低分辨率预训练数据的完整广度。最终i1模型在1024分辨率上达到DPG-Bench 86.73、PRISM 70.1、CVTG-2K 0.8531、LongText 0.922，优于多个更大的开放权重模型：HiDream-I1-Full (17B) DPG 85.89、PRISM 66.1、LongText 0.543；FLUX.1 [Dev] (12B) DPG 83.84、PRISM 65.1、LongText 0.607；Lumina-Image 2.0 (3B) DPG 87.20、PRISM 63.5、LongText 0.088。i1也大幅超越最佳完全开放模型（如BLIP3o-N-G-G 3B：DPG 81.93、PRISM 57.5、LongText 0.114），平均提升约29.5个百分点。

**Table 8**: Performance on representative text-to-image benchmarks. Results marked with an * are sourced from previous papers.

**Figure 1**: We investigate the design space of text-to-image diffusion models to understand how modeling and data choices affect model capabilities. This exploration culminates in i1, a 3B-parameter model that performs competitively with leading models at 1024-resolution.

**Figure 8**: Text encoders' performance across benchmarks. Under our modeling setup, the encoder-decoder T5Gemma models outperform representative decoder-only LLMs/VLMs and CLIP-style models.

**Figure 10**: Using larger adapters for the text encoder consistently improves performance across backbone architectures. Beyond 2 transformer blocks, using larger adapters brings marginal further gains.

**Figure 12**: Backbone family. We compare cross-attention, single-stream, and dual-stream backbones across model sizes. We find that the dual-stream backbone achieves the best overall performance.

**Figure 18**: Threshold-based weighting. By default, the sampling weight of a dataset is its number of images. We explore dataset-level balancing by capping the sampling weights for all datasets at four hand-picked thresholds. We find that lower thresholds (i.e., more even weights) generally lead to stronger performance.

查看结构化数据

任务	指标	本文	基线	提升
通用提示跟随（DPG-Bench）	DPG-Bench分数	86.73	最佳全开源模型 (BLIP3o-N-G-G)	+4.8
图像美学与提示跟随（PRISM-Bench）	PRISM-Bench分数	70.1	HiDream-I1-Full (17B)	+4.0
文本渲染（LongText-Bench）	LongText-Bench分数	0.922	FLUX.1 [Dev] (12B)	+0.315
可见文本生成（CVTG-2K）	CVTG-2K分数	0.8531	最佳全开源模型 (BLIP3o-N-G-T)	+0.5201
对象中心生成（GenEval）	GenEval分数	0.84	Lumina-Image 2.0 (3B)	+0.11

局限与改进

作者承认的局限性包括：一是评估主要依赖自动基准（强调提示跟随）而非人类偏好，虽然i1在基准上接近领先权重模型，但生成图像的整体视觉质量仍有明显差距（作者在附录B.5展示了失败案例）；二是由于资源限制，所有实验都在约3B参数或更小的模型上进行，需要进一步实验确定发现在更大规模上是否继续成立；三是探索只覆盖了文生图扩散模型设计空间的子集，如多宽高比训练、数据过滤、解码器LLM与扩散Transformer的深度融合、强化学习等设计未探索；四是GenEval基准可能与人判断不一致，且与人感知模型能力相关性差，许多模型在BLIP3o-60K上微调以提升GenEval分数，因此作者报告GenEval仅为了完整性并注明可能不反映模型能力。此外，作者提到i1目前不支持多宽高比训练，但正在开发。我观察到的额外局限包括：一是等权重数据混合策略可能依赖于作者精心挑选的11个数据集质量，在数据集质量差异更大的情况下可能需要调整；二是提示重写策略虽然有效，但增加了推理延迟和成本；三是移除AdaLN的发现可能在更大模型或不同训练设置下不成立；四是高分辨率训练数据覆盖需求的研究基于特定数据集过滤条件，可能不适用于所有数据分布。

独立分析的弱点

独立分析显示i1存在几个具体弱点需要改进。一是整体视觉质量不足：虽然i1在提示跟随基准上表现强劲，但作者承认生成图像的整体视觉质量仍明显落后于领先模型，特别是在纹理细节、光影效果和整体构图方面。这可能源于训练数据质量不如私有模型（如DALL-E 3、Midjourney的内部数据），训练数据分布不够广泛，或模型容量相对较小（3B vs 17B HiDream-I1-Full）。改进方向包括：使用更多高质量的合成数据（如更多Midjourney v6图像）、增加模型容量到6B或更大、引入数据质量过滤机制、在更多样化的高分辨率数据上训练。二是文本渲染在复杂场景下的局限性：虽然LongText-Bench达到0.922的高分，但可能在复杂背景、小字体、多语言文本等场景下仍有困难。改进方向包括：增加更多文本渲染专用数据集（如多语言文本）、改进高分辨率训练策略、引入专门的文本渲染损失或辅助任务。三是推理延迟和成本：提示重写步骤增加推理延迟（需要调用Qwen3-4B），大适配器和双流架构也增加计算成本。改进方向包括：蒸馏提示重写器到更小模型、探索轻量级骨干架构、优化推理实现。四是缺乏多宽高比支持：当前i1主要支持正方形图像，限制了实际应用场景。改进方向包括：实现多宽高比训练和推理（作者提到正在开发）。五是数据集选择的主观性：等权重数据混合依赖于11个精心挑选的数据集，其中移除iNaturalist带来提升，但其他数据集的配置可能不是最优的。改进方向包括：自动化数据集质量评估、探索更精细的数据集权重策略（如基于数据集在验证集上的性能动态调整权重）、引入数据去重机制。

未来方向

作者提出的未来工作方向包括：扩展i1配方到更大模型规模，确定发现在6B、12B等更大规模上是否继续成立；探索文生图模型设计空间的其他未覆盖区域，如多宽高比训练、数据过滤、解码器LLM与扩散Transformer的深度融合、强化学习训练；开发多宽高比i1模型。基于论文成果可以延伸的方向包括：一是探索更大规模的训练数据，虽然论文发现4.4M唯一图像已足够，但更大规模（如20-50M）可能进一步提升性能；二是研究更精细的数据质量评估和过滤机制，当前实验主要依赖人工选择数据集和等权重策略，自动化质量评估可能更高效；三是探索提示重写的替代方案，如训练时同时使用长短标题、学习提示扩展模型、动态提示长度调整；四是研究模型压缩和蒸馏，将3B i1压缩到1B或更小，同时保持性能；五是扩展到其他生成任务，如视频生成、3D生成、图像编辑等，探索类似设计空间探索方法的有效性；六是研究人类偏好对齐，虽然i1在自动基准上表现强劲，但需要进一步研究与人类偏好的对齐方法，如RLHF、DPO等；七是探索更高效的高分辨率训练策略，当前研究发现512分辨率训练显著提升文本渲染，但1024分辨率训练提升有限，可以研究更高效的高分辨率训练方法；八是研究多模态扩展，如文本到音频、文本到3D等，探索类似设计选择在多模态生成中的适用性。

复现评估

i1的复现评估显示这是高度可复现的工作。作者公开了模型权重、训练和推理代码、数据处理pipeline，以及详细的训练配置和超参数。开源情况：论文提供了完整的开源配方，包括模型检查点、训练代码（基于JAX）、推理代码、数据处理脚本、数据混合策略、受控实验代码和结果。这是文生图领域少数完全开放的模型之一，与仅开放权重的模型（如FLUX.1、HiDream-I1）和开放但性能落后的模型（如BLIP3o、DeCo）相比具有明显优势。数据集：所有数据集都是公开可用的，包括ImageNet-22K、YFCC100M、RedCaps、Megalith、Pexels、iNaturalist 2024、Places365-Challenge 2016、GPT-Image-Edit-1.5M、FLUX-Reason-6M、Midjourney v6、RenderedText、TextAtlas。合成标题使用Qwen3-VL-30B-A3B生成，提示重写使用Qwen3-4B，这些都是公开模型。算力需求：训练i1-3B需要TPU v5p-128约383小时（256分辨率）、174.4小时（512分辨率）、150.9小时（1024分辨率），总计约708小时TPU v5p-128，或等效约850-900张A100 GPU天。受控实验使用TPU v6e-64，每个500K步实验约31小时。对于研究人员，复现基线实验相对可行（1-2张TPU v4/v5），但完整i1训练需要较大算力资源。复现难度：中等。代码基于JAX框架，需要一定的JAX/TPU经验，但论文提供了详细配置和训练步骤。数据准备需要合成标题生成（需要VLM GPU）、数据下载和处理，但都有详细说明。主要挑战是算力需求，但可以通过子采样数据集或减少训练步数进行初步复现。整体而言，i1为开源研究提供了良好的基础，研究人员可以在其基础上进行扩展和改进。