Fine-T2I：面向高质量文生图微调的大规模开放多样化数据集

提出600万高质量图文对数据集，弥合开源与商用文生图模型的数据鸿沟

前置知识

文生图微调（T2I Fine-Tuning）

文生图模型通常采用两阶段训练策略：首先在大规模图文对数据集（如LAION-5B）上进行预训练以学习广泛的世界知识和语义理解，然后在精心筛选的高质量美学数据集上进行微调（Supervised Fine-Tuning, SFT），将模型的生成分布转向更高的视觉保真度和细节生成能力。这个微调阶段对于将预训练模型转化为实际可用的高质量生成器至关重要。

本文的核心就是为这个微调阶段提供高质量数据，理解微调在T2I训练流程中的定位是理解论文价值的前提。

美学预测器（Aesthetic Predictor）

Aesthetic Predictor V2.5是一个用于自动评估图像美学质量的模型，它为图像输出一个标量分数，分数高于5.5通常被认为是高质量，6.5以上为非常高质量。该模型基于CLIP特征训练，能够从构图、色彩、清晰度等多个维度综合评估图像的视觉吸引力。在数据集构建中，它被广泛用作过滤低质量图像的自动化工具。

本文在数据筛选流程中大量使用该指标作为质量门槛，理解评分标准有助于理解数据集的质量保证机制。

去重（Deduplication）

数据去重是移除相同或近似相同样本的标准数据清洗步骤。对于大规模合成数据池，去重尤为重要，因为它能增加多样性并避免重复指令的过度表示。常见的去重方法包括基于词级重叠的MinHash-LSH和基于嵌入的语义过滤，本文采用了后者，将提示词编码为384维向量后通过余弦相似度判断重复。

本文的合成提示池从4480万条去重到555万条，去重策略的选择直接影响最终数据集的质量和多样性。

GenEval基准

GenEval是一个面向对象的文生图文本-图像对齐评估框架，通过自动评估模型在单一对象、双对象、计数、颜色、位置和属性组合六个维度上的表现来衡量生成质量。总分为各维度的平均值。尽管该基准被广泛使用，但它对美学质量、风格保真度和细粒度指令遵循等微妙方面的捕捉能力有限。

论文在自动评估中使用了GenEval作为参考指标，但作者也指出不应过度依赖该自动指标，需要理解其局限性。

LoRA微调

LoRA（Low-Rank Adaptation）是一种参数高效的微调方法，它冻结预训练模型的主体权重，仅在模型的注意力层注入低秩分解矩阵进行训练。这样可以用很少的可训练参数（通常不到原模型的1%）实现有效的微调，大幅降低计算和存储成本。在本文中，SD-XL模型使用LoRA进行微调。

论文对SD-XL采用了LoRA微调策略，这是评估数据集效果时的重要实验设置细节。

研究动机

当前开源社区在文生图微调方面面临严重的数据瓶颈。尽管模型架构和训练技术不断进步且能通过论文公开传播，但高质量的微调数据集往往被企业私有化，无法合法再分发。真正高质量的微调图像成本极高（每张超过10美元），且受版权许可限制。因此，开源社区只能依赖相对较小、噪声较多或分布受限的数据集。具体来看，现有开源数据集存在多重缺陷：JourneyDB、Pick-a-Pic、T2I-2M等数据集分辨率低（通常不超过1024x1024），而最新的企业级模型（如Qwen-Image、Seedream 4.0、Nano Banana Pro）已原生支持远高于此的分辨率；LAION-Art和LAION-Aesthetic即使经过美学过滤，其视觉保真度和美学吸引力仍达不到现代模型的预期标准；最重要的是，现有开源数据集很少提供细致的分布分析和组织，尽管越来越多的证据表明这种精心策划对强大的生成性能至关重要。这种数据差距导致开源模型在文生图排行榜上被企业级产品主导。

本文的目标是本文旨在构建一个大规模（约600万样本，约2TB存储）、高质量、完全开放且许可证合规的文生图微调数据集Fine-T2I，目标是缩小开源模型与生产级模型之间的性能差距。具体而言，Fine-T2I要覆盖10种任务组合、32个提示词类别、11种视觉风格和5种提示词模板，结合合成图像和精心策划的真实图像，确保在文本-图像对齐、视觉保真度和提示词质量方面达到微调级别的高标准。通过在多种预训练扩散和自回归模型上的系统验证，证明该数据集能持续提升生成质量和指令遵循能力。

与已有工作不同的是，本文的独特切入角度在于同时解决数据集构建中被忽视的三个维度：（1）规模化与质量的平衡——已有数据集要么规模大但质量差（如LAION-5B），要么质量高但规模小（如BLIP3o-60k仅60K样本），Fine-T2I通过严格的生成-选择（generate-and-select）策略和多阶段过滤在保持600万规模的同时达到高美学质量；（2）多样性与组织性的统一——Fine-T2I不仅追求样本数量，还通过加权分类法系统覆盖类别、风格、任务和分辨率等维度，并进行详细的分布分析；（3）提示词工程的训练价值——论文创新性地将推理时常用的提示词增强（prompt enhancement）引入训练阶段，为每个样本同时提供原始和增强两种提示词，使模型在训练时就能学会处理多样化的用户输入格式。

核心方法

Fine-T2I的构建可以类比为一个精心策划的摄影展览：策展人（数据集构建团队）不仅需要大量的优秀作品（图像），还需要为每幅作品撰写精准且丰富的说明文字（提示词），同时确保展品风格多样、题材覆盖全面、质量统一达标。技术路线上，数据集由两大部分组成：合成数据集和真实图像集。合成数据集是主体，通过LLaMA3生成大量控制提示词，经过语义去重、安全过滤、属性对齐验证后保留约515万条提示词，再使用Z-Image和FLUX2两个强力生成模型生成图像，最终通过美学评分和VLM推理验证过滤掉约70%的图文对，得到约614万高质量合成样本。真实图像集则从Pexels、Pixabay、Unsplash等创作者平台收集专业摄影作品，使用更严格的质量标准（美学分>=6.5）筛选，最终保留约16.8万样本。

Fine-T2I的核心创新在于将生成-选择和多维控制的系统化思想融入数据集构建的每个环节，而非简单的数据收集。与已有数据集最本质的区别体现在三个方面：第一，提示词增强作为训练信号——论文发现推理时常用的提示词增强技术同样可以提升训练质量，因此为每个样本同时保留原始提示词和增强提示词，使模型在训练阶段就接触到多样化的用户输入格式；第二，基于推理能力的质量验证——不依赖传统的自动美学评分或图文对齐指标（如HPSv2），而是使用具备推理能力的VLM（Qwen3-VL-8B-Instruct）通过精心设计的系统提示进行严格的通过/失败审核，系统提示明确列举了语义对齐、解剖完整性、物理逻辑、图像伪影等所有可能的失败模式；第三，分布意识的提示词设计——通过加权分类法控制类别、风格、任务等属性的采样权重，使其逼近真实世界使用分布，而非简单随机生成。

方法步骤详情

Fine-T2I的完整构建流程分为七个步骤。第一步，提示词生成：使用LLaMA3指令模型，基于加权分类法（Nature 27.8%、People 37.9%、Text Rendering 17.4%、Design 10.6%、Rare cases 6.3%）生成控制提示词，结合预定义的风格、长度、结构和任务类型属性，设置高采样温度（1.4）和低top-p（0.8）减少模板化输出，过滤掉少于5个词的平凡提示，共产出44,800,567条提示。第二步，语义去重：使用all-MiniLM-L6-v2编码为384维向量，采用两层分层策略（128组内去重+跨组去重），余弦相似度阈值0.8，保留5,555,147条多样化提示。第三步，安全过滤：使用LLaMA-Guard-3-8B移除暴力犯罪、儿童色情等不合规内容，同时过滤超长提示（>150词），保留5,497,062条。第四步，属性对齐验证：使用Qwen3-VL-8B-Instruct检查每个提示是否与指定的风格和类别语义匹配，保留5,158,969条。第五步，提示词增强：使用微调的prompt enhancer将每条提示改写为更详细、更具描述性的版本，同时保留原始和增强两个版本。第六步，图像生成：对两组提示（原始+增强）分别在两种分辨率设置（正方形+随机宽高比）下生成图像，每个提示采样1-3张候选图，使用Aesthetic Predictor V2.5选择最佳候选，优先使用Z-Image和FLUX2，得到4个合成子集。第七步，图文对过滤：美学分>5.5的初筛后，使用Qwen-VL推理模型进行严格对齐验证和伪影检查，平均过滤掉约70%的图文对，最终得到6,145,693个高质量合成样本。真实图像集单独处理，使用更严格的美学分>=6.5标准和Qwen2.5-VL-7B生成标题。

技术新颖性

Fine-T2I在技术新颖性上主要体现在数据集构建范式的创新，而非模型架构的创新。与已有数据集相比，其技术区别主要体现在：（1）提示词多样性的系统化保证——不同于T2I-2M使用固定模板或LAION-Art简单抓取网络数据，Fine-T2I通过5种提示词结构模板（简单描述、用户请求、句子组合、词组组合等）和加权属性采样实现结构化多样性，同时避免了LLM生成时严重的重复问题（去重阶段移除了近90%的候选）；（2）质量验证范式的升级——从依赖单一自动化评分（如HPSv2、CLIP Score）转向基于VLM推理的多维度严格审核，论文明确指出HPSv2和HPSv3等自动指标对微调数据不够严格，它们经常遗漏细粒度的不匹配，未能检测常见的生成伪影；（3）训练数据设计中引入推理时技巧——将提示词增强从推理阶段的技术转化为训练信号，为模型同时提供简单和详细的指令格式；（4）多分辨率的实用设计——覆盖从512x512到5792x8688的多种分辨率和宽高比，反映真实使用场景，而非假设固定正方形输入。

实验结果

论文通过人类评估、视觉比较和自动指标三个维度验证了Fine-T2I的有效性。在人类评估方面，使用500个来自Artificial Analysis Image Arena排行榜的公共提示词进行大规模人类偏好评估，结果表明：在自回归模型LlamaGen上微调后，视觉质量胜率高达80.7%，文本-图像对齐胜率为65.3%；在扩散模型SD-XL上微调后，视觉质量胜率52.1%，文本-图像对齐胜率29.5%。视觉质量提升最为显著，这可能与数据集极高的美学质量有关。在与其他数据集的对比中，以LlamaGen为候选模型分别在Fine-T2I、BLIP3o-60k和T2I-2M上微调，人类评估显示Fine-T2I在文本-图像对齐（38.3%胜率）和视觉质量（49.6%胜率）上均大幅领先。有趣的是，BLIP3o-60k虽然训练损失最低，但生成效果最差，这是因为其图像结构简单、背景单一，模型容易在优化中找到捷径，但不代表更好的生成性能。在自动评估方面，GenEval基准显示LlamaGen总分从0.32提升到0.41（+0.09），SD-XL总分从0.55提升到0.61（+0.06），各子维度均有改善。美学质量分析显示，真实图像子集大部分集中在[6.5, 7.0)区间（63.21%），合成子集则呈现更宽的分布，大部分在[5.5, 6.5)区间，少量超过7.5。

查看结构化数据

任务	指标	本文	基线	提升
LlamaGen人类评估-视觉质量	胜率 (Win Rate)	80.7%	无微调基线	+70.7个百分点（7.2%平局，7.2%负）
LlamaGen人类评估-文本对齐	胜率 (Win Rate)	65.3%	无微调基线	+52.9个百分点（12.1%平局，22.3%负）
SD-XL人类评估-视觉质量	胜率 (Win Rate)	52.1%	无微调基线	+33.1个百分点（19.0%负）
LlamaGen GenEval总分	Overall Score	0.41	0.32	+0.09
SD-XL GenEval总分	Overall Score	0.61	0.55	+0.06
LlamaGen对齐-与BLIP3o-60k对比	胜率 (Win Rate)	38.3%	BLIP3o-60k / T2I-2M	显著领先
LlamaGen质量-与BLIP3o-60k对比	胜率 (Win Rate)	49.6%	BLIP3o-60k / T2I-2M	显著领先

局限与改进

论文存在多个值得讨论的局限性。首先，作者坦承自动评估指标（如GenEval和T2I-CompBench）的覆盖范围有限，对美学质量、风格保真度和细粒度指令遵循等微妙方面的捕捉不足，因此论文主要依赖人类评估，但这带来了评估成本高和可复现性低的问题。其次，数据集的属性标签（类别、风格、任务）并不完全可靠——论文在附录中提到某些属性组合可能内部不一致或过度约束（如同时要求极短提示和长文本渲染），建议将属性视为软元数据使用。第三，美学评估存在固有的模糊性：论文展示了美学评分与人类偏好不一致的例子，高美学分的图像未必被人类认为更好，这说明任何单一的自动美学指标都无法作为真值。第四，由于FLUX2运行成本高昂，Fine-T2I中大多数图像由Z-Image生成，这可能引入生成模型特异性偏置。最后，论文仅在LlamaGen和SD-XL两个模型上验证效果，未在更先进的模型（如Qwen-Image）上测试，而这些先进模型可能已经内化了类似的高质量数据分布。

独立分析的弱点

尽管Fine-T2I代表了开源T2I微调数据集的重大进步，但仍存在几个值得改进的弱点。第一，VLM质量验证的系统提示存在过度严格的风险——要求零容忍AI幻影、完美文本渲染、精确数量匹配等，这可能导致一些整体质量优秀但有微小瑕疵的样本被过度过滤，丢失了大量有价值的训练信号。建议可以引入分级质量标准而非二元通过/失败，例如为不同质量等级的样本分配不同的训练权重。第二，提示词增强依赖单一的prompt enhancer模型，可能引入模型特定的偏置风格，所有增强提示词可能呈现出相似的写作风格。建议可以使用多个不同的增强模型或模板，增加增强提示词的多样性。第三，数据集的类别分布虽然经过精心设计，但约61.5%的提示词没有指定具体任务，这可能导致数据集在可控生成（compositional generation）方面的训练信号不够充分，特别是对于位置、计数等困难属性的组合。第四，真实图像子集仅16.8万样本，相比614万合成样本比例很小（约2.7%），且来源限于三个平台，可能不足以覆盖真实世界的全部多样性。

未来方向

基于Fine-T2I的成果，可以从多个方向延伸研究。首先，作者期望一个强健可靠的图像评估指标能够大幅简化数据集构建流程，建议VLM的推理能力可能是实现这一目标的关键。其次，数据集目前仅涵盖文生图任务，但构建方法论可以扩展到图像编辑、图像修复、视频生成等更多视觉生成任务。第三，论文揭示了BLIP3o-60k虽然训练损失低但生成效果差的现象，这暗示需要更深入研究什么样的数据特性真正导致更好的生成质量，而非仅仅优化损失函数。第四，分布对齐的研究可以更精细——当前的分布是基于现有排行榜和报告的静态快照，而人类偏好是动态变化的，如何构建能自适应演化的数据集值得探索。最后，论文展示了提示词增强对训练的积极效果，进一步研究推理时技术（如思维链、负提示、CFG调制等）转化为训练信号的可能性可能带来更大收益。

复现评估

Fine-T2I在可复现性方面表现优秀。数据集已在HuggingFace上公开发布（https://huggingface.co/datasets/ma-xu/fine-t2i），并附有探索空间（https://huggingface.co/spaces/ma-xu/fine-t2i-explore），使用开放许可证。论文详细描述了完整的构建流程，包括各步骤使用的具体模型（LLaMA3、all-MiniLM-L6-v2、LLaMA-Guard-3-8B、Qwen3-VL-8B-Instruct、Z-Image、FLUX2等）、参数设置（温度1.4、top-p 0.8、去重阈值0.8、美学分阈值5.5/6.5）和系统提示词。数据集约2TB存储规模，微调实验使用SD-XL的LoRA（batch size 8，学习率1e-4）和LlamaGen的全参数微调（batch size 24，学习率3e-5），约1个epoch即可观察到显著改善，算力需求相对可控。对于希望复现的研究者，主要挑战在于大规模VLM推理验证的计算成本（平均过滤70%的图文对需要大量VLM调用），以及Z-Image和FLUX2的图像生成成本。但直接使用已发布的数据集进行微调实验则门槛很低。

Fine-T2I：面向高质量文生图微调的大规模开放多样化数据集 Fine-T2I: An Open, Large-Scale, and Diverse Dataset for High-Quality T2I Fine-Tuning