← 返回 2026-04-21

通过判别性文本表示将单步图像生成从类别标签扩展到文本条件 Extending One-Step Image Generation from Class Labels to Text via Discriminative Text Representation

Chenxi Zhao, Chen Zhu, Xiaokun Feng, Aiming Hao, Jiashu Zhu, Jiachen Lei, Jiahong Wu, Xiangxiang Chu, Jufeng Yang 📅 2026-04-20 👍 96 2026-07-13 08:36
MeanFlow 单步生成 扩散模型加速 文本编码器 文生图

首次将MeanFlow单步生成从类别标签推广到文本条件,识别出文本编码器的判别性与解耦性是关键。

前置知识

MeanFlow

MeanFlow 是 2025 年提出的单步生成框架,通过学习流图 $u_\theta(z_t,t,r)$ 直接预测时间区间 $[t,r]$ 上的平均速度,理论上一步生成即可达到多步质量,训练中用 JVP 加速自洽目标计算。

本文正是把 MeanFlow 从类别条件推广到 T2I 任务,理解平均速度场和 JVP 目标是读懂动机和实验的必要基础。

Flow Matching (流匹配)

流匹配是基于 ODE 的生成建模方法,直接学习速度场 $v(z_t,t)$ 描述数据在概率流上的运动方向,推理时通过 Euler 步等数值积分从噪声生成数据,通常需数十步。

BLIP3o-NEXT 等现代 T2I 模型基于流匹配训练,MeanFlow 是其上的加速器而非替代,需要理解流匹配作为基线范式的作用。

LLM-based Text Encoder (基于大语言模型的文本编码器)

现代 T2I 模型用大语言模型 (LLM) 替代早期 CLIP/T5 文本编码器,通过 cross-attention 注入视觉网络,语义理解更强但在少步生成时判别性和解耦性可能成为瓶颈。

本文核心论点就是不同 LLM 编码器的表示质量差异显著影响 MeanFlow 少步生成效果,这是论文分析的主线。

判别性 (Discriminability) 与解耦性 (Disentanglement)

判别性指编码器对语义相近的不同提示能产生可区分表示;解耦性指编码后各语义成分可被独立识别。二者共同决定文本表示在少步生成下能否被正确解析。

作者用检索任务和子序列相似度实验证明,同时具备高判别性和高解耦性的表示才能让 MeanFlow 一步生成保留语义,是选型依据。

研究动机

扩散模型和流匹配模型虽然能生成高质量图像,但典型 T2I 系统(如 SD3.5-L、BLIP3o-NEXT)往往需要 20–50 步 ODE 积分,推理延迟高,严重限制了交互式场景的可用性。为加速采样,一致性模型 (Consistency Model)、潜在一致性模型 (LCM)、SDXL-Turbo、FLUX.1-schnell、SANA-Sprint 等蒸馏方案陆续被提出,可在 1–4 步内出图。然而这些方法几乎都建立在直接从噪声到图像的一致性约束或对抗蒸馏上,在 4 步下的 GenEval 整体得分普遍只有 0.5–0.69,远低于多步大模型(0.83–0.91),尤其在颜色归属 (Color Attribution) 和位置 (Position) 等细粒度任务上掉点明显。与此同时,MeanFlow 作为一种原则性更强的平均速度场方法,在 ImageNet 类别条件生成上达到了 1 步接近多步的质量,但能否推广到文本条件此前未被探索。直接套用 MeanFlow 训练策略并接入 LLM 文本编码器,作者发现模型难以学到正确的平均速度场,导致一步/少步生成语义严重漂移,背后的根因并不清晰。

本文的目标是本文的总体目标是首次将 MeanFlow 的适用条件从固定的 1000 类 ImageNet 类别标签扩展到自由文本提示,实现少步(尤其是 1–4 步)的高质量文生图生成。具体可量化的目标包括:在 GenEval 上用 4 步达到接近 BLIP3o-NEXT 30 步的水平(目标 ≥0.88);在 DPG-Bench 上 4 步达到 ≥80 分;推理时间从 BLIP3o-NEXT 30 步的 1.24s 缩短到 4 步 0.22s 量级;并系统揭示 LLM 文本编码器对 MeanFlow 训练的隐性影响。

与已有工作不同的是,已有 MeanFlow 改进 (AlphaFlow、SplitMeanFlow、Decoupled MeanFlow) 都在类条件场景下工作,假设标签嵌入是离散的、判别性天然高,因而没有分析文本编码器对速度场质量的影响;而 T2I 蒸馏方法 (LCM、SDXL-Lightning、SANA-Sprint) 又把文本编码器当作固定的外部条件,缺少对表示质量如何决定平均速度可学习性的反思。本文恰好抓住这个交叉空白:它不是从 ODE 数值方法或蒸馏策略入手,而是从条件信号的角度切入,论证了文本表示的判别性与解耦性是 MeanFlow 能否在 T2I 上成功的关键瓶颈,并提出 EMF 框架,选用了在两项指标上均最优的 BLIP3o-NEXT 文本编码器。

核心方法

EMF (Extending MeanFlow to T2I) 的整体思路可以类比为给一个高速跑车换赛道:MeanFlow 本身是为 ImageNet 这条平整、低维、离散信号的赛道设计的,我们要让它在文本提示这条复杂、连续、稠密信号的赛道上依然跑得快,关键不是改车(模型架构),而是把路面条件(文本表示)准备好。具体技术路线分三步:首先在 COCO 2017 train2017 上做图文检索实验,验证 BLIP3o-NEXT 文本编码器在跨模态对齐上显著优于 SANA-1.5、T5、CLIP;然后在 DPG-Bench 提示上做子序列相似度实验,验证 BLIP3o-NEXT 与 Gemma 拥有最好的解耦性(分数 0.987/0.999);最后在 BLIP3o-NEXT 框架上把标准流匹配骨干改造成 MeanFlow 形式——具体是把单一时间嵌入 $\phi_{time}(t)$ 拆成两个:$\phi_{interval}(t-r)$ 编码区间长度,$\phi_{end}(t)$ 编码端点时间,联合作为 $u_\theta(z_t, t, r, \psi_{text})$ 的额外条件,损失函数保留 MeanFlow 的 JVP 自洽目标但对文本嵌入 $\psi_{text}$ 同时求导。

EMF 与已有方法的本质区别在于:它把为什么 MeanFlow 难以扩展到 T2I这一问题从训练稳定性重新定义为条件表示质量,并通过判别性+解耦性两项显式度量筛选出合适的文本编码器。现有 T2I 蒸馏 (LCM、SANA-Sprint、SD3.5-L-Turbo) 主要解决 ODE 积分误差、稳定性或对抗损失,而没有触及条件信号本身;已有的 MeanFlow 改进 (AlphaFlow、SplitMeanFlow) 关注损失拆分或时间调度,假设输入条件是低维离散的。EMF 第一次用经验数据表明,看似来自同一 LLM 家族的编码器(如 SANA-1.5 vs. BLIP3o-NEXT)在 MeanFlow 框架下会决定性地影响 4 步生成质量——SANA-1.5 的判别分 0.713、解耦分 0.987,MeanFlow 训练后 4 步 GenEval 只有 0.50;而 BLIP3o-NEXT 的判别分 0.734、解耦分 0.999,4 步 GenEval 直接达到 0.90。这一对比说明,MeanFlow 对条件表示的几何结构非常敏感,文本编码器选型从工程细节升级为决定性变量。

方法步骤详情

EMF 的实现步骤可拆为四步。第一步是文本编码器筛选:在 COCO train2017 118k 图文对上,先用不同文本编码器把每条提示编码为向量,再与所有 118k 图像的 DINOv3 嵌入做余弦相似度检索,得到跨模态检索分数(本文给出 BLIP3o-NEXT 0.734、CLIP 0.730、Gemma 0.713、T5 0.634);同时在 DPG-Bench 全部提示上随机删除片段生成子序列,计算子序列与完整序列的余弦距离作为解耦分(BLIP3o-NEXT 0.999、Gemma 0.987、CLIP 0.967、T5 0.893)。第二步是数据与训练设置:在 BLIP3o-60k、shareGPT-4o、Echo-4o 共约 170k 样本上做 SFT 风格的微调,学习率 $1 \times 10^{-5}$、batch size 128、150 epoch,完全沿用 BLIP3o-NEXT 的超参,只把训练目标从 flow matching 替换为 MeanFlow 目标。第三步是模型架构改造:把 BLIP3o-NEXT 内部的单时间嵌入层复制为两份 $\phi_{interval}(\cdot)$ 和 $\phi_{end}(\cdot)$,按 $\phi_{cond}(t, r) = \phi_{interval}(t-r) + \phi_{end}(t)$ 联合送入 DiT 骨干,文本条件 $\psi_{text}$ 与时间条件共同调制 $u_\theta$;训练时 (t, r) 从 uniform $\mathcal{U}(0,1)$ 或 logit-normal 分布中采样,两者比例随训练进度 $p \in [0,1]$ 动态调整,确保长、短时间区间都被充分暴露。第四步是损失计算:沿用 MeanFlow 的 JVP 自洽目标 $\mathcal{L}_{MF}(\theta) = \mathbb{E}_{t, z_t, r} \| u_\theta(z_t, t, r, \psi_{text}) - \mathrm{sg}(\tilde{u}_{tgt}) \|^2$,其中 $\tilde{u}_{tgt} = v(z_t, t, \psi_{text}) + (r-t) \frac{d}{dt} u_\theta(z_t, t, r, \psi_{text})$,stop-gradient 用于稳定优化。

技术新颖性

技术新颖性体现在三个层面。第一是分析层面:首次把 MeanFlow 在 T2I 上失败定位到文本编码器的判别性与解耦性,提供了可量化的度量协议(检索分数 + 子序列相似度),而不是只停留在训练不稳定的工程观察。第二是工程层面:提出把单一时间嵌入拆为区间+端点双嵌入的轻量改造,避免了重新设计 DiT 架构,直接在 BLIP3o-NEXT 既有权重上继续训练,既保留了原模型的视觉质量又把单步能力从 0.46 提到 0.74(GenEval 1 步)。第三是经验层面:论文展示了一个反直觉的现象——MeanFlow 这种训练时学习平均速度的范式并不天然享受预训练速度场带来的便利,即使是更大的 T2I 模型(SANA-1.5 的 4.8B 规模)如果文本编码器表示不优,MeanFlow 仍学不动;这一观察对后续把 MeanFlow 类方法扩展到更多模态具有警示价值。

Image-text retrieval comparison on COCO2017 train set using different text encoders.
Figure 3: Image-text retrieval comparison on COCO2017 train set using different text encoders.
4-step GenEval performance of different text encoders under MeanFlow training.
Figure 6: 4-step GenEval performance of different text encoders under MeanFlow training.

实验结果

在 GenEval 基准上(参看 Table 3),EMF 用 4 步取得 0.90 整体分,几乎追平 BLIP3o-NEXT 30 步的 0.91,并显著超越所有 distilled 模型中最强的 SANA-Sprint 1.6B (0.75)、rCM 14B (0.83),甚至优于参数量大得多的 SD3.5-L-Turbo 8B (0.68) 和 FLUX.1-schnell 12B (0.69)。在细分子任务上,EMF 4 步的单对象 (1.00)、双对象 (0.94)、颜色 (0.92) 都与 BLIP3o-NEXT 持平甚至略高,位置 (0.91 vs 0.92) 和颜色归属 (0.76 vs 0.79) 略低,说明复杂属性绑定仍是 MeanFlow 4 步的薄弱环节。1 步下 EMF 仍有 0.74,而 BLIP3o-NEXT 1 步仅 0.46,说明 EMF 把语义保真度在 1 步下提升了 28 个绝对点,这是判别性文本表示假说的直接证据。在 DPG-Bench 长提示基准上(参看 Table 4 和 Table 6),EMF 4 步整体 81.20,距离 BLIP3o-NEXT 30 步的 82.05 仅差 0.85,Entity 维度(87.27)与 Relation 维度(88.78)甚至反超基线;1 步下 77.36,比 BLIP3o-NEXT 1 步的 57.05 高出整整 20.31 分,把 4 步难做的位置/属性问题在 1 步下大幅缓解。HPS-v2.1 人类偏好上,EMF 4 步的 29.25 已经与 BLIP3o-NEXT 30 步的 29.42 几乎齐平,1 步下 25.77 比基线 1 步的 18.54 高 7.23。推理速度方面(补充材料第 10 节),在 H200 上 EMF 单次扩散采样 4 步 0.22s、2 步 0.12s、1 步 0.08s,而 BLIP3o-NEXT 30 步需要 1.24s,加速比 5.6×–15.5×;端到端(含 LLM 文本编码)4 步 9.87s vs 基线 11.3s,加速 1.14×,剩余时间主要被自回归文本编码吃掉。Figure 4 的消融表明,4 步生成质量在 60k 步时已收敛到 0.90,2 步需到 70k 步才到 0.85,1 步到 90k 步才能稳定 0.74,呈现明显的步数越多、收敛越快的规律,与一致性蒸馏方法步数越多越饱和的行为形成对比。Figure 6 还显示,把 SANA-1.5 文本编码器换成在 SFT 数据上预训练过的版本,MeanFlow 训练仍然不稳定,进一步印证不是数据量问题,而是表示几何问题。PickScore 0.28 和 20 人用户研究的 0.49 偏好率(Table 9)也表明,人眼层面 EMF 4 步生成明显比 SANA-Sprint (0.16)、FLUX.1-schnell (0.12)、SD3.5-L-Turbo (0.13) 受欢迎。

DINO evaluation of image-feature similarity for text-retrieved images.
Table 1: DINO evaluation of image-feature similarity for text-retrieved images.
Evaluation of Text Encoder Disentanglement via Subsequence Similarity.
Table 2: Evaluation of Text Encoder Disentanglement via Subsequence Similarity.
GenEval results for pretrained, unified, and distilled models.
Table 3: GenEval results for pretrained, unified, and distilled models.
DPG-Bench and HPS-v2.1 results.
Table 4: DPG-Bench and HPS-v2.1 results.
GenEval scores of SANA-1.5's experiment (SFT-fine-tuned text encoder).
Table 5: GenEval scores of SANA-1.5's experiment (SFT-fine-tuned text encoder).
Quantitative evaluation results on DPG-Bench (Supplementary).
Table 6: Quantitative evaluation results on DPG-Bench (Supplementary).
Experiments on discriminability and disentanglement metrics for the trained SANA-1.5 and OpenUni text encoders (Supplementary).
Table 7: Experiments on discriminability and disentanglement metrics for the trained SANA-1.5 and OpenUni text encoders (Supplementary).
Results of OpenUni trained on Mean Flow (Supplementary).
Table 8: Results of OpenUni trained on Mean Flow (Supplementary).
Performance comparison across different models (User Study & PickScore).
Table 9: Performance comparison across different models (User Study & PickScore).
Visual comparison of Our Model and SANA-Sprint in 4-step inference on challenging text.
Figure 1: Visual comparison of Our Model and SANA-Sprint in 4-step inference on challenging text.
Ablation study of sampling steps in T2I MeanFlow.
Figure 4: Ablation study of sampling steps in T2I MeanFlow.
4-step sampling comparison with existing distilled models.
Figure 5: 4-step sampling comparison with existing distilled models.
Representative visual results on DPG-Bench (Supplementary).
Figure 8: Representative visual results on DPG-Bench (Supplementary).
查看结构化数据
任务指标本文基线提升
文生图综合能力 (GenEval, 整体分) GenEval Overall (越高越好) EMF 3B, 4 步: 0.90; 2 步: 0.85; 1 步: 0.74 BLIP3o-NEXT 3B, 30 步: 0.91; 4 步: 0.86; 1 步: 0.46; SANA-Sprint 1.6B 4 步: 0.75; rCM 14B 4 步: 0.83 相比最强 distilled 模型 rCM 4 步 +0.07; 相比 BLIP3o-NEXT 1 步 +0.28 绝对提升(少用 29 步)
长提示指令遵循 (DPG-Bench, 整体分) DPG-Bench Overall (越高越好) EMF 3B, 4 步: 81.20; 8 步: 81.94; 1 步: 77.36 BLIP3o-NEXT 3B, 30 步: 82.05; 1 步: 57.05; SDXL-DMD2 2.6B 4 步: 74.24; SD3.5-L-Turbo 8B 4 步: 81.97 相比 BLIP3o-NEXT 1 步 +20.31 绝对提升; 4 步已与 SD3.5-L-Turbo 8B 持平,且只用 1/2 参数
人类偏好 (HPS-v2.1, 4 域平均) HPS-v2.1 Average (越高越好) EMF 3B, 4 步: 29.25; 2 步: 27.21; 1 步: 25.77 BLIP3o-NEXT 3B, 30 步: 29.42; 4 步: 26.96; 1 步: 18.54 相比 BLIP3o-NEXT 4 步 +2.29; 1 步 +7.23
扩散采样延迟 (H200 GPU, 单次采样) Latency in seconds (越低越好) EMF 4 步: 0.22s; 2 步: 0.12s; 1 步: 0.08s BLIP3o-NEXT 30 步: 1.24s 4 步加速 5.6×, 1 步加速 15.5×
人评偏好 (20 用户 × 50 提示) User Study Win Rate (越高越好) EMF 4 步: 0.49 SANA-Sprint 4 步: 0.16; FLUX.1-schnell 4 步: 0.12; SD3.5-L-Turbo 4 步: 0.13; SDXL-DMD2 4 步: 0.09 用户偏好比 SANA-Sprint 高 3 倍以上
文本编码器跨模态判别性 DINO 检索分 (越高越好) BLIP3o-NEXT: 0.734 CLIP: 0.730; Gemma: 0.713; T5: 0.634 BLIP3o-NEXT 取得最高分,是 EMF 选型的关键依据
文本编码器解耦性 子序列余弦相似度 (越高越好) BLIP3o-NEXT: 0.999 Gemma: 0.987; CLIP: 0.967; T5: 0.893 BLIP3o-NEXT 接近完美解耦,大幅领先 T5

局限与改进

作者明确承认的局限包括:第一,EMF 强依赖于 BLIP3o-NEXT 这类经过专门视觉-语言对齐训练的 LLM 编码器,泛化到任意 LLM 编码器并不成立——同样的 MeanFlow 训练在 SANA-1.5 文本编码器上 4 步 GenEval 仅 0.50,即使把 SANA-1.5 编码器在 SFT 数据上额外微调(分数从 0.81 提到 0.85)也救不回来(参看 Table 5);第二,本文的训练只验证了 170k 样本规模,远小于工业级 T2I 的千万-亿级数据,模型对稀有概念、长尾物体、复杂空间关系(如 Table 4 中 Relation 和 Other 仍略低于 30 步基线)仍存在少量掉点;第三,端到端加速比仅 1.14×(9.87s vs 11.3s),瓶颈从视觉生成转移到了 LLM 文本编码的自回归推理。本人额外观察的局限有:论文未在 1024×1024 以上的分辨率、风格化控制 (LoRA/ControlNet) 或 inpainting 场景下做评估,MeanFlow 在高分辨率多步链路上的稳定性尚不清楚;Figure 1 视觉对比虽然突出 EMF 在灯笼里微型城市等复杂构图上的优势,但评测用的 50 条提示是自选集合,可能存在选择性展示;补充材料中 OpenUni-B 编码器虽然内部有 InternVL3 视觉对齐,MeanFlow 4 步 GenEval 也只有 0.70,说明仅靠对齐过还不够,需要对齐+解耦双优。

独立分析的弱点

独立分析来看,EMF 主要有以下可改进的弱点。第一,文本编码器选型高度依赖经验,目前没有自动化协议从任意 LLM 直接评估它能不能做 MeanFlow 文本条件,如果未来 BLIP3o-NEXT 类模型闭源,EMF 的可复现性会受限——可考虑训练一个轻量的 MeanFlow 适配性预测头,只跑几千步就能打分。第二,Figure 4 显示 1 步训练在 90k 步后仍只到 0.74,且 SANA-1.5 类配置在 1 步下严重塌缩(Figure 6 训到 100k 步仍 <0.55),说明当前 MeanFlow 目标对超长程平均速度的优化仍不充分,可借鉴 Decoupled MeanFlow (Lee et al. 2025) 的解耦思想,把 $u_\theta$ 进一步拆为瞬时分量与残差分量,可能改善 1 步质量。第三,推理时双时间嵌入 $\phi_{interval}(t-r) + \phi_{end}(t)$ 的引入在 4 步下没问题,但 1 步时 $t \to 1$、$r \to 0$,$\phi_{interval}$ 输入接近 1,与训练时短区间分布差异较大,可考虑在 1 步推理时把 $\phi_{interval}$ 设为常数或退化为单时间嵌入,减少分布漂移。第四,Figure 5 视觉对比中 EMF 在灯笼内部城市这种非常规构图上仍能保持细节,但对月夜红树林长曝光、植物学家叶脉皮肤等高度风格化提示的失败案例未做系统分析,需补充负面样本的失败模式研究,改进方向包括在训练数据中显式加入艺术摄影/合成摄影子类。

未来方向

作者提出的可拓展方向有:第一,把 MeanFlow 范式推广到更高分辨率(>1024)、视频生成 (T2V) 和图像编辑 (inpainting/editing),验证双时间嵌入设计的可迁移性;第二,探索把 EMF 与 RLHF/DPO 类人类偏好对齐方法结合,因 4 步生成的速度优势可以极大降低 RL 微调成本;第三,系统比较更多 LLM 家族(Qwen3、LLaMA-3-V、Gemma 3)作为 MeanFlow 条件信号的潜力。基于论文成果我自己的延伸思考:可以研究自监督判别性预训练——设计一个辅助任务,让文本编码器在 LLM 主任务之外显式优化细粒度语义可分性和组件解耦性,从而不再依赖 BLIP3o-NEXT 这类已对齐模型;另一方向是把 MeanFlow 推广到风格/相机参数等连续控制条件,因为这类条件与文本类似具有稠密分布、需判别性表示,MeanFlow 的平均速度场天然适合此类连续多模态条件。

复现评估

作者承诺代码开源在 https://github.com/AMAP-ML/EMF(论文公开时已附链接),数据集由 BLIP3o-60k (公开) + shareGPT-4o (公开) + Echo-4o (公开) 三者组成共约 170k 样本,无专有数据依赖。训练资源方面,基于 BLIP3o-NEXT 3B 参数规模,150 epoch + batch size 128 + lr $1\times10^{-5}$,按 Figure 4 显示关键收敛在 60k–90k 步,即使按 L40S 或 A100 80G 估算,完整复现 1 步质量需要约 4×8 GPU·天,4 步质量约 1×8 GPU·天,门槛中等偏上。文本编码器筛选实验(检索 + 解耦)在单卡 A100 上几小时即可完成,门槛低。需要注意的是,评测使用的 50 条 prompt 自选集合、20 人用户研究、PickScore 等都是相对易复现的;但 SANA-1.5 等基线模型的 4 步少步配置需要重新蒸馏才能公平对比,这部分在论文中没有完整公布蒸馏配置,可能给第三方独立验证带来额外负担。整体复现难度:中等。