Lens: 重新思考基础文生图模型的训练效率

3.8B参数文生图模型，仅用Z-Image约19.3%算力即可在多个基准上追平甚至超越6B+模型。

前置知识

潜在扩散 Transformer (MMDiT)

用 Transformer 而非 U-Net 做扩散去噪的架构。MMDiT 把图像与文本特征在每个 block 内分别走 RMSNorm-Attention-MLP 双分支，再做联合注意力，对齐与扩展性都更好，是 Lens 主干的基础。

Lens 的 3.8B 主干就是 48 个 MMDiT block，不理解双分支结构，就无法看懂为什么 GPT-OSS 多层文本特征与图像潜在能各自强表征又能融合去噪。

Flow Matching 训练目标

用一条线性插值路径 $x_t=(1-t)x_0+t x_1$ 训练速度场 $v_\theta$，损失为 $\mathcal{L}_{FM}=\mathbb{E}\|v_\theta-(x_1-x_0)\|_2^2$；logit-normal 时间步把训练偏向中等噪声区。

Lens 完全用 flow matching 而非 DDPM，所有训练配置（LR 2e-4→1e-4、batch 3072、$\mu(n)$ 线性插值）都建立在 $\mathcal{L}_{FM}$ 之上，看不懂 $\mu(n)$ 就无法理解不同分辨率下 timestep 调度。

VAE 与语义 VAE (Semantic VAE)

变分自编码器把图像压成连续潜在空间供扩散去噪。语义 VAE(FLUX.2、VTP)把潜在空间压得更小、对齐接近语言-视觉语义，rFID 不一定低却能显著加速下游 T2I 收敛。

Lens 核心消融就是在 T2I 流水线里直接对比 FLUX.1/SD3/VTP/FLUX.2 四个 VAE，证明 rFID 不够必须用 T2I GenEval，这是论文核心反直觉结论。

DiffusionNFT 与 RL 后训练

一种扩散式负反馈 RL：在已预训练模型上在线采样图像，由 VLM 按 rubric 打分，再以负反馈形式回传为策略梯度，本文用 GPT-4.1-mini 当打分器。

Lens 后训练使用 DiffusionNFT+Lens-RL-8K，要理解为何 RL prompt 必须按 taxonomy 覆盖 10 大类、做 prompt-diversity 消融(1/4、1/2、全量)，必须先懂在线策略本质，否则会把它当作普通 fine-tune。

Reasoner 与 training-free system prompt search

Reasoner 是独立 LLM，先把用户的简短/含糊请求改写成长详细 prompt 再喂给文生图；training-free system prompt search 把当前提示+失败摘要再喂回 LLM 迭代改写系统提示以拉齐分布。

Lens 把 Reasoner 设为可换即插即用模块，并提出无梯度 system prompt 搜索，这是不依赖昂贵商业 API 仍能提升生成质量的关键模块，没它就解释不通用 GPT-OSS 当 encoder 时多语言 prompt 仍能工作。

研究动机

近年来基础文生图模型规模急速膨胀：Z-Image(6B)、LongCat-Image(6B)、FLUX.2(9B)、Qwen-Image(20B)、Hunyuan-Image-3.0(80B)都在 6B 以上；Z-Image 预训练要 314K H800 GPU 小时(989.5 TFLOPS, BF16)，算力、财务和环境成本已使多数实验室无法承受。同时学界几乎一致把训练效率等同于参数压缩或分布式加速，忽视了两个常被默认的关键因素：每个 batch 携带的有效监督量(数据信息密度)与模型本身的收敛速度。Lens 团队指出当前 T2I 流水线有三处系统性低效：(1)数据侧：web-crawled alt-text 通常短且 noisy，承载不了现代长 compositional prompt 的复杂语义；(2)训练分辨率侧：传统方案要求在每个目标分辨率上分别采样训练，高分辨率成本与像素数成平方关系，浪费大量算力；(3)后训练侧：许多 RL 用 prompt 分布与预训练不一致，导致 reward hacking 或部分场景过拟合，反而损害通用能力。

本文的目标是本文目标非常工程化：发布一个 3.8B 参数的基础 T2I 模型 Lens，要求在 OneIG、GenEval、LongText(EN)、CVTG 四个基准上追平甚至超越 ≥6B 的 SOTA 模型，同时把预训练算力压到 192K A100 GPU 小时(312 TFLOPS, BF16)，相对 Z-Image 仅用约 19.3% 的训练算力即可。验证目标上，作者希望同时拿到 (a) 1024² 默认推理 20 步在单 H100 上 3.15 秒、4 步蒸馏版 0.84 秒的延迟；(b) 多语言提示（中/法等）无需多语训练数据即可推断；(c) 任意 1:2–2:1 长宽比、最高 1440² 分辨率的泛化能力；(d) 端到端可复现的开源 Recipe 而不只是放出 demo。

与已有工作不同的是，与同期工作相比本文的差异化切入角度有三点。第一，专注于"训练时效率"维度，把数据信息密度+收敛速度+模型规模三者作为共同变量系统消融，而非只做模型缩放（Z-Image、Hunyuan-Image 等）；第二，首次在 T2I 流水线而非 rFID 上评估 VAE，得出"FLUX.2 语义 VAE 显著加速收敛"的关键结论，对 VAE 选型有方法论修正；第三，提出一个 taxonomy 驱动的 RL prompt 构建管线 Lens-RL-8K，明确反对"狭窄 prompt 集做 RL"的常见做法，并用 1/4、1/2、全量 + 去除 text 的消融证明 prompt 多样性 + 覆盖度才是 RL 后训练真正的关键。这些切入都与传统 SOTA 工作（FLUX.2、Qwen-Image 等单纯堆参数）有本质区别。

核心方法

Lens 的设计哲学是"用更聪明的数据与架构换取更低的算力上限"。直觉上：若每个 batch 提供更多视觉-语义监督(密集标注、丰富分辨率与长宽比)，且 VAE/LLM encoder 选型利于收敛，就不必把模型堆到 6B+。方法分三条主线：(1)数据侧构建 Lens-800M(公开真实+合成+私有文字-视觉+文字合成四源)，由 GPT-4.1 重生成长平均 109 词的密集标注；(2)架构用 MMDiT-style Latent Diffusion Transformer + FLUX.2 语义 VAE + GPT-OSS 20B-A3B MoE 编码器(取 4/12/18/24 层特征拼接到 $D=1536$)；(3)训练侧先 512² 预训练 400K step，再用 3 base × 9 长宽比 27 个桶继续 400K 步得 Lens-Base，最后在 Lens-RL-8K 上 180 步 DiffusionNFT 得 Lens-RL，蒸馏得 4 步推理的 Lens-Turbo。系统侧接入 Reasoner + 无梯度 system prompt search。

核心创新是用"训练效率三元组"(模型规模 + 数据信息密度 + 收敛速度)取代单一参数规模作为优化目标，并通过三个具体技术把每个分量做实：(1)文本侧用 GPT-4.1 生成的密集标注代替短 alt-text，把每张图的"语义监督"提高数倍，ablation 中 dense caption 在 GenEval 上明显优于 brief/mixed；(2)图像侧构建 3 base × 9 长宽比共 27 个分辨率桶进行混合训练，推理时直接外推到 1:2–2:1 与 1440²，省掉了高分辨率训练成本；(3)把 VAE 评估从 rFID/ImageNet proxy 改为直接在 T2I 流水线中训练对比，证明 FLUX.2 语义 VAE 是当下最快收敛的，且语言编码器能从 GPT-OSS 中拿下多层特征泛化到中、法等从没训练过的语言。这三项分别对应瓶颈1:batch 内监督不足、瓶颈2:高分辨率成本爆炸、瓶颈3:VAE/LLM encoder 选择无 T2I 直证，与传统 SOTA 工作只动数据或只动架构的局部修补有本质区别。

方法步骤详情

训练推理分五阶段。①数据 Lens-800M：四源 800M 图经 9 步清洗(EVA-NSFW、Aesthetic≥3、Laplacian、熵、HSV、SigLIP2、CLIP>0.985)，用 GPT-4.1 生成长均 109 词的密集标注。②架构：VAE=FLUX.2；GPT-OSS 取 4/12/18/24 层拼到 1536 维；主干 48 MMDiT，RMSNorm+RoPE 双流。③预训练：128 A100 80GB 先 400K 步 512²(AdamW、LR 2e-4、batch 3072、$\mu=1.06$)，再 400K 步 mixed-resolution(27 桶)得 Lens-Base。④后训练：taxonomy 构 8406 条 Lens-RL-8K，DiffusionNFT+GPT-4.1-mini 跑 180 步得 Lens-RL，蒸馏得 4 步无 CFG 的 Lens-Turbo。⑤推理：Reasoner(GPT-5.5)改 prompt，Lens 20 步 CFG=5.0(1024²/H100 上 3.15s)；Turbo 4 步(0.84s)。

技术新颖性

技术新颖性可归纳为四点。第一，把"训练效率"做成显式三维优化目标(模型规模 + 数据信息密度 + 收敛速度)，每维都有可量化对照实验，比单纯做 scaling law 更有方法论价值。第二，系统比较了 VAE(FLUX.1/SD3/VTP/FLUX.2)与语言编码器(Qwen3-0.6B/1.7B/4B vs GPT-OSS)在 T2I 收敛曲线上的实际差距，建议"VAE 不要看 rFID，要看 T2I GenEval"——这对全行业有迁移价值(FLUX.2-VAE 把 GenEval 推到 0.6+)。第三，密集标注 + 多层 LLM 特征拼接是新颖组合：取 GPT-OSS 多层不同语义 concat 到 $D=1536$ 一起送进 MMDiT；Reasoner 与 Encoder 同源(GPT-OSS)时零额外显存即可兼任。第四，Lens-RL-8K 的 taxonomy pipeline + 全量/半量/1/4 量 + 去 text 子集 ablation，明确支持 prompt 多样性优先于 prompt 数量这一工程原则，对想做 T2I RL 的工作有指导意义。

**Figure 3**: Distribution of (a) the pre-training dataset Lens-800M, (b) the RL dataset Lens-RL-8K, (c) caption length distribution of Lens-800M.

**Figure 4**: Caption-length ablation study.

**Figure 5**: Ablation study on VAE variants.

**Figure 6**: Architecture of the latent diffusion Transformer in Lens (left) and the detailed design of an MMDiT block (right).

**Figure 7**: Study of different language encoders for English text-conditioned generation.

**Figure 8**: Study of language encoders for multilingual text-conditioned generation, averaged over five common languages (EN/ZH/FR/JA/ES).

实验结果

在 OneIG、GenEval、LongText-EN、CVTG 四基准展开。OneIG 上 Lens 0.557/Lens-Turbo 0.554，超过 ≥6B 开源(Z-Image 0.546/Qwen-Image 0.539/FLUX.2-Klein 0.532/HiDream-I1-Full 0.477)；GenEval 0.930/0.914 领先开源(LongCat-Image 0.870/Qwen-Image 0.868/Z-Image 0.840)；LongText-EN 0.937/0.927；CVTG EN Avg 0.869/NED 0.951/CLIP 0.814 逼近闭源 Seedream 4.0。消融：详细标注优于 brief/mixed；FLUX.2-VAE 把 GenEval 推至 0.65+ 领先 VTP/SD3；GPT-OSS 在英文与五语领先 Qwen3 系列；Table 1 显示 RL 全量 0.930 vs 1/2 0.920 vs 1/4 0.916，去 text 后 EN Avg 降至 0.832，证明 prompt 多样性是 RL 关键。

**Table 1**: Left: Comparison of different Lens-RL variants trained on different subsets of Lens-RL-8K on GenEval. Right: Comparison between Lens-RL trained on the full Lens-RL-8K set and a subset excluding text prompts on two text-rendering benchmarks.

**Table 2**: Comparison of Lens with 20-step inference and Lens-Turbo with 4-step inference against state-of-the-art models across four benchmarks.

**Figure 2**: Comparison of inference time and benchmark performance on OneIG and GenEval across representative T2I models.

查看结构化数据

任务	指标	本文	基线	提升
OneIG(EN) 通用文生图基准	OneIG 总分(综合 subject alignment/text/reasoning/style/diversity)	Lens 0.557 / Lens-Turbo 0.554	Z-Image 0.546 / Qwen-Image 0.539 / FLUX.2-Klein 0.532 / SD3.5-Large 0.462 / HiDream-I1-Full 0.477	Lens 超过 6B+ 开源最强 Z-Image +0.011，超过 20B Qwen-Image +0.018，超过闭源 GPT Image 1[High] 0.533 +0.024
GenEval 物体组合对齐基准	GenEval 总分(单物体/双物体/计数/颜色/空间/属性)	Lens 0.930 / Lens-Turbo 0.914	LongCat-Image 0.870 / Qwen-Image 0.868 / FLUX.2-Klein 0.848 / Z-Image 0.840	相对 6B 最强 LongCat-Image +0.060/+0.044，相对 20B Qwen-Image +0.062/+0.046；闭源里 Seedream 3.0 0.528、Seedream 4.0 0.554 均被 Lens 远抛
LongText(EN) 长文本渲染	LongText-EN 总分	Lens 0.937 / Lens-Turbo 0.927	Z-Image 0.935 / Qwen-Image 0.943 / Seedream 4.0 0.921 / Hunyuan-Image-3.0 0.720	在所有公开数字里和 Qwen-Image 0.943 同一档，超过 Z-Image +0.002，超过 Seedream 4.0 +0.016；Lens-Turbo 仅差 0.010 几乎无回归
CVTG EN 复杂多区域文字生成	CVTG EN Avg / NED / CLIP	Lens 0.869 / 0.951 / 0.814 ；Lens-Turbo 0.889 / 0.965 / 0.815	Z-Image 0.867 / 0.937 / 0.797；Seedream 4.0 0.892 / 0.951 / 0.785；Hunyuan-Image-3.0 0.765 / 0.877 / 0.812	Lens-Turbo 在 CLIP 上 +0.018、在 NED 上 +0.028 全面 Z-Image；与闭源 Seedream 4.0 接近(NED +0.014、CLIP +0.030)
RL 训练数据消融	GenEval 总分(Lens-RL-8K 全量/1/2/1/4)	全量 0.930 / 1/2 0.920 / 1/4 0.916 / 去掉 text 0.832(EN Avg)	1/4 Full set 0.916	全量相对 1/4 +0.014，去 text 后 EN Avg 反而降到 0.832，证明 prompt 多样性与 text 子集保留都是必要的
Reasoner integration	GenEval 总分(配/不配 Reasoner)	Reasoner 用 GPT-OSS 即可拿到显著分数提升，用 GPT-5.5 进一步提升(Appendix B.2)	无 Reasoner 仅靠短 prompt	Reasoner 把短/含糊 prompt 改写为与训练分布一致的长 prompt，对模糊指令类场景尤其有效

局限与改进

局限性可分四点。第一，192K A100·h 仍是中小实验室巨大门槛，仅靠"效率技巧"无法消除规模化壁垒，多分辨率桶 batch 24/10/6 依赖手调、没有自动搜索算法。第二，去 text 子集后 CVTG EN Avg 反而从 0.832 跌到 baseline，说明 RL prompt 分布必须严格对齐预训练分布，否则会反向损害文字渲染；泛化到其它 T2I 模型时必须重新调 prompt taxonomy。第三，Reasoner 与 T2I 主干是串行调用，整体 SLA 受 LLM 推理延迟拖累；training-free system prompt search 依赖 GPT-5.5 这种强外部模型，自托管复现受限。第四，所有定量结论都在 1440² 及以下分辨率下取得，论文未提供 2048² 或 4K 级数字，对超高分辨率段的推理质量与超扁长宽比(1:3、3:1)外推边界仍待验证。

独立分析的弱点

独立分析可见三处可改进的弱点。第一，长宽比泛化虽覆盖 1:2–2:1 但桶采样只有 9 个固定长宽比(1:2/9:16/2:3/3:4/1:1/4:3/3:2/16:9/2:1)，对超扁海报类(1:3、3:1)等极端长宽比可能产生结构性失真；改进方向是引入连续长宽比插值的 positional encoding 或直接改用 size-conditional continuous RoPE。第二，Reasoner + training-free system prompt search 是系统黑盒，外部用户切换到自托管 LLM 时不一定能拿到论文汇报的提升；改进方向是把 prompt 改写离线化为可批处理的 prompt 增强服务，避免在主回路里同步调用 LLM。第三，Lens-RL-8K 仅 8406 条 prompt 用 DiffusionNFT 180 步收敛，但作者没讨论 reward hacking 风险，也没提供 rubric 间相关性分析；改进方向是补 rubric 一致性 + 对抗 prompt 鲁棒性测试，特别是对"去 text 子集退化"做更细粒度的根因分析。

未来方向

可延伸方向有三条。其一，作者提到 dense caption 的语言分布目前仍以英文为主，未来可以扩展到 GPT-4.1 的多语标注能力，把数据侧 multilingual generalization 与 encoder multilingual generalization 联合打通，减少对 GPT-OSS 多语 zero-shot 能力的依赖。其二，论文强调训练效率三元组，但尚未把"能耗 / 碳足迹"作为正式指标——若把 A100·hour 折算成 kgCO2e，可以与 Hunyuan-Image-3.0 等 MoE 大模型直接对比，进一步强化"小而美"叙事。其三，训练-自由 system prompt search 目前仅用于 Reasoner，可以推广到 captioning 模型或 retrieval-augmented T2I prompt builder 上；并将迭代过程重写成可直接可微分或可 RL 的训练目标，减少对强外部 LLM 的依赖。

复现评估

复现评估中等偏上。Lens 明确开源(项目页 https://github.com/microsoft/Lens),模型权重、训练数据(Released 部分是 public real + public synthetic,private data 不可得)、VAE/LLM encoder 均给出引用；预训练 Recipe 高度具体(800M 数据、128 张 A100、400K + 400K step、batch 3072、AdamW、LR 2e-4→1e-4、logit-normal $\mu(n)$ 插值)，但 192K A100·h 仍是大多数研究组无法承受的成本门槛。RL 部分(180 步 + 64 张 A100 + DiffusionNFT + GPT-4.1-mini 奖励)门槛同样高，并且对 GPT-4.1(-mini/-5.5) 系列强外部 API 的依赖意味着不开 API key 难以复现最终数字。Code 与超参已公布使得"思想复现"门槛较低，但完全复现 SOTA 表(尤其 OCR 与多语项)需要论文之外的工程协同。

Lens: 重新思考基础文生图模型的训练效率 Lens: Rethinking Training Efficiency for Foundational Text-to-Image Models