L2P：释放潜在能力以实现像素生成 L2P: Unlocking Latent Potential for Pixel Generation
L2P 丢弃 VAE、冻结 LDM 中间层，仅用 8 卡把潜在扩散先验高效迁移到像素空间。
前置知识
潜在扩散模型 (LDM)
LDM 通过预训练 VAE 把图像压缩到低维潜在空间，再在潜在空间做扩散训练。代表性工作 SDXL、SD3、FLUX 都采用这种'压缩-生成-解码'的两阶段范式。
本文的核心是把 LDM 学到的丰富世界知识迁移到像素空间，必须先理解 LDM 的训练流程、中间层在做什么、VAE 在哪里引入了信息瓶颈。
DiT (Diffusion Transformer)
用 Transformer 块堆叠而成的扩散去噪网络，patchify 输入、按时间步条件化。Z-Image、SANA、Qwen-Image 都基于 DiT，特点是 patch token 序列直接喂入 attention，便于统一不同分辨率。
L2P 显式选择保持 DiT 内部结构不变、只替换输入端 patchify 和输出端 head，这种'结构一致性'是源权重能直接继承的前提。
VAE 重建瓶颈
VAE 把像素压到 8× 下采样的潜在空间再 decode 回来，必然损失高频细节，常见伪影包括文字模糊、纹理过平滑、细节幻觉；VAE decoder 在 4K 等高分辨率下还会因为方阵式解码占据巨量显存。
这是论文 motivation 的核心：丢掉 VAE 是同时获得高保真和 4K 生成分辨率的物理基础，读者需要理解 VAE 在哪里成为瓶颈。
Flow Matching / Rectified Flow
一种用连续 ODE 直接回归速度场 $v_\theta(x,t)$ 的训练范式，损失为 $\mathcal{L}_{FM}=\mathbb{E}_{t,p_t(x|x_0)}\|u_t(x)-v_\theta(x,t)\|^2$。Z-Image、SD3、FLUX 都使用 Flow Matching 而非 DDPM 的噪声预测。
L2P 的目标函数 $\mathcal{L}_{L2P}=\mathbb{E}\|(\epsilon-x_0)-v_\theta(x_t,t)\|^2$ 是 FM 在 latent/pixel 转换下的一致形式，目标一致性是 LDM 先验不被破坏的关键。
参数高效迁移 (Freeze & Tune 浅层)
在 LoRA、Adapter、BitFit 等方法里被反复验证的一种范式：保留预训练大模型主体权重不变，只更新少量外加或浅层参数，避免灾难性遗忘并极大降低算力开销。
L2P 把'冻结 + 微调浅层'的思路极端化：30 层 DiT 只更新首尾各 5 层 + Detailer Head，8 卡就能完成 20K 数据训练，这是论文最具实用价值的工程经验。
研究动机
当前文生图领域被潜在扩散模型 (LDM) 主导，SD3、FLUX、Qwen-Image 等顶尖模型都依赖 VAE 把图像压缩到潜在空间做去噪。这套范式有两个根深蒂固的痛点：其一是 VAE 在压缩-重建过程中必然丢高频，表现为文字模糊、纹理过平滑、细节失真；其二是 VAE decoder 的空间解码存在严重的显存方阵代价，使得原生 4K 超高分辨率生成在常规硬件上几乎不可能。与此同时，像素空间扩散 (PixelGen、PixelDiT、PixNerd、DeCo 等) 路线在架构上更纯粹、理论上可以避免 VAE 损失，但在实践中却无法从零训练——动辄需要数百张高端 GPU 和数十亿图文对，这导致最新的像素空间模型在语义理解和组合质量上和 LDM 阵营存在明显代差 (例如 Deco 在 DPG-Bench 上 81.25、PixelGen 80.01 都显著低于 Qwen-Image 88.32)。这种'LDM 上限被 VAE 锁死、像素模型起步又被算力锁死'的冷启动困境，构成了 L2P 要解决的核心问题。
本文的目标是论文提出 Latent-to-Pixel (L2P) 迁移范式，目标是把已经具备丰富世界知识的大规模 LDM 几乎'原封不动'地搬到像素空间，从而同时获得两件事：(1) 摆脱 VAE 的高频信息损失和 4K 显存瓶颈；(2) 避免从零训练像素扩散模型所需的算力和数据代价。具体希望实现——保留源 LDM 的 DiT 主体权重 (30 层 Transformer) 不动，冻结绝大多数中间层，只在首尾各 5 层 + 轻量 Detailer Head 上做极少参数微调；用源 LDM 自己生成的 2 万张合成图作为训练数据，做到零真实数据采集；训练只需 8 块 GPU；最终在 DPG-Bench 上取得 86.00 分 (略高于源 Z-Image-turbo 的 84.86)，并原生支持 4K 生成 (4K 单步推理延迟下降 97.67%、显存下降 38.81%)。
与已有工作不同的是，L2P 的切入角度和现有'冻 LLM + LoRA'、'VAE-free 重建'、'渐进式像素蒸馏'等路线都不太一样：它强调的是 (a) 架构一致性——DiT 内部块零改动，使源 LDM 权重能直接继承；(b) 目标一致性——优化目标 $\mathcal{L}_{L2P}=\mathbb{E}\|(\epsilon-x_0)-v_\theta(x_t,t)\|^2$ 与源 LDM 严格对齐，让冻结层处在它们'本来的优化流形'上；(c) 数据一致性——直接用源 LDM 生成训练图，让新像素模型去拟合源模型已经构造好的'光滑数据流形'，既省数据又加速收敛。'结构-目标-数据三重对齐'的组合，是论文相对 PixNerd、DeCo 等同样主张 VAE-free 像素生成的论文最独特的地方。
核心方法
L2P 的整体思路可以一句话概括：把一个已经训好的 LDM 看作'潜在空间教师'，然后只换掉它的输入端 (VAE → 16×16 patchify) 和输出端 (VAE decoder → 轻量 Detailer Head)，中间 30 层 DiT 全部冻结，只允许少量浅层和新加的 Detailer Head 参数在 2 万张合成图上微调。直觉上，这相当于让源 LDM 在自己的输出图像流形上'教'自己的 DiT 学像素版的对应物；由于输入输出分布都来自源模型本身，DiT 内部那些已经学会的语义先验几乎不会被破坏，相当于把'数亿图文的先验'用 8 卡就搬运到了像素空间。
核心创新有三层，第一层是'结构一致性迁移'——抛弃 VAE 但保留 DiT 拓扑，使用 16×16 大 patchify 让 token 数和原 VAE 潜在空间一致，中间层冻结只调首尾各 5 层，使源权重在像素输入下仍能工作；这和 PixNerd/DeCo 从零设计像素架构的思路截然不同。第二层是'目标一致性'——优化函数 $\mathcal{L}_{L2P}=\mathbb{E}_{x_0,\epsilon,t}\|(\epsilon-x_0)-v_\theta(x_t,t)\|^2$ 严格保持 Flow Matching 形式，使冻结层处于源模型的优化流形，避免灾难性遗忘。第三层是'合成数据自洽'——直接用源 LDM 生成 2 万张训练图，强迫新像素模型拟合源模型构造的'光滑数据流形'，零真实数据即可在 20k 样本时性能饱和 (10k→20k 大幅提升，20k→100k 几乎无增益)，这在像素生成领域是相当激进的数据效率。
方法步骤详情
方法分四个阶段。第一阶段是合成数据构造：先建立 4 大类 (Nature/Design/Text/Human) ×17 子类 ×1000+ 细类的分层目录 (Figure 2(b))，再用一个 LLM 按 Figure 10 的规则模板生成 200-350 字符的详细 prompt (Figure 2(c))，接着用 Figure 11 的 QA 模板过滤格式/拼写/版权问题，最后用源 LDM (Z-Image) 以多 seed 生成 2 万张 1024×1024 图。第二阶段是架构改造：输入端把 VAE 替换为 16×16 patchify (token 数与原 VAE latent 相同)，DiT 30 层全部冻结，输出端用一个轻量 U-Net Detailer Head 替代 VAE decoder，Detailer Head 走 16→8→4→2→1 编码 + 1→2→4→8→16 解码的对称结构，bottleneck 处和 DiT 隐层 3840 维做特征拼接 (Table 3)。第三阶段是训练：AdamW、lr=5e-5、wd=0.01、batch size 8，冻结 DiT 中间层、只更新 patchify、第一/最后各 5 层 DiT block 和 Detailer Head；总训练开销仅 8 卡。第四阶段是 4K 扩展：把 patch size 从 16×16 提到 64×64 (控制 token 数)，同时加大 noise shift (Figure 12 表明 shift=4 时 FID 最优) 来充分破坏 4K 像素的局部强相关，避免模型退化成局部复制。
技术新颖性
技术新颖性主要体现在三方面。其一是首次系统地论证了'DiT 内部块冻结 + 浅层调参'在 latent→pixel 跨模态迁移中的可行性，并通过消融 (Figure 9(b)) 证明只调 5 层优于 10 层和全调——全调反而性能停滞下降，这给大模型重利用提供了新证据。其二是把噪声调度和 patch 大小耦合：4K 时既要靠 64×64 patch 控序列长度，又要靠 noise shift=4 强制破坏局部相关 (Figure 12 给出 shift=1/2/3/4/5 的 FID 曲线，shift=4 时最低)，这是一种简洁但此前未被强调的工程经验。其三是合成数据自洽训练：完全用源 LDM 生成训练图不仅省去数据清洗，还在 20k 规模就能饱和 (Figure 9(c))，并且在'跨模型数据 vs 真实数据'的消融里反超真实数据 (Figure 9(a))，说明对于 frozen 源模型而言，'分布匹配'比'数据真实'更重要——这是和常规深度学习共识不太一样的反直觉发现。
实验结果
实验分三块，每块都有具体数字支撑。第一是 1K 文生图基准 (Table 1)：在 DPG-Bench 上 L2P 取得 Global 92.02 / Entity 90.84 / Attribute 89.48 / Relation 93.00 / Other 91.55 / Average 86.00，超过源 Z-Image-turbo 的 84.86 平均分 (Global 91.29 / Entity 89.59 / Attribute 90.14 / Relation 92.16 / Other 88.68)，也反超所有像素模型 (PixelGen 80.01、Deco 81.25、PixNerd 82.65、PixelDiT 83.50、PixelFlow 77.93)；GenEval 上 L2P 拿到 0.76，约为源 Z-Image-turbo 0.82 的 93%，比 PixelGen 0.79 低 0.03、比 Deco 0.86 低 0.10，但 Figure 5 显示 L2P 的 LPIPS 多样性显著高于 Deco/PixelGen (避免'同 seed 同图'的同质化问题)，这意味着 GenEval 略低主要是多样性-属性绑定权衡的结果，并非生成能力全面落后。第二是 4K 超高分辨率 (Table 2)：L2P 取得 FID 33.46 / FID-patch 21.77 / IS 12.28 / CLIP 31.88 / FG-CLIP 28.22，FID 和 FID-patch 都是六种 4K 方法中最低 (Diffusion4K 41.69/39.67、Pixart-σ 35.60/23.63、SANA 37.26/28.94、I-Max 37.12/34.42、HiFlow 38.54/22.74)，Inception Score 12.28 也最高，说明全局与局部质量、多样性都领先；Figure 7 进一步视觉对比，L2P 没有 I-Max 的过平滑也没有 Diffusion4K 的伪影，Figure 8 进一步显示源 Z-Image 在原生 4K 上根本生成不了语义内容，只能靠 1K 上采样导致高频糊化，L2P 是少有的能'原生 4K + 高保真'组合。第三是消融 (Figure 9)：源数据 (FID 最低) > 跨模型数据 (GLM) > 真实 UltraHR 子集 (收敛慢且质量低)，5 层浅调显著优于 10 层中调与全调 (全调性能停滞甚至退化)，数据规模 20k 已饱和 (10k→20k 提升明显，20k→100k 几乎无增益)；Figure 12 给出 4K 噪声 shift 消融，shift=4 时 FID 最低，shift=5 因过度破坏而回退。综合来看，论文用 8 卡 + 2 万合成图 + 5 层浅调这一极简配方，达到了'1K 略超源 LDM、4K SOTA、所有像素模型中 DPG-Bench 第一'的水平。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 1024×1024 文生图 (DPG-Bench 全维) | DPG-Bench Average | 86.00 | 源 Z-Image-turbo: 84.86；其它像素模型 PixelGen 80.01, Deco 81.25, PixNerd 82.65, PixelDiT 83.50 | 相对源 LDM +1.14；相对最强像素模型 PixNerd +3.35 |
| 1024×1024 文生图 (DPG-Bench Global) | DPG-Bench Global | 92.02 | 源 Z-Image-turbo: 91.29；Qwen-Image: 91.32；Seedream 3.0: 94.31 | 相对源 LDM +0.73，已逼近顶级闭源 LDM |
| 1024×1024 文生图 (DPG-Bench Relation) | DPG-Bench Relation | 93.00 | 源 Z-Image-turbo: 92.16；Qwen-Image: 94.31；Deco: 89.70 | 在关系绑定维度接近 Qwen-Image，反超 Deco/PixelGen 等像素模型 |
| 1024×1024 文生图 (GenEval) | GenEval Overall | 0.76 | 源 Z-Image-turbo: 0.82；Deco: 0.86；PixelGen: 0.79；Qwen-Image: 0.87 | 保持源模型 93% 性能，低于 Deco/PixelGen 但多样性 (LPIPS) 显著更高 |
| 原生 4K 超高分辨率生成 | FID (越低越好) | 33.46 | Diffusion4K 41.69, SANA 37.26, Pixart-σ 35.60, I-Max 37.12, HiFlow 38.54 | 相对第二名 Pixart-σ 降低 2.14，相对 Diffusion4K 降低 8.23 |
| 原生 4K 超高分辨率生成 | FID-patch (局部细节) | 21.77 | HiFlow 22.74, Pixart-σ 23.63, SANA 28.94, I-Max 34.42, Diffusion4K 39.67 | 在 4K 局部细节上达到 SOTA，比 Diffusion4K 改善近 18 点 |
| 原生 4K 超高分辨率生成 | Inception Score (越高越好) | 12.28 | Pixart-σ 12.23, SANA 12.05, Diffusion4K 12.06, I-Max 11.78, HiFlow 10.62 | 多样性也领先 4K 基线 |
| 4K 推理效率 | 单步推理延迟 / 峰值显存 | 延迟 -97.67%，显存 -38.81% (相对源 LDM Z-Image 4K) | 源 Z-Image 4K baseline (VAE 方案) | 因去掉 VAE 解码方阵 + 64×64 patch 控制 token 数，效率出现数量级提升 |
局限与改进
作者在论文 D 节明确点出两个限制。其一是'源模型天花板'问题：因为训练图像全部由源 LDM 生成，所以 L2P 在语义/组合能力上的上限被源模型锁死，想继续突破必须引入真实数据或更强的源模型，而一旦引入真实数据又会重新面临数据清洗和分布匹配的难题——这是 synthetic-only 路线内在的天花板。其二是'任务特定损失'缺位：像素空间天然便于加入感知损失、物理损失等下游正则 (例如 4K 纹理/边缘约束)，但为了保持 L2P 框架的通用性，作者刻意没有探索这些目标，承认这是未来可拓展的方向。我自己的观察还包括：(a) 论文没有报告 1K 模型在中文文字渲染 (Figure 6 第二行) 上的稳定性和失败模式，4K 部分只在 UltraHR-eval4k 上评测，没有在 GenEval-4K 等更复杂组合基准上验证；(b) 推理时去掉了 VAE 但仍需 64×64 patchify 的 DiT 自回归式 token 序列 (虽然有 noise shift)，4K 单图 token 数仍达 1024 个，Figure 15 的 8K 零样本外推是否能稳定生成大量样本没有定量评估；(c) 训练只用了 20k 数据，泛化到风格迁移、inpainting、ControlNet 等下游任务的能力未给出实验验证。
独立分析的弱点
可以独立指出的弱点和改进方向：(1) Detailer Head 是 5 层 U-Net，bottleneck 维数 512 与 DiT 隐层 3840 直接拼接会带来通道维不一致的信息瓶颈，建议引入 cross-attention 或 LoRA-style 低秩桥接 (例如把 DiT 特征先降维到 512) 以更细粒度地融合；(2) Figure 6 第二行的中文文字生成虽然不错，但 Figure 6 第一行结尾的 'NighNng'、'tacNle' 仍存在字符级伪影，说明 16×16 patch 在小字 (尤其拉丁字母) 上粒度仍然偏粗，可针对文字区域设计 hierarchical patch 或在 Detailer Head 末端加 token-wise 上采样；(3) 训练只冻结了 5 层，但消融没有探索 patch size 减半 (8×8) + 冻结 10 层 的组合——更细 patch 也许能让 DiT 中层用得更多；(4) 评测指标偏少：缺少人工评测 (Human Eval)、风格一致性 CLIP-A、文本-图像对齐 VQA-score，GenEval 0.76 vs Deco 0.86 的差异可能正是这些细粒度对齐的损失；(5) 跨域能力 (动漫、3D、写实油画) 没有单独 benchmark，Figure 13/14 只能算视觉示例；(6) 合成数据 pipeline 中 LLM 生成 prompt 的可复现性未说明：Figure 10 模板没给出 prompt 数量和具体的 Gemini/Qwen 版本，第三方复现时 prompt 分布差异可能影响性能。
未来方向
作者明确指出的未来方向是'在像素空间引入任务特定损失'，比如把感知 LPIPS、PSNR、SSIM、频域一致性等作为 Detailer Head 的辅助正则，提升特殊场景 (医疗、卫星、动漫) 的可控性。基于成果还可以延展的方向包括：(a) 把 L2P 当作通用 latent→pixel 迁移框架，推广到 SD3、FLUX.1、HunyuanImage 等更多源 LDM，验证'结构-目标-数据三重对齐'是否具有架构无关性；(b) 把 L2P 与 RLHF/DPO 结合做像素空间偏好对齐 (例如人类对 4K 细节的偏好)，因为像素空间天然便于直接计算像素级 reward；(c) 探索 L2P 蒸馏：把 L2P-4K 当作 teacher 进一步蒸馏到 4K 实时模型 (类似 SDXL-Turbo 的路线)，把单步推理的延迟再压一档；(d) 把 L2P 与视频扩散结合，因为 VAE 在长视频上的重建问题更严重，去 VAE 收益更大；(e) 在 L2P 上加入 LoRA/ControlNet 适配器，把 8 卡、20K 数据的低算力门槛扩展到可控生成场景。
复现评估
论文附录 Table 3 详细列出了 DiT (hidden 3840、30 层、30 头、head dim 128、patch 16×16) 和 Detailer Head (16→8→4→2→1、bottleneck 512+3840→512) 的具体超参，以及 AdamW / lr=5e-5 / wd=0.01 / batch 8 的优化设置，这些关键超参都对齐了源 LDM Z-Image 公开结构，复现门槛理论上很低。数据侧给出了完整的 4 阶段 pipeline (Figure 2)、prompt 生成/过滤模板 (Figure 10、11) 和 10K/20K/100K 三档数据规模，prompt 长度集中在 200-350 字符 (Figure 2(c))，但 LLM (Gemini 或 Qwen) 的具体版本、prompt 数量、生成 seed 没有给出完整脚本，第三方复现时合成数据分布可能有差异。算力方面强调 8 卡即可训练，1K 阶段 2 万图训练开销小 (Table 3 单 batch=8、无梯度累积)，但 4K 阶段用了 UltraHR-100K 的子集 (Figure 9(c) 中 100K 设置)，完整 4K 训练时间和显存没有报告。代码与权重在论文中并未明确给出 release 链接，Figure 9-13 提示作者有项目页 (nju-pcalab.github.io/projects/L2P/)，但截至总结时是否开源代码/权重未在论文正文说明。整体来看，方法可复现但合成数据侧有一定不确定性。
论文图表
Figure 1 把 L2P 与 '从零训练' 路径做了左右对比：左边是 Latent Space 的 'From Scratch (High Cost / Steep Landscape)' 路径，右边是 L2P 提出的 'Latent-to-Pixel Transfer (8-GPU / Easy Trajectory)' 路径。背景展示 'Pixel Manifold' 概念，说明 L2P 利用源 LDM 已经学到的光滑流形作为新像素模型的训练目标，从而避免高维像素空间的崎岖优化。
这是论文的核心 motivation 图，读者第一眼就要理解 L2P 为什么能 8 卡搞定——答案就是拟合一个已经被构造好的'光滑流形'，而不是在像素空间硬碰硬。
Figure 10 完整展示了 prompt 生成 prompt template：包含 Role 定义、Global Constraints (JSON 格式、英文、避 tag soup、安全)、4 大类的细类规则 (Nature/Design/People/Synthetic)、多样性检查清单 (视角/光线/风格)、反模式约束 (不要重复句式)、输出 JSON 结构等。
这份模板是合成数据 pipeline 的可复现核心，决定了 prompt 分布 (Figure 2(c) 的 200-350 字符峰) 和质量，附录中给出是复现的关键。
Table 2 给出 4K FID / FID-patch / IS / CLIP / FG-CLIP 五项指标。Training-Free：I-Max (37.12/34.42/11.78/31.53/27.90)、HiFlow (38.54/22.74/10.62/31.49/27.84)。Training-Based：Pixart-σ (35.60/23.63/12.23/31.76/28.74)、SANA (37.26/28.94/12.05/31.79/29.31)、Diffusion4K (41.69/39.67/12.06/31.44/27.03)，L2P (33.46/21.77/12.28/31.88/28.22)。L2P 在 FID、FID-patch、IS、CLIP 4 项领先或并列，FG-CLIP 第二。
这是 4K 章节的 anchor 表，配合 Figure 4 给出'质量 + 效率'双重领先。