像素空间文生图扩散模型训练的实证研究 An Empirical Study of Training Pixel-Space Text-to-Image Diffusion Models

完整流程分七步。第 1 步，潜空间预训练：按 Z-Image 原配方在 20B+ 图文对上训练 6B DiT，渐进分辨率 256²→512²，文本条件用预训练 Qwen-3-4B，VAE 用 Flux-AE（8× 下采样 + latent patch 2），得到潜空间基座检查点。第 2 步，像素化改造：输入改为 16×16 的 RGB patch（ps16），1024² 下仍是 64×64 token 网格，加载预训练 Transformer 与条件模块权重（像素专用输入投影与解码头随机初始化），序列长度与潜空间版一致，保证对照公平。第 3 步，构建训练数据：用提供初始化的同一潜空间 Z-Image 检查点按默认采样设置对 prompt 池离线生成「自生成」图像，与 Z-Image 最新 SFT 真实图像按 1:1 混合。第 4 步，后训练：全局 batch 128、学习率 5e-5、直接在 1K 分辨率训练、时间步从 logit-normal 分布采样；目标为 x-prediction——直接预测干净 RGB 图像 $x_0$，计算损失与采样前把预测转换为对应速度场，从而与 v-prediction 共享同一优化加权、数值求解器和采样调度。第 5 步，解码与噪声：DiP 解码头（10.09M 参数轻量卷积 U-Net）把 token 特征合成像素；噪声按 $x_t = t x_0 + (1-t)\gamma\epsilon$ 注入（RGB 归一化到 [-1,1]），$\gamma$ 在 {1,2,4,8} 中经验校准为 2。第 6 步，patch 适配：ps16 收敛后扩到 ps32（token 网格 32×32），每个新 patch 由四个不重叠的 16×16 子块组成，输入投影按 $W' = \frac{1}{2}[W, W, W, W]$ 复制初始化（1/2 补偿 fan-in 的四倍增长、保持激活方差），原 Transformer 与解码器参数做 5000 步线性学习率 warmup，新投影层免 warmup 以快速适应。第 7 步，蒸馏：从收敛的 ps32-adapt16 模型出发，阶段 1 用 Decoupled-DMD，阶段 2 用 DMDR 配 Z-Reward，损失系数与更新频率沿用 DMD2/Decoupled-DMD 原文，得到 4 NFE、无 CFG 的 ODE 采样模型。

技术新颖性体现在四个层面。其一，诊断层面：首次在大规模文生图下量化「像素预训练 vs 潜空间预训练」，把社区里「像素空间是否可行」的模糊印象变成明确结论（同预算下像素更慢更差），这与 JiT 等在小规模设定下支持像素空间的乐观结论形成重要互补。其二，配方层面：五维消融给出多条反直觉且可操作的准则——分辨率 SNR 推导给出的 $\gamma = r = 8$ 不是最优（$\gamma = 2$ 的 GenEval 0.7545 / DPG 87.54 显著高于 $\gamma = 8$ 的 0.7316 / 85.64），说明潜到像素的分布偏移远不止空间分辨率一个因素；v-prediction 初始化的模型应切换为 x-prediction，且潜空间初始化恰好消除了从头训练 x-prediction 的发散风险，相当于「迁移」反过来降低了切换预测目标的门槛；预测目标的切换在统一的速度空间目标下实现，保证对照公平。其三，结构层面：第一次在受控文生图设定下横向比较五种像素解码器，揭示 PiT（2.25B 参数、19731.88 GFLOPs、74.96ms）虽 GenEval 最高（0.7697）但解码器就占 6B 骨干的 37.5%，完全不实用；DiP（10.09M、834.03 GFLOPs、6.02ms）靠卷积的局部归纳偏压让相邻 patch 特征在像素合成前交互，消除 patch 边界网格伪影，达到最佳质量-效率平衡。其四，系统层面：指出潜空间蒸馏在超少步区间的端到端加速被固定的 VAE 解码开销封顶，而像素空间蒸馏解除这一上限，配合渐进 patch 适配实现 100.6× 端到端加速——这一系统性视角与「迁移配方在两个模型家族上可复用」的验证，是 L2P、AsymFlow 等先前工作没有的。

独立分析的弱点与改进方向：（1）两阶段总成本偏高——潜空间预训练加像素后训练的累计开销可能超过直接潜空间训练，论文未给出训练侧账本；改进方向是研究「早切换」策略（预训练中段即转入像素空间）、或用低分辨率像素预训练加潜空间知识注入来压缩第一阶段。（2）自生成数据的回声风险——1:1 混合中一半梯度来自源模型自己的样本，长期训练容易造成模式收缩、伪影自我强化与偏见固化；改进方向是引入多样性度量与课程加权（早期高自生成比例、后期提高真实数据占比），或用奖励模型对自生成样本做质量过滤。（3）$\gamma$ 校准缺乏可迁移理论——每个新模型家族都要重新在 {1, 2, 4, 8} 里扫一遍，成本不小且不可解释；改进方向是从频谱分析或最优传输角度建立潜/像素 SNR 的解析映射，让 $\gamma$ 可预测而无需网格搜索。（4）ps64 细节崩坏——每 token 覆盖 64×64 像素，高频信息超出单 token 的表达与解码能力；改进方向是为大 patch 配分层（粗到细）解码器或局部超分模块，把「压缩」与「渲染」解耦，或借鉴频域损失显式保护高频。（5）评测盲区——缺少人类评估、开放域 prompt 鲁棒性测试与分项失败分析（手部、文字、计数等）；改进方向是补充 ImageReward/Arena 类人类偏好评测，并对 GenEval 各子项分别报告。（6）蒸馏超参沿用 DMD2/Decoupled-DMD 原文设置，未针对像素空间的分布特性重新调优，4 NFE 下的质量可能仍有未榨取的空间。

作者明确提出方向：在更激进的 token 压缩（ps64 及以上）下保留细粒度细节是首要未来工作。基于本文成果还可延伸：（1）把「潜空间预训练→像素空间后训练」配方推广到视频像素扩散与统一多模态模型（UMM），视频上「免 VAE 解码」的时延红利可能更大，且像素空间对时序一致性的影响值得研究；（2）研究 $\gamma$ 随分辨率与 patch 大小的自适应调度，替代全局标量，并用理论解释为何 2 最优；（3）蒸馏侧继续压榨——论文已引入 Z-Reward，可进一步结合对抗微调或更现代的奖励模型，把 4 NFE 推向 1–2 NFE；（4）系统层面与 FlashAttention、量化、编译优化叠加——论文特意在无系统优化的 H100/H800 上测量以隔离算法收益，工程叠加后 0.2s 的时延还有下降空间；（5）解码器设计空间仍较粗糙，可探索频域解码、扩散式解码或与 patch 大小做联合神经架构搜索；（6）理论层面，为「潜空间为何是有利的预训练表征」建立信息论或频谱解释，并刻画该结论在何种压缩率、数据规模下成立；（7）数据层面，用教师强度、真实-合成混合比例的自动化搜索取代手工 1:1 设定，并研究自生成数据的多样性保障机制。

复现难度：中高。有利条件：论文的实现细节披露相当充分——附录 Tables 4/5 完整列出每个消融固定与变化的配置，附录 A.2 给出后训练超参（全局 batch 128、学习率 5e-5、1K 分辨率直训、合成:真实 = 1:1、$\gamma = 2$、RGB 归一化 [-1,1]、logit-normal 时间步）、x-prediction 与速度场的相互转换方式、patch 扩展的权重初始化公式 $W' = \frac{1}{2}[W, W, W, W]$、5000 步 warmup 及新投影层免 warmup 的细节、蒸馏两阶段（Decoupled-DMD + DMDR/Z-Reward）及其超参来源；基座 Z-Image 与 FLUX2-klein 有开源生态，评测基准 GenEval/DPG/OneIG/LongText 均公开可算。若只是把该配方应用到一个已有的开源潜空间检查点上做后训练+适配+蒸馏，数十张 A100/H800 量级的算力即可尝试。不利条件：Sec. 3 的核心结论（20B+ 对的大规模像素 vs 潜空间预训练对照）依赖工业级数据与集群，外部几乎不可复现，只能选择信任作者；截至论文版本未见代码或权重开源的说明，DiP/Deco 等解码器需要从各自原论文复刻；时延数字依赖具体 H800/H100 硬件与软件栈，复测会有偏差。总体判断：工程配方的可复现性较好（细节完整），但科学主张的独立验证门槛很高，小团队现实的做法是在开源 Z-Image 权重上按配方做后训练复现 Table 3 的推理侧结果。