← 返回 2026-01-30

基于像素均值流的单步无潜变量图像生成 One-step Latent-free Image Generation with Pixel Mean Flows

Yiyang Lu, Susie Lu, Qiao Sun, Hanhong Zhao, Zhicheng Jiang, Xianbang Wang, Tianhong Li, Zhengyang Geng, Kaiming He 📅 2026-01-29 👍 18 2026-07-13 08:35
Flow Matching 像素空间生成 单步生成 图像生成 扩散模型
arXiv HuggingFace PDF

提出pMF方法实现单步无潜变量图像生成，ImageNet 256×256达2.22 FID

前置知识

扩散模型与Flow Matching

扩散模型（Diffusion Models）和Flow Matching是现代生成模型的核心范式。扩散模型通过逐步向数据添加高斯噪声将数据分布转换为噪声分布，再学习逆过程从噪声恢复数据。Flow Matching则是学习一个速度场 $v$，将先验分布 $p_{\text{prior}}$（如高斯分布）通过ODE变换到数据分布 $p_{\text{data}}$。训练时使用线性插值调度 $z_t = (1-t)x + t\epsilon$，其中 $x$ 为数据样本，$\epsilon$ 为噪声，$t \in [0,1]$。推理时需要从 $t=1$ 到 $t=0$ 求解ODE，通常需要多步数值求解器（如Euler或Heun），这是生成质量与推理速度之间的核心权衡。

pMF建立在Flow Matching框架之上，理解速度场 $v$ 的定义和ODE求解过程是理解本文方法的基础

MeanFlow（均值流）

MeanFlow是由Geng等人提出的框架，用于学习平均速度场 $u$ 以实现少步/单步生成。其核心定义为 $u(z_t, r, t) \triangleq \frac{1}{t-r}\int_r^t v(z_\tau, \tau)d\tau$，其中 $r$ 和 $t$ 是两个时间步（$0 \leq r \leq t \leq 1$）。MeanFlow Identity指出 $v(z_t, t) = u(z_t, r, t) + (t-r)\frac{d}{dt}u(z_t, r, t)$，这提供了一种通过Jacobian向量积（JVP）计算导数的方式来定义训练目标。改进版MeanFlow（iMF）使用 $V_\theta \triangleq u_\theta + (t-r) \cdot \text{JVP}_{\text{sg}}$ 作为复合函数，并在 $v$ 空间中定义损失。

pMF是MeanFlow框架的像素空间扩展，核心的 $(r,t)$ 双时间步建模和JVP训练策略直接继承自MeanFlow

JiT（Just image Transformers）

JiT是由Li & He提出的在原始像素空间中进行图像生成的方法，使用Vision Transformer直接在像素上操作。其关键设计是采用 $x$-预测策略：让网络直接输出去噪后的图像 $x_\theta$，而非速度场 $v$ 或噪声 $\epsilon$。通过公式 $v_\theta(z_t, t) = \frac{1}{t}(z_t - x_\theta(z_t, t))$ 将网络输出转换为速度用于训练。这一设计基于流形假设——去噪图像位于低维流形上，比含噪图像更容易被神经网络学习。但JiT本身仍需要多步采样。

pMF的 $x$-预测策略直接借鉴自JiT，论文的核心创新在于将JiT的 $x$-预测与MeanFlow的单步训练框架统一起来

流形假设（Manifold Hypothesis）

流形假设认为高维数据（如自然图像）实际上分布在一个低维流形附近。在图像生成的语境下，去噪后的图像近似位于这个低维流形上，而含噪图像（速度场 $u$ 的输出）则是高维空间中的全支撑分布。这意味着神经网络更容易学习映射到低维流形上的目标（如 $x$-预测），而非高维空间中的目标（如 $u$-预测）。论文在2D玩具实验中直观展示了这一现象：当观测空间维度 $D$ 增大时，$x$-预测仍能正常工作，而 $u$-预测迅速退化。

这是pMF方法的理论基础，解释了为什么在高维像素空间中 $x$-预测优于 $u$-预测

感知损失（Perceptual Loss / LPIPS）

感知损失是一种基于预训练深度网络特征空间的距离度量，比像素级的 $\ell_2$ 损失更能捕捉人类感知的图像质量差异。LPIPS（Learned Perceptual Image Patch Similarity）使用VGG分类器的中间特征计算两张图像的感知距离。论文还探索了基于ConvNeXt-V2的变体。由于pMF的网络输出 $x_\theta$ 直接是像素空间的去噪图像（"所见即所得"），可以自然地在训练中引入感知损失，这是潜变量方法（需要先训练VAE解码器）和多步方法（中间输出不是最终图像）难以直接做到的。

感知损失是pMF从9.56 FID提升到3.53 FID的关键技术组件，贡献了约6个FID点的改进

研究动机

现代扩散/流匹配图像生成模型通常有两个核心特征：（1）多步采样，（2）在潜变量空间中操作。这两个设计虽然有效，但偏离了深度学习的端到端精神。在推理效率方面，标准的SD-VAE解码器在256分辨率下需要310G FLOPs，在512分辨率下需要1230G FLOPs，仅解码器的计算开销就超过了本文整个生成器的总计算量。同时，多步采样意味着每个样本需要多次前向传播，进一步增加了延迟。从理论角度看，社区已经在两个方向上分别取得了重要进展：Consistency Models和MeanFlow在少步/单步采样方面有显著突破，JiT在像素空间生成方面展现了潜力，但将两者合并为统一框架面临严峻挑战。当尝试在像素空间进行单步生成时，网络必须同时处理两个难题：（a）单步建模要求一个网络覆盖不同起点和终点的轨迹，（b）像素空间的高维性要求网络在没有预训练潜变量tokenizer的情况下完成压缩和抽象。

本文的目标是本文的目标是实现单步、无潜变量的图像生成，即直接从噪声一步生成原始像素图像。具体而言，作者希望设计一个统一的网络架构，在ImageNet 256×256和512×512分辨率上实现有竞争力的生成质量（FID），同时保持较低的计算开销。更广泛地说，这项工作旨在填补当前生成模型研究中的一个关键空白——证明单步像素空间生成的可行性和竞争力，推动扩散/流匹配生成模型的边界。

与已有工作不同的是，本文的独特切入角度是将网络输出空间和损失空间分离设计。核心洞察是：网络应该直接输出去噪图像 $x$（位于低维流形上，容易学习），而损失应该在速度空间 $v$ 中定义（保证训练的数学正确性）。这与现有方法形成鲜明对比：Consistency Models和MeanFlow使用 $u$-预测，网络输出的是高维含噪速度场；JiT使用 $x$-预测但缺乏单步训练框架。pMF通过引入 $x \to u \to v$ 的转换链，首次将 $x$-预测的可学习性优势与MeanFlow的单步训练优势统一在一个框架中。这种"分离预测空间和损失空间"的设计理念是一个重要的方法论创新。

核心方法

pMF的方法可以分层理解。直觉上，如果让神经网络直接预测去噪后的干净图像（而非含噪的速度场），学习任务会容易得多——因为干净图像位于低维流形上，而速度场是高维空间中的全支撑分布。但训练时需要在速度空间中定义损失以保证数学正确性。技术路线是：首先定义一个广义去噪图像场 $x(z_t, r, t) \triangleq z_t - t \cdot u(z_t, r, t)$，它通过平均速度场 $u$ 与带噪输入 $z_t$ 关联；然后让网络直接输出这个 $x$（$x$-预测），通过公式 $u_\theta(z_t, r, t) = \frac{1}{t}(z_t - x_\theta(z_t, r, t))$ 将网络输出转换回速度空间；最终使用iMF的复合函数 $V_\theta$ 在 $v$ 空间中定义损失。整个流程形成了 $x \to u \to v$ 的转换链。

pMF的核心创新是将网络输出空间和损失空间分离。具体而言，网络直接输出去噪图像 $x_\theta(z_t, r, t)$，这是一个预期位于低维图像流形上的量，易于神经网络学习；而训练损失 $\mathcal{L}_{\text{pMF}} = \mathbb{E}_{t,r,x,\epsilon}\|V_\theta - v\|^2$ 定义在速度空间中，保证了训练的数学正确性。这与已有方法的本质区别在于：（1）相比MeanFlow的 $u$-预测，pMF的 $x$-预测避免了直接在高维空间中建模含噪速度场的困难；（2）相比JiT的 $x$-预测，pMF通过MeanFlow框架实现了真正的单步生成；（3）相比使用预条件器（pre-conditioner）的方法，pMF的直接 $x$-预测不会使网络输出偏离低维流形。论文通过2D玩具实验和ImageNet实验验证了这一设计的优越性。

方法步骤详情

pMF的训练流程（Algorithm 1）包含以下步骤：（1）采样时间步对 $(t, r)$，其中 $t \in [0,1]$，$0 \leq r \leq t$，使用logit-normal分布采样；（2）生成噪声 $\epsilon \sim \mathcal{N}(0, I)$，构造带噪样本 $z_t = (1-t)x + t\epsilon$；（3）定义平均速度函数 $u_{\text{fn}}(z, r, t) = \frac{z - \text{net}(z, r, t)}{t}$，其中 $\text{net}$ 是直接输出去噪图像的ViT网络；（4）计算瞬时速度 $v = u_{\text{fn}}(z, t, t)$（当 $r = t$ 时，$u$ 退化为 $v$）；（5）使用JVP计算 $u$ 和 $\frac{du}{dt}$：$u, \frac{du}{dt} = \text{jvp}(u_{\text{fn}}, (z, r, t), (v, 0, 1))$；（6）构造复合函数 $V = u + (t-r) \cdot \text{stopgrad}(\frac{du}{dt})$；（7）计算损失 $\mathcal{L} = \text{metric}(V, \epsilon - x)$。此外，当 $t \leq t_{\text{thr}}$（阈值为0.8）时，额外加入感知损失 $\lambda \mathcal{L}_{\text{perc}}$，包括VGG-based LPIPS和ConvNeXt-V2变体。

技术新颖性

pMF的技术新颖性体现在多个层面。首先，"预测空间与损失空间分离"的设计理念是全新的——网络输出 $x$（低维流形上的去噪图像），损失在 $v$ 空间（保证训练正确性），通过 $x \to u \to v$ 的转换链桥接两者。其次，论文定义了广义去噪图像场 $x(z_t, r, t) = z_t - t \cdot u(z_t, r, t)$，这是对JiT中 $x$-预测的自然推广，它是一个由两个时间步 $(r, t)$ 索引的2D场，而非传统意义上仅由 $t$ 索引的1D轨迹。第三，论文证明了在高维像素空间中，直接预测速度场 $u$ 会导致灾难性失败（256×256分辨率下 $u$-预测的FID为164.89，而 $x$-预测仅为9.56），这一发现对整个单步生成领域具有重要启示。最后，pMF自然地支持感知损失的引入，这在潜变量方法和多步方法中都不容易实现，为像素空间生成带来了独特优势。

pMF formulation, driven by the manifold hypothesis
Figure 1: pMF formulation, driven by the manifold hypothesis
Toy Experiment
Figure 2: Toy Experiment

实验结果

论文在ImageNet上进行了全面的实验验证，核心发现包括以下几个方面。首先，$x$-预测在高维像素空间中至关重要：在64×64分辨率（patch维度48）下，$x$-预测和$u$-预测表现相当（FID分别为3.80和3.82）；但在256×256分辨率（patch维度768）下，$u$-预测灾难性失败（FID 164.89），而$x$-预测表现良好（FID 9.56）。其次，优化器选择对性能影响显著：Muon优化器比Adam收敛更快且最终FID更好（160 epoch时分别为8.71和11.86），在单步设定下这一优势尤为明显，因为更好的早期网络能提供更准确的stop-gradient目标。第三，感知损失贡献约6个FID点的改进：标准VGG-based LPIPS将FID从9.56提升到5.62，加入ConvNeXt-V2变体进一步提升到3.53。第四，预条件器（pre-conditioner）在高维设定下反而有害：EDM-style和sCM-style预条件器的FID分别为14.43和13.81，远差于直接$x$-预测的3.53，因为预条件器使网络输出偏离低维流形。第五，时间采样策略至关重要：仅采样$r=t$（等价于Flow Matching）FID为194.53，仅采样$r=0$（等价于CM）FID为389.28，两者结合为106.59，而完整的$0 \leq r \leq t$采样达到3.53。最终系统在ImageNet 256×256上达到2.22 FID（pMF-H/16，360 epoch），在512×512上达到2.48 FID（pMF-H/32），均使用单步生成。

Prediction space and loss space
Table 1: Prediction space and loss space
x-prediction is crucial for high-dimensional pixel-space generation
Table 2: x-prediction is crucial for high-dimensional pixel-space generation
Alternative designs of pMF
Table 3: Alternative designs of pMF
High-resolution generation on ImageNet
Table 4: High-resolution generation on ImageNet
Scalability
Table 5: Scalability
System-level comparison on ImageNet 256×256 generation
Table 6: System-level comparison on ImageNet 256×256 generation
System-level comparison on ImageNet 512×512 generation
Table 7: System-level comparison on ImageNet 512×512 generation
Configurations and hyper-parameters
Table 8: Configurations and hyper-parameters
Training curves of pMF on ImageNet 256×256 with pixel-space, 1-NFE generation
Figure 3: Training curves of pMF on ImageNet 256×256 with pixel-space, 1-NFE generation
Qualitative results of 1-NFE pixel class-conditional generation on ImageNet 256×256
Figure 4: Qualitative results of 1-NFE pixel class-conditional generation on ImageNet 256×256
Uncurated 1-NFE pixel class-conditional generation samples of pMF-H/16 on ImageNet 256×256
Figure 5: Uncurated 1-NFE pixel class-conditional generation samples of pMF-H/16 on ImageNet 256×256
查看结构化数据
任务指标本文基线提升
ImageNet 256×256 单步像素空间生成 FID ↓ 2.22（pMF-H/16, 360ep） EPG-L/16: 8.82; StyleGAN-XL: 2.30; iMF-XL/2: 1.72（潜变量） 相比唯一同类方法EPG降低6.6 FID点，与最优GAN（StyleGAN-XL）持平且计算量仅为其1/5
ImageNet 512×512 单步像素空间生成 FID ↓ 2.48（pMF-H/32） StyleGAN-XL: 2.41; MeanFlow-RAE: 3.23（潜变量） 与最优GAN持平，显著优于潜变量单步方法，计算开销与256×256几乎相同
预测目标对比（256×256） FID ↓ 9.56（x-预测） 164.89（u-预测） x-预测比u-预测降低155.33 FID点，验证了流形假设的关键性
感知损失效果（256×256, 160ep） FID ↓ 3.53（+ LPIPS + ConvNeXt） 9.56（仅MSE） 感知损失带来约6个FID点的改进
高分辨率生成（固定序列长度162） FID ↓ 256×256: 3.53; 512×512: 4.06; 1024×1024: 4.58 N/A 通过增大patch size保持几乎相同的计算成本，性能随分辨率增加仅轻微下降

局限与改进

论文存在若干值得注意的局限性。首先，pMF目前仅在类别条件生成的ImageNet基准上进行了验证，尚未扩展到文本条件生成（如text-to-image），这限制了其在实际应用中的适用范围。其次，论文使用了JAX和TPU进行实验，但未提供PyTorch实现，可能影响社区的复现和扩展。第三，虽然论文展示了1024×1024的生成能力，但此时patch size为64×64，patch维度高达12288，这种极度激进的patchification可能在更复杂的场景中遇到困难。第四，论文的方法需要同时使用VGG-based和ConvNeXt-based两种感知损失，并需要调节多个超参数（感知损失权重、阈值$t_{\text{thr}}$、CFG参数等），增加了工程复杂度。第五，论文未与最新的蒸馏方法（如从预训练多步模型蒸馏到单步模型）进行对比，这类方法可能在相同计算预算下达到更好的性能。最后，论文的所有实验都使用固定的序列长度162，对于更大分辨率使用极大的patch size，这种设计选择的最优性和鲁棒性尚需进一步验证。

独立分析的弱点

独立分析发现以下弱点：（1）泛化性验证不足——所有实验仅在ImageNet上进行，该数据集以物体为中心、类别平衡，与真实世界图像生成场景差异较大。建议在MS-COCO、LAION等更复杂的数据集上验证。（2）缺乏文本条件实验——当前的条件生成仅支持类别标签，未探索文本条件，这在实际应用中是更常见的需求。建议将pMF与文本编码器结合。（3）计算效率分析不完整——虽然论文声称pMF计算量低，但未报告实际推理延迟（wall-clock time），FLOPs不等于实际速度，尤其是涉及JVP计算时可能有额外开销。（4）超参数敏感性未充分讨论——感知损失的权重$\lambda$、阈值$t_{\text{thr}}$、CFG参数等对最终性能的影响未被系统研究。（5）与蒸馏方法的对比缺失——论文仅与从头训练的方法对比，未与基于预训练多步模型的蒸馏方法（如Progressive Distillation）对比。改进方向包括：探索更高效的网络架构以降低JVP计算开销、研究自适应的感知损失策略、以及将框架扩展到视频生成等更高维的任务。

未来方向

论文和后续可延伸的研究方向包括：（1）文本条件生成——将pMF与大型语言模型结合，实现单步文本到图像生成，这将是最直接的应用扩展。（2）视频生成——将$pMF$从图像扩展到视频领域，实现单步视频生成，这将面临更大的维度挑战但也有更大的实用价值。（3）更高效的架构设计——论文使用标准ViT，未来可以设计专门针对$x$-预测的架构，可能通过引入归纳偏置来更好地利用流形结构。（4）自适应时间采样——论文使用固定的logit-normal采样策略，未来可以研究基于课程学习或自适应的采样策略。（5）与其他生成范式的融合——探索将pMF与VAE（如RAE）结合，在保持单步推理的同时进一步降低维度。（6）理论分析——深入理解为什么$x$-预测在高维空间中更有效，可能从信息论或几何角度给出更严格的理论保证。（7）下游应用——将pMF应用于图像编辑、超分辨率、风格迁移等任务，利用其"所见即所得"的特性。

复现评估

论文的复现评估如下：代码方面，论文基于JAX和Google TPU实现，继承自iMF代码库，但论文本身未明确说明是否开源完整代码。数据方面，使用标准ImageNet数据集，这是公开可获取的。算力方面，论文使用Google TPU Research Cloud，具体训练时间未详细报告，但从160-360 epoch的训练规模和1024的batch size来看，需要相当可观的计算资源。配置方面，论文在Table 8中提供了详细的超参数配置，包括模型深度（16/32/48）、隐藏维度（768/1024/1280）、patch size、学习率（1e-3）、优化器参数（Muon, β1=0.9, β2=0.95）、EMA半衰期、感知损失权重（LPIPS: 0.4, ConvNeXt: 0.1）等，这对复现有很大帮助。主要复现挑战在于：（1）需要TPU环境或适配CUDA的JAX代码；（2）Muon优化器的实现需要额外依赖；（3）JVP计算的具体实现细节依赖于iMF的代码库；（4）多EMA衰减率的选择策略需要仔细实现。总体而言，论文提供了足够的技术细节，但完全复现需要一定的工程努力和计算资源。

论文图表

Figure 6: Uncurated 1-NFE pixel class-conditional generation samples of pMF-H/16 on ImageNet 256×256 (continued)

继续展示更多类别的生成样本，包括jigsaw puzzle、ocean liner、manhole cover、mosque、odometer、prayer rug、mushroom、promontory、valley、volcano、daisy、coral fungus等12个类别。

与Figure 5一起提供了36个类别的广泛视觉评估，增强了结果的可信度和全面性。