稳定速度场：从方差视角理解流匹配 Stable Velocity: A Variance Perspective on Flow Matching
通过方差分析揭示流匹配的双区间结构，提出无偏降方差训练和免微调加速采样
前置知识
流匹配（Flow Matching）
流匹配是一类生成模型框架，通过学习一个速度场 $v_\theta(x_t, t)$ 来定义从噪声分布到数据分布的概率流。给定数据样本 $x_0$ 和噪声 $\varepsilon \sim \mathcal{N}(0, I)$，前向过程为 $x_t = \alpha_t x_0 + \sigma_t \varepsilon$，其中 $\alpha_t$ 和 $\sigma_t$ 是满足边界条件的调度函数（如线性插值 $\alpha_t = 1-t, \sigma_t = t$）。模型通过条件流匹配（CFM）目标训练，预测条件速度场 $v_t(x_t | x_0)$，其全局最优解等于真实边际速度场 $v_t(x_t) = \mathbb{E}_{p_t(x_0|x_t)}[v_t(x_t|x_0)]$。
本文的核心贡献是分析流匹配训练目标的方差特性并提出改进方案，理解流匹配的基本框架是阅读本文的前提。
条件速度场与边际速度场
条件速度场 $v_t(x_t|x_0)$ 是给定单个数据样本 $x_0$ 时的速度场，由公式 $v_t(x_t|x_0) = \frac{\sigma'_t}{\sigma_t}(x_t - \alpha_t x_0) + \alpha'_t x_0$ 给出。边际速度场 $v_t(x_t) = \mathbb{E}_{p_t(x_0|x_t)}[v_t(x_t|x_0)]$ 是对所有可能的 $x_0$ 取期望。CFM 训练使用单样本条件速度作为目标，这相当于边际速度场的蒙特卡洛估计，会产生方差。
本文的核心发现是条件速度场与边际速度场的差异在不同时间步存在系统性变化，这一观察直接导致了双区间结构的发现。
方差缩减与自归一化重要性采样
方差缩减是降低蒙特卡洛估计器方差的技术。自归一化重要性采样（SNIS）是一种常用方法，通过对多个样本的加权平均来降低估计方差，但会引入偏差。本文提出的 StableVM 方法通过构造多样本混合条件路径，使用自归一化加权平均聚合多个条件速度，实现了无偏的方差缩减——这是一个关键的技术创新。
理解方差缩减技术有助于把握本文方法与已有工作（如 STF）的本质区别：StableVM 在保持无偏性的同时降低方差。
表征对齐（REPA）
表征对齐（Representation Alignment）是近年来加速扩散 Transformer 训练的技术。REPA 将扩散 Transformer 的隐状态与预训练视觉编码器的特征进行对齐，提供辅助语义监督信号。后续工作包括 REG（表征纠缠）、iREPA（空间结构对齐）、REPA-E（端到端微调 VAE）等变体。本文从方差区间的角度发现，REPA 的有效性主要来自低方差区间内的对齐。
本文提出的 VA-REPA 是对 REPA 的改进，通过方差感知的加权策略选择性地在低方差区间施加对齐监督，理解 REPA 是理解 VA-REPA 的基础。
研究动机
流匹配（Flow Matching）虽然理论上优雅，但其训练目标存在一个基础但尚未充分探索的问题：训练目标的高方差。具体而言，CFM 使用单样本条件速度 $v_t(x_t|x_0)$ 作为训练目标，这只是真实边际速度 $v_t(x_t)$ 的单样本蒙特卡洛估计。在靠近先验分布（$t$ 接近 1）的时间步，边际分布仍然接近高斯先验，此时后验 $p_t(x_0|x_t)$ 会扩散到多个参考样本上，导致条件速度场产生剧烈波动。这种高方差目标不仅拖慢收敛速度，还导致经验优化动态与理想的总体目标之间产生失配。虽然先前工作（如 Karras et al., 2022; Choi et al., 2022）在扩散模型中观察到了方差相关的低效问题，但在流匹配和随机插值器框架内，缺乏一个原则性的方差理论理解。
本文的目标是本文的目标是从方差视角对随机插值器进行系统性分析，揭示条件速度场方差的内在结构，并基于这一分析提出统一的框架来同时改进训练和采样。具体而言，作者希望：（1）显式刻画条件速度目标的方差行为，发现其双区间结构；（2）提出无偏的方差缩减训练目标，在降低方差的同时保持与 CFM 相同的全局最优解；（3）利用低方差区间的特性实现免微调的采样加速，将采样步数减少 2 倍以上而不损失生成质量。
与已有工作不同的是，本文的独特切入角度在于**显式地对条件速度场的方差进行建模和分析**，而不是像已有工作那样仅在经验层面观察方差问题。通过方差分析，作者发现了一个被忽视的关键结构：流匹配过程自然地分为低方差区间（$0 \leq t < \xi$）和高方差区间（$\xi \leq t \leq 1$）。在低方差区间，后验高度集中，条件速度几乎等于真实边际速度，采样动力学接近确定性；在高方差区间，后验扩散到多个样本，优化目标噪声大。这一发现不仅解释了已有方法（如 REPA）为何有效，还自然引出了三个改进方案：训练时降低高方差区间的方差、在低方差区间施加更强的监督、以及在低方差区间使用大步长采样。这种方差驱动的统一视角是之前的工作所没有的。
核心方法
本文的方法可以用一个直觉来概括：流匹配的生成过程就像从噪声中"雕刻"出数据——在开始阶段（高方差区间），噪声很大，信号微弱，优化困难；在后期阶段（低方差区间），数据结构已经显现，信号清晰，可以大胆操作。基于这一认识，作者提出了 Stable Velocity 框架，包含三个相互配合的组件：（1）StableVM（稳定速度匹配），通过多样本聚合降低高方差区间的训练目标方差；（2）VA-REPA（方差感知表征对齐），在低方差区间选择性地施加辅助监督；（3）StableVS（稳定速度采样），利用低方差区间的近确定性动力学实现大步长采样。这三个组件共享同一个方差分析基础，分别从训练目标、辅助监督和推理策略三个角度利用了方差的双区间结构。
本文最核心的创新是对流匹配方差的显式刻画及其揭示的双区间结构。给定方差度量 $V_{CFM}(t) = \mathbb{E}\|v_t(x_t|x_0) - v_t(x_t)\|^2$，作者在合成 GMM、CIFAR-10 和 ImageNet 潜码上系统评估发现：$V_{CFM}(t)$ 在小 $t$ 时接近零，随 $t$ 增大而急剧上升，自然形成低方差区间和高方差区间。更重要的是，随着数据维度增加，分界点 $\xi$ 向 1 移动，意味着高维数据的低方差区间占比更大。这一发现的直接推论是：在低方差区间，条件速度就是边际速度的极好近似，后验 "坍缩" 到单个参考样本，采样轨迹近似确定性。这一洞察统一了三个组件的设计：StableVM 在高方差区间用多参考样本降低方差；VA-REPA 在低方差区间施加对齐监督（因为此时信号清晰）；StableVS 在低方差区间用大步长积分（因为轨迹是直线）。
方法步骤详情
StableVM 的具体流程如下：首先，从数据分布采样 $n$ 个参考样本 $\{x_0^i\}_{i=1}^n$，构造复合条件路径 $p_t^{GMM}(x_t | \{x_0^i\}) = \frac{1}{n}\sum_{i=1}^n p_t(x_t|x_0^i)$，本质上是一个高斯混合模型。然后，从该混合路径采样含噪输入 $x_t$。训练目标定义为自归一化加权平均：$\hat{v}_{StableVM}(x_t; \{x_0^i\}) = \frac{\sum_{k=1}^n p_t(x_t|x_0^k)v_t(x_t|x_0^k)}{\sum_{j=1}^n p_t(x_t|x_0^j)}$。对于类条件生成，维护一个容量为 $K$ 的类条件记忆库（FIFO 更新策略），确保每个类有足够多样的参考样本。VA-REPA 引入非负加权函数 $w(t) \in [0,1]$（默认使用 sigmoid 权重 $w_{sigmoid}(t) = \sigma(k(\xi - t))$），将表征对齐损失限制在低方差区间。StableVS 在低方差区间使用推导的闭式解：对于线性插值，$x_\tau = x_t + (\tau - t)v_t(x_t)$，允许任意步长的 Euler 积分。
技术新颖性
本文的技术新颖性体现在三个方面。首先，与已有方差缩减工作（如 STF）相比，StableVM 的关键区别是**无偏性**。STF 通过有限样本加权平均降低方差但引入偏差，而 StableVM 通过构造混合条件路径并从中采样，保证了目标的无偏性（定理 3.1），同时严格降低方差（定理 3.2）。理论上，StableVM 的方差衰减率为 $O(1/n)$（定理 3.3）。其次，VA-REPA 首次从方差区间的角度理解表征对齐的有效性，发现对齐监督在低方差区间是 "可学习的"（loss 低且稳定），而在高方差区间是 "不可学习的"（loss 高且不下降），这一洞察使得对齐策略可以自适应调整。最后，StableVS 是首个利用低方差区间的确定性动力学进行免微调加速的方法，与已有求解器（Euler、DPM-Solver++、UniPC）正交，可以即插即用。
实验结果
本文在多个层面验证了 Stable Velocity 框架的有效性。在 ImageNet 256×256 上，StableVM + VA-REPA 在 80 epoch 训练下取得 FID 1.80，优于 REPA 的 1.98（无 CFG 设置），在 480 epoch 下达到 FID 1.44，与 REPA-E 的 1.12 接近但无需微调 VAE。在 CFG 设置下，80 epoch 取得 FID 1.71（类平衡采样），480 epoch 达到 1.33。值得注意的是，本文方法在所有模型规模（SiT-B/2 的 130M 参数到 SiT-XL/2 的 675M 参数）和训练阶段均一致优于 REPA，例如 SiT-XL/2 在 100k 迭代时 FID 从 18.59 降至 17.12。消融实验验证了设计选择：$\xi = 0.7$ 在训练后期最优；sigmoid 权重优于硬阈值；记忆库容量 $K=256$ 已接近最优。在采样加速方面，StableVS 在 SD3.5-Large、Flux-dev、Qwen-Image-2512 和 Wan2.2 四个预训练模型上，使用 9 步低方差区间积分替换原有的 Euler 求解器，仅需 20 步（或 17 步）即可匹配 30 步基线质量。以 SD3.5-Large 为例，20 步 StableVS 的 Overall GenEval 为 0.723，与 30 步基线的 0.723 完全一致，而朴素缩短到 20 步则降至 0.710。在 T2V-CompBench 上，Wan2.2 使用 StableVS 后，PSNR 从 15.61 提升到 31.10，SSIM 从 0.593 提升到 0.942，表明生成内容与 30 步基线高度一致。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ImageNet 256×256 (无CFG, 80 epoch) | FID↓ | 1.80 | 1.98 (REPA) | 9.1% |
| ImageNet 256×256 (无CFG, 480 epoch) | FID↓ | 1.44 | 1.42 (REPA) | -1.4% (持平) |
| ImageNet 256×256 (CFG, 80 epoch) | FID↓ | 1.71 | 1.67 (REPA-E) | -2.4% (无需微调VAE) |
| ImageNet 256×256 (CFG, 480 epoch) | FID↓ | 1.33 | 1.12 (REPA-E) | -18.8% (但无需VAE微调) |
| SD3.5-Large GenEval (20步) | Overall↑ | 0.723 | 0.710 (20步Euler) | 1.8% |
| Flux-dev GenEval (20步) | Overall↑ | 0.666 | 0.659 (20步Euler) | 1.1% |
| Qwen-Image-2512 GenEval (17步) | Overall↑ | 0.731 | 0.721 (17步Euler) | 1.4% |
| Wan2.2 T2V-CompBench (20步UniPC) | PSNR↑ | 31.10 | 15.61 (20步UniPC) | 99.2% |
| SiT-XL/2 100k iter (无CFG) | FID↓ | 17.12 | 18.59 (REPA) | 7.9% |
局限与改进
本文存在几个值得关注的局限性。首先，分界点 $\xi$ 的选择目前依赖经验调参，虽然作者发现 $\xi=0.7$ 在训练中表现最优、$\xi=0.85$ 在采样中表现最优，但缺乏理论指导的自动选择机制。其次，StableVM 的额外计算和内存开销与记忆库容量 $K$ 线性相关，在 ImageNet 的 1000 个类上，以 fp16 存储 256 个潜码需要约 2GB 额外内存。第三，VA-REPA 的 sigmoid 权重引入了超参数 $k$（锐度，默认 $k=20$），其敏感性虽在实验中验证为适中，但仍需针对新任务调整。第四，StableVS 仅在低方差区间内有效，当 $\xi$ 设置过大（如 0.90）时会进入高方差区间导致质量下降。最后，本文的实验主要基于线性插值器（$\alpha_t = 1-t, \sigma_t = t$），对于非线性调度（如 VP diffusion 的 $\alpha_t = \cos(\frac{\pi}{2}t)$）的适用性需要进一步验证。
独立分析的弱点
从独立分析的角度，本文存在以下弱点和改进方向。第一，方差度量 $V_{CFM}(t)$ 的计算需要对大量样本取期望，在实践中难以精确计算，目前依赖合成数据和预训练模型的近似评估。可以考虑开发在线方差估计方法，在训练过程中动态追踪方差变化，从而自适应调整 $\xi$。第二，StableVM 的记忆库机制在类条件生成中引入了类间不平衡问题——稀有类的参考样本多样性不足，可能导致这些类的方差缩减效果较差。可以探索跨类的知识蒸馏或数据增强策略来缓解。第三，VA-REPA 的权重函数 $w(t)$ 目前是时间 $t$ 的函数，但没有考虑样本难度——某些 "简单" 样本可能在高方差区间也能提供有用的对齐信号。可以设计样本自适应的加权策略。第四，StableVS 的闭式推导假设模型在低方差区间已经很好地学习了速度场，但在训练早期（模型欠拟合时），这一假设可能不成立，导致采样质量下降。可以考虑渐进式地引入 StableVS。
未来方向
基于本文的方差分析框架，有几个值得探索的方向。首先，可以将方差驱动的双区间分析推广到其他生成模型框架，如离散扩散、一致性模型、以及最近的均值流（Mean Flow）模型。其次，$V_{CFM}(t)$ 的维度依赖性（高维数据的低方差区间更大）暗示了高分辨率生成可能天然受益于本文方法，值得在更大规模（如 1024×1024 或视频生成）上验证。第三，可以将 StableVM 与蒸馏方法（如渐进蒸馏、对抗蒸馏）结合，探索方差缩减对少步生成质量的影响。第四，作者提到 $\xi$ 的理论选择与数据分布有关，可以研究如何从数据统计量自动确定最优分界点。最后，StableVS 的确定性动力学特性可以与并行采样策略结合，进一步加速推理。
复现评估
本文的代码已在 GitHub 开源（https://github.com/linYDTHU/StableVelocity），基于 Hugging Face diffusers 库实现。复现所需的主要资源包括：ImageNet 训练集（标准数据集）、预训练的 SiT-XL/2 模型作为骨干、以及预训练的 Stable Diffusion VAE 用于潜码编码。训练使用 AdamW 优化器，学习率 $1\times10^{-4}$，全局 batch size 256，混合精度 fp16 训练。在 8 张 GPU 上，80 epoch 的训练大约需要数天。对于 StableVS 的评估，需要预训练的 SD3.5、Flux、Qwen-Image 或 Wan2.2 模型，这些均可从 Hugging Face 下载。整体而言，复现难度中等——核心算法改动不大（主要是在训练目标和采样器上添加方差感知组件），但需要足够的 GPU 资源进行大规模训练。消融实验的关键超参数（$\xi$、$K$、$w(t)$）已在论文中详细报告，降低了调参难度。
论文图表
