FlowBlending：面向快速高保真视频生成的阶段感知多模型采样

按去噪阶段重要性分配大/小模型，实现1.65×加速且保持质量

前置知识

流匹配 (Flow Matching)

流匹配是扩散模型的一种现代化替代框架，通过学习速度场 $v_t(x;\theta)$ 将源分布（如高斯噪声）转换为目标分布（如数据分布）。它使用最优传输条件流匹配（OT-CFM）损失函数 $\mathcal{L}_{CFM}(\theta) = \mathbb{E}_{t, q(z_1), p(z_0)} \|v_t((1-t)z_0 + tz_1) - (z_1 - z_0)\|^2$ 训练，通过求解常微分方程实现从噪声到数据的转换。相比传统扩散模型，流匹配训练更稳定、收敛更快。

本文实验基于两个主流视频生成模型 LTX-Video 和 WAN 2.1，它们都采用流匹配框架。理解流匹配的速度场概念是理解本文提出的「速度发散」分析方法的关键，这是用于识别阶段边界的核心指标。

分类器自由引导 (Classifier-Free Guidance, CFG)

CFG 是扩散采样中增强条件控制的技术，通过在条件速度场和无条件速度场之间进行插值得到最终速度场：$\tilde{v}_t = v_t(x_t) + \omega \cdot (v_t(x_t|c) - v_t(x_t))$，其中 $\omega$ 是引导强度。这使得生成内容更符合文本提示。在视频扩散中，CFG 分别应用于条件分支和无条件分支。

论文在分析速度发散时，同时考察了 CFG 条件分支和无条件分支的速度预测差异，发现 U 型发散曲线在这两种条件下都成立，证明结论的普适性。

函数评估次数 (Number of Function Evaluations, NFE)

NFE 衡量扩散采样过程中调用神经网络预测速度场的次数，直接对应计算成本。传统扩散模型需要 50-1000 次 NFE，加速方法如 DPM++ 通过改进数值求解器将 NFE 减少到 10-20 步，蒸馏方法如 One-Step Diffusion 则将整个过程压缩到 1 步。

本文的核心贡献是在不减少 NFE 的前提下，通过在部分步骤使用小模型来降低每次函数评估的计算成本。与 DPM++ 等 NFE 减少方法正交，两者结合可实现额外加速。

FID (Fréchet Inception Distance)

FID 是衡量生成图像/视频质量的核心指标，通过计算生成样本与真实样本在 Inception 网络特征空间的 Fréchet 距离：$FID = \|\mu_r - \mu_g\|^2 + Tr(\Sigma_r + \Sigma_g - 2(\Sigma_r \Sigma_g)^{1/2})$，其中 $\mu$ 和 $\Sigma$ 分别是均值和协方差。FID 越低表示生成质量越高。

论文使用 FID 作为识别晚期阶段边界的关键指标，发现 FID 曲线呈现 V 型，最优边界对应 FID 最小值。这是因为在适度使用小模型后重新引入大模型可以细化细节、消除伪影，而过度依赖小模型会导致伪影积累。

研究动机

现有视频扩散模型如 LTX-Video（2B/13B 参数）和 WAN 2.1（1.3B/14B 参数）都提供大/小模型变体。小模型虽然速度快，但生成质量明显下降，经常产生语义错误和物体变形。例如 WAN 2.1 小模型（3.1 PFLOPs）虽然计算量小，但生成的视频经常无法准确遵循文本提示，物体扭曲甚至崩溃。这导致了一个两难困境：要么全程使用大模型获得高质量但计算成本高昂（LTX-Video 大模型需要 49.73 秒，WAN 2.1 需要 653.12 秒），要么使用小模型加速但牺牲质量。现有加速方法如 DPM++（通过改进求解器减少采样步数）和蒸馏方法（如 One-Step Diffusion）都需要重新训练或大幅修改采样过程，而且这些方法都假设所有时间步需要相同的模型容量，忽略了不同去噪阶段对模型容量需求的差异。

本文的目标是本文的目标是在不重新训练模型、不修改模型架构、不使用蒸馏的前提下，通过智能分配大模型和小模型在采样过程中的使用阶段，保留大模型的高质量输出，同时显著降低计算成本。具体来说，作者希望找到一种策略，能够识别哪些去噪步骤对模型容量敏感（需要大模型），哪些步骤对容量不敏感（可以用小模型替代），从而实现「关键阶段用大模型，非关键阶段用小模型」的容量分配方案。

与已有工作不同的是，本文的独特切入角度是首次系统研究了视频扩散采样过程中不同时间步对模型容量的依赖关系，发现了与图像扩散相反的趋势。在图像扩散中，大模型对晚期步骤更重要；而在视频扩散中，作者发现早期阶段对容量极度敏感——一旦早期结构形成错误，后续步骤即使使用大模型也无法恢复正确的语义和运动。此外，本文还发现晚期阶段对容量再次敏感，但作用不同——主要是细节细化和伪影消除，而非结构形成。这个「双峰敏感，中间不敏感」的发现是 FlowBlending 方法的核心理论基础。

核心方法

FlowBlending 的核心思想基于一个关键观察：在视频扩散的去噪过程中，模型容量的重要性不是均匀分布的。作者通过大量实验发现，早期阶段（约前 40% 步骤）决定了视频的全局结构和运动模式，对模型容量极度敏感；晚期阶段（约最后 20% 步骤）负责细粒度细节和伪影消除，对容量再次敏感；而中间阶段（约 40-80% 步骤）大模型和小模型的输出几乎相同，对容量不敏感。基于此，FlowBlending 提出一种 LSL（Large-Small-Large）调度策略：在早期阶段使用大模型建立全局结构，中间阶段切换到小模型加速，晚期阶段重新引入大模型细化细节。这种方法无需任何重新训练或模型修改，只需在推理时根据时间步选择使用哪个模型即可。

FlowBlending 的核心创新在于提出了两种互补的方法来识别阶段边界：（1）早期边界通过 DINO/CLIP 相似度曲线的「断崖下降」点识别——当大模型使用比例过低时，语义相似度会急剧下降；（2）晚期边界通过 FID 曲线的 V 型最低点识别——适度使用小模型后重新引入大模型可以最小化 FID。更重要的是，作者发现这两个经验边界与「速度发散」分析结果完全吻合：早期阶段大/小模型速度预测的方差很高（结构形成不稳定），晚期阶段平均发散度很高（细节细化需要大模型），而中间阶段发散度最低（小模型可靠）。速度发散提供了一个模型无关的通用指标，可以自动识别容量敏感区域。

方法步骤详情

FlowBlending 的实现步骤如下：首先，选择一个合适的大模型和小模型对（如 LTX-Video 13B 和 2B，或 WAN 2.1 14B 和 1.3B）。然后，通过离线分析确定早期和晚期阶段边界：（1）对于早期边界，使用大模型采样，将中间潜变量输入小模型，测量不同切换点下输出与大模型基线的 DINO 相似度，选择相似度开始急剧下降前的点（通常保持在 96% 以上）作为早期边界；（2）对于晚期边界，固定早期边界，在不同的大模型重引入点测量 FID，选择 FID 最小的点作为晚期边界。实际推理时，根据时间步 $t$ 和预先确定的边界点 $t_1$、$t_2$ 动态选择模型：如果 $t < t_1$，使用大模型；如果 $t_1 \leq t < t_2$，使用小模型；如果 $t \geq t_2$，重新使用大模型。整个过程保持采样轨迹连续，只在速度预测时切换模型。

技术新颖性

FlowBlending 的技术新颖性体现在三个方面：（1）首次系统分析了视频扩散采样过程中模型容量的阶段依赖性，发现了与图像扩散相反的趋势（早期而非晚期最敏感）；（2）提出了两种实用的边界识别方法——语义相似度曲线分析和 FID V 型曲线分析，并将它们与速度发散这一内在指标关联起来；（3）证明了方法与现有加速技术（如 DPM++ 求解器和蒸馏模型）的正交性，可以实现叠加加速。相比图像领域的 T-Stitch 等工作，FlowBlending 不需要任何训练或优化，完全基于现有模型，且专门针对视频生成的时序一致性挑战进行了设计。

**Figure 1**: Overview of FlowBlending. The videos in each column are generated from the same initial noise and text prompt, but with different model allocation strategies.

**Figure 4**: DINO-based identification of the early stage boundary. We measure the frame-wise DINO similarity between schedules that switch from the large to the small model at different early stage boundaries and the large-only baseline (LLL).

**Figure 5**: FID-based identification of the late stage boundary. We fix the early stage boundary identified in Section 4.2 and vary only the late stage boundary.

**Figure 6**: Velocity divergence across diffusion steps. We compute cosine and ℓ2 distances between velocities v_L^t and v_S^t across timesteps.

**Figure A1**: LTX-Video: Experiments for choosing early stage boundary. The star sign represents our choice of the early stage boundary.

**Figure A3**: LTX-Video: Experiments for choosing late stage boundary. The star sign represents our choice of the late stage boundary.

**Figure A5**: Velocity divergence across diffusion steps. We measure the divergence between the velocity predictions of the small and large models at every denoising step for LTX-Video and WAN2.1.

实验结果

在 LTX-Video（2B/13B）和 WAN 2.1（1.3B/14B）两个主流视频生成模型上的实验表明，FlowBlending 实现了显著的加速效果，同时保持了与大模型几乎相同的生成质量。具体来说，LSL 调度在 LTX-Video 上实现了 1.65× 加速（从 49.73 秒降至 30.18 秒），FLOPs 降低 42.66%（从 3496 TFLOPs 降至 2005 TFLOPs），FID 从 5.73 改善至 5.70，FVD 从 834.26 降至 752.07。在 WAN 2.1 上，LSL 实现了 1.49× 加速（从 653.12 秒降至 439.36 秒），FLOPs 降低 35.81%（从 29950 TFLOPs 降至 19222 TFLOPs），FID 从 7.55 改善至 7.48，FVD 从 2831.94 降至 2752.17。VBench 评估显示，LSL 在 Aesthetic Quality（44.52 vs 45.43）、Background Consistency（93.96 vs 93.79）、Subject Consistency（90.79 vs 90.96）和 Motion Smoothness（97.74 vs 97.56）等指标上与大模型基线几乎持平。消融实验验证了早期阶段的重要性：LSS（仅早期使用大模型）虽然保持了全局结构，但晚期阶段引入伪影（空间扭曲和时序闪烁）；而 SLL（仅晚期使用大模型）则完全失败，语义和运动模式与大模型基线截然不同，证明早期阶段一旦错误就无法恢复。

**Table 1**: Similarity to large-model baseline. We report cosine similarity of DINO embeddings and CLIP embeddings, LPIPS, and PSNR averaged per-frame across the evaluation set.

**Table 2**: Comparison of video quality and efficiency across sampling schedules. LSL achieves quality comparable to the large-only baseline (LLL), while reducing runtime and FLOPs.

**Table 3**: Compatibility with existing acceleration methods. Our stage-aware schedule maintains large-model quality even when combined with reduced-step solvers or distilled backbones.

**Figure 7**: FID vs. FLOPs across schedule configurations. Schedules beginning with S (SXX) show significantly degraded quality.

**Figure 8**: Compatibility with DPM++ solver. Ours (LSL) is compatible with DPM++ solvers, reproducing similar videos to the videos using only the large model (LLL).

**Figure 9**: Compatibility with step distillation model. The step distillation model (D) with small capacity can replace the original small model (S).

**Figure A7**: LTX-Video: Comprehensive schedule sweep on the PV dataset. We evaluate all combinations of small-large scheduling for LTX-Video on the PV dataset and sort the results in ascending order of FID.

查看结构化数据

任务	指标	本文	基线	提升
LTX-Video 视频生成质量	FID ↓	5.70	5.73 (LLL)	0.03 (0.52%)
LTX-Video 视频生成速度	Runtime ↓	30.18±0.04 秒	49.73±0.31 秒 (LLL)	1.65× 加速
LTX-Video 计算量	FLOPs ↓	2005 TFLOPs	3496 TFLOPs (LLL)	42.66% 减少
WAN 2.1 视频生成质量	FID ↓	7.48	7.55 (LLL)	0.07 (0.93%)
WAN 2.1 视频生成速度	Runtime ↓	439.36±0.56 秒	653.12±0.80 秒 (LLL)	1.49× 加速
VBench Motion Smoothness	Score ↑	97.74	97.56 (LLL)	0.18 (0.18%)

局限与改进

作者承认的主要局限性是阶段边界通常需要针对每个扩散模型重新估计。不同模型（如 LTX-Video 和 WAN 2.1）的边界位置不同，且边界可能受采样器配置、分辨率、帧数等因素影响。此外，FlowBlending 需要同时加载大模型和小模型到内存，这增加了约 15-20% 的显存开销，对于显存受限的环境可能是一个限制。从观察角度，作者提到当早期边界选择过于激进（过早切换到小模型）时，生成的视频可能出现语义漂移或运动模式错误；当晚期边界选择过于保守（过晚重新引入大模型）时，可能会损失部分计算效率。另一个观察是，对于静态场景或简单提示（如 VBench 中的「leafless tree」），FlowBlending 的优势不如复杂动态场景明显，因为这些场景的结构和运动本身就相对简单，对大模型的需求较低。

独立分析的弱点

从独立分析角度，FlowBlending 存在几个潜在弱点：（1）显存开销问题——同时加载大模型和小模型增加了约 15-20% 的显存需求，对于多卡并行或移动设备部署可能不友好。改进方向：可以采用模型卸载策略（仅在需要时加载对应模型）或参数共享技术（如共享部分 backbone 层）来降低显存占用；（2）边界估计的计算成本——当前的 DINO 相似度和 FID 分析需要离线运行，可能需要数百个视频生成样本。改进方向：可以开发基于小样本的自适应边界估计方法，或者利用速度发散作为实时指标在线调整边界；（3）模型泛化性问题——当使用不同架构的模型对（如 DiT vs U-Net）时，速度发散的 U 型曲线可能不再成立。改进方向：可以研究架构无关的阶段识别指标，如基于特征统计或梯度分析的指标；（4）条件敏感性不足——对于极端提示（如超高分辨率、复杂场景），LSL 调度可能需要更激进的大模型使用比例。改进方向：可以引入提示复杂度感知的动态边界调整策略。

未来方向

作者提出的未来研究方向包括：（1）自动边界检测——开发模型无关的通用阶段识别方法，避免手动边界估计；（2）探索更复杂的调度策略——如使用多个中间模型或渐变式模型切换，而不仅是大/小二分；（3）研究改进求解器（如 DPM++）对阶段边界的影响——作者发现 DPM++ 生成的输出更接近大模型，这可能意味着阶段边界会随求解器类型而变化，值得进一步研究；（4）扩展到其他模态——如图像生成、3D 生成等，验证阶段敏感性的普适性。基于本文成果的可延伸方向包括：（1）多尺度调度——针对不同空间分辨率（如 latent 空间 vs pixel 空间）采用不同的模型容量分配；（2）时序细化调度——在视频生成中，可以对时序维度和空间维度采用独立的容量分配策略；（3）条件自适应调度——根据提示复杂度（如文本长度、物体数量）动态调整阶段边界；（4）端到端优化——将边界识别集成到训练过程中，学习最优的调度策略而非离线估计。

复现评估

FlowBlending 的复现难度较低，代码将在项目页面（https://jibin86.github.io/flowblending）开源。论文提供了详细的实验设置和超参数：（1）LTX-Video 使用 ODE 采样器，40 步，生成 65 帧 608×342 视频（VBench）或 832×480 视频（PVD）；（2）WAN 2.1 使用 UniPC 采样器，50 步，生成 61 帧 832×480 视频；（3）评估数据集为 PVD（284 个样本）和 VBench（355 个样本）；（4）硬件配置为 NVIDIA A6000（LTX-Video）和 A100（WAN 2.1）。论文提供了伪代码（Algorithm 1）和详细的消融实验设置。作者公开了定性结果的 HTML 文件，包含不同边界设置下的生成视频对比。由于方法不需要任何重新训练或模型修改，只要能够访问预训练的 LTX-Video 和 WAN 2.1 模型，就可以直接复现实验结果。对于有限算力的研究者，可以使用小分辨率或少帧数进行概念验证。

FlowBlending：面向快速高保真视频生成的阶段感知多模型采样 FlowBlending: Stage-Aware Multi-Model Sampling for Fast and High-Fidelity Video Generation