FSVideo：高压缩潜空间中的快速视频扩散模型 FSVideo: Fast Speed Video Diffusion Model in a Highly-Compressed Latent Space
64×64×4高压缩VAE+层记忆DIT，实现42倍加速的图像转视频
前置知识
Video Autoencoder (视频自编码器)
视频自编码器由编码器和解码器组成，编码器将高维视频 $V \in \mathbb{R}^{3 \times T \times H \times W}$ 映射到低维潜空间 $Z \in \mathbb{R}^{c \times t \times h \times w}$，解码器则从潜空间重建视频。压缩比由空间压缩率 $f_h, f_w$ 和时间压缩率 $f_t$ 决定。FSVideo 提出的 FSAE 实现了 64×64×4 的空间-时间压缩，配合 128 个潜通道，总压缩比达到 1:384，相比传统 8×8×4 的 1:48 压缩比提升了 8 倍。
理解视频自编码器的压缩机制是理解 FSVideo 加速原理的基础——高压缩比直接减少了后续扩散模型需要处理的 token 数量，从而大幅降低计算量。
Diffusion Transformer (DiT, 扩散变换器)
DiT 是将 Transformer 架构应用于扩散模型的网络结构，替代了传统的 U-Net。它通过 patchify 将潜空间 token 化，经过多层 Transformer 处理后 unpatchify 回潜空间。FSVideo 以 Wan2.1-14B-I2V 的 DiT 结构为基线，使用 3D 卷积进行 patchify（kernel size 为 1×1×1），包含 self-attention 和 cross-attention 模块，分别处理文本嵌入（UmT5）和图像嵌入（CLIP）。
DiT 是 FSVideo 的核心生成骨干网络，理解其基本架构有助于理解层记忆机制的创新点和为什么选择 14B 参数量的规模。
Flow Matching (流匹配)
流匹配是一种生成模型框架，定义潜空间状态为干净潜变量 $z_0$ 和高斯噪声 $\epsilon$ 的确定性插值：$z_\sigma = (1-\sigma)z_0 + \sigma\epsilon$，其中 $\sigma \in [0,1]$ 控制噪声强度。模型训练目标是预测速度场 $v_\sigma = \epsilon - z_0$。相比传统扩散模型的 SDE/ODE 求解，流匹配提供了更稳定的训练和更高效的推理。
FSVideo 的 DiT 训练和 refiner 的偏差估计机制都基于流匹配框架，理解这一概念对于理解训练策略和推理时的 latent deviation 技术至关重要。
Classifier-Free Guidance (CFG, 无分类器引导)
CFG 是扩散模型推理时的常用技术，通过同时运行条件和无条件生成，然后按权重插值来增强生成结果与条件的对齐。这通常需要每步执行两次前向传播（2 NFE per step）。FSVideo 的 refiner 通过 CFG 蒸馏将这一开销消除，实现 1 NFE per step。
CFG 蒸馏是 FSVideo refiner 实现轻量化推理的关键技术之一，理解 CFG 有助于理解为什么 base DIT 需要 60 NFE 而 refiner 只需要 8 NFE。
Reinforcement Learning from Human Feedback (RLHF) / Reward Feedback Learning (ReFL)
ReFL 使用奖励模型（如 VideoAlign）对生成的视频进行评分，并通过强化学习优化生成模型。FSVideo 使用 VideoAlign 作为视频奖励模型，MPS 作为帧级奖励模型，采用 GRPO 算法（无需通过解码器反向传播梯度）进行训练。为了降低内存压力，只将前 61 帧送入 VideoAlign，只将 MPS 评分最低的 10 帧送入 MPS 模型。
RL 训练是 FSVideo 后训练阶段的核心，显著提升了视频的运动完整性和一致性，理解这一过程有助于理解模型的最终质量提升来源。
研究动机
当前主流视频生成模型如 Sora 2、Veo 3、Kling、Wan 和 SeedDance 虽然展现了强大的生成能力，但高昂的推理成本导致漫长的等待时间和巨大的 GPU 开销，难以规模化部署。以 Wan2.1-I2V-14B-720P 为例，生成一段 5 秒 720×1280 24fps 的视频在两张 H100 GPU 上需要 822.1 秒，单张 H100 甚至无法完成（OOM）。现有加速方法主要分两类：一是训练无关的加速方法（高效求解器、缓存、低分辨率采样、稀疏注意力），但加速幅度有限且可能降低质量；二是基于训练的加速方法（模型压缩、轻量替代、步数蒸馏），但减少模型容量会损失生成质量，而步数蒸馏在工业常用 4-8 步推理时，加速效果受限于估计误差。根本问题在于，这些方法都聚焦于减少模型前向传播次数（NFE），而非减少每次前向传播的计算量。
本文的目标是FSVideo 的核心目标是通过减少每次模型前向传播的计算量来实现视频生成的大幅加速，同时保持与主流开源模型相当的生成质量。具体而言，论文希望在以下三个维度取得突破：（1）设计高压缩比的视频自编码器，将空间-时间压缩率从主流的 8×8×4 提升到 64×64×4；（2）改进 DiT 架构以更好地利用模型容量；（3）通过多尺度生成策略提升视频保真度。最终目标是实现比同等参数量模型快一个数量级的推理速度。
与已有工作不同的是，FSVideo 的独特切入角度在于「减少每次前向传播的计算量」而非「减少前向传播次数」。虽然已有工作探索了 32× 空间压缩的视频自编码器，但 64×64 的深度压缩在生成质量评估上缺乏充分验证（如 DC-VideoGen 主要评估 32×32 压缩比的自编码器）。更重要的是，现有工作主要关注微调预训练 DiT 到新的 VAE 潜空间，而 FSVideo 探索了在高压缩潜空间中从头训练 DiT 的可行性。此外，论文提出了层记忆机制来解决高压缩潜空间中 DiT 训练困难的问题，以及 latent upsampler 策略来补偿高压缩带来的细节损失，这些技术组合形成了独特的加速路径。
核心方法
FSVideo 的整体框架是一个两阶段的图像转视频（I2V）流水线。输入图像首先通过 FSAE 编码器获得潜空间表示，作为条件输入到 base DiT 进行第一轮扩散生成，产出低分辨率的潜空间视频。然后，潜空间卷积上采样器将低分辨率潜变量上采样 2 倍，再通过 refiner DiT 进行第二轮扩散精炼。最后，解码器将高分辨率潜变量解码为最终视频。这一设计的核心直觉是：通过大幅压缩潜空间减少每个 token 的计算量，然后用轻量的上采样和精炼步骤补偿细节损失，从而在整体上实现巨大加速。整个系统包含一个 14B 参数的 base DiT 和一个 14B 参数的 refiner DiT，但 refiner 通过 CFG 蒸馏和步数蒸馏只需 8 NFE，相比标准 60 NFE 大幅减少。
FSVideo 的核心创新包含三个相互支撑的组件。首先是 FSAE 视频自编码器，采用 64×64×4 的空间-时间压缩比和 128 个潜通道，总压缩比达到 1:384，相比主流 8×8×4 的 1:48 提升了 8 倍。这直接将 DiT 需要处理的序列长度减少了 8 倍，是加速的根本来源。其次是 Layer Memory 机制，这是对传统 DiT 架构的根本性改进——每个 Transformer 层的 self-attention 不再仅关注前一层的隐藏状态，而是通过一个可学习的动态路由器自适应地聚合所有前序层的表示来构建 key 和 value，从而在不同深度间建立可微的记忆。这解决了深层 Transformer 中表征坍缩的问题，使得高压缩潜空间中的训练更加稳定高效。最后是 latent upsampler，包含卷积潜空间上采样器和 refiner DiT，通过动态掩码、偏差估计和条件 dropout 等训练策略，在不增加过多计算的前提下恢复高频细节。
方法步骤详情
方法分为以下几个关键步骤：（1）FSAE 训练：采用三阶段训练策略，从 256×256 分辨率开始逐步提升到 1024×1024，损失函数为 $\mathcal{L}_{ae} = \mathcal{L}_1 + 0.1 \times \mathcal{L}_{lpips} + 0.1 \times \mathcal{L}_{GAN}$。引入 Video VF Loss（视频视觉基础模型对齐损失）来改善潜空间语义对齐，通过 DinoV2 逐帧提取特征并与潜变量对齐，损失包括边际余弦相似度损失 $\mathcal{L}_{v-mcos}$ 和边际距离矩阵相似度损失 $\mathcal{L}_{v-mdms}$。（2）Base DiT 训练：采用流匹配框架和 Pseudo-Huber 损失，三阶段预训练（256×256 图像→256×256 视频→512×512 视频），然后进行 SFT 微调（30 万高质量样本）和 RL 训练（使用 VideoAlign 和 MPS 奖励模型，结合 ReFL 框架和多轮微调）。（3）Latent Upsampler 训练：卷积上采样器通过 pixel-shuffle 上采样后接 16 个残差块，损失函数为 $\mathcal{L}_{upsampler} = \alpha_1 \mathcal{L}_{latent-l1} + \alpha_2 \mathcal{L}_{l1} + \alpha_3 \mathcal{L}_{lpips}$。（4）Refiner 训练：继承 base DiT 参数，使用动态掩码策略（根据上采样误差计算置信度分数）、偏差估计机制（$\tilde{z}_0 = \frac{\hat{z}_0 - z_0}{\sigma} + z_0$）和条件 dropout 策略进行训练，然后通过 CFG 蒸馏和 SiDA 步数蒸馏压缩到 8 NFE。
技术新颖性
FSVideo 的技术新颖性体现在多个层面。首先，64×64×4 压缩比的视频自编码器在生成质量上的可行性此前未被充分验证，论文通过 Video VF Loss 和非对称解码器设计成功解决了高压缩比下的重建质量和生成能力问题。Layer Memory 机制是将语言模型中对抗表征坍缩的方法（如 LIMe）首次引入视觉生成任务，通过时序感知的动态路由器实现跨层信息的选择性复用，这与 U-DIT 的 U-net 式跳跃连接有本质区别——Layer Memory 是通用的，不依赖于特定的网络拓扑。偏差估计机制是另一个亮点，通过在流匹配框架下刻意构造不完美的条件输入，强制 refiner 学习修复而非简单复制，这一设计巧妙地利用了噪声水平 $\sigma$ 来控制扰动强度。此外，动态掩码将传统的 0/1 二值掩码替换为连续的置信度分数，使模型能够区分真实帧和生成帧的质量差异。
实验结果
FSVideo 在多项评估中展现了竞争力与速度优势的完美平衡。在 VBench 2.0 I2V 基准测试（720×1280 分辨率）上，FSVideo 获得 88.12% 的总分（I2V Score 95.39%，Quality Score 80.85%），超越了 HunyuanVideo-I2V（86.82%）、Wan2.1-I2V-14B-720P（86.86%）、Pusa-V1.0（87.32%）和 DC-VideoGen-Wan-2.1-14B（87.73%），仅略低于 Step-Video-TI2V（88.36%，30B 参数）。在人类评估中，FSVideo 以 58.6% 的偏好率大幅超越 LTX-Video（32.4%），以 43.5% 对 44.2% 与 HunyuanVideo 持平，与 Wan2.1-14B 基本持平（24.7% vs 24.8%，50.5% 认为相同）。推理速度方面，在 2 张 H100 GPU 上生成 5 秒 720×1280 24fps 视频，FSVideo 仅需 19.4 秒，而 Wan2.1-I2V-14B-720P 需要 822.1 秒，实现了 42.3 倍加速。在单 GPU 场景下，Wan 无法完成生成（OOM），FSVideo 通过参数卸载仍可在 76.6 秒内完成。FSAE 重建质量方面，FSAE-Standard 在 WebVid-10M 上达到 SSIM 0.872、PSNR 30.91、LPIPS 0.058、FVD 203.19，显著优于 LTX-Video（SSIM 0.868、FVD 232.02），甚至部分指标超越压缩率更低的 Cosmos-CV。层记忆机制的训练分析显示，带有层记忆的模型在整个训练过程中持续获得更低的损失值，微调 Wan2.1 时在 1000 步内即可实现 4.7% 的性能提升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图像转视频生成 (VBench 2.0, 720×1280) | Total Score | 88.12% | Wan2.1-I2V-14B-720P: 86.86% | +1.26% |
| 图像转视频生成 (VBench 2.0, 720×1280) | I2V Score | 95.39% | Wan2.1-I2V-14B-720P: 92.90% | +2.49% |
| 推理速度 (5s 720×1280 24fps, 2×H100) | 延迟 (秒) | 19.4s | Wan2.1-I2V-14B-720P: 822.1s | 42.3倍加速 |
| 视频重建质量 (WebVid-10M) | FVD↓ | FSAE-Standard: 203.19 | LTX-Video: 232.02 | FVD降低12.4% |
| 视频重建质量 (WebVid-10M) | SSIM↑ | FSAE-Standard: 0.872 | LTX-Video: 0.868 | +0.004 |
| 人类评估 (vs LTX-Video) | 偏好率 | 58.6% | LTX-Video: 32.4% | +26.2% |
局限与改进
论文存在多个值得关注的局限性。首先，作者坦诚 FSVideo 相比 Wan 2.2-14B（实际上是一个 28B 的 MoE 模型）在人类评估中处于劣势（10.2% vs 32.4%），并将此归因于训练数据和算力的限制。其次，模型选择专注于图像转视频任务而非更通用的文本转视频，虽然有合理的理由（训练难度、资源约束、应用场景），但这限制了模型的通用性。FSAE 的 64×64×4 高压缩比虽然大幅加速推理，但在极端压缩下仍存在重建 artifacts，特别是 FSAE-Lite 版本在 FVD 指标上（342.66）与 FSAE-Standard（203.19）有显著差距，表明速度与质量的权衡仍然存在。此外，base DiT 的 50 步推理（60 NFE 含 CFG）仍然相对较多，虽然 refiner 通过蒸馏压缩到 8 NFE，但整体 pipeline 的优化空间仍然存在。模型的训练成本未被详细披露，但从多阶段训练策略（VAE 三阶段 + DiT 预训练三阶段 + SFT + RL + upsampler 训练 + refiner 训练 + 蒸馏）来看，总训练成本可能相当可观。
独立分析的弱点
FSVideo 存在以下几个值得深入分析的弱点。第一，模型专注于 I2V 任务，虽然论文给出了 text-to-image-to-video 的 fallback 方案，但这种级联方式可能引入额外的延迟和误差累积，且无法充分利用文本信息来指导视频运动。改进方向可以是探索在高压缩潜空间中同时训练 T2V 和 I2V 的多任务框架。第二，Layer Memory 机制虽然有效，但动态路由器的可视化（Figure 6）显示深层主要依赖前一层，记忆复用的潜力可能未被充分挖掘。可以通过更激进的路由器正则化或稀疏约束来鼓励更多的跨层信息流动。第三，latent upsampler 的设计相对简单（pixel-shuffle + 16 残差块），可能成为生成质量的瓶颈。可以探索基于 Transformer 的 upsampler 或渐进式上采样策略。第四，RL 训练中使用的开源奖励模型（VideoAlign、MPS）可能无法完全捕捉 I2V 任务的特殊需求，如首帧一致性、运动合理性等。训练专用的 I2V 奖励模型可能带来更大提升。第五，论文未充分讨论不同压缩比下的权衡曲线（如 32×32×4 vs 64×64×4），这有助于理解压缩比选择的最优性。
未来方向
论文提出了五个明确的未来研究方向：（1）更好的视频编码策略以支持更高分辨率生成——当前 64×64×4 压缩比在 4K 及以上分辨率时可能面临重建质量瓶颈；（2）新的 DiT 设计以进一步减少生成时间和提升质量——Layer Memory 机制可以与 MoE、稀疏注意力等技术结合；（3）改进训练方法以提升 prompt 一致性和更大的视频运动——当前 I2V 模型在复杂运动场景下仍有提升空间；（4）扩展到多模态生成如视频+音频生成或视频编辑——高压缩潜空间可能为多模态对齐提供更紧凑的表示；（5）扩展到更长视频或多场景视频——当前 121 帧（约 5 秒）的限制需要突破。基于 FSVideo 的成果，还可以延伸探索：将 Layer Memory 应用于 MMDiT 架构（论文已提及）、将 FSAE 应用于其他视频理解任务、将高压缩潜空间与 token 高效的语言模型结合实现统一的视觉-语言生成。
复现评估
从复现角度来看，FSVideo 的复现难度较高。论文未提供代码开源计划，也未公开训练数据集的具体构成和规模。模型的训练涉及多个复杂阶段（VAE 三阶段、DiT 预训练三阶段、SFT、RL、upsampler、refiner、蒸馏），每个阶段都有特定的超参数和数据要求。算力需求方面，训练使用 FSDP 和梯度检查点，14B 参数的 DiT 在单张 80G H100 上都无法完成 5 秒 24fps 的推理（需要参数卸载），表明训练需要大量 GPU 资源。不过，论文提供了详细的架构描述（FSAE 结构、DiT 修改、upsampler 设计）和训练策略（损失函数、学习率调度、数据增强），理论上的复现是可行的。Video VF Loss、Layer Memory、动态掩码和偏差估计等关键技术都有清晰的数学描述。对于研究者而言，可以先尝试在较小规模（如 1B-3B 参数）上验证这些技术的有效性，再扩展到完整规模。
论文图表