基于转移匹配蒸馏的快速视频生成方法 Transition Matching Distillation for Fast Video Generation
提出TMD框架，将大型视频扩散模型蒸馏为少步高效生成器
前置知识
扩散模型 (Diffusion Models)
扩散模型是一类生成模型，通过逐步向数据添加噪声（前向过程）然后学习逆过程（去噪过程）来生成样本。在视频生成中，模型从纯噪声出发，经过多步迭代去噪，逐步生成清晰的视频帧。标准扩散模型通常需要数十到数百步采样，每步都需要完整的神经网络前向传播，因此推理成本极高。例如Wan2.1等大型视频扩散模型在50步采样设置下才能达到最佳质量。
理解扩散模型的基本原理是理解本文蒸馏方法的基础，TMD的核心目标就是将这些多步采样过程压缩为少步生成。
流匹配 (Flow Matching)
流匹配是一种连续状态生成模型框架，通过学习从噪声到数据的瞬时速度场来实现生成。具体来说，它定义了从数据点 $x$ 到标准正态噪声 $x_1 \sim \mathcal{N}(0, I)$ 的线性插值路径 $x_t = (1-t)x + tx_1$，并学习近似条件速度 $v(x,t) = E[x_1 - x | x_t]$。流匹配需要许多小时间步才能准确模拟数据分布，这正是本文要解决的效率瓶颈。
流匹配是TMD方法的数学基础，论文中的转移匹配（Transition Matching）可以看作是流匹配在离散时间上的推广，理解流匹配有助于理解TMD的创新点。
分布匹配蒸馏 (Distribution Matching Distillation)
分布匹配蒸馏是一种模型压缩技术，目标是让小模型（学生）的输出分布与大模型（教师）的输出分布对齐。与直接回归教师轨迹的轨迹匹配方法不同，分布匹配方法使用对抗训练（GAN损失）或变分得分蒸馏（VSD，即反向KL散度）来匹配两个分布。这种方法对ODE轨迹的曲率更不敏感，能提供更稳定的监督信号。DMD2是该领域的代表性方法。
TMD的第二阶段训练基于改进的DMD2（称为DMD2-v），理解分布匹配蒸馏的原理是理解本文技术贡献的关键。
转移匹配 (Transition Matching)
转移匹配是Flow Matching在离散时间上的推广，直接建模两个状态之间的概率转移。给定时间离散化 $0 = t_0 < t_1 < \cdots < t_M = 1$，转移匹配学习预测辅助潜变量 $y$，使得给定 $y$ 和 $x_{t_i}$ 时可以方便地采样 $x_{t_{i-1}}$。例如差分转移匹配（DTM）定义 $y := x_1 - x$，然后用 $x_{t_{i-1}} = x_{t_i} - (t_i - t_{i-1})y$ 进行采样。这种方法允许模型在大时间步之间跳跃，但原始DTM仍需约30步采样。
TMD的命名直接来源于转移匹配框架，论文将转移匹配与MeanFlow结合用于预训练阶段，这是方法的核心组成部分。
MeanFlow
MeanFlow提出学习一个流映射 $f(y_s, s, r)$，将ODE轨迹上任意时间点 $s$ 映射到更早的时间点 $r$。关键恒等式为 $u(y_s, s, r) + (s-r)\frac{d}{ds}u(y_s, s, r) = v(y_s, s)$，其中 $u$ 是平均速度，$v$ 是瞬时速度。这使得模型可以用少量步数完成从噪声到数据的映射，而不需要沿轨迹进行许多小步积分。训练目标使用停止梯度算子来稳定训练。
TMD的第一阶段预训练（TM-MF）直接采用MeanFlow目标来训练流头，使其能够在少量内部步骤中完成迭代精炼。
VBench
VBench是一个用于评估视频生成模型的综合基准，包含多个维度的评估指标。主要报告三个分数：总分（Overall score）、质量分（Quality score，评估视觉保真度）和语义分（Semantic score，评估文本-视频对齐程度）。VBench提供了标准化的评估框架，使得不同视频生成方法之间可以进行公平比较。本文使用VBench作为主要定量评估指标。
论文的所有定量结果都基于VBench评估，理解这些指标的含义对于解读实验结果至关重要。
研究动机
大型视频扩散和流模型（如HunyuanVideo、Wan、Cosmos等）在高质量视频生成方面取得了显著成功，但其在实时交互应用中的使用仍然受到严重限制。根本原因在于它们低效的多步采样过程：标准扩散模型依赖多步去噪过程，通常需要数百次迭代步骤才能逐步将噪声转化为逼真的输出。例如，Wan2.1 14B模型需要50x2步才能达到最佳生成质量（总分86.22）。这种迭代性质导致高推理延迟和计算成本，使得大型扩散模型在实时视频生成、内容编辑或用于智能体训练的世界建模等交互式应用中变得不切实际。现有蒸馏方法（如DMD2、rCM等）虽然能将采样步数减少到1-4步，但它们将扩散网络视为单一映射，忽视了大型视频扩散骨干网络固有的层次结构和语义渐进性，导致在视觉保真度和提示遵循方面存在不足。
本文的目标是本文的具体目标是提出一种新的蒸馏框架——转移匹配蒸馏（Transition Matching Distillation, TMD），将大型视频扩散模型蒸馏为高效的少步生成器（例如少于4步）。TMD旨在在生成速度和视觉质量之间提供灵活且强大的权衡。具体而言，论文希望：(1) 通过解耦架构设计，有效利用教师模型的层次语义表示；(2) 通过转移匹配预训练和分布匹配蒸馏的两阶段策略，实现稳定且高效的蒸馏；(3) 在可比推理成本下，超越现有蒸馏模型在视觉保真度和提示遵循方面的表现。论文在Wan2.1 1.3B和14B两个规模的文生视频模型上验证方法的有效性。
与已有工作不同的是，本文的独特切入角度在于三个关键创新。首先，与现有方法将扩散网络视为整体映射不同，TMD首次将教师模型解耦为主干网络（负责语义特征提取）和流头（负责迭代精炼），这种层次化分解使学生模型能够在每个转移步骤中共享主干网络的语义表示，然后通过轻量级流头进行多次内部流更新。其次，TMD将转移匹配框架与MeanFlow结合用于预训练（TM-MF），这是一种新颖的组合，使流头能够用少步完成内部精炼。第三，TMD在蒸馏阶段引入流头展开（flow head rollout），通过反向传播梯度穿过展开的内部流轨迹，有效消除了训练和推理之间的不匹配。这些创新使TMD能够在保持语义一致性的同时保留细粒度视觉细节，这是现有蒸馏方法难以同时实现的。
核心方法
TMD的核心直觉是：与其让蒸馏后的学生模型用一个大步直接从噪声跳到数据（这很难学习），不如让它模仿教师模型的多步去噪轨迹，但用更少的转移步骤和更轻量的网络来实现。技术路线分为两个阶段。第一阶段是转移匹配预训练（TM-MF），将教师模型的最后几层初始化为流头，并使用MeanFlow目标将其训练成条件流映射，使其能够在少量内部步骤中迭代精炼主干网络提取的语义特征。第二阶段是分布匹配蒸馏，使用改进的DMD2（DMD2-v）将学生模型的输出分布与教师模型对齐，并在每个转移步骤中展开流头进行端到端训练。整体架构将教师模型分解为主干网络（大部分早期层）和流头（最后几层），前者在每个外层转移步骤提取高层语义表示，后者基于这些表示通过多次内部流更新精炼细粒度视觉细节。
TMD的核心创新在于解耦架构设计和层次化蒸馏策略。与现有方法（如DMD2、rCM）将整个扩散网络作为单一映射进行蒸馏不同，TMD将模型分解为语义骨干和递归流头。这种设计的关键优势在于：(1) 流头可以复用主干网络在每个转移步骤提取的语义表示，避免了重复计算；(2) 流头在每个转移步骤内部进行多次轻量级迭代精炼，提供了灵活的质量-效率权衡机制——通过调整内部步数 $N$ 和流头层数 $H$，可以在几乎连续的范围内控制有效推理成本；(3) 流头展开训练确保了训练和推理的一致性。本质区别在于，TMD不是简单地减少去噪步数，而是通过引入层次化的内部精炼循环，在每个大步内部执行多次小步更新，从而在保持效率的同时恢复细粒度细节。这种设计使TMD能够在近乎单步生成（NFE=1.38）的情况下达到84.24的VBench总分。
方法步骤详情
TMD的完整方法包含以下步骤。第一阶段：转移匹配预训练（TM-MF）。输入为教师模型，首先将教师的最后 $H$ 个DiT块初始化为流头 $f_\theta$，其余层作为主干网络 $m_\theta$。然后使用MeanFlow目标训练流头，目标函数为 $\mathcal{L}(\theta) := E_{s,r,y_s}[\|u_\theta(y_s, s, r) - \hat{u}\|^2]$，其中 $\hat{u} = \text{sg}(v(y_s, s) - (s-r)\frac{d}{ds}u_\theta(y_s, s, r))$。平均速度参数化为 $u_\theta(y_s, s, r; m) := y_1 - \text{head}_\theta(y_s, s, r; m)$。使用有限差分近似JVP以兼容大规模训练。第二阶段：分布匹配蒸馏。输入为预训练的学生模型，首先对每个训练样本采样噪声 $x_1$ 和时间步 $t_i$，计算噪声样本 $x_{t_i} = (1-t_i)x + t_i x_1$。然后通过主干网络提取特征 $m = m_\theta(x_{t_i}, t_i)$，展开流头 $N$ 步得到生成样本 $\hat{x} = x_1 - \text{InnerFlow}(m)$。最后计算DMD2-v损失 $\mathcal{L}(\theta) = E_{t_i, x_{t_i}, t, \hat{x}_t}[w(t)\text{sg}(D(\hat{x}_t, t))^T \hat{x}]$，包含VSD损失和GAN判别器损失。推理时，给定噪声 $x$，依次执行 $M$ 个转移步骤，每步先计算主干特征，再执行 $N$ 步内部流更新。
技术新颖性
TMD的技术新颖性体现在多个层面。首先，解耦扩散骨干架构在视频生成领域的应用是新颖的——虽然类似设计在图像生成中有过探索，但TMD针对视频的高时空维度特性进行了专门设计，包括时间条件门控融合机制和复用主输入的patch embedding。其次，转移匹配预训练（TM-MF）将转移匹配框架与MeanFlow结合是一种新的组合，论文证明了TM预训练可以理解为MeanFlow在 $r=s$ 时的特殊情况。第三，DMD2-v对DMD2的三项改进（Conv3D判别器头、单步KD预热、时间步偏移）是针对视频领域的系统性优化，其中Conv3D判别器优于Conv1D-2D和注意力机制（分别提升0.92和0.88分）。第四，流头展开训练策略通过反向传播梯度穿过完整的内部流轨迹，有效消除了训练和推理之间的不匹配，实验表明这能显著加速收敛并提升性能。最后，有效NFE的定义 $\text{Effective NFE} := M(1 + \frac{(N-1)H}{L})$ 为评估解耦架构的计算成本提供了标准化度量。
实验结果
论文在Wan2.1 1.3B和14B两个规模的文生视频模型上进行了全面实验，使用VBench评估和用户偏好研究验证TMD的有效性。在Wan2.1 1.3B蒸馏中，当 $M=2$ 步去噪时，TMD-N2H5（有效NFE=2.33）达到总分84.68，超过所有基线方法包括4步的rCM（84.43）和DMD2-v（84.60）。当 $M=1$ 步去噪时，TMD-N2H5（NFE=1.17）达到83.80，同样超越所有单步蒸馏方法。在Wan2.1 14B蒸馏中，TMD-N4H5在NFE=1.38时达到84.24，显著超过单步rCM的83.02（提升+1.22）和单步DMD2-v的83.69（提升+0.55）。更重要的是，TMD消除了单步DMD2-v所需的计算密集型KD预热步骤。用户偏好研究表明，在60个挑战性提示上，用户在视觉质量和提示对齐两个维度上都显著偏好TMD而非DMD2-v，其中提示对齐的优势更为明显（约63%偏好率），验证了迭代流头精炼在提升提示遵循方面的作用。消融实验证实了MeanFlow预训练（TM-MF）优于传统流匹配预训练（TM），Conv3D判别器优于其他架构，以及流头展开训练对收敛速度和最终性能的关键作用。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Wan2.1 1.3B 视频生成蒸馏（2步） | VBench Overall Score | TMD-N2H5: 84.68 (NFE=2.33) | rCM: 84.43 (NFE=4), DMD2-v: 84.60 (NFE=4) | 在更低NFE下超越4步基线，提升+0.25（vs rCM） |
| Wan2.1 1.3B 视频生成蒸馏（1步） | VBench Overall Score | TMD-N2H5: 83.80 (NFE=1.17) | rCM: 82.65 (NFE=4), DMD2-v: 83.24 (NFE=4) | 提升+1.15（vs rCM），+0.56（vs DMD2-v） |
| Wan2.1 14B 视频生成蒸馏（单步） | VBench Overall Score | TMD-N4H5: 84.24 (NFE=1.38) | rCM: 83.02 (NFE=1), DMD2-v: 83.69 (NFE=1) | 提升+1.22（vs rCM），+0.55（vs DMD2-v） |
| Wan2.1 14B 视频生成蒸馏（2步） | VBench Overall Score | TMD-N4H5: 84.62 (NFE=2.75) | rCM: 85.05 (NFE=2), DMD2-v: 84.79 (NFE=2) | 接近2步基线，但超越4步DMD2-v的84.52 |
| Wan2.1 1.3B 视频生成蒸馏（2步） | VBench Semantic Score | TMD-N2H5: 80.55 | rCM: 80.86, DMD2-v: 79.32 | 提升+1.23（vs DMD2-v），语义对齐显著改善 |
| Wan2.1 14B 视频生成蒸馏（单步） | VBench Semantic Score | TMD-N4H5: 81.65 | rCM: 80.81, DMD2-v: 80.61 | 提升+0.84（vs rCM），+1.04（vs DMD2-v） |
局限与改进
论文虽然取得了显著成果，但仍存在若干局限性。首先，论文在结论中坦承TMD需要两个独立的训练阶段（TM-MF预训练和DMD2-v蒸馏），这增加了训练流程的复杂性和总训练时间。作者提到未来方向之一是将两个阶段统一为单阶段流水线。其次，实验仅在Wan2.1系列模型上验证，虽然涵盖了1.3B和14B两个规模，但未在其他架构（如HunyuanVideo）或其他任务（如图生视频、视频编辑）上进行验证，方法的泛化性有待进一步研究。第三，论文的评估主要基于VBench基准和有限的用户研究（60个提示），评估的全面性可能不足以反映真实应用场景中的所有挑战。第四，TMD的有效NFE计算假设流头的计算成本与主干网络中等量层的成本相当，这在实践中可能不完全准确，特别是在内存带宽受限的情况下。最后，论文未详细讨论TMD在更高分辨率（如720p、1080p）或更长视频生成上的表现，这限制了对其实际应用潜力的全面评估。
独立分析的弱点
独立分析TMD方法，可以识别出几个值得改进的弱点。首先，两阶段训练流程的复杂性是一个实际问题——第一阶段的TM-MF预训练需要精心调整MeanFlow相关的超参数（如JVP的有限差分近似精度、自适应损失归一化等），第二阶段的DMD2-v蒸馏又引入了额外的GAN判别器和伪得分网络，整个训练流程的超参数空间庞大。改进方向是设计端到端的单阶段蒸馏方法，直接从教师模型到少步学生。其次，解耦架构的选择（多少层作为流头、多少层作为主干）目前需要手动设计，论文通过消融实验比较了 $H=2,3,5,8$ 等配置，但缺乏自动化的架构搜索机制。第三，流头展开训练虽然有效，但增加了反向传播的内存开销（论文报告约17%额外计算），在更大模型上可能成为瓶颈。第四，时间步偏移函数 $t = \frac{\gamma t'}{(\gamma-1)t'+1}$ 中的 $\gamma$ 值需要针对不同设置手动调整（单步用 $\gamma=5$，两步用 $\gamma=10$），缺乏自适应机制。最后，论文未探讨TMD与其他加速技术（如特征缓存、高效注意力）的结合效果，这可能限制了其在实际部署中的效率上限。
未来方向
论文在结论中明确提出了两个未来研究方向。第一，将两个训练阶段统一为单阶段流水线，这将简化训练流程并可能提升最终性能，因为当前两阶段方法存在优化目标不一致的问题（第一阶段用回归损失，第二阶段用分布匹配损失）。第二，将TMD与系统级优化（如高效注意力或特征缓存）结合，以进一步加速视频生成。基于论文成果，还可以延伸出更多研究方向：(1) 将TMD扩展到图生视频、视频编辑、视频续生等更多任务，验证其通用性；(2) 探索自适应流头架构，根据输入内容动态调整内部精炼步数，在简单场景用少步、复杂场景用多步；(3) 将TMD应用于更高分辨率和更长视频的生成，研究其在长程时间一致性方面的表现；(4) 探索TMD与其他蒸馏方法（如渐进蒸馏、一致性模型）的结合，可能产生互补优势；(5) 研究流头的可解释性，理解它在每个内部步骤中学到了什么，这可能为设计更好的解耦架构提供指导。
复现评估
从复现角度来看，TMD的复现条件较为有利。首先，论文使用了开源的Wan2.1 1.3B和14B作为教师模型，这些模型已公开发布，降低了复现门槛。其次，论文基于DMD2框架，该框架也有开源实现。第三，论文提供了详细的伪代码（Algorithm 1和Algorithm 2），清晰描述了推理和训练的关键步骤。第四，论文在附录中提供了详细的实现细节和超参数设置。然而，复现仍面临一些挑战：(1) 训练数据集为500k文本-视频对，文本来自VidProM数据集（并用Qwen-2.5扩展），视频由Wan2.1 14B生成，这意味着需要大量计算资源来生成训练数据；(2) 所有实验在8xA100或H100 GPU集群上进行，对于大多数研究机构而言算力要求较高；(3) JVP的有限差分近似虽然提高了兼容性，但可能引入数值误差，需要仔细调整步长参数；(4) 论文未提供完整的训练代码或预训练权重，仅提供了项目主页链接。总体而言，具备足够算力的团队可以在现有开源框架基础上复现该方法。
论文图表
