minWM：用于实时交互式视频世界模型的全栈开源框架 minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models
全栈框架将视频基础模型转为实时相机可控世界模型
前置知识
双向视频扩散模型
一种基于扩散过程的视频生成模型，通过逐步去噪从噪声生成高质量视频。'双向'指模型可以同时访问未来和过去帧的信息来预测当前帧，这保证了生成质量但不适合实时交互场景。典型代表包括Wan2.1、HY1.5等基础模型，它们需要数十到数百步去噪才能生成一帧视频。
这是本文的起点模型，理解其工作原理是理解如何将其转化为实时交互式世界模型的基础。
自回归(AR)生成
一种生成方式，模型按时间顺序逐帧生成视频，每次只生成未来几帧，然后将生成的帧作为上下文继续生成后续帧。这种方式的首帧延迟很低，因为只需要生成第一帧就可以开始播放，而不是等待整个视频生成完毕。缺点是误差会累积，导致长期一致性下降。
这是实时交互式世界模型的核心特性，理解AR生成机制是理解本文蒸馏目标的关键。
PRoPE(Proietive Positional Encoding)
一种用于注入相机参数的位置编码方法。给定相机内参矩阵 $K_i$ 和外参变换 $T_i^{cw}$，PRoPE构造提升投影矩阵 $P_i = \begin{bmatrix} K_i & 0 \\ e_4^T T_i^{cw} & 1 \end{bmatrix} \in \mathbb{R}^{4\times 4}$，然后通过块对角变换 $D_{\text{PRoPE}}^t$ 注入到self-attention中，使注意力交互显式依赖于相对投影变换 $P_{i(t_1)}^{-1} P_{i(t_2)}$。
这是本文实现相机控制的核心技术，理解PRoPE的工作原理是理解第一阶段训练的关键。
Causal Forcing / Causal Forcing++
一种将双向扩散模型转化为少步AR模型的蒸馏方法。Causal Forcing包含三个阶段：AR扩散训练、因果ODE初始化、非对称DMD。Causal Forcing++用因果一致性蒸馏(causal CD)替代ODE初始化，消除了离线ODE数据生成的时间和存储开销。两者在理论上是等价的。
这是本文第二阶段的核心算法，理解其三个阶段的工作机制是理解整个蒸馏过程的关键。
非对称DMD(Asymmetric Distribution Matching Distillation)
一种知识蒸馏技术，用高质量的双向扩散模型作为教师模型，监督少步AR学生模型。损失函数为 $\nabla_\theta \mathbb{E}_t[D_{\text{KL}}(p_{\theta,t}(\tilde{x}_t) \| p_{\text{data},t}(\tilde{x}_t))] = -\mathbb{E}_{\tilde{x},t,\tilde{x}_t}[(s_{\text{real}}(\tilde{x}_t, t) - s_{\text{fake}}(\tilde{x}_t, t))\frac{\partial \tilde{x}_t}{\partial \theta}]$，其中 $s_{\text{real}}$ 和 $s_{\text{fake}}$ 分别是数据分布和模型分布的得分估计。
这是蒸馏的最后阶段，理解非对称DMD的作用是理解如何保证蒸馏后模型质量的关键。
因果ODE / 因果CD初始化
因果ODE初始化通过AR教师模型生成大量PF-ODE轨迹，然后在预定义的少步时间步集上训练学生模型回归从噪声帧到清洁帧的映射。因果CD初始化是Causal Forcing++的改进，使用一致性蒸馏损失 $\mathbb{E}[w(t) d(G_\theta(x_i^t, x_{<i}^t, t), G_{\theta-}(\hat{x}_i^{t-\Delta t}, x_{<i}^t, t-\Delta t))]$，无需生成离线ODE数据。
这是蒸馏的第二阶段，理解这一步的作用是理解如何快速获得初始少步AR模型的关键。
研究动机
现有的视频扩散基础模型虽然能够生成高质量、时间一致的视频，但它们本质上是离线生成器，无法满足实时交互式世界模型的需求。交互式世界模型需要支持因果展开、响应用户动作（如相机轨迹）、并以足够低的延迟生成未来帧。例如，在单张A800 GPU上，HY1.5双向模型的首帧延迟高达771秒，Wan2.1双向模型也达到269秒，这对于实时交互来说是完全不可接受的。虽然已有工作探索了AR扩散蒸馏来将视频基础模型转换为实时交互式世界模型，但这些技术分散在不同的独立流水线中，构建一个交互式视频世界模型仍然需要大量努力，包括数据构建、可控微调、AR训练、少步蒸馏和后训练对齐等。
本文的目标是本文提出minWM，一个全栈开源框架，用于构建实时交互式视频世界模型。不同于仅发布单个训练好的检查点，minWM提供了一个可复现的端到端流水线，将现有的T2V或TI2V视频基础模型转换为相机可控的少步自回归视频世界模型。该框架覆盖了完整的工作流程，包括数据构建、相机可控微调、自回归扩散训练、少步蒸馏和低延迟推理。其模块化设计允许研究人员插入不同的视频骨干网络、控制信号、训练配方和推理配置，使minWM易于复现、适应和扩展。
与已有工作不同的是，本文的独特切入角度是提供完整的全栈流水线而非单个模型。已有工作通常只关注流水线中的某个环节，例如AR扩散训练、知识蒸馏或相机控制，缺乏统一、可复现、可扩展的框架来串联所有环节。minWM的创新之处在于将数据构建、相机控制训练、Causal Forcing/Causal Forcing++蒸馏和低延迟推理整合到一个模块化框架中，并提供完整的数据构建策略、训练配方和推理代码。此外，minWM不仅支持从基础模型开始构建世界模型，还支持适配现有的世界模型（如HY-WorldPlay）到新的数据分布、训练配方或延迟目标。
核心方法
minWM采用两阶段方法。第一阶段对双向视频扩散模型进行相机可控微调，使其能够遵循指定的相机轨迹，同时保持原始基础模型的视觉质量。这一阶段使用PRoPE方法将相机参数注入到self-attention中，使注意力交互显式依赖于相对相机内参和相机姿态。第二阶段应用Causal Forcing或Causal Forcing++将相机可控的多步双向模型转换为少步自回归生成器。这一阶段包含三个步骤：AR扩散训练、因果ODE或因果CD初始化、非对称DMD。最终的模型支持相机可控的自回归视频生成，且只需要少步推理，适合低延迟交互应用。整个流水线是模块化和可扩展的，可以应用于不同的视频骨干网络。
核心创新点是将相机可控训练与Causal Forcing/Causal Forcing++蒸馏流水线相结合，实现端到端的实时交互式世界模型构建。与已有方法的本质区别在于：第一，minWM不仅提供了蒸馏算法，还提供了完整的数据构建策略和训练配方，包括如何获得高质量相机轨迹数据、训练步数和批次大小的具体要求等。第二，minWM的模块化设计允许从任何阶段接入、修改或扩展流水线，例如可以从已有的相机可控双向模型开始进行蒸馏，或者将现有的世界模型适配到新的数据分布或延迟目标。第三，minWM支持不同架构的视频骨干网络，包括基于cross-attention条件注入的Wan2.1和基于MMDiT架构的HY1.5。
方法步骤详情
minWM的完整流水线包含以下步骤。第一阶段：相机可控双向扩散模型训练。给定带有相机参数的视频片段，使用PRoPE方法构造投影矩阵 $P_i = \begin{bmatrix} K_i & 0 \\ e_4^T T_i^{cw} & 1 \end{bmatrix}$，然后通过块对角变换 $D_{\text{PRoPE}}^t$ 注入到self-attention中。微调后的模型能够遵循指定的相机轨迹。第二阶段：AR扩散蒸馏。步骤1：AR扩散训练。将双向模型在concatenated clean video + noisy counterpart上用causal attention mask进行训练，得到AR扩散模型。步骤2a：因果ODE初始化。AR教师模型生成大量PF-ODE轨迹，然后在预定义的少步时间步集上训练学生模型回归从噪声帧到清洁帧的映射。步骤2b：因果CD初始化。使用一致性蒸馏损失 $\mathbb{E}[w(t) d(G_\theta(x_i^t, x_{<i}^t, t), G_{\theta-}(\hat{x}_i^{t-\Delta t}, x_{<i}^t, t-\Delta t))]$ 训练，无需生成离线ODE数据。步骤3：非对称DMD。学生模型自rollout生成完整视频序列，然后使用双向教师模型通过标准DMD梯度进行优化。所有步骤都保持相机条件的一致性。
技术新颖性
技术新颖性体现在以下几个方面。首先，minWM首次将相机可控训练与完整的Causal Forcing/Causal Forcing++流水线相结合，实现了端到端的实时交互式世界模型构建。其次，minWM提供了Causal Forcing++的相机可控版本，将因果CD初始化应用于相机可控场景，消除了离线ODE数据生成的时间和存储开销。第三，minWM的模块化设计允许从任何阶段接入流水线，例如可以直接从已有的相机可控双向模型开始蒸馏，或者将现有的世界模型适配到新的数据分布或延迟目标。第四，minWM支持不同架构的视频骨干网络，包括基于cross-attention的Wan2.1和基于MMDiT的HY1.5，证明了框架的通用性。最后，minWM提供了实用的消融研究，包括相机轨迹质量、可控性训练步数和最小批次大小要求，为可复现的交互式世界模型训练提供了可操作的指导。
实验结果
实验结果表明minWM框架在实时性和相机可控性方面都取得了显著效果。在延迟方面，few-step AR模型大幅降低了首帧延迟。对于HY1.5模型，多步双向模型的首帧延迟为771.041秒，多步AR模型为81.014秒，few-step AR模型仅为3.446秒，加速比达到223.75×。对于Wan2.1模型，多步双向模型的首帧延迟为269.055秒，多步AR模型为28.651秒，few-step AR模型仅为1.137秒，加速比达到236.64×。由于双向模型一次性生成整个序列，其首帧延迟自然高于先生成第一帧的AR模型。在实际部署场景中，AR模型的低首帧延迟允许用户在生成仍在进行时开始观看，从而减少感知的等待时间。在相机可控性方面，few-step AR模型保留了相机可控生成能力。实验显示模型能够在不同相机动作下生成，证明了蒸馏算法有效保留了基础模型的可控性。消融研究提供了关键训练因素的实用指导。在训练数据方面，直接在SpatialVid数据上训练（使用感知估计的相机姿态）未能获得可靠的相机可控生成，即使经过额外的数据过滤。这表明ground-truth相机姿态至关重要。采用3D重建和重新渲染策略（从DL3DV数据集重建场景并沿指定相机轨迹渲染视频）或使用WorldPlay生成指定相机轨迹的视频都能使模型成功学习相机可控性。在训练步数方面，以HY1.5为例，经过一到两千步训练后模型仍然完全不可控，经过约五千步后模型开始展现相机可控性，经过八千步后模型达到强可控性。在最小批次大小方面，以Wan2.1为例，批次大小小于4时模型经常无法学习相机可控性，批次大小为8时可控性大幅提升但仍不稳定，批次大小为16时可以成功完成完整训练流水线并获得高可控性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 首帧延迟（HY1.5模型，单A800 GPU，排除VAE相关时间） | 秒 | 3.446 (few-step AR) | 771.041 (多步双向) | 223.75×加速 |
| 首帧延迟（Wan2.1模型，单A800 GPU，排除VAE相关时间） | 秒 | 1.137 (few-step AR) | 269.055 (多步双向) | 236.64×加速 |
| 相机可控性训练步数（HY1.5模型） | 训练步数达到强可控性 | 8K步 | 5K步（开始展现可控性） | 可控性从出现到成熟需要约3K步 |
| 相机可控性训练批次大小（Wan2.1模型） | 最小批次大小 | 16（稳定成功） | 8（可控性提升但不稳定） | 批次大小是影响相机控制训练的关键因素 |
局限与改进
作者承认了几个局限性。首先，在SpatialVid数据上的训练尝试未能获得可靠的相机可控生成。作者推测这可能与使用感知估计的相机姿态有关，这些姿态可能引入姿态噪声或轨迹不一致，与ground-truth轨迹相比。作者强调这一结果应被解释为当前SpatialVid-based训练尝试的局限性，而不是SpatialVid不适合此任务的结论。改进的过滤、姿态细化和更系统的SpatialVid-based训练留待未来工作。其次，minWM当前只支持相机控制，未来计划支持相机控制之外的其他控制条件，如姿态控制。第三，minWM当前只支持HY1.5和Wan2.1，未来计划扩展到更多模型。基于我自己的观察，minWM的另一个局限性是训练资源需求较高。虽然few-step AR模型的推理延迟很低，但蒸馏过程需要大量的训练计算，包括双向模型微调、AR扩散训练、因果ODE/CD初始化和非对称DMD。对于HY1.5模型，总训练步数约为13.5K步（8K + 4K + 1.5K + 0.5K），对于Wan2.1模型约为11.2K步（5K + 4K + 2K + 0.2K）。虽然这些步数相比从零开始训练基础模型要少得多，但对于计算资源有限的研究者来说仍然是一个挑战。此外，minWM的相机可控性依赖于高质量的相机轨迹数据，获取这些数据可能需要额外的3D重建或渲染工作，增加了数据准备的复杂性。
独立分析的弱点
独立分析的弱点包括：第一，对计算资源的需求较高。虽然推理延迟很低，但蒸馏过程需要大量的训练计算。对于计算资源有限的研究者，可以考虑减少训练步数或使用更小的骨干网络，但这可能会影响生成质量或可控性。改进方向是探索更高效的蒸馏算法，例如减少ODE数据生成量或使用更少步数的DMD。第二，对高质量相机轨迹数据的依赖性较强。获取ground-truth相机轨迹可能需要额外的3D重建或渲染工作，增加了数据准备的复杂性。改进方向是开发更鲁棒的相机姿态估计方法，或设计对姿态噪声更鲁棒的训练策略，从而能够直接使用感知估计的相机轨迹数据。第三，当前只支持相机控制这一种控制信号。对于需要更复杂交互的应用（如物体操作、场景编辑等），仅相机控制是不够的。改进方向是扩展框架以支持更多类型的控制信号，如物体姿态、场景属性等。第四，批次大小对训练成功的影响很大。实验显示批次大小小于4时经常无法学习相机可控性，批次大小为16时才能稳定成功。这对于显存有限的GPU来说可能是一个限制。改进方向是探索梯度累积或其他技术来等效增大批次大小，或者设计对小批次大小更鲁棒的训练策略。
未来方向
作者提出的未来工作方向包括：支持相机控制之外的其他控制条件，如姿态控制；将框架扩展到更多模型。基于论文成果可以延伸的未来研究方向包括：第一，探索更高效的数据构建策略。当前需要3D重建和渲染或使用WorldPlay生成轨迹，这些方法都有一定的局限性。可以研究如何直接从真实视频中提取高质量相机轨迹，或者如何合成更真实可控的训练数据。第二，研究更鲁棒的相机可控性训练方法。当前对批次大小和训练步数的要求较高，未来可以探索如何降低这些要求，使框架更容易在不同硬件设置上使用。第三，扩展到更多类型的交互式世界模型。除了相机控制，还可以研究如何支持物体交互、场景编辑、多模态输入等更复杂的交互方式。第四，研究few-step AR模型的长期一致性问题。AR模型的优势是首帧延迟低，但缺点是误差累积可能影响长期一致性。未来可以探索如何平衡实时性和长期一致性。第五，研究如何在更多样化的场景中应用minWM。当前实验主要集中在特定的视频生成场景，未来可以探索在游戏、虚拟现实、机器人仿真等更多应用场景中的使用。
复现评估
minWM框架在复现性方面做得很好。首先，作者承诺发布可运行的脚本、检查点、文档和推理代码，这为复现提供了完整的资源。其次，论文提供了详细的训练配方，包括训练步数、批次大小、学习率等具体数值。对于HY1.5模型，批次大小为32，学习率为 $1 \times 10^{-5}$，双向模型训练8K步，Causal Forcing Stage 1训练4K步，Stage 2训练1.5K步，Stage 3训练500步。对于Wan2.1模型，批次大小为32，学习率为 $2 \times 10^{-6}$，双向模型训练5K步，Causal Forcing Stage 1训练4K步，Stage 2训练2K步，Stage 3训练200步。第三，论文提供了实用的消融研究，包括相机轨迹质量、可控性训练步数和最小批次大小要求，为复现提供了可操作的指导。然而，复现minWM仍然需要相当大的计算资源。训练需要使用A800等高端GPU，且总训练步数较多。对于计算资源有限的研究者，复现可能会有一定难度。此外，数据准备也可能需要额外的工作，例如3D重建、渲染或使用WorldPlay生成轨迹。总体而言，minWM在开源程度和文档详细度方面做得很好，但由于计算资源和数据准备的复杂性，完全复现仍需要一定的投入。
论文图表