VideoWorld 2：从真实视频中学习可迁移知识 VideoWorld 2: Learning Transferable Knowledge from Real-world Videos
通过动力学增强的潜在动力学模型，从无标签视频学习可迁移任务知识
前置知识
潜在动力学模型（Latent Dynamics Model, LDM）
潜在动力学模型是VideoWorld提出的一种压缩机制，它将视频中未来帧之间的视觉变化压缩成一组紧凑的离散潜在编码（latent codes）。具体来说，LDM使用MAGVITv2风格的因果编解码器，将输入视频片段映射为特征序列，然后通过可学习的查询嵌入（query embeddings）利用交叉注意力机制提取变化信息，最后量化为离散编码。这些编码捕捉了多步动作的运动动力学，而非完整的视觉外观信息。原始VideoWorld的LDM在合成环境（如围棋、模拟机器人）中表现良好，但在真实世界场景中容易过度拟合外观细节，导致跨环境迁移失败。
这是VideoWorld 2的核心改进对象，理解原始LDM的局限性是理解本文创新的前提
视频扩散模型（Video Diffusion Model, VDM）
视频扩散模型是一类基于扩散过程的视频生成模型，通过逐步去噪生成高保真视频。代表模型包括Sora、Wan 2.2、HunyuanVideo等。这类模型能够生成视觉细节丰富、连贯的视频序列，但通常缺乏对任务核心动力学的理解。VideoWorld 2使用NVIDIA Cosmos DiT 2B作为外观先验，利用其图像到视频（I2V）能力生成93帧、480像素的视频。关键在于，VDM在本文中不是用于端到端生成，而是作为外观建模的组件，将动作动力学的建模分离给潜在编码。
VDM是dLDM的关键组件，理解其角色有助于理解动力学与外观解耦的核心思想
自回归变换器（Autoregressive Transformer）
自回归变换器是一种序列预测模型，通过逐个预测下一个token来生成序列。在本文中，作者使用NVIDIA Cosmos AR 4B模型作为基础架构，将其重新用于预测潜在动力学编码而非原始视频token。给定初始帧和任务指令，变换器学习预测dLDM提取的潜在编码序列，从而学习复杂任务的长期模式和策略。这种设计将视频生成任务转化为类似语言模型的下一token预测任务，使得模型能够学习长时序的任务规划和推理能力。
这是学习任务策略的核心组件，理解其如何与dLDM配合是理解完整系统的关键
FSQ（Finite Scalar Quantization）
FSQ是一种向量量化方法，将连续向量映射到有限的离散码本空间。与传统的VQ-VAE不同，FSQ使用多个标量量化级别（如[8, 5, 5, 5]），每个维度独立量化后组合形成码本。本文使用FSQ级别[8, 5, 5, 5]对应码本大小1000。这种设计提供了足够的表达能力来捕捉复杂动作，同时避免过大的码本导致的训练困难和噪声编码。码本大小的选择对性能有显著影响：太小无法捕捉复杂动作，太大则容易编码无关噪声。
理解FSQ有助于理解潜在编码的离散化过程及其对模型性能的影响
ControlNet
ControlNet是一种条件控制机制，允许在预训练的扩散模型中添加额外的条件输入（如边缘图、姿态图等）来引导生成过程。本文借鉴ControlNet的思想，将VQ-VAE解码器重构的低保真运动视频作为条件输入，通过梯度停止的分支注入VDM。这种设计为VDM提供了粗略的时间线索（如手部运动、物体位移），使其能够专注于精炼视觉外观，而无需从零开始推断运动。梯度停止确保解码器的噪声不会反向传播到潜在编码的学习过程中。
ControlNet机制是dLDM稳定训练和高质量输出的关键设计
研究动机
当前AI模型主要从大规模文本数据学习知识，但文本无法完全捕捉真实视觉世界的丰富信息，包括世界动力学、空间关系和物理规律。现有的视频生成模型（如Wan 2.2 14B、HunyuanVideo 13B）虽然能够生成高保真视觉细节，但在长时序任务中表现不佳：在Video-CraftBench的纸飞机折叠任务中，这些模型在第1步达到68-81%的成功率，但到第4步成功率降至10.6%以下，完全无法完成后续步骤。即使提供了详细的文本指令进行训练和推理，现有模型仍然无法从真实视频中学习复杂的长时序知识。原始VideoWorld在合成环境中表现良好，但在真实场景中出现严重的外观漂移、错误动作和环境不一致问题，无法将学到的知识迁移到新环境中。
本文的目标是本文的核心目标是探索如何从无标签的真实世界视频中直接学习可迁移的知识，用于复杂长时序任务。具体而言，作者希望：第一，证明AI模型能够仅从视觉信号中学习任务规则、推理和规划能力；第二，开发一种能够将任务核心动作动力学与视觉外观解耦的方法，使学到的知识能够迁移到不同外观的新环境中；第三，在真实世界的手工制作任务（如纸张折叠、积木搭建）和机器人操作任务（CALVIN基准）上验证所学知识的有效性和迁移性。
与已有工作不同的是，本文的独特切入角度在于对动力学与外观解耦的深入分析和系统性解决。作者发现现有方法失败的根本原因在于动作动力学与视觉外观的纠缠：原始VideoWorld学到的潜在编码包含了大量无关的视觉细节（如背景运动、光照变化、纹理、相机位移），使其对环境变化敏感。本文提出的核心洞察是：应该将外观建模委托给预训练的视频扩散模型，让潜在编码专注于捕捉任务相关的动力学。这种设计使得同一动作在不同环境中的潜在表示高度一致，实现了真正的跨环境迁移。与现有工作不同，本文不是简单地增加模型容量或数据规模，而是通过架构设计从根本上解决动力学-外观纠缠问题。
核心方法
VideoWorld 2的整体架构包含三个核心组件：动力学增强的潜在动力学模型（dLDM）、自回归变换器和预训练的视频扩散模型。直觉上，视频可以看作世界状态转换的演示轨迹，包含了底层的动作策略。本文的核心思想是将视频中的信息分解为两个部分：任务相关的动力学（由潜在编码捕捉）和视觉外观（由VDM建模）。训练分为两个阶段：第一阶段，dLDM将视频的未来视觉变化压缩成紧凑的潜在动力学编码；第二阶段，自回归变换器学习预测这些编码序列，从而掌握任务的长期模式和策略。在推理时，给定新环境的单张输入图像，变换器预测未来潜在动力学，dLDM将其解码为连贯的长时序执行视频。这种设计使得VideoWorld 2能够在未见过的环境中迁移学到的动力学，执行训练中未观察到的扩展动作序列。
本文的核心创新是动力学增强的潜在动力学模型（dLDM），其本质区别在于通过引入预训练VDM作为外观先验来实现动力学与外观的解耦。在原始VideoWorld中，LDM使用自身的解码器同时负责动力学编码和外观重建，导致潜在编码被迫编码大量视觉细节。dLDM的关键机制是用预训练VDM替换原始LDM解码器：VDM负责高保真外观重建，而LDM编码器和可学习查询嵌入专注于捕捉任务相关的视觉变化。具体实现中，VQ-VAE编码器将视觉变化压缩为离散编码，这些编码通过投影层和因果交叉注意力注入VDM。同时，VQ-VAE解码器重构的低保真运动视频通过ControlNet-like分支为VDM提供粗略时间线索。这种设计的直接效果是：潜在编码不再需要编码细粒度视觉细节，转而专注于简洁、语义有意义且可迁移的动作表示。实验表明，使用VDM后，同一动作在不同环境中的潜在表示更加一致，UMAP可视化显示更紧密的类内对齐和更低的跨环境方差。
方法步骤详情
VideoWorld 2的完整方法包含以下步骤：第一，因果VQ-VAE编码器将输入视频片段 x 映射为特征序列 f_0:K，其中 K = 1 + floor((T-1)/s)，s 是时间下采样步长。第二，定义 N 个可学习查询嵌入 q = {q_n}，这些查询通过交叉注意力捕捉特征序列中的变化信息，产生连续表示 z，然后通过FSQ量化为离散编码。第三，VQ-VAE解码器使用初始帧特征 f_0 和量化后的 z 重构后续帧，通过重构损失 L_rec 进行训练。第四，预训练VDM接收三个输入：初始帧、低保真解码器输出和潜在编码，生成高保真未来帧，通过去噪损失 L_denoise 训练。第五，自回归变换器接收初始帧和任务指令，学习预测潜在编码序列，通过交叉熵损失 L_CE 训练。训练策略上，首先使用原始重构目标进行短时热身，使编码快速学习压缩视觉变化；然后切换到解耦方案，停止解码器梯度以防止噪声注入。推理时，变换器自回归预测潜在编码，dLDM解码为连贯视频。
技术新颖性
VideoWorld 2的技术新颖性体现在多个层面。首先，与现有潜在动作模型（如Moto、AdaWorld、LAPA）不同，本文首次将预训练VDM作为外观先验引入潜在动力学建模，实现了动力学与外观的显式解耦。这些现有方法依赖标准重构解码器，无法有效分离任务相关动作与无关外观细节。其次，与CoLA等同期工作相比，VideoWorld 2不仅限于短时2帧转换，而是建模多步长时序动力学，并重用VQ-VAE解码器输出提供结构化时间线索，这对于长时序任务至关重要（消融实验显示20%的性能提升）。第三，与传统解耦工作（用于风格迁移或视觉编辑）不同，本文的解耦目标是减少任务无关信息以学习可迁移视觉动力学，这是一个更严格的目标。第四，梯度停止的ControlNet-like分支设计防止了VQ-VAE解码器的噪声干扰潜在编码学习，同时保留了运动条件信息。第五，本文提出了Video-CraftBench基准，首次系统性评估从真实视频中学习长时序、细粒度手工制作任务的能力。
实验结果
VideoWorld 2在Video-CraftBench和CALVIN两个基准上取得了显著成果。在Video-CraftBench上，仅使用训练数据（无大规模预训练）时，VideoWorld 2在纸折叠任务的最终步骤达到68.8%的成功率，而VideoWorld仅为23.8%，提升约190%；在积木搭建任务上达到81.5%，相比VideoWorld的33.9%提升约140%。视觉质量方面，SSIM达到0.770，LPIPS降至0.205，均优于所有基线。结合OpenX大规模数据预训练后，最终步骤成功率进一步提升至72.3%，积木任务达到85.8%。在CALVIN机器人操作基准上，域内潜在预训练使VideoWorld 2在5任务序列上的平均长度达到1.87，接近使用完整动作标签训练的Oracle模型（2.36）。跨域预训练（OpenX到CALVIN）后，平均长度达到2.88，显著优于LAPA的2.51和直接视频预训练的2.46。消融研究验证了各组件的有效性：引入VDM提升约30%成功率，梯度停止提升约20%，ControlNet分支提升约20%和0.9 LPIPS。码本大小1000和查询嵌入长度N=4提供了最佳性能平衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Video-CraftBench 纸折叠（最终步骤） | Sequential Success Rate Step 7 | 68.8%（仅Craft训练）/ 72.3%（OpenX+Craft） | VideoWorld: 23.8% / 31.9% | 提升约190% / 127% |
| Video-CraftBench 积木搭建 | Block Success Rate (Human) | 81.5%（仅Craft训练）/ 83.0%（OpenX+Craft） | VideoWorld: 33.9% / 52.7% | 提升约140% / 58% |
| Video-CraftBench 视觉质量 | LPIPS | 0.205 | VideoWorld: 0.351 | 降低42% |
| CALVIN 跨域预训练 | Avg. Len (5-task sequence) | 2.88 | LAPA: 2.51, 视频预训练: 2.46 | 提升15% / 17% |
| CALVIN 域内预训练 | Avg. Len (5-task sequence) | 1.87 | 无预训练: 1.11 | 提升68% |
局限与改进
本文存在几个方面的局限性。首先，作者承认VDM仅能处理93帧（约5秒）的片段，完整任务序列可能包含数千帧，需要通过自回归方式逐段生成，这会导致VDM固有的重建噪声随时间累积，可能出现光照、纹理或颜色漂移等视觉伪影。其次，Video-CraftBench的规模相对有限（约7小时、9.5k片段），对于大规模预训练的验证还不够充分。第三，当前方法在积木搭建任务上的表现（81.5%）优于纸折叠（68.8%），但仍有提升空间，特别是对于更复杂的多步操作。第四，消融研究显示码本大小对性能影响显著，当前选择的1000是针对Video-CraftBench的最优值，可能不适用于其他任务类型。从独立观察来看，本文的评估主要集中在有限的任务类型上，对于更广泛的真实世界场景（如烹饪、维修等）的泛化能力尚未验证；此外，计算成本较高，涉及多个大型模型（VDM、AR Transformer）的训练和推理。
独立分析的弱点
本文存在几个值得关注的弱点及其改进方向。首先，长时序生成的质量衰减问题：由于VDM处理93帧限制，完整序列需要自回归拼接，导致累积误差和视觉伪影。改进方向可以探索全局一致性约束或多尺度时间建模，或者开发能够处理更长序列的VDM架构。其次，任务覆盖范围有限：Video-CraftBench仅包含5种手工制作任务，缺乏对更复杂操作（如工具使用、多物体交互）的评估。扩展任务类型和增加数据规模是必要的改进方向。第三，计算效率问题：当前系统涉及多个大型模型，训练和推理成本较高。可以通过模型蒸馏、量化或更高效的架构设计来降低计算需求。第四，语言条件的利用不足：虽然在基线比较中使用了文本描述，但VideoWorld 2本身的语言条件能力未充分探索。增强语言理解和指令跟随能力可以提升模型的实用性。第五，评估指标的局限性：当前主要依赖任务成功率和视觉质量指标，缺乏对动力学编码质量的直接评估。可以开发更细粒度的评估方法，如动作预测准确性、动力学一致性等。
未来方向
作者提出和基于成果可延伸的未来研究方向包括以下几个方面。首先，作者明确指出将dLDM扩展到更大规模是未来工作的重点，这包括使用更多样化的视频数据、更大的模型容量和更长的训练时间，以学习更丰富的世界知识。其次，探索更复杂的任务场景：当前工作聚焦于手工制作和机器人操作，未来可以扩展到烹饪、维修、体育等更广泛的真实世界任务。第三，多模态知识融合：当前方法仅从视觉信号学习，未来可以探索视觉-语言-动作的多模态学习，使模型能够理解语言指令并执行复杂任务。第四，实时应用：当前系统的推理延迟可能限制其在实时场景中的应用，开发高效的推理管线和模型压缩技术是重要的研究方向。第五，迁移学习的理论分析：虽然实验验证了跨域迁移的有效性，但对动力学编码的迁移性缺乏理论解释，建立更严格的理论框架有助于指导未来设计。第六，人机协作：将学到的知识应用于人机协作场景，使机器人能够理解人类演示并执行相应任务。
复现评估
本文在可复现性方面做得较好。作者明确承诺所有代码、数据和模型将开源（all code, data, and models to be open-sourced），这为后续研究提供了良好的基础。Video-CraftBench数据集的构建过程有详细说明，包括数据收集（手动录制和网络来源，约7小时、9.5k片段）、训练/测试划分（测试集约150个视频）和评估协议（7个关键步骤、DINOv2分类器）。技术细节方面，训练配置（Tab. 4）提供了完整的学习率、批次大小、优化器参数等信息。然而，复现仍面临一些挑战：需要多个大型预训练模型（NVIDIA Cosmos AR 4B、Cosmos DiT 2B），计算资源需求较高；数据标注（25k帧的关键步骤标注）需要大量人工；某些实现细节（如ControlNet分支的具体架构）需要进一步澄清。总体而言，开源承诺和详细的技术描述使得复现成为可能，但需要相当的计算资源和工程能力。
论文图表
左侧展示VideoWorld 2的目标：从无标签真实视频中学习可迁移知识，并在新手工制作基准上评估。右侧对比不同框架在长时序纸折叠任务中的成功率，将任务分解为7个关键步骤评估序列成功率。VDM（如Wan2.2 14B）产生高视觉保真度但无法学习任务相关动力学。VideoWorld改善了策略学习但在真实场景中视觉质量差。VideoWorld 2学习更鲁棒的潜在动力学，同时实现显著更好的视觉质量。
这张图展示了论文的核心动机、目标和主要成果，是理解整篇论文的入口。它直观地展示了不同方法在长时序任务上的性能差异，以及VideoWorld 2相对于现有方法的优势。
展示了预训练视频扩散模型、AdaWorld和VideoWorld 1在Video-CraftBench上的失败案例。包括扭曲的手部姿态、错误的物体形状、不一致的环境外观等问题，说明现有方法无法从真实视频中学习可迁移的知识。
这张图提供了现有方法局限性的直观证据，帮助理解为什么需要VideoWorld 2的新方法。