Olaf-World：为视频世界建模定向潜在动作

通过序列级控制-效果对齐学习可迁移的潜在动作，实现跨场景零样本动作转移

前置知识

潜在动作模型 (Latent Action Model, LAM)

潜在动作模型是一类从无标签视频中推断隐式控制信号的框架。其核心思想是：给定两帧之间的转换，一个逆动力学编码器从观测转换中推断出潜在动作，然后一个前向解码器利用该潜在动作预测下一帧。这样，模型在没有显式动作标签的情况下，自动发现了一个控制接口。常见的参数化方式包括离散 VQ 编码和连续 beta-VAE 编码。

本文的核心工作就是改进潜在动作模型的训练目标，使其学到的潜在动作在不同视觉场景下保持语义一致，因此理解 LAM 的基本框架是读懂本文的前提。

跨上下文不可辨识性 (Cross-context non-identifiability)

这是本文识别出的一个核心理论问题。由于标准的 LAM 训练只在单个视频片段内进行重建，不同上下文之间的潜在空间没有对齐约束。论文在附录 A 中给出了形式化证明：对于任意双射族，将编码器和解码器进行上下文相关的重参数化不会改变训练损失。这意味着同一个语义动作在不同上下文中可以映射到完全不同的潜在方向，破坏了跨场景的可迁移性。

这是本文的理论动机核心。理解这个问题才能理解为什么需要 SeqDelta-REPA，以及它为什么能从根本上解决问题。

表示对齐 (Representation Alignment)

表示对齐是一类将生成模型的内部特征与预训练自监督编码器的特征相匹配的技术。在图像生成领域，REPA 等方法通过将 DiT 的内部状态与 DINO 等编码器的空间特征对齐来提升训练效率和生成质量。在视频领域，VideoREPA 等方法进一步引入了时序结构对齐。这些方法的核心思想是：预训练编码器已经学到了丰富的语义表示，利用它们可以为生成模型提供更好的监督信号。

本文的 SeqDelta-REPA 正是表示对齐技术在潜在动作学习中的创新应用，但不是简单的特征对齐，而是将潜在动作方向与时序特征差异对齐。理解表示对齐的一般范式有助于把握本文的技术新颖性。

V-JEPA 2 视频编码器

V-JEPA 2 是 Meta 提出的自监督视频预训练模型，采用 ViT-Giant/16 架构，通过掩码自编码的方式在大规模视频数据上预训练。它输出空间-时序视觉 tokens，经过空间池化后得到每帧的描述符。本文使用冻结的 V-JEPA 2 作为效果教师，其时序特征差异自然地抑制了静态外观信息、强调了动态变化，为潜在动作对齐提供了稳定的跨场景参考。

V-JEPA 2 的时序特征差异是 SeqDelta-REPA 的核心参考信号，理解其特性对理解方法设计至关重要。

流匹配 (Flow Matching)

流匹配是扩散模型的一种高效替代方案，通过学习一个向量场将噪声分布直接映射到数据分布。与扩散模型逐步去噪不同，流匹配定义了一条从噪声到数据的直线路径，训练模型预测这条路径上的速度场。本文使用流匹配目标训练 Olaf-World 的视频生成骨干网络。

Olaf-World 的世界模型基于 DiT 架构和流匹配训练，理解这一训练范式有助于理解本文的第二阶段如何利用学习到的潜在动作进行条件生成。

研究动机

构建动作可控的视频世界模型是实现规划和交互式模拟的关键，但其规模化扩展受限于动作标签的稀缺性。收集帧级对齐的动作标注成本高昂，且通常绑定到特定领域或控制接口（如 Unreal Engine、Minecraft），严重限制了模型的泛化能力。潜在动作学习虽然提供了可扩展的替代方案，但现有方法存在两个根本性的失败模式。第一，逆动力学编码器容易发生捷径学习：由于后验分布以下一帧为条件，表达能力强的解码器可以通过编码上下文相关的视觉线索而非可迁移的控制信号来降低重建损失。第二，局部重建目标在不同上下文之间是不可辨识的：由于训练是隔离在各个片段内的，模型没有机制去约束不同场景使用共享的潜在坐标系，导致同一个语义动作在不同环境中可以对应完全不同的潜在方向。

本文的目标是本文的具体目标是：(1) 形式化分析潜在动作学习中的跨上下文不可辨识性问题，证明标准局部重建目标为何无法学习可迁移的控制接口；(2) 提出一种新的序列级对齐目标 SeqDelta-REPA，通过将潜在动作锚定到冻结自监督视频编码器的时序特征差异上，鼓励跨上下文的语义一致性；(3) 基于学习到的结构化潜在动作空间，构建 Olaf-World 流水线，实现从大规模被动视频中预训练动作可控的视频世界模型，支持零样本动作跨场景转移、最少仅需 1 分钟标注数据的高效适应、以及对未见场景的更好泛化。

与已有工作不同的是，本文的独特切入角度在于一个关键洞察：虽然显式动作标签不可用，但控制的语义效果在视频中是可观测的，并且可以作为共享参考。现有方法主要通过潜在空间约束或强调运动的训练目标来缓解问题，但这些方法仍然在孤立片段上操作，无法从根本上强制潜在动作语义在不同环境间保持一致。本文则从控制-效果的角度出发：两个不同上下文中执行相同底层动作的转换，应该在特征空间中产生相似的语义变化。通过将集成的潜在动作方向与这种效果方向对齐，SeqDelta-REPA 提供了一个全局参考，从根本上解决了跨上下文的坐标系不一致问题。

核心方法

Olaf-World 的方法可以用一个直觉来理解：想象两个人分别在纽约和东京的街头拍摄视频，他们都执行了向右转头的动作。虽然两地的街景完全不同，但向右转头这个动作所引起的视觉变化方向在语义上是一致的。本文利用了一个冻结的自监督视频编码器（V-JEPA 2）来捕捉这种跨场景一致的变化方向，然后要求学习到的潜在动作的方向与这种变化方向对齐。技术路线上，整个流水线分为两个阶段：第一阶段，训练一个潜在动作模型（LAM），使用 beta-VAE 重建损失加上 SeqDelta-REPA 对齐损失，学习一个结构化的、跨上下文一致的潜在动作空间；第二阶段，用训练好的冻结 LAM 从无标签视频中提取潜在动作序列，将其作为统一的控制接口，训练一个动作条件化的视频世界模型。

SeqDelta-REPA 的核心创新点与已有方法的本质区别在于：它不是对齐特征本身（feature-to-feature alignment），而是对齐特征的时序差异（control-to-effect alignment）。具体来说，给定一个视频片段，首先通过冻结的 V-JEPA 2 编码器提取每帧描述符，然后计算效果方向作为时序差异的平均值。这个时序差异天然地抑制了静态空间细节、强调了动态变化，因此在不同上下文中保持稳定。同时，将潜在动作序列通过可训练的投影头映射到编码器特征空间，得到控制方向。最终通过余弦相似度进行对齐。这种控制-效果对齐的关键优势在于：它不要求不同上下文的潜在动作数值相同，而是要求它们产生的语义效果方向一致，从而从根本上解决了跨上下文不可辨识性问题。

方法步骤详情

方法分为以下步骤：(1) 潜在动作模型训练：给定视频片段（窗口大小 K=16），因果逆动力学编码器为每个转换推断潜在动作（维度 32），前向解码器预测下一帧。使用 beta-VAE 损失进行重建，同时通过 SeqDelta-REPA 损失将集成的潜在动作方向与 V-JEPA 2 的效果方向对齐。编码器和解码器均为 16 层 Transformer，投影头为 3 层 MLP。训练 100 个 epoch，约 146k 步，在 8xH200 GPU 上耗时约 4.5 天。(2) 世界模型预训练：使用冻结的 LAM 从无标签视频中提取每帧潜在动作，将每 4 个连续步骤的动作分组为一个潜在时间条件向量。在 SkyReels-V2-1.3B I2V DiT 骨干上，通过线性投影将潜在动作注入到扩散时间步嵌入流中，映射为每块 AdaLN-Zero 调制参数。使用流匹配目标训练 10k 步。(3) 特定世界适应：在目标交互环境中，学习一个动作适配器将环境特定动作映射到潜在动作空间。对于离散动作集，可实现为嵌入表，初始化为类级原型。同时使用 LoRA（秩 16）微调骨干网络。

技术新颖性

SeqDelta-REPA 的技术新颖性体现在三个层面。第一，对齐目标的本质区别：已有表示对齐方法进行的是特征到特征的对齐，即将生成模型的内部状态与编码器的空间特征直接匹配，目的是提升合成质量。而 SeqDelta-REPA 进行的是控制到效果的对齐，即将集成的潜在控制方向与语义变化方向匹配，目的是学习跨上下文一致的动作语义。这是两个完全不同的对齐范式。第二，利用时序差异作为参考信号：时序特征差异天然地过滤掉静态外观信息，只保留动态变化，这使得参考信号在不同上下文中保持稳定。消融实验证实了这一点：移除时序差异会导致跨域 Macro-F1 从 0.6250 显著下降到 0.5287。第三，序列级聚合：不是对每个单独的转换进行对齐，而是对整个窗口的潜在动作进行集成后再对齐，这提供了更稳定的梯度信号。

实验结果

论文通过三个核心研究问题验证了方法的有效性。在 RQ1（潜在空间结构）中，线性探测实验显示 Olaf-World 在域内 Macro-F1 达到 0.8138（1st-P）和 0.8256（3rd-P），大幅超越 AdaWorld 的 0.6004 和 0.4827；跨域探测同样显著领先，1st-P 到 3rd-P 从 0.4820 提升到 0.6250，3rd-P 到 1st-P 从 0.4999 提升到 0.5904。跨域动作相似度矩阵进一步表明 AdaWorld 的原型高度相似，而 Olaf-World 呈现出明显的对角主导结构。在 RQ2（零样本动作转移）中，定性结果显示 AdaWorld 在跨场景转移时常出现时间衰减、主体丢失和轨迹漂移，而 Olaf-World 能更好地保持场景一致性。在 RQ3（世界模型适应）中，数据高效适应实验表明，在 0/1/50 个适应视频的设置下，Olaf-World 在所有域上均取得最低的 RPE-trans 和 RPE-rot。例如，仅用 1 个视频适应时，1st-P 上 RPE-rot 从 AdaWorld 的 0.6420 降至 0.4680（降低 27.1%），3rd-P 上从 0.4659 降至 0.3861（降低 17.1%）。消融研究验证了各组件的贡献：移除时序差异导致跨域 Macro-F1 从 0.6250 降至 0.5287（-15.4%）。

查看结构化数据

任务	指标	本文	基线	提升
跨域线性探测 (1st-P to 3rd-P)	Macro-F1	0.6250	AdaWorld 0.4820	+29.7%
跨域线性探测 (3rd-P to 1st-P)	Macro-F1	0.5904	AdaWorld 0.4999	+18.1%
域内线性探测 (1st-P)	Macro-F1	0.8138	AdaWorld 0.6004	+35.5%
域内线性探测 (3rd-P)	Macro-F1	0.8256	AdaWorld 0.4827	+71.0%
1视频适应 (1st-P)	RPE-rot	0.4680	AdaWorld 0.6420	-27.1%
1视频适应 (3rd-P)	RPE-rot	0.3861	AdaWorld 0.4659	-17.1%
50视频适应 (1st-P)	RPE-rot	0.3785	AdaWorld 0.3834	-1.3%
50视频适应 (3rd-P)	RPE-rot	0.2082	AdaWorld 0.3353	-37.9%
未见场景泛化	RPE-rot	1.2221	AdaWorld 1.7063	-28.4%

局限与改进

论文在附录 E 和 Figure 12 中坦诚地指出了若干局限性。首先，控制-物理不匹配问题：当转移的动作在目标场景中会导致碰撞时，模型可能会幻觉出场景变化来避免碰撞，从而保持预期运动但违反物理合理性。其次，大面积内容揭示时质量退化：对于需要合成大量新可见内容的动作，视频扩展部分可能出现模糊或不一致。第三，事件驱动动作的歧义实现：对于隐含事件的动作，跨上下文转移时不指定入场实体的身份，模型可能将其解释为背景或相机漂移。从独立分析的角度，本文的实验主要在 MIND 数据集的 3D 渲染和城市场景上进行，对于更复杂的自然场景的有效性尚未充分验证。此外，当前的效果信号是单一的全局方向，无法区分不同来源的控制。

独立分析的弱点

本文存在几个值得关注的弱点及其改进方向。(1) 效果信号的粒度不足：当前 SeqDelta-REPA 使用整个窗口的平均时序差异作为单一效果方向，这会混合不同来源的动态。在多实体交互场景中，这种混合可能导致潜在动作无法精确区分不同实体的控制。改进方向是引入分层或因子化的效果编码。(2) 单步级潜在动作的局限：当前每个时间步一个潜在动作，对于需要长时间协调的复合动作，需要精确的序列级规划。论文提到的层次化潜在动作是一个有前景的方向。(3) 参考编码器的依赖性：消融实验显示 DINOv3（纯图像编码器）的效果远差于视频编码器，说明时序建模能力对参考编码器至关重要。改进方向是探索领域自适应的编码器微调策略。(4) LoRA 秩的选择：虽然论文展示了不同秩下的适应效果，但在实际应用中，如何自动选择最优的适应容量仍是一个开放问题。

未来方向

论文提出了多个有前景的未来研究方向。(1) 机器人跨具身迁移：效果对齐的潜在动作可以作为可迁移的技能表示，通过学习具身特定的动作到技能适配器，实现跨具身的知识转移。(2) 物理规则转移：将效果对齐的潜在动作与物理约束相结合，使转移的轨迹在视觉上忠实且物理上合理。(3) 潜在动作空间中的规划：直接在潜在动作序列上进行规划，利用世界模型进行基于想象的搜索或轨迹优化。(4) 潜在动作链作为视觉思维链：将潜在动作序列视为动态的紧凑思维链，可以支持评估、编辑和更高层次的动作和事件推理。(5) 多实体动态与因子化控制：学习实体特定的潜在控制，改善可解释性并支持更丰富的多实体可控世界建模。

复现评估

论文的复现条件相对清晰。代码和项目页面已公开，附录提供了详细的实现细节。数据方面，使用了公开的 MiraData 和 MIND 数据集。算力需求方面，潜在动作模型训练需要 8xH200 GPU 运行约 4.5 天，世界模型预训练需要 4xH200 GPU 训练 10k 步，下游适应则相对轻量。复现难度中等偏高：虽然流水线设计清晰，但涉及多个阶段，且对冻结 V-JEPA 2 编码器有强依赖。好消息是消融实验表明结论不依赖于特定的 LoRA 秩选择，且 V-JEPA 2 和 VideoMAEv2 都能作为有效的参考编码器。

Olaf-World：为视频世界建模定向潜在动作 Olaf-World: Orienting Latent Actions for Video World Modeling