世界链：潜在运动中的世界模型思维 Chain of World: World Model Thinking in Latent Motion
CoWVLA 通过结构-运动解耦的潜在表示统一世界模型与潜在动作，实现高效机器人操控
前置知识
Vision-Language-Action (VLA) 模型
VLA 是一类端到端的多模态 Transformer 模型，将视觉观察（摄像头图像）和语言指令直接映射为机器人动作序列。典型代表包括 RT-2、OpenVLA、π0 等。VLA 的核心思想是把机器人控制问题转化为序列建模问题：输入是图像 token 加文本 token，输出是离散化的动作 token。这种统一框架避免了传统流水线中感知-规划-控制各模块之间的信息损失，但在建模环境动态演化方面能力有限。
本文的核心贡献是改进 VLA 的预训练范式，理解 VLA 的基本架构和训练流程是阅读本文的前提。
世界模型 (World Model)
世界模型是一种让机器人能够想象未来的机制——给定当前状态和一个动作，预测环境会如何变化。在 VLA 领域，世界模型通常通过预测未来视觉帧来隐式学习环境动态。例如 WorldVLA、UniVLA 等方法会在预训练阶段让模型预测未来 5-6 帧图像，从而建立对物理世界的先验知识。这种方法的优势是能学到丰富的世界知识（如物体会下落、门需要拉开），但代价是需要重建大量冗余的背景像素，计算开销极大。
本文的核心动机之一是世界模型的冗余计算问题，理解世界模型的工作原理和局限性是理解本文创新点的关键。
潜在动作 (Latent Action)
潜在动作是一种从视频帧间变化中学习的紧凑抽象表示。它不依赖真实的机器人动作标签，而是通过编码两帧之间的视觉差异来提取运动信息。例如 LAPA、MoTo、TLA 等方法会训练一个编码器，将连续两帧图像压缩成一个低维向量，这个向量就代表了从第一帧到第二帧发生了什么运动。这种方法可以利用大量无标注视频进行预训练，但通常只建模两帧之间的瞬时变化，缺乏对时间连续动态的建模能力。
本文将世界模型和潜在动作的优势结合，理解潜在动作的优缺点是理解本文统一设计动机的基础。
视频变分自编码器 (Video VAE)
视频 VAE 是一种将视频压缩到低维潜在空间的生成模型。它由编码器和解码器组成：编码器将视频帧序列映射为紧凑的潜在表示，解码器从潜在表示重建原始视频。近年来的视频 VAE（如 VidTwin、CMD）引入了结构-运动解耦设计：将潜在空间分为结构成分（编码场景布局和物体外观）和运动成分（编码物体的移动和变化）。这种解耦使得潜在表示更紧凑、更可解释，原本用于视频生成任务。
本文的关键创新是首次将视频 VAE 的解耦潜在空间用作机器人世界模型的运动先验，这是方法论上最核心的借鉴来源。
自回归解码器 (Autoregressive Decoder)
自回归解码器是一种逐 token 生成输出的神经网络架构，每一步的预测都依赖于之前生成的所有 token。在 VLA 中，自回归解码器按顺序生成文本、视觉和动作 token，形成统一的多模态序列建模框架。本文使用的 Transformer 解码器基于 Emu3（一个 8.5B 参数的视觉语言模型），通过因果掩码确保每个 token 只能看到之前的 token，从而支持从初始观察推理未来动态的任务。
本文的 VLA 解码器采用了统一的自回归框架来同时处理视觉 token 和动作 token，理解这种架构有助于把握预训练和微调阶段的序列组织方式。
研究动机
当前 VLA 预训练存在一个根本性矛盾：世界模型方法（如 WorldVLA、UniVLA、FlowVLA）通过预测未来视觉帧来学习环境动态，但这种逐像素重建的方式存在严重的效率问题。以 224x224 分辨率的图像为例，包含 50176 个像素，而机器人手臂在执行抓取任务时，真正发生变化的区域可能不到图像面积的 5%。模型花费大量容量重建天花板、桌面、墙壁等完全静态的背景像素，产生近似平凡的像素复制现象。更严重的是，将图像量化为离散 token 会产生极长的序列——以 VQGAN 编码为例，单帧图像可能产生 256-1024 个 token，预测 5-6 帧意味着序列长度膨胀到数千甚至上万，导致训练效率极低。从认知科学角度看，人类理解世界的方式是推理运动和交互，而非在脑海中重建每一个像素——这种帧预测范式从本质上就与人类认知模式不一致。另一方面，潜在动作方法（如 LAPA、MoTo、TLA）虽然通过编码帧间变化实现了紧凑表示，但它们只关注两帧之间的瞬时差异，缺乏对时间连续动态的建模能力。更关键的是，潜在动作只编码了如何移动，但不包含什么在移动、在哪里移动、移动后场景会如何演变等世界知识，这使得模型在需要理解因果关系的任务中表现受限。
本文的目标是本文的具体目标是建立一种新的 VLA 预训练范式——世界链（Chain of World），将世界模型的时间推理能力和世界知识与潜在动作的紧凑性和可解释性统一起来。具体而言，作者希望：（1）从视频片段中提取连续且紧凑的运动表示，而非逐像素重建帧序列；（2）在潜在空间中建模时间连续的动态演化，而非仅关注两帧之间的瞬时变化；（3）在保持计算效率的同时，让模型能够推理执行某个动作后世界会如何变化；（4）在 LIBERO 和 SimplerEnv 等机器人操控基准上超越现有的世界模型方法和潜在动作方法。从量化指标看，作者希望在保持与潜在动作方法相当的计算效率的同时，达到甚至超越世界模型方法的性能水平。
与已有工作不同的是，本文的独特切入角度在于一个关键洞察：有效的世界建模既需要运动表示的紧凑性（这是潜在动作的优势），也需要帧预测的时间连续性和世界知识（这是世界模型的优势），但现有方法将这两者视为互斥的选择。作者发现，近年来视频生成领域（如 VidTwin、CMD）已经发展出了成熟的结构-运动解耦技术，可以将视频分解为场景结构和运动动态两个独立的潜在成分。本文首次提出将这种解耦的潜在运动空间用作机器人世界模型的运动先验——不是重建整个帧，而是只推理运动变化。这种设计的巧妙之处在于：结构潜在保留了场景布局信息（什么物体在哪里），运动潜在编码了动态变化（物体如何移动），两者结合后模型既能理解场景语义，又能推理运动演化，但不需要重建冗余的背景像素。这就像人类观察世界时，我们不会记住每一帧的每个像素，而是记住场景中有什么以及它们如何运动。
核心方法
CoWVLA 的方法可以用一个类比来理解：想象你在看一段机器人操作视频，你不会记住每一帧的每个像素，而是会注意到桌上有碗和盘子（结构信息）以及机器人手臂向右移动抓起碗（运动信息）。CoWVLA 就是让机器学习模型学会这种先理解场景、再推理运动的能力。技术路线分为三个阶段：首先，使用一个预训练的视频 VAE（VidTwin）作为潜在运动提取器，将视频片段分解为结构潜在变量 z_s 和运动潜在变量 z_m；然后，在预训练阶段，训练 VLA 解码器从语言指令和初始帧推理潜在运动链并预测终端帧，建立动态先验；最后，在协同微调阶段，将潜在动态与离散动作预测对齐，通过联合建模稀疏关键帧和动作序列实现稳定的多步控制。整个框架的核心是单 Q 全窗口设计：在序列中只放置一个可学习的运动查询 token Q，它作为整个时间窗口的动态聚合器，既保持了时间连续性，又大幅降低了计算成本。
本文最核心的创新点是首次将世界模型的时间推理能力与解耦的潜在运动表示相结合，在结构-运动分离的潜在空间中直接进行世界建模。与现有方法的本质区别体现在三个层面：第一，与世界模型方法（如 UniVLA）的区别在于，CoWVLA 不需要重建完整帧序列，而是通过潜在运动 z_m 来思考动态变化——模型学习的是世界如何运动而非世界长什么样。这就像人类回忆一个场景时，我们记住的是发生了什么运动而非每一帧的精确像素。第二，与潜在动作方法（如 LAPA、TLA）的区别在于，CoWVLA 的运动潜在是时间连续的（覆盖整个视频片段的动态演化），而非仅编码两帧之间的瞬时变化。通过在预训练阶段预测终端帧，模型被迫学习从初始状态经过一段时间演化后会到达什么状态，从而建立了对环境因果关系的理解。第三，与 Villa-X 等多帧潜在动作方法的区别在于，CoWVLA 采用单 Q 全窗口设计——整个时间窗口只用一个运动查询 token Q 来聚合动态信息，而非为每对相邻帧生成独立的潜在动作。这种设计既保持了时间连续性，又避免了序列长度膨胀。
方法步骤详情
CoWVLA 的完整方法分为三个阶段：第一阶段是潜在运动提取器的微调。基于预训练的视频 VAE VidTwin，在 237k 机器人视频数据上进行微调。给定一个视频片段，编码器产生潜在张量 z，然后通过两个分支解耦：结构分支使用 Q-Former 聚合全局语义，产生 z_s；运动分支通过卷积和空间平均提取方向性运动嵌入，拼接后形成统一的运动潜在 z_m，其中 D_m = f * d_m * (h_m + w_m)。第二阶段是 VLA 预训练。输入序列为 [T, v1_q, Q, vf_q]，其中 T 是语言指令，v1_q 是初始帧的离散 token，Q 是可学习的运动查询 token，vf_q 是终端帧 token。通过因果掩码确保 Q 只能看到 T 和 v1_q，训练目标是预测潜在运动和重建首尾帧。第三阶段是协同微调。输入序列扩展为交替的关键帧和动作 token，Q 继续聚合动态信息，训练目标包含三项：动作预测损失、潜在运动一致性损失和视觉 token 预测损失。
技术新颖性
CoWVLA 的技术新颖性主要体现在以下几个方面：首先，首次将视频生成领域的结构-运动解耦技术迁移到机器人世界模型中。VidTwin 等视频 VAE 原本为视频压缩和生成设计，本文发现其预训练的运动潜在空间可以作为机器人操控任务的强大动态先验——这在方法论上是一个重要的跨领域迁移。其次，单 Q 全窗口的运动查询设计是独特的。与 Villa-X 为每对相邻帧生成独立潜在动作不同，CoWVLA 在整个时间窗口中只使用一个 Q token，通过 Transformer 的注意力机制让它聚合所有历史信息。这种设计既保持了时间连续性（Q 可以看到所有过去的帧），又避免了序列长度膨胀（Q 只出现一次）。第三，预训练阶段引入终端帧预测作为自监督信号。这迫使模型学习从初始状态经过运动演化后到达什么状态，从而建立了对环境因果关系的理解——这是现有潜在动作方法所缺乏的。第四，协同微调阶段的三项损失设计实现了潜在动态与离散动作的有效对齐。
实验结果
CoWVLA 在多个机器人操控基准上取得了最先进的性能，且在跨域泛化方面表现出显著优势。在 LIBERO 基准上，CoWVLA 的平均成功率达到 95.6%，超越了所有世界模型方法（UniVLA 95.0%、FlowVLA 88.1%、WorldVLA 79.1%）和所有潜在动作方法（TLA 95.2%、villa-X 90.1%）。特别值得注意的是跨域稳定性：TLA 在 LIBERO 上达到 95.2%，但在 SimplerEnv 上骤降至 48.0%；FlowVLA 在 SimplerEnv 上达 74.0%，但在 LIBERO 上仅 88.1%；而 CoWVLA 在两个基准上分别达到 95.6% 和 76.0%，展现出更均衡的跨域表现。在 SimplerEnv-WidowX 基准上，CoWVLA 平均成功率 76.0%，相比 UniVLA（68.7%）提升 7.3 个百分点，比 FlowVLA（74.0%）提升 2.0 个百分点。在 CALVIN 长 horizon 基准上，ABCD 到 D 任务平均长度 4.473（UniVLA 4.398），ABC 到 D 任务 4.211（UniVLA 4.102）。在 SimplerEnv-Google Robot 基准上，平均成功率 60.9%，超越所有基线。消融实验进一步验证了各组件的有效性：世界模型方法（平均 94.2%）优于潜在动作方法（平均 87.7%），而 CoWVLA 的 motion 和 cot 配置达到 94.7%。结构-运动解耦的关键性体现在：仅使用运动潜在（87.7%）明显优于仅使用结构潜在（81.7%）。损失权重分析表明，lambda1 = 0.1（潜在运动损失）和 lambda2 = 0.01（视觉 token 损失）的配置达到最佳性能 95.5%。在计算效率方面，CoWVLA 的 motion 和 cot 配置训练速度为 8 秒每迭代，GPU 内存 42GB，而 UniVLA 为 12 秒每迭代、76GB——CoWVLA 在性能和效率之间实现了更好的平衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO-Spatial | Success Rate | 0.972 | UniVLA 0.960, TLA 0.965, π0 0.968 | +0.4% over π0 |
| LIBERO-Object | Success Rate | 0.978 | UniVLA 0.992, TLA 0.968 | competitive |
| LIBERO-Goal | Success Rate | 0.946 | UniVLA 0.932, TLA 0.956, π0 0.958 | competitive |
| LIBERO-Long | Success Rate | 0.928 | UniVLA 0.914, TLA 0.920, GR00T N1 0.906 | +0.8% over TLA |
| LIBERO Average | Success Rate | 0.956 | UniVLA 0.950, TLA 0.952, π0 0.942 | +0.4% over TLA |
| SimplerEnv-WidowX Average | Success Rate | 0.760 | UniVLA 0.687, FlowVLA 0.740, villa-X 0.625 | +2.0% over FlowVLA |
| CALVIN ABCD→D | Avg. Length | 4.473 | UniVLA 4.398 | +1.7% over UniVLA |
| CALVIN ABC→D | Avg. Length | 4.211 | UniVLA 4.102, TLA 3.800 | +2.7% over UniVLA |
| SimplerEnv-Google Robot | Success Rate | 0.609 | villa-X 0.597, UniVLA 0.449 | +1.2% over villa-X |
局限与改进
作者在论文末尾坦诚地指出了几个局限性。首先，潜在运动空间的质量严重依赖于预训练视频 VAE（VidTwin）的质量和数据分布覆盖范围。当机器人部署到新环境时（如不同的光照条件、不同的物体类型、不同的桌面布局），潜在运动表示可能出现分布不匹配，导致性能下降。其次，模型依赖于一个 8.5B 参数的大型 VLA 骨干网络（Emu3），训练需要 32-64 张 A800 GPU，预训练阶段约 24 小时，协同微调阶段 1-2 天——这对大多数研究团队来说是不小的算力门槛。从独立观察来看，还有几个值得讨论的问题：（1）论文的所有实验都在仿真环境或受控实验室环境中进行，真实世界的复杂性（如光照变化、遮挡、传感器噪声）可能进一步挑战潜在运动表示的鲁棒性；（2）论文没有与最新的 VLA 模型进行对比，这些模型可能具有更强的基线性能；（3）结构-运动解耦的效果在机器人场景中是否总是最优的？在某些高度动态的场景中，结构和运动可能高度耦合，强行解耦可能反而损失信息。
独立分析的弱点
从独立分析的角度，我认为 CoWVLA 存在以下几个值得改进的弱点：第一，潜在运动提取器的领域迁移问题。VidTwin 是在通用视频数据上预训练的，虽然在 237k 机器人视频上进行了微调，但当面对全新的机器人平台（如人形机器人、四足机器人）或全新的任务类型（如柔性物体操作、液体倾倒）时，潜在运动空间可能无法有效编码新的运动模式。改进方向可以是设计自适应的领域迁移机制，或在微调阶段引入对比学习来增强运动潜在的判别性。第二，单 Q 全窗口设计在超长时间任务中的可扩展性存疑。当任务需要 50 步以上的动作序列时，单个 Q token 的信息瓶颈可能成为性能瓶颈。实验中 LIBERO-Long 任务的性能增长在 N 大于 2 后开始下降也暗示了这一点。改进方向可以是引入层次化的运动查询结构，或使用滑动窗口机制。第三，协同微调阶段的损失权重需要针对每个任务单独调优（LIBERO 用 lambda1=0.1, lambda2=0.01，SimplerEnv 用 lambda1=0.1, lambda2=0），这增加了工程复杂度。改进方向可以是设计自适应的损失权重调度策略。第四，论文没有讨论失败案例分析——在哪些具体场景下 CoWVLA 会失败？是运动精度不够还是场景理解不足？这种分析对指导后续工作更有价值。
未来方向
基于 CoWVLA 的研究成果，我认为有以下几个值得探索的未来方向。首先，作者在论文中提到的轻量化架构探索——当前的 8.5B 参数模型和 A800 GPU 需求限制了实际部署，探索知识蒸馏或模型压缩技术来降低推理成本是重要的工程方向。其次，将 CoWVLA 范式扩展到更多机器人任务类型，如导航（需要理解空间动态）、移动操作（需要协调底盘和手臂）、双臂协作（需要建模两个手臂的协调运动）等。第三，利用大量无标注视频数据来增强潜在运动表示。当前的 237k 视频数据集相对有限，如果能利用 YouTube 等平台上的海量机器人操作视频（无需动作标签），可能显著提升运动先验的质量。第四，探索课程学习策略——从简单任务（如单步抓取）到复杂任务（如长 horizon 操作）逐步训练，让模型先建立基本的运动理解再学习复杂的时序推理。第五，将世界链思想与强化学习结合——不仅在潜在空间中预测未来，还利用潜在运动作为奖励信号来引导策略优化。第六，改进运动查询 Q 的设计，例如引入可学习的层次化查询结构，或使用交叉注意力机制让 Q 能够动态关注不同的时间片段。
复现评估
从复现角度来看，CoWVLA 的复现难度中等偏高。有利因素包括：（1）论文提供了详细的超参数设置和训练细节，包括学习率、批次大小、训练步数、损失权重等；（2）使用的组件大多有开源实现——Emu3（8.5B VLM）、VQGAN（视觉 tokenizer）、FAST（动作离散化）、VidTwin（视频 VAE）；（3）评估基准（LIBERO、SimplerEnv、CALVIN）都是公开可用的；（4）项目网站提供了额外信息。不利因素包括：（1）需要预训练的 VidTwin 视频 VAE，虽然有开源权重，但在机器人数据上的微调需要额外工作；（2）VLA 预训练需要 32 张 A800 GPU 训练约 24 小时，协同微调需要 16 张 A800 GPU 训练 1-2 天——这对大多数研究团队是不小的算力门槛；（3）237k 视频数据集的来源涉及多个 OXE 子集和仿真环境，完整复现数据管线需要一定工作量；（4）论文没有提供模型权重或完整的训练代码。总体而言，如果你有充足的 GPU 资源（至少 16 张 A800）和机器人学习经验，在 1-2 周内应该可以复现主要结果。
论文图表
