面向机器人控制的因果世界建模 Causal World Modeling for Robot Control
提出LingBot-VA自回归扩散框架，统一视频动态预测与动作推理实现闭环机器人操控
前置知识
Vision-Language-Action (VLA) 模型
VLA模型是一种将视觉感知、语言理解和动作执行统一到单一神经网络的端到端机器人控制范式。它接收视觉观察和语言指令作为输入，直接输出机器人动作序列。典型代表包括π0、OpenVLA等。这类模型通过大规模机器人演示数据进行模仿学习，将高层语义理解与低层运动控制耦合在同一表示空间中。然而，这种耦合设计要求模型同时学习场景理解、物理动力学和电机控制，导致样本效率低下和泛化能力受限。
本文的核心动机正是要解决VLA模型中视觉理解与动作预测的耦合问题，通过引入世界建模实现解耦。
Flow Matching（流匹配）
Flow Matching是一种连续时间生成建模框架，通过学习从简单源分布（如高斯噪声）到目标数据分布的连续流变换来生成样本。与扩散模型类似，它定义了时间依赖的向量场，描述粒子从噪声流向数据的瞬时速度。训练时通过最小化预测速度场与真实速度的均方误差，推理时通过求解常微分方程（ODE）从噪声生成数据。相比传统扩散模型，Flow Matching提供了更简洁的数学框架和更稳定的训练过程。
LingBot-VA采用Flow Matching作为生成框架，通过自回归方式生成视频和动作token的块序列，是整个方法的技术基础。
Mixture-of-Transformers (MoT) 架构
MoT是一种多模态Transformer架构，为不同模态的token维护独立的参数空间，同时通过交叉注意力机制实现模态间的信息交互。在LingBot-VA中，视频流和动作流各自拥有独立的QKV投影矩阵，保持各自特征空间的独特性。动作token先通过线性层投影到视频维度参与联合自注意力计算，再通过残差连接投影回原始维度。这种设计既允许视频和动作通过注意力相互影响，又防止了模态特定特征表示之间的干扰。
MoT架构是实现视频-动作统一建模的关键技术，使得两个模态既能相互条件化又能保持各自特性。
KV Cache（键值缓存）
KV Cache是Transformer推理中的重要优化技术，在自回归生成过程中缓存历史token的键值对，避免对已处理token的重复计算。在LingBot-VA中，由于采用自回归因果注意力，每个预测步骤都依赖完整的观察和动作历史。通过KV Cache，模型只需对新token进行完整的注意力计算，而历史token的键值对被复用，大幅降低了计算开销。同时，KV Cache自然地保持了长期记忆，避免了chunk-based方法的记忆丧失问题。
KV Cache不仅提供了推理效率，更重要的是为模型提供了持久记忆能力，这对长时程任务至关重要。
逆动力学模型（Inverse Dynamics Model, IDM）
逆动力学模型是一种从状态转换推断动作的模型，给定当前状态和下一状态，预测导致该状态转换的动作。与直接从观察预测动作的前向策略不同，IDM通过观察目标状态来反推所需动作。在LingBot-VA中，逆动力学模型接收预测的未来视觉状态、观察历史和动作历史作为输入，解码出相应的机器人动作。这种设计将视觉动态预测与动作推理解耦：视频世界模型负责预测视觉未来，逆动力学模型负责将视觉预测转化为可执行动作。
逆动力学是本文方法的核心设计，实现了视觉动态学习与动作推断的解耦，使模型能分别利用大规模视频数据和机器人演示数据。
研究动机
现有VLA模型采用前馈范式，将当前观察直接映射到动作序列，要求单一神经网络同时学习视觉场景理解、物理动力学和运动控制。这种表示纠缠导致了几个关键问题：首先，在样本效率方面，模型需要从配对的观察-动作数据中学习异构知识——从高维视觉语义到低维运动命令，这种压缩学习过程效率低下；其次，在泛化能力方面，没有显式的环境演化建模，反应式策略可能依赖模式匹配而非对物理动力学的原则性理解；第三，在闭环控制方面，现有视频世界模型面临三个主要限制：反应性差距（chunk/开环生成无法融入实时反馈）、有限的长期记忆（chunk间缺乏持久缓存）和因果性问题（双向注意力违反物理现实的因果性）。
本文的目标是本文旨在提出一个自回归扩散世界模型框架，通过统一的视频-动作建模解决上述问题。具体目标包括：（1）建立视频世界模型作为机器人学习的独立基础范式，与视觉-语言预训练并列；（2）实现视觉动态预测与动作推断的架构统一，同时保持概念上的区分；（3）通过因果注意力和KV Cache提供持久记忆和闭环控制能力；（4）通过异步推理实现实时部署；（5）在长时程操控、数据效率和新场景泛化方面取得显著改进。
与已有工作不同的是，本文的独特切入角度在于强调物理世界的因果性和自回归性——当前状态仅依赖过去，未来在发生前不可观测。现有方法要么采用双向扩散在segment内生成（违反因果性），要么采用开环生成（无法融入实时反馈），要么缺乏跨chunk的持久记忆。LingBot-VA抓住了这个被忽视的关键点：将视频和动作token交织成单一自回归序列，通过因果注意力掩码确保预测的视觉状态和动作命令都受先前状态约束。这种设计天然对齐物理动力学的时间箭头，同时通过KV Cache保持长期上下文，避免chunk-based方法的记忆丧失问题。
核心方法
LingBot-VA的核心思想可以类比为一个有预见性的操控者：不是看到什么就做什么，而是先想象动作会导致什么样的视觉变化，然后根据这个想象来规划实际动作。技术上，这分为两个阶段：第一阶段是视觉动态预测，给定观察历史预测未来视觉观察；第二阶段是逆动力学，从期望的视觉转换推断动作。这种方法将视觉动态学习与动作推理解耦——视频世界模型可以从大规模视频数据学习物理先验，逆动力学模型只需要机器人演示来将视觉预测落地为可执行动作。整体架构采用双流Mixture-of-Transformers，视频流初始化自Wan2.2-5B（大规模预训练视频生成模型），动作流共享相同深度但宽度显著减小（$d_a \ll d_v$），这种非对称设计基于动作分布本质上比视觉数据更简单的观察。
本文最本质的创新是将视频和动作token交织成单一自回归序列，在统一的生成过程中同时进行潜在想象和动作推断。与已有方法的关键区别在于：（1）不同于将视频预测与动作推断解耦的方法（如先生成视频再单独训练动作解码器），LingBot-VA让两者在每个自回归步骤中相互条件化——视频流通过流匹配迭代去噪预测未来视觉状态，同时动作流解码相应动作，两个流可以互为条件；（2）不同于chunk-based双向扩散方法（如UVA、UWM），本文采用严格因果注意力掩码，确保每个token只能关注时间序列中更早的token，尊重物理动力学的因果结构；（3）通过KV Cache保持完整的交互历史，避免chunk间记忆断裂。这种统一序列设计还自然支持teacher forcing训练：将交织的视频-动作序列视为单一序列，用标准下一个token预测进行训练，类似于NLP中的语言建模。
方法步骤详情
方法流程包括以下关键步骤：（1）状态编码：使用因果视频VAE将视觉观察压缩为潜在token $z_t = E(o_t | o_{<t}) \in \mathbb{R}^{N \times C}$，通过轻量级MLP将动作向量投影为token嵌入 $a_t \in \mathbb{R}^D$；（2）视频稀疏化：时间下采样4倍，每个视频帧关联$\tau=4$个连续动作，形成统一序列 $[z_t, a_{t,1}, a_{t,2}, ..., a_{t,\tau}, z_{t+1}, ...]$；（3）MoT处理：视频和动作token在每层由独立的Transformer块处理，通过跨模态注意力融合，动作token先投影到视频维度参与联合自注意力，再通过残差连接投影回原维度；（4）自回归生成：每个步骤通过条件流匹配预测下一个chunk的K个视频帧 $o_{t+1:t+K} \sim p_\theta(\cdot | o_{\leq t})$，chunk内token并行生成，chunk间保持因果结构；（5）逆动力学解码：从预测的视觉状态 $\hat{z}_{t+1:t+K}$ 推断动作 $a_{t:t+K-1} \sim g_\psi(\cdot | \hat{z}_{t+1:t+K}, z_{\leq t}, a_{<t})$；（6）噪声历史增强：训练时以0.5概率对视频历史添加噪声，使动作解码器能从部分噪声表示中预测动作，推理时只需去噪到$s=0.5$，将视频生成步骤减半。
技术新颖性
LingBot-VA的技术新颖性体现在多个层面。首先，在架构设计上，它首次将大规模预训练视频生成模型（Wan2.2-5B）与动作流通过MoT架构统一，采用非对称容量设计（视频维度3072，动作维度768），并通过精心设计的初始化策略（从预训练视频权重插值并缩放$\alpha = \sqrt{d_v/d_a}$）确保训练稳定性。其次，在生成范式上，它开创性地将自回归因果结构引入视频-动作联合生成，不同于现有chunk-based方法的双向注意力，严格遵守物理因果性。第三，在训练策略上，噪声历史增强是一种巧妙设计，利用动作解码不总是需要像素完美重建的洞察，通过在训练时随机增强视频历史噪声，使模型能在推理时进行部分去噪，显著降低计算开销。第四，在部署策略上，异步推理管道与前向动力学模型（FDM）grounding相结合，解决了朴素异步实现中模型倾向于延续幻觉视频而忽略真实观察的问题。
实验结果
LingBot-VA在多个维度上展示了卓越性能。在真实世界部署中，该方法在六类多样化操控任务上持续达到最先进水平，包括长时程任务（Make Breakfast、Unpack Delivery）、精密任务（Insert Tubes、Pick Screws）和可变形物体操控（Fold Clothes、Fold Pants）。以Make Breakfast任务为例，LingBot-VA达到97.0%的进度分数和75.0%的成功率，而π0.5仅为73.0%进度分数和70.0%成功率。在Fold Pants任务中，改进更为显著：LingBot-VA达到76.7%进度分数和70.0%成功率，而π0.5仅为30.0%进度分数和30.0%成功率。在RoboTwin 2.0仿真基准测试中，LingBot-VA在Easy设置下平均成功率达到92.9%，Hard设置下达到91.6%，显著优于π0.5（Easy 82.7%，Hard 76.8%）。值得注意的是，随着任务时程增加，改进幅度更加明显：在Horizon=3的任务上，LingBot-VA相比次优方法取得+8.2%（Easy）和+9.1%（Hard）的提升。在LIBERO基准上，LingBot-VA达到98.5%的平均成功率，建立新的最先进水平，特别是在LIBERO-Long上达到98.5%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboTwin 2.0 (50 tasks, Easy) | 平均成功率 | 92.93% | 88.66% (Motus) | +4.27% |
| RoboTwin 2.0 (50 tasks, Hard) | 平均成功率 | 91.55% | 87.02% (Motus) | +4.53% |
| LIBERO (4 suites avg) | 平均成功率 | 98.5% | 98.1% (X-VLA) | +0.4% |
| Make Breakfast (real-world) | 进度分数 | 97.0% | 73.0% (π0.5) | +24.0% |
| Fold Pants (real-world) | 进度分数 | 76.7% | 30.0% (π0.5) | +46.7% |
局限与改进
尽管LingBot-VA取得了显著成果，仍存在一些局限性。首先，计算开销仍然是主要挑战：尽管采用了部分去噪策略和异步推理，自回归视频生成仍然需要多次去噪步骤，推理时使用Euler求解器需要3步视频token（积分到s=0.6）和10步动作token（积分到s=1.0），这比纯VLA模型的单次前向传播要慢。其次，模型规模较大（5.3B参数），其中视频流来自Wan2.2-5B（3072维，30层），动作流虽小（768维）但仍有约350M参数，这限制了在资源受限场景的部署。第三，训练数据需求较大：预训练使用了约16K小时的机器人操控数据，虽然post-training只需50个演示，但预训练阶段的数据和计算成本很高。第四，视频压缩可能丢失关键信息：使用4×16×16的压缩比将视觉观察编码为192个空间token，对于需要精细视觉反馈的任务（如亚毫米级精密装配），这种压缩可能不够。第五，当前模型仅支持视觉输入，未整合触觉、力觉等其他模态信息，对于需要复杂接触动力学的任务可能受限。
独立分析的弱点
从独立分析角度看，LingBot-VA在以下几个方面存在改进空间。首先，在视频压缩效率上，当前使用因果视频VAE的4×16×16压缩比仍然产生192个空间token/帧，对于实时控制场景计算负担较重。改进方向可以探索更激进的压缩方案，如学习任务相关的稀疏表示或采用分层压缩策略，在保持动作预测精度的同时减少视觉token数量。其次，在动作流容量设计上，虽然论文基于动作分布本质上更简单的假设将动作流设计为视频流的1/4宽度，但这种假设在高度动态或接触密集的任务中可能不成立。可以考虑自适应容量分配，根据任务复杂度动态调整动作流的表达能力。第三，在异步推理的FDM grounding步骤中，需要额外的前向动力学预测来对齐真实观察，这增加了推理延迟。可以探索更轻量级的观察对齐机制，如学习紧凑的观察差异表示。第四，当前模型的chunk大小在训练时从[1,4]随机采样，推理时固定为4，但最优chunk大小可能因任务特性而异。可以开发自适应chunk大小选择策略，根据任务进展和环境反馈动态调整。
未来方向
作者在结论中提出了两个重要的未来方向：开发更高效的视频压缩方案以减少计算开销，以及整合多模态传感输入（触觉、力觉、音频）以实现更鲁棒的操控。基于本文成果，还可以延伸以下研究方向：（1）将因果世界建模范式扩展到更广泛的机器人任务，如移动操控、导航和灵巧手操作，验证其通用性；（2）探索视频世界模型的层次化规划能力，从高层子目标生成到底层动作执行的多尺度时序推理；（3）利用世界模型的想象能力进行数据增强，在想象的视觉轨迹上训练策略，减少对真实演示数据的依赖；（4）研究因果世界模型的可解释性，通过分析注意力模式和预测的视觉状态来理解模型的决策过程；（5）将本文的自回归因果结构与强化学习结合，利用世界模型进行模型预测控制或基于模型的策略优化。
复现评估
LingBot-VA在复现性方面表现良好。代码和模型已在GitHub（https://github.com/robbyant/lingbot-va）和HuggingFace（https://huggingface.co/robbyant/lingbot-va）公开发布，提供了完整的训练和推理代码。数据方面，论文使用了六个公开可用的机器人操控数据集（Agibot、RoboMind、InternData-A1、OXE、UMI Data、RoboCOIN），加上内部收集的演示数据，总计约16K小时。然而，复现面临一些挑战：（1）计算资源需求较大，预训练使用了1.4T token，需要大规模GPU集群；（2）视频流基于Wan2.2-5B预训练模型，需要访问该模型权重；（3）后训练阶段虽只需50个演示，但数据质量和任务覆盖对性能影响显著。对于资源有限的研究者，可以考虑从公开的预训练LingBot-VA模型出发，仅进行任务特定的后训练（50-100个演示，3K步微调），这在论文中已证明能取得不错的效果。
论文图表
