VLA-JEPA：用潜在世界模型增强视觉-语言-动作模型 VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model
通过无信息泄漏的 JEPA 风格预训练学习动作相关的状态转移语义
前置知识
Vision-Language-Action (VLA) 模型
VLA 是一种将视觉感知、语言理解和动作生成统一在一个框架中的机器人学习范式。它通常以大型视觉语言模型（VLM）为骨干，在机器人演示数据上进行微调，使模型能够根据视觉观察和语言指令输出机器人控制动作。RT-2、OpenVLA、π0 等都是典型的 VLA 模型。这种范式的核心优势在于可以利用互联网规模的视觉语言预训练知识来辅助机器人控制。
本文是对 VLA 范式的改进，理解 VLA 的基本架构和训练方式是理解本文创新点的前提。
Joint-Embedding Predictive Architecture (JEPA)
JEPA 是 Yann LeCun 提出的一种自监督学习架构，核心思想是在潜在空间（latent space）而非像素空间进行预测。与传统的重建方法（如 MAE、VQ-VAE）不同，JEPA 不尝试重建原始像素，而是让编码器将输入映射到潜在表示，然后预测未来帧的潜在表示。这种方法天然对低层噪声具有鲁棒性，鼓励模型学习语义抽象。
VLA-JEPA 的核心设计直接基于 JEPA 架构，理解 JEPA 的'潜在空间预测而非像素重建'这一原则对理解本文方法至关重要。
Latent Action（潜在动作）
Latent action 是从视频帧转换中学习到的紧凑表示，用于描述帧间的状态变化。传统方法通过让模型观察相邻帧来推断出一个低维变量，将其解释为'动作'。这个变量随后可以映射到真实的机器人控制信号。Latent action 的优势在于可以利用大量无动作标签的人类视频进行预训练。
本文分析了现有 latent action 学习方法的四个失败模式，并提出了针对性的解决方案。
Flow Matching（流匹配）
Flow matching 是一种生成模型方法，通过学习一个向量场将简单噪声分布（如高斯分布）逐步变换到目标数据分布。与扩散模型类似，它定义了一个时间依赖的插值过程 $a_t = (1-t)\epsilon + t a_{0:H}$，训练模型预测目标速度场 $(a_{0:H} - \epsilon)$。在推理时，从噪声开始沿向量场积分生成样本。
VLA-JEPA 使用 flow matching 作为动作头来生成连续动作轨迹，理解这一机制有助于理解模型的动作生成过程。
Information Leakage（信息泄漏）
在 latent action 学习中，如果训练设计不当，未来帧的信息可能会通过捷径（shortcut）泄漏到 latent action 的学习过程中。例如，当模型同时接收当前帧和未来帧作为输入来学习'动作'时，它可能直接编码未来帧本身，而不是学习真正的状态转移动力学。这导致学习到的 latent action 语义空洞，对下游控制任务无用。
信息泄漏是本文识别的四个核心问题之一，VLA-JEPA 的'泄漏自由状态预测'设计正是为了解决这个问题。
研究动机
当前基于视频的 latent action 预训练方法存在四个系统性失败模式。第一，像素级目标导致表示偏向外观而非动作：常用策略是用帧差或直接预测未来像素作为监督信号，即使使用 VQ-VAE 等压缩机制，监督信号仍然被视觉上显著变化的纹理、光照、背景所主导，这些因素高方差但低控制价值。第二，真实世界视频放大噪声运动：在人类视频和野外拍摄中，相机运动和非因果背景变化可能比交互引起的状态变化更强烈，帧差目标被激励编码这些噪声信号，使 latent action 沦为噪声运动的编码器。第三，信息泄漏导致 latent action 塌缩为捷径：当训练模块同时接收当前观察和未来观察时，模型可以直接编码未来本身而非学习状态转移，得到的'动作'语义空洞。第四，多阶段训练流程复杂脆弱：许多方法需要三阶段流程（表示预训练→latent action 学习/对齐→策略学习），增加了工程复杂性并引入阶段间不一致。
本文的目标是本文的目标是设计一个统一的预训练框架，使 VLA 模型能够从无动作标签的人类视频中学习到真正动作相关的状态转移语义，同时简化训练流程为简单的两阶段（JEPA 预训练 + 动作头微调），在保持或提升性能的同时避免上述四个失败模式。具体而言，框架需要在 LIBERO、LIBERO-Plus、SimplerEnv 等基准和真实世界任务上展示一致的泛化性和鲁棒性提升。
与已有工作不同的是，本文的独特视角在于抓住了现有方法的根本问题：许多 latent action 目标仍然隐式地锚定在像素变化上，因此学到的动力学虽有预测性但不一定是动作中心的。对于具身控制，最有用的'动作'概念不是像素差异的紧凑描述，而是一个承载价值的潜在状态，它丢弃噪声外观同时保留支配交互下状态演化的因素。这一视角将 JEPA 架构的'潜在空间预测'原则与具身控制的需求自然结合，通过防止未来信息泄漏到预测器中，实现了真正的泄漏自由状态预测。
核心方法
VLA-JEPA 的核心直觉可以用一个类比来理解：想象你在观察别人做菜。传统的 latent action 方法试图从视频的每一帧变化中提取'动作'，但它可能会被镜头抖动、背景变化等噪声干扰。而 VLA-JEPA 的做法是：只看当前画面，然后尝试在脑海中预测下一道菜的状态应该是什么样的——不是预测具体的像素画面，而是预测抽象的状态描述。关键在于，未来的画面只用来检查你的预测对不对，而不是作为输入给你抄答案。这种'闭卷考试'的设计防止了模型偷懒直接编码未来信息。技术路线上，VLA-JEPA 采用 Qwen3-VL 作为 VLM 骨干，V-JEPA2 作为世界状态编码器，通过可学习的 latent action token 来捕获状态转移信息，最后用基于 flow matching 的动作头生成连续动作轨迹。
VLA-JEPA 的核心创新是'泄漏自由状态预测'（leakage-free state prediction）。具体而言，目标编码器（V-JEPA2）从未来帧产生潜在表示作为训练目标，而学生路径（VLM）只看到当前观察——未来信息仅用作监督目标，永不作为输入。通过在潜在空间而非像素空间进行预测，VLA-JEPA 学到的动力学抽象对相机运动和无关背景变化具有鲁棒性。这与现有方法的本质区别在于：LAPA、UniVLA 等方法让模型同时看到当前帧和未来帧来学习 latent action，存在信息泄漏；而 VLA-JEPA 严格隔离了预测路径和监督目标，迫使模型真正学习状态转移动力学。此外，这种设计带来了两个关键好处：（1）语义鲁棒性，因为监督在潜在空间而非像素空间操作；（2）简化的两阶段流程，无需辅助模块或重新定义学习到的表示。
方法步骤详情
VLA-JEPA 的训练分为两个阶段。第一阶段：JEPA 预训练。对于人类视频，输入多视角视频帧序列 $O^v = (I^v_{t_0}, I^v_{t_1}, \ldots, I^v_{t_n})$ 和语言指令 $\ell$。V-JEPA2 编码器 $F(\cdot)$ 将每个视角的帧编码为潜在表示 $s_{t_i} = \|_v F(I^v_{t_i})$，其中 $\|$ 表示向量拼接。VLM 接收初始时间步的多视角观察和语言指令，将可学习的 $\langle\text{latent}_i\rangle$ token 映射为潜在表示 $z_{t_i}$。世界模型 $p_{\theta}^{WM}$ 基于已编码的世界状态序列 $s_{t_0:i}$ 和条件变量 $z_{t_0:i}$ 预测下一组状态 $\hat{s}_{t_{1:i+1}}$。训练目标是 JEPA 对齐损失 $\mathcal{L}_{WM} = \sum_{k=1}^{T} \| \hat{s}_{t_k} - s_{t_k} \|$。第二阶段：机器人数据微调。对于有动作标签的机器人数据，除了继续优化世界模型损失，还加入 flow matching 动作预测。动作头使用 DiT-B 架构，以 latent action token $z_a$ 为条件，通过条件流匹配学习生成动作轨迹 $a_{0:H}$，损失函数为 $\mathcal{L}_{FM} = \mathbb{E} \| v_\theta(a_t, t | z_a) - (a_{0:H} - \epsilon) \|^2$。总损失为 $\mathcal{L} = \mathcal{L}_{FM} + \beta \mathcal{L}_{WM}$。
技术新颖性
VLA-JEPA 的技术新颖性体现在三个方面。第一，泄漏自由的设计原则：与 LAPA（同时编码当前和未来帧）、UniVLA（允许未来上下文影响学习到的动作变量）等方法不同，VLA-JEPA 严格将未来帧信息限制在监督目标中，从架构上杜绝了信息泄漏的可能。第二，统一的单阶段预训练：与之前需要三阶段（表示预训练→latent action 学习→策略学习）的复杂流程相比，VLA-JEPA 只需要 JEPA 预训练加动作头微调，减少了工程复杂性和阶段间不一致。第三，基于 V-JEPA2 的世界状态编码：利用 V-JEPA2 的自监督视频表示能力，结合多视角拼接，将环境动力学显式注入 latent action token，这与依赖帧差或光流约束的方法有本质区别。
实验结果
VLA-JEPA 在多个基准上取得了一致的竞争性结果。在 LIBERO 基准上，VLA-JEPA 达到 97.2% 的平均成功率，在 4 个任务套件中的 2 个取得最佳（Object: 99.6%, LIBERO-10: 95.8%），优于 OpenVLA-OFT (97.1%)、π0.5 (96.9%) 等使用大量机器人数据预训练的模型。在 LIBERO-Plus 鲁棒性基准上，VLA-JEPA 在 7 个扰动维度中的 5 个取得最佳（Language: 85.4%, Light: 95.6%, Background: 93.6%, Layout: 85.1%, Robot: 67.1%），平均成功率达 79.5%，大幅领先 UniVLA (42.9%)、π0 (53.6%) 等基线。这表明 latent action 在处理任务无关扰动方面具有显著优势。在 SimplerEnv 基准上，VLA-JEPA 在 Google Robot 上取得 65.2% 的平均成功率（最佳），在 WidowX Robot 上取得 57.3%（与 LAPA 并列第二），且仅使用不到 villa-X 1% 的训练数据。真实世界实验中，VLA-JEPA 在分布内和 object layout OOD 设置下取得 SOTA，在任务 OOD 设置下取得第二。值得注意的是，VLA-JEPA 展现了'重复抓取'能力——在抓取失败后能自动松开夹爪重新尝试，这是 π0 和 π0.5 不具备的。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO Spatial | 成功率 | 96.2% | π0.5: 98.8% | 第二名 |
| LIBERO Object | 成功率 | 99.6% | OpenVLA-OFT: 98.4% | +1.2% |
| LIBERO Goal | 成功率 | 97.2% | π0.5: 98.0% | 第二名 |
| LIBERO-10 | 成功率 | 95.8% | OpenVLA-OFT: 94.5% | +1.3% |
| LIBERO 平均 | 成功率 | 97.2% | OpenVLA-OFT: 97.1% | +0.1% |
| LIBERO-Plus 平均 | 成功率 | 79.5% | OpenVLA-OFT: 69.6% | +9.9% |
| SimplerEnv Google Robot | 平均成功率 | 65.2% | RoboVLMs: 51.7% | +13.5% |
| SimplerEnv WidowX Robot | 平均成功率 | 57.3% | villa-X: 40.8% | +16.5% |
局限与改进
本文存在几个值得关注的局限性。首先，作者承认在任务级别的 OOD 评估中，VLA-JEPA 的泛化能力不如 π0.5——π0.5 能更准确地跟随指令接触目标物体，而 VLA-JEPA 容易抓取与指令不符的物体。这表明 VLA-JEPA 在细粒度文本指令理解方面存在不足，可能是因为其对文本推理的依赖较少。其次，在 SimplerEnv 的某些任务上（如 WidowX 的 Block 任务仅 12.5%），VLA-JEPA 的表现并不理想，这暗示了其对特定任务形态的适应能力有限。第三，真实世界实验仅覆盖了桌面操作任务（拾取放置），对于更复杂的操作任务（如装配、工具使用）的表现未知。此外，论文中人类视频预训练的效果分析表明，人类视频主要增强鲁棒性而非引入新能力，这意味着对于缺乏类似人类行为模式的机器人任务，人类视频的价值可能有限。最后，VLA-JEPA 使用的 V-JEPA2 编码器是冻结的，这可能限制了其对特定机器人场景的适应能力。
独立分析的弱点
从独立分析的角度，VLA-JEPA 存在几个可改进的弱点。第一，文本指令理解能力不足：在真实世界 OOD 实验中，VLA-JEPA 容易抓取与指令不符的物体，这表明 latent action token 可能过度关注视觉动力学而忽略了语言条件。改进方向可以是引入更强的语言 grounding 机制，例如在 latent action 编码中加入 cross-attention 到语言 token。第二，世界状态编码器冻结限制了适应性：V-JEPA2 在通用视频上预训练，可能对机器人特定的视觉特征（如夹爪状态、末端执行器位置）不够敏感。可以考虑对 V-JEPA2 进行部分微调或添加 adapter。第三，对长时间依赖的处理：论文发现未来视频帧数 T=8 时效果最佳，过大的 T 会导致冗余信息。这暗示模型对长时间跨度的状态转移建模能力有限，可以探索分层预测或多尺度 latent action。第四，缺乏对失败恢复的显式建模：虽然 VLA-JEPA 展现了重复抓取能力，但这是从人类视频中隐式学到的，缺乏对失败检测和恢复策略的显式建模。
未来方向
基于 VLA-JEPA 的成果，可以探索几个有前景的研究方向。作者提出，VLA-JEPA 的人类视频预训练范式具有高度可扩展性，可以自然地扩展到整合机器人数据和基于文本的推理数据，进一步提升 VLA 模型的泛化性和鲁棒性。从技术延伸的角度，可以探索：（1）将 VLA-JEPA 的泄漏自由原则应用到其他 latent action 学习框架中，验证其普适性；（2）引入强化学习微调，利用 latent world model 进行 model-based RL，提升策略在复杂任务上的表现；（3）扩展到更广泛的机器人形态（如双臂、移动操作），测试跨形态的 transfer 能力；（4）探索将 latent action 与语言推理（Chain-of-Thought）结合，提升模型的可解释性和可控性。
复现评估
VLA-JEPA 的复现条件相对友好。代码已在 GitHub 开源（https://github.com/ginwind/VLA-JEPA/），预训练模型也在 HuggingFace 发布（https://huggingface.co/ginwind/VLA-JEPA/）。数据方面，预训练使用 Something-Something-v2（220K 人类视频）和 Droid（76K 机器人轨迹），微调使用 LIBERO（约 2K 演示）和真实世界 100 条轨迹。算力需求为 8 张 NVIDIA A100 GPU，预训练 50K 步，微调 20-30K 步。整体复现难度中等：数据集公开可获取，模型架构清晰（Qwen3-VL + V-JEPA2 + DiT），但需要一定的 GPU 资源。对于资源有限的研究者，可以从预训练好的 checkpoint 开始进行下游任务微调。
论文图表
