通过分离的前向与逆向动力学预训练实现解耦的机器人学习

DeFI：将视频预测与动作推理解耦预训练，再端到端融合实现高效通用机器人策略。

前置知识

视觉-语言-动作模型 (VLA)

VLA 是基于视觉-语言大模型 (VLM) 微调得到的机器人策略，将图像观测与语言指令作为输入，直接输出连续动作。它继承 VLM 的语义理解能力，但训练数据依赖昂贵的带动作标注的机器人轨迹。

DeFI 正是要解决 VLA 范式过度依赖稀缺带动作数据、难以利用海量人类视频的痛点。

前向动力学 (Forward Dynamics)

给定当前观测和动作，预测未来状态。在视觉机器人学习中通常被实例化为视频预测模型，输入当前帧和指令，输出未来若干帧图像。本质上学习的是 '环境会怎么变化' 的物理/语义先验。

DeFI 的 GFDM 模块就是基于 Stable Video Diffusion 改造的视频预测器，承担 '想象未来' 的职责。

逆向动力学 (Inverse Dynamics)

给定前后两个状态观测，反推导致该状态变化的动作。在 DeFI 中通过自监督方式学习：把两帧图像编码成 DINO 特征，让模型输出离散的 '潜在动作' token，再让该 token 能重建未来帧。

DeFI 的 GIDM 模块是该文的另一半创新，专门解决如何从视频中无监督抽取动作表征。

VQ-VAE 离散潜在动作

VQ-VAE 使用一个离散码本 (codebook) 把连续特征向量量化为有限个 token，类似 NLP 的词表。在 LAPA 等工作中已被用来把视频帧间的 '动作' 压缩为离散 latent action tokens，方便下游 VLA 消费。

GIDM 的核心结构就是带因果时序 mask 的时空 Transformer + VQ-VAE 离散化，论文用消融证明该设计优于 MLP/普通 Transformer/Gaussian Mixture。

Stable Video Diffusion (SVD)

Stability AI 提出的潜空间视频扩散模型，在大规模网络视频上预训练，具备生成短片段高清视频的能力。DeFI 用 SVD 作为 GFDM 的骨架，并冻结它以节省显存。

SVD 是 GFDM 的基础组件，理解潜空间扩散的训练和单步去噪思想对掌握 DeFI 至关重要。

研究动机

当前的视觉-语言-动作 (VLA) 通用机器人策略普遍存在两难困境：一方面是 2D 像素级视频预测和 3D 动作预测的目标不一致，把它们耦合在一个端到端模型里会导致训练不稳定 (Tian et al., 2024 已经观察到这一点)；另一方面，真正阻碍通用机器人的瓶颈是 '带动作标注的机器人数据极其稀缺'，而 YouTube 等互联网上的无动作人类视频比机器人演示数据量大几个数量级且涵盖更丰富的物体与运动。如果不利用这些无动作视频，VLA 永远受限于小规模示教数据集，难以泛化到新场景。

本文的目标是本文提出 DeFI 框架，目标是让通用机器人策略同时享受两类大规模数据：既能用海量无动作标签的人类/机器人视频学习物理世界动态，又能保留机器人专属的动作落地能力。具体可量化的目标是在 CALVIN ABC-D 长程任务上把平均完成长度推到 4.51 (优于此前 SOTA 4.33)，在 SimplerEnv-Fractal 平均成功率提到 51.2%，在真实 Franka 任务上达到 81.3%，并在只用 10% 下游数据时相对 VPP 提升 18% 的相对平均长度。

与已有工作不同的是，此前两类思路各有盲区：(1) 端到端把视频预测和动作推理塞进同一个 VLA 的方法 (Seer、UP-VLA 等) 把 2D 视觉目标与 3D 动作目标强行混合，导致训练不稳且无法独立扩展视频数据；(2) 视频世界模型 + 简单逆向模块的方法 (VPP 干脆不训逆模、Vidar 用现成视频生成器但轻视逆模) 把逆动力学当成配角，性能上限被视频生成器本身的 '预测-控制差距' 限制。DeFI 的切入点是把前向和逆向动力学看作 '同等重要、互补、可独立扩展' 的两个模块，分别在最适合的数据上预训练，再在下游融合——这是以往工作系统性地忽略的对称性。

核心方法

DeFI 的核心直觉可以这样理解：人脑观察世界时其实同时运行两套系统——'视觉想象' (看见未来会怎么变) 和 '动作推理' (知道要做什么让它发生)。现有方法总是把它们捆在同一个神经网络里，结果相互拖累。DeFI 反其道而行，先在预训练阶段让这两个系统独立成长：前向动力学靠视频生成任务在 SVD 框架上学到视觉运动先验，逆动力学靠 '用未来帧作为监督' 自监督学到潜在动作 token；然后在下游微调时再把它们重新拼起来，用一个轻量扩散适配器把潜在动作解码成可执行动作。这样既能让 GFDM 用上百万级无标签视频，又能让 GIDM 学到与具体机器人解耦的通用动作表征。

DeFI 的本质创新是 '解耦预训练 + 耦合微调' 的两阶段范式。Stage I 把通用前向动力学模型 (GFDM) 和通用逆向动力学模型 (GIDM) 彻底分开训练：GFDM 是带 CLIP 文本条件的 SVD 视频扩散模型，输入当前帧 + 指令、预测 16 帧未来视频；GIDM 是带 VQ-VAE 离散化的时空 Transformer，输入一对相隔约 1 秒的 DINO 特征 + T5 指令嵌入、输出 N 个 latent action token。两者都用混合人类与机器人视频训练，但目标函数和数据采样比例不同。Stage II 把 GFDM 冻结 (因为它已经见够了下游域外的数据) 充当稳定特征源，MLP 投影把它单步去噪的未来潜特征对齐到 GIDM 输入空间，再用 GIDM 推断潜在动作，最后由 30M 参数 DiT-B 扩散适配器解码出 7 维连续动作。GFDM 不微调这一选择背后有明确的实验依据 (Table 9)：全微调反而让 IDM 输入分布漂移，性能从 4.51 降到 4.40。

方法步骤详情

Stage I (a) GFDM 预训练：取当前帧 $o_t$ 与指令 $l$，CLIP 得 $f_{\text{text}}(l)$，VAE 得 $z_t = E(o_t)$，组成上下文 $c_t = [z_t, f_{\text{text}}(l)]$；对潜序列加噪后训练去噪网络最小化噪声预测 MSE。Stage I (b) GIDM 预训练：DINOv2 编码相隔约 1 秒的两帧，与 T5 文本嵌入和可学习 queries 送入带因果 mask 的时空 Transformer，输出经 VQ-VAE 码本 (128 词表) 量化得 latent action；解码预测未来 DINO 特征，以 MSE+VQ 损失迫使 latent action 携带状态变化信息。Stage II 耦合微调：冻结 GFDM 单步去噪，MLP 投影到 GIDM 空间；GIDM 输出 latent actions；扩散适配器 (DiT-B, 30M, 10 步采样) 以 CLIP 文本嵌入为条件解码为 7 维动作。推理时三模块串联约 153ms (RTX 4090)。

技术新颖性

与已有方法相比的技术新颖性体现在三方面：(1) 范式层面，把 '前向/逆向动力学分别预训练再融合' 形式化为 GFDM + GIDM + Adapter 三件套，与 Seer/UP-VLA 的端到端耦合形成鲜明对比；(2) 数据层面，逆动力学模块首次被认真用 VQ-VAE 离散化 + 时空 Transformer 在百万级无动作视频 (Ego4D + Open X-Embodiment) 上训练，而不是像 Vidar 那样被轻视或者像 VPP 那样直接省略；(3) 工程层面，GFDM 在下游冻结 + 单步去噪的设计 (单步即可，未来生成 250ms vs 单步 150ms 但精度几乎相同) 是对视频生成模型部署成本问题的一个实用回答，这点论文在 Table 6 用 5 步 4.45 vs 单步 4.51 的对比给出经验证据。VQ-VAE 离散化还被证明同时充当 information bottleneck，防止未来状态信息泄露到 decoder 让模型走视觉捷径 (Table 8 显示连续潜动作只能到 4.20，离散 VQ-VAE 4.51)。

**Figure 2**: Overall framework of DeFI. Stage I (Decoupled pretraining): (a) GFDM via video generation; (b) GIDM via self-supervised action representation. Stage II (Coupled finetuning): forward and inverse models coupled with diffusion-based adapter.

**Figure 9**: Qualitative results of different denoising steps for the forward dynamics model.

**Figure 12**: Qualitative attention heatmap results of the general inverse dynamics model on robot and human videos.

实验结果

DeFI 在三大基准全面领先。CALVIN ABC-D 多视角下五子任务成功率 97.9/94.2/90.7/87.0/81.2，平均长度 4.51，比 OpenVLA 3.27 提升 +1.24、比 VPP 4.33 提升 +0.18；third-view 单视角下也达 4.05。SimplerEnv-Fractal Visual Matching 平均 51.2%，比 OpenVLA 27.7% 提升 +23.5pp；Variant Aggregation 平均 45.4%。真实 Franka 八任务平均 81.3%，Close Drawer 100%、Pour Water 75%，比 DP 48.2%/OpenVLA 43.8%/Octo 34.4% 提升 +33.1/+37.5/+46.9pp。10% 下游数据 DeFI 比 VPP 高 18% 相对平均长度，60% 数据即可超越此前 SOTA。消融显示 GFDM 无预训练 3.28、GIDM 无预训练 4.16、全预训练 4.51；GIDM+Adapter 4.51 优于全微调 4.40，验证 GFDM 冻结必要。

**Table 1**: CALVIN ABC-D results. Average success over 1000 rollouts per task and Avg. Len. for 5 consecutive tasks.

**Table 2**: Evaluation results across different policies on SimplerEnv (Google Robot).

**Table 3**: Real-world evaluation with the Franka Robot across eight tasks.

**Table 4**: Performance comparison with or without decoupled pretraining.

**Table 5**: Performance comparison with or without human videos.

**Table 7**: Performance comparison of different inverse dynamics model architectures.

**Figure 4**: Data efficiency of DeFI's performance on CALVIN using different proportions of the action-labeled downstream data.

**Figure 5**: Effectiveness of decoupled forward and inverse pretraining.

查看结构化数据

任务	指标	本文	基线	提升
CALVIN ABC-D 多视角	平均任务长度 (0-5)	4.51	VPP 4.33 / Seer 4.28 / UP-VLA 4.08	+0.18 / +0.23 / +0.43
CALVIN ABC-D 多视角第5子任务	成功率 (%)	81.2	VPP 76.9 / Seer 74.0	+4.3 / +7.2
SimplerEnv-Fractal Visual Matching	平均成功率 (%)	51.2	TraceVLA 42.0 / OpenVLA 27.7	+9.2 / +23.5 pp
SimplerEnv-Fractal Pick Coke Can (VM)	成功率 (%)	54.2	TraceVLA 28.0 / OpenVLA 16.3	+26.2 / +37.9 pp
真实 Franka 平均 (8任务)	成功率 (%)	81.3	Diffusion Policy 48.2 / OpenVLA 43.8 / Octo 34.4	+33.1 / +37.5 / +46.9 pp
真实 Franka Close Drawer	成功率 (%)	100.0	OpenVLA 65.0 / DP 70.0	+35.0 / +30.0 pp
真实 Franka Pour Water (长程精准)	成功率 (%)	75.0	DP 35.0 / Octo 20.0 / OpenVLA 45.0	+40.0 / +55.0 / +30.0 pp
10% 下游数据	相对平均长度提升	约 3.8	VPP 约 3.2	+18% 相对提升

局限与改进

作者承认的局限：(1) 训练成本高，GFDM 预训练 3 天 + GIDM 1.5 天 + CALVIN 微调 0.5 天，全部在 8 张 H100 上完成；(2) 200 例失败案例统计显示 62% 来自前向动力学预测误差，38% 来自逆动力学推断误差，长程一致性和接触丰富操作仍是世界模型方法的瓶颈；(3) SimplerEnv 上 Open/Close Drawer 仅 38.6%，作者归因于 GFDM 预训练于真实 Fractal 数据，分布漂移传到 IDM；(4) SimplerEnv 任务多样性不及 CALVIN，未在 WidowX、Meta-World 等更广基准验证。我的额外观察：DeFI 在长程任务优势最明显 (CALVIN 第5子任务相对 OpenVLA 提升 37.7pp)，但真实实验全在同一 Franka + 同物体集，缺少跨平台、跨光照的鲁棒性证据。

独立分析的弱点

(1) GFDM 冻结策略的代价：Table 9 表明冻结带来稳定特征，但论文未说明跨视觉域差距极大时 (医疗、室外) 单步去噪潜特征是否仍可用；建议引入轻量 LoRA 或视觉 prompt 适配。(2) 单步去噪节省的 100ms 是用预测图像质量换的 (Figure 9 显示背景明显模糊)，对接触点估计可能不准；改进方向是用一致性模型或蒸馏 4-步 SVD-student。(3) GIDM 的 VQ 码本固定为 128，但论文未做规模消融，存在 vocabulary collapse 风险；建议添加 perplexity 监控并引入 EMA codebook 更新。(4) 真实实验所有任务用同一种 Franka + 同样 RGB RealSense，未测换视角、换光照、换桌面背景的鲁棒性；改进方向是引入视觉扰动 benchmark。(5) 推理延迟 150ms 仍高于 Diffusion Policy 的 20ms 级别，对高频控制 (≥10Hz) 不友好。

未来方向

作者在附录 A.6 明确提到三个方向：(1) 显式建模语言级交互和推理，把 LLM 作为基础理解模块，与 GFDM/GIDM 形成 '预测 + 推理 + 动作' 三层架构；(2) 提升视频预测在细粒度操作 (精确对齐、接触建模) 上的可靠性；(3) 用轻量视频生成、token 压缩、稀疏 rollout、策略蒸馏等手段降低延迟。基于论文成果可延伸的方向还包括：(a) 把 VQ 离散 latent action 接到现成 VLA 的 action head 上 (如 OpenVLA-OFT、π0) 实现 '即插即用'；(b) 在 GIDM 训练中加入力矩/触觉模态，让逆动力学不再局限于视觉；(c) 探索把人类视频预训练扩展到 Ego4D 之外的更大视频池 (HowTo100M、Something-Something 完整版) 并验证 Table 7 / Figure 8 中 '尚未饱和' 的 scaling law；(d) 与世界模型规划 (UniSim、Genie) 结合，把 GFDM 作为可微环境模拟器使用。

复现评估

论文在 Reproducibility Statement 承诺开源代码与权重，并提供 GitHub 与 HuggingFace 链接。数据全部公开：GFDM 用 Open X-Embodiment + CALVIN + Something-Something-v2 + Ego4D；GIDM 用 Open X-Embodiment 全部 24 个机器人子集 + Ego4D (Table 12 给出精确采样比例)。训练细节完整披露 (Table 10)：8 张 H100、batch size 32、学习率 $1 \times 10^{-4}$、AdamW、weight decay $1 \times 10^{-2}$、GFDM/GIDM 各预训练 20 epoch、finetune 12 epoch。复现难度中等偏高：主要门槛在算力 (5 个 H100 天预训练加 0.5 天微调，按 AWS 约 1500-3000 美元) 和 SVD 微调技巧；只跑下游微调部分则 8 张 H100 半日可完成。整体上，有 PyTorch 多卡经验的团队 1-2 周可完整复现主要数字。

通过分离的前向与逆向动力学预训练实现解耦的机器人学习 Disentangled Robot Learning via Separate Forward and Inverse Dynamics Pretraining