机器人需要的不仅仅是视觉-语言-动作模型与世界模型 Robots Need More than VLA and World Models
通用机器人智能的核心瓶颈是缺乏将物理世界经验转化为机器人可用监督信号的机制，需要构建四大支柱组件。
前置知识
视觉-语言-动作模型（VLA）
VLA 是一种将视觉观察和语言指令映射到机器人动作的深度学习模型。它通常建立在大型视觉-语言预训练模型（如 CLIP、PaLM）基础上，将机器人动作表示为 token 或连续向量，使模型能够理解自然语言指令并生成相应的机器人控制指令。典型的 VLA 模型包括 RT-2、OpenVLA、π0 等，它们通过在互联网规模的视觉-语言数据和机器人轨迹上进行联合训练，将语义知识转移到机器人控制中。
VLA 是当前机器人学习的主流范式，理解它对于认识本文批判的对象和提出的改进方向至关重要。
世界模型（World Model）
世界模型是一个预测性的环境模型，学习在给定当前状态和动作的情况下预测下一个状态的动力学。在机器人学习中，世界模型通常用来自动生成想象的经验，支持规划、策略改进和模型预测控制。典型的世界模型包括 Dreamer 系列、V-JEPA、Genie 等，它们可以从像素、3D 点云或对象中心表示中学习动力学，并支持反事实推理。
本文论证了机器人需要物理接地的世界模型，而不仅仅是视觉上合理的预测，这要求读者理解传统世界模型及其在机器人中的作用。
具身接地（Embodied Grounding）
具身接地是指将高层次的语义指令或抽象表示转换为特定机器人形态可以执行的低层控制信号的过程。这涉及理解机器人形态的约束（如运动学、动力学、接触表面、传感器配置），并将任务相关的物理效果（如打开抽屉的位移、抓取杯子的接触）转换为满足这些约束的可执行动作。具身接地需要解决对应问题：如何将观察到的物理变化（如人类动作）映射到不同形态的机器人动作。
具身接地是本文的核心概念，论文提出的四大支柱（数据引擎、重定向、世界模型、奖励接口）本质上都是为了解决接地问题。
反向动力学学习（Inverse Dynamics Learning）
反向动力学学习是指从观测到的状态转换中推断导致该转换的动作或控制信号的过程。在机器人学习语境中，这通常涉及从视频或人类演示中恢复潜在的动作代码或物理转换，这些潜在变量描述了任务相关的物理变化（如移动、抓取、打开、放置、插入等）。这类方法包括 LAPA、UniVLA 等，它们使用 VQ-VAE 或自编码器将视频转换离散化为一组潜在动作词汇。
本文将反向动力学学习作为从非结构化视频中提取可重用动作表示的关键技术，是构建物理数据引擎的核心组件之一。
Sim-to-Real 迁移
Sim-to-Real 迁移是指在模拟器中训练机器人策略，然后将其部署到真实世界的技术。由于模拟器通常无法完美捕获真实物理的细节（如摩擦、变形、光照、传感器噪声），迁移需要解决现实差距。常见的方法包括域随机化（Domain Randomization），即在训练时在模拟器中随机化视觉和动力学参数，使真实世界看起来只是训练分布中的一个变体；以及系统识别，在部署时在线调整模拟器参数以匹配真实动力学。
本文讨论了模拟和世界模型作为生成物理经验的途径，理解 Sim-to-Real 迁移的挑战和解决方案有助于理解为什么物理接地至关重要。
研究动机
当前机器人学习的核心范式存在根本性瓶颈：它依赖于机器人原生监督——即在特定机器人形态上收集的轨迹，其中观察与动作已经配对，并且通常带有任务标签、奖励或成功信号。然而，世界包含的海量物理行为数据——人类演示、互联网视频、工厂工作流、家庭活动、模拟滚动——并未以这种格式提供。例如，一个人类打开抽屉的视频揭示了任务、接触事件、物体运动和最终成功状态，但它没有指定特定机器人应该执行的关节命令、力信号或奖励结构。这种不匹配造成了可扩展性危机：机器人可用的监督数量相对于世界中已有的物理行为而言微乎其微。论文指出，目前最大的机器人数据集（如 DROID 包含约 76,000 条演示轨迹，Open X-Embodiment 汇集了超过 100 万条真实机器人轨迹）与互联网规模的视频数据相比仍然非常小。例如，Ego4D 包含来自数千个参与者的数百万小时第一人称视频，但这些数据无法直接用于机器人策略学习，因为它们缺乏机器人动作标签。
本文的目标是本文的具体目标是重新构建机器人学习的研究议程，将其从策略扩展问题转向物理经验接地问题。作者认为，下一个机器人基础模型不应该仅仅是更大的 VLA 或更逼真的世界模型，而应该是一个完整的流水线，能够将世界中广泛、混乱、弱标注的物理体验转化为机器人可用的监督信号。这包括四个具体目标：（1）构建物理数据引擎，从人类运动、互联网视频、可穿戴感知、触觉流、机器人滚动和模拟中自动推断机器人相关的标签（如物体状态、接触事件、任务阶段、潜在动作、奖励）；（2）开发跨形态的保留任务的重定向机制，将人类行为或推断的技能转换为不同机器人形态的可执行动作；（3）构建物理接地的世界模型，预测动作的物理后果（几何、接触、力、稳定性、约束、材料响应）而不仅仅是生成视觉上合理的未来帧；（4）设计自改进的部署循环，将机器人部署产生的滚动、失败和人类纠正转化为结构化的监督，实现持续改进。
与已有工作不同的是，本文的独特切入角度是将机器人学习的瓶颈识别为接地问题而非数据问题或模型问题。大多数相关工作试图从三个方向解决扩展限制：收集更多机器人数据（如 Open X-Embodiment）、从非结构化视频中学习表示（如 R3M、VIP）、或使用模拟生成经验（如 MimicGen、RoboCasa）。然而，这些工作仍然隐含地假设数据已经被准备好用于机器人学习——即动作、任务标签、奖励和成功条件已经被指定或推断。本文的论点是，缺失的层正是这些转换机制本身。论文没有按数据源或算法族组织文献综述，而是按照每个研究方向暴露的监督瓶颈组织：机器人原生数据集展示了当动作和任务标签已经可用时策略学习能扩展多远；基于视频的方法展示了世界包含丰富的行为证据但接地微弱；模拟和世界模型展示了如何生成经验，但只有当物理后果被保留时才有效。这种组织方式揭示了作者的核心洞见：问题不在于缺乏数据，而在于缺乏将数据转化为机器人可用形式的机制。
核心方法
本文提出的方法不是单个算法或模型，而是一个重新构想的机器人学习流水线，称为物理智能堆栈。这个堆栈包含四个核心组件，协同工作以将广泛的物理体验转化为可部署的机器人智能。直觉上，可以将其理解为一个接地流水线：从非结构化的物理体验（人类视频、机器人滚动、模拟、语言）开始，通过一系列转换器逐步提取和接地关键的物理变量，最终生成机器人可用的监督信号。技术路线上，这个流水线是闭环而非纯前向的：部署产生的滚动、失败和人类纠正会重新进入数据引擎，形成持续改进的循环。与传统机器人学习的机器人数据中心范式（收集机器人演示到附加任务或语言标签到训练策略到在硬件上评估到重复）不同，本文提出的接地中心范式从广泛的物理体验开始，通过接地机制产生机器人可用的动作、接触、物体状态、任务阶段、目标和奖励。
本文的核心创新点是将机器人学习的中心问题重新表述为如何使世界的物理体验可被机器人学习而非应该训练哪个模型架构。这一重新表述导致了四大支柱组件的提出，它们共同构成了物理智能的基础设施。与现有方法的本质区别在于：（1）大多数 VLA 模型假设输入已经是配对的观察-动作对，而本文提出的物理数据引擎首先需要从不完整的异构体验中推断这些配对；（2）大多数重定向方法关注姿态匹配（将人类关节角度映射到机器人末端执行器轨迹），而本文强调保留任务的重定向，即保留任务相关的物理效果（如抽屉位移、物体对齐、接触状态）而非仅仅复制姿态；（3）大多数世界模型以视觉重建为训练目标，而本文论证机器人世界模型应该以物理后果预测为目标，即预测决定成功或失败的变量（几何、接触、力、稳定性、约束）；（4）大多数奖励模型使用偏好学习或人工设计，而本文提出任务条件的奖励接地，即从视频和语言中推断相对于特定任务的进度、成功和失败。
方法步骤详情
这个物理智能堆栈的工作流程可以分为四个主要步骤，每一步都有明确的输入和输出。第一步是物理数据引擎和具身自动标注，输入是异构的物理体验，其中包含视频帧、动作捕捉/可穿戴传感器测量、触觉/力/接触读数、机器人日志和语言描述。输出是对齐的潜在物理事件序列，其中每个事件包含物体中心的物理状态、接触或交互标签、任务阶段、潜在物理动作或转换代码，以及任务条件的进度或奖励信号。数据引擎通过推理模型解决时间对齐、事件分割、物体状态估计、接触推断、阶段识别、潜在动作发现、奖励接地和结果预测，其中 A 是对齐变量，将不同传感器流的时间戳映射到共同的物理事件时间线。第二步是跨形态的保留任务的重定向，输入是第一步推断的潜在物理动作和对应的物体中心状态，以及目标机器人形态。输出是可执行的机器人动作或技能，使得机器人引起的转换保留目标相关的物理变化。重定向模型需要在多个层次上保持不变性：最弱层保持姿态（将人类手部运动映射到机器人末端执行器轨迹），更强层保持接触（确保机器人在相关时刻接触相关物体表面），更强层保持物体状态转换（确保抽屉打开、杯子被提起、插针对齐），最强层保持意图或技能（机器人可能使用完全不同的运动，但在相同约束下完成相同任务）。第三步是物理接地的世界模型，输入是物体中心状态、目标，以及潜在物理动作或特定机器人动作。输出是下一个物理状态。世界模型应该在结构化物理变量上操作：物体姿态、空间关系、接触、约束、速度、力、可变形状态，以及摩擦、质量、刚度、顺应性等物理属性。它可以用于动作执行前评估候选重定向动作、规划期间搜索替代方案、失败后解释问题、训练期间生成反事实经验。第四步是自改进的部署循环，输入是机器人执行后的观察结果，输出是任务条件的进度/成功/失败解释。这一步需要三个能力：（1）监控执行并检测有意义的事件（接触、状态变化、子目标完成、异常、安全违规）；（2）相对于任务评估这些事件，产生进度、奖励和失败标签；（3）将产生的监督路由到正确的组件：策略更新（当动作不佳时）、世界模型更新（当后果预测错误时）、重定向更新（当物理效果未被保留时）、奖励模型更新（当成功或失败被错误分类时）。
技术新颖性
本文的技术新颖性主要体现在概念框架而非具体算法上。作者提出的物理智能堆栈是一个概念性的重新架构，将机器人学习从策略扩展问题重新表述为接地问题。这种重新表述的技术贡献在于：（1）明确识别了四个缺失的组件（物理数据引擎、跨形态重定向、物理接地世界模型、任务条件奖励接地）及其相互关系；（2）提出了具身自动标注的概念，强调从异构物理体验中推断机器人相关标签需要联合解决时间对齐、事件分割、物体状态估计、接触推断等多个子问题，而非独立处理；（3）提出了保留任务的重定向的形式化定义，明确了重定向的目标不是姿态匹配而是任务相关的物理效果保持；（4）论证了世界模型应该以物理后果预测而非视觉重建为目标，强调了任务条件的重要性；（5）提出了自改进部署循环的概念，强调部署反馈应该路由到正确的组件。这种概念框架的技术新颖性在于它提供了一种组织机器人学习研究的新方式——按照每个工作解决的监督瓶颈而非数据源或算法族组织。这使得社区能够更系统地识别缺失的组件和未来的研究方向。此外，论文还提出了一些具体的技术洞见，如使用可穿戴传感器作为世界的标记仪器而非仅仅作为远程操作接口，以及强调物理数据引擎的输出不是更大的数据集而是持续转换体验的系统。
实验结果
本文作为一篇立场论文，没有提出具体算法或报告定量实验结果。然而，它通过广泛的文献综述和批判性分析，得出了几个核心发现。首先，论文展示了当前机器人学习的有效监督仍然很大程度上依赖于已经接地到机器人坐标系统的轨迹——即动作、观察、任务描述和成功信号已经被显式收集或精心策划的数据。例如，Open X-Embodiment 汇集了来自 22 个机器人形态的超过 100 万条真实机器人轨迹，RT-2 在约 130,000 个真实机器人情节上训练，OpenVLA 在约 970,000 个真实世界机器人演示上训练。这些工作展示了扩展 VLA 模型的强大能力，但它们也揭示了扩展瓶颈：大多数可用的物理行为并不以显式机器人动作的形式到达。其次，论文论证了从弱接地的物理观测学习（如人类视频、互联网视频）可以提供表示、进度信号、潜在动作和行为先验，但这些信号还不是机器人监督。例如，R3M 和 VIP 从人类视频中预训练视觉表示并改进下游机器人策略，但它们不完全解决对应问题；LAPA 和 UniVLA 从视频转换中学习潜在动作代码，但这些变量在接地到特定机器人形态之前最好被理解为转换代码或物理变化描述符；PROGRESSOR、Adapt2Reward、ReWiND、TimeRewarder 和 SARM 从视频中推断任务进度和奖励，但这些信号不一定适用于新形态。第三，论文展示了生成的经验（通过模拟和世界模型）只有当它保存决定控制的物理变量时才有用。例如，MimicGen 从少于 200 个种子演示中自动合成超过 50,000 个演示，RoboCasa 提供了大规模模拟厨房环境，但这些方法是否保存了真实控制所需的物理细节（接触、物体稳定性、摩擦、变形、失败模式）仍然是一个开放问题。Genie 可以从未标记的互联网视频中训练生成式交互环境，但机器人世界模型需要保存对动作有意义的变量：3D 几何、物体永久性、接触、材料属性、约束、力和机器人运动的后果。最后，论文通过综合这些发现提出了核心论点：机器人学习的缺失层不是另一个策略架构，而是一组将物理体验转化为机器人可用监督的组件。
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 机器人原生监督的可扩展性 | 任务数量/演示数量 | Open X-Embodiment: 22 个机器人形态，超过 100 万条真实机器人轨迹；RT-2: 13 个机器人，超过 700 个任务，约 130,000 个情节；OpenVLA: 约 970,000 个真实世界机器人演示；DROID: 约 76,000 条演示轨迹（350 小时交互数据） | 早期多机器人数据集 RoboNet: 7 个机器人平台，1500 万视频帧；BridgeData V2: 约 60,000 个操作轨迹，24 个环境；RH20T: 超过 110,000 个接触丰富的操作序列 | Open X-Embodiment 相比 RoboNet 将机器人形态数量从 7 扩展到 22（约 3 倍），轨迹数量从约 1500 万帧到超过 100 万条完整轨迹（数量级提升）；DROID 相比 BridgeData V2 将轨迹数量从 60,000 扩展到 76,000（约 27% 提升），交互时间显著增加 |
| 从视频表示学习的数据效率 | 下游机器人任务性能（成功率） | R3M 从 Ego4D 人类视频数据集预训练视觉表示，然后在机器人操作策略上使用冻结表示；VIP 从人类视频中通过使用时间距离作为任务进度的代理来学习视觉表示 | 从随机初始化或仅机器人数据训练的策略 | 论文没有提供具体的数字，但引用了相关工作表明人类视频预训练可以实现数据高效的机器人操作学习。然而，这些方法仍然不完全解决对应问题——观察到的物理变化如何成为奖励、子目标、潜在动作或特定机器人的可执行控制信号 |
| 模拟数据生成效率 | 种子演示数量 vs 合成演示数量 | MimicGen: 从少于 200 个种子演示中自动合成超过 50,000 个演示（18 个任务）；RoboCasa365: 365 个日常家庭任务，2,500 个厨房场景，超过 2,000 小时机器人交互数据；RoboGen: 使用基础和生成模型构建任务、场景和训练数据 | 手动收集每个轨迹的传统方法 | MimicGen 实现了超过 250 倍的数据扩展（从 200 到 50,000+），显著降低了数据收集成本。然而，论文强调开放问题：这些变体是否保存了真实控制所需的物理细节（接触、物体稳定性、摩擦、变形、失败模式） |
| 世界模型的预测能力 | 生成经验的物理保真度 | Genie: 从未标记的互联网视频中训练生成式交互环境；RoboDreamer: 根据语言原语分解视频生成来学习组合视频世界模型；UniSim: 结合图像、机器人数据和导航数据来模拟高级指令和低级控制的视觉结果；ContactGaussian-WM: 从稀疏接触丰富的视频中学习物理接地的刚体世界模型，结合统一的高斯表示和可微接触动力学 | 传统模拟器（如 RLBench、Meta-World）或纯视频生成模型 | 论文没有提供具体的定量比较，但强调了关键的定性区别：机器人世界模型应该预测对动作有意义的变量（3D 几何、接触、力、稳定性、约束、材料响应）而不仅仅是生成视觉上合理的未来帧。例如，ContactGaussian-WM 结合了视觉渲染和基于粒子的物理预测，能够推理当前和未来的物理状态，而同时与真实世界同步 |
| Sim-to-Real 迁移成功率 | 零样本真实世界部署成功率 | RL-GSBridge: 使用 3D 高斯溅射重建的场景支持基于视觉的控制的零样本模拟到真实迁移；Real-is-Sim: 使用基于 Embodied Gaussians 的动态数字孪生，减少离线策略评估和真实世界成功之间的差距；Gradiated Navigation (GRaD-Nav 和 GRaD-Nav++): 训练 RL 策略并利用 3DGS 渲染的端到端可微性 | 传统域随机化方法或不使用数字孪生的方法 | 论文引用了相关工作的成功案例，表明在 3D 高斯溅射模拟器中训练的策略可以零样本迁移到真实世界部署。然而，作者强调成功取决于模拟器是否捕获或随机化了相关的物理因素（几何、接触、动力学、摩擦等） |
局限与改进
本文的局限性主要来自其作为立场论文的性质。首先，论文没有提出具体的算法实现或提供定量实验验证。四个支柱组件（物理数据引擎、跨形态重定向、物理接地世界模型、任务条件奖励接地）被识别为缺失，但它们应该如何具体实现仍然是开放问题。例如，物理数据引擎需要解决一个复杂的联合推理问题，其中包含物体状态、接触、任务阶段、潜在动作和奖励，但论文没有提供具体的架构或训练策略。其次，论文没有讨论实现这些组件的计算复杂度和可扩展性。处理异构、异步的多模态体验（视频、动作捕捉、触觉、机器人日志、语言）并推断对齐的事件序列需要巨大的计算资源，论文没有分析如何在实际系统中管理这些资源。第三，论文强调了可穿戴传感器作为世界的标记仪器的潜力，但没有讨论这种硬件的成本、可用性和部署挑战。可穿戴传感器套件（如动作捕捉或传感器运动服）可能很昂贵，需要校准，并且可能在日常环境中难以使用。第四，论文提出的闭环自改进系统依赖于部署反馈的质量和数量。如果机器人在部署中遇到的成功和失败案例很少，或者人类纠正不够频繁，系统可能无法获得足够的改进信号。论文没有讨论如何在这些情况下确保持续改进。最后，论文没有讨论安全性和可靠性问题。自改进系统可能在尝试新动作时产生不安全行为，尤其是在早期阶段当系统对物理约束的理解仍然不完整时。论文没有提出如何在不牺牲学习能力的情况下确保部署安全。
独立分析的弱点
独立分析来看，本文提出的框架存在几个潜在弱点。首先，四个支柱组件之间的耦合可能引入复杂的依赖关系和循环依赖。例如，物理数据引擎推断的接触和物体状态转换为世界模型提供监督；世界模型可以检测不一致的标签或不可能的转换；重定向可以使用世界模型滚动来选择保留任务效果的动作；部署失败可以反馈到数据引擎作为新的错误预测示例。这种相互依赖性使得系统难以开发和调试，因为一个组件的错误可能传播到其他组件，难以定位根本原因。改进方向是开发模块化的接口和组件级信用分配机制，使每个组件可以独立评估和改进。其次，论文强调保留任务的重定向优于姿态匹配，但在实践中定义任务相关的物理效果可能很困难。对于复杂的任务，物理效果可能是多维度的（例如，倒咖啡需要考虑液体状态、容器姿态、流量、液体温度等），并且不同任务的物理效果可能不同且难以形式化。改进方向是开发任务效果的原语库和学习效果表示，使其可以从演示中自动推断。第三，物理接地的世界模型需要在结构化物理变量上操作，但这些变量在现实世界中可能难以估计。例如，摩擦、质量、刚度、顺应性等物理属性通常无法从视觉观察中准确估计，尤其是在未知环境中。改进方向是结合可微物理、视觉观察和物理感知随机化，或者开发在线系统识别方法，使世界模型可以随着更多数据的积累而改进。第四，自改进部署循环依赖于高质量的任务条件奖励接地，但奖励推断本身可能很困难。同样的状态在不同任务下可能意味着不同的东西（例如，杯子放在桌子上对于放下杯子是成功，对于拿起杯子是失败，对于打开抽屉是无关），这意味着奖励模型必须准确理解任务语义和状态。改进方向是开发结合语言、视频和人类反馈的多模态奖励推断方法，以及不确定性感知的奖励模型，使其可以在不确定时请求人类澄清。最后，论文提出的框架假设物理体验可以被转换为结构化监督，但在某些任务中，人类演示或视频可能不包含足够的物理信息。例如，精密装配或微操作可能依赖于人类无法明确表达的触觉反馈和力控制策略，视频和可穿戴传感器可能无法捕获这些信息。改进方向是开发多模态感知系统，包括高分辨率触觉、力矩和接近传感器，以及开发从多模态数据中联合推断物理状态和策略的方法。
未来方向
基于本文提出的框架，未来研究方向可以分为四大支柱对应的四个方向。对于物理数据引擎和具身自动标注，未来工作包括：（1）开发能够处理异构、异步多模态流的联合推理架构，可能使用 transformer、图神经网络或状态空间模型来建模不同模态之间的依赖关系；（2）研究半监督和自监督学习方法，使数据引擎可以从部分标注的体验中学习（例如，一些机器人情节包含动作但弱任务标签，一些视频包含任务语义但没有动作）；（3）开发可穿戴传感器作为标记仪器的系统，探索如何从动作捕捉、触觉和运动数据中提取机器人相关的标签；（4）研究失败模式的自动标注，将机器人失败轨迹转换为关于哪些接触被错过、哪些物体状态不稳定、哪些子目标未达成的监督。对于跨形态重定向，未来工作包括：（1）开发保留任务效果的重定向方法，超越姿态匹配到接触保持、物体状态转换保持和意图保持；（2）研究如何从可穿戴传感器演示中推断中间变量（手-物体接触、力相关事件、物体状态变化、任务阶段边界、潜在物理动作），这些变量比原始人类关节角度更可转移；（3）开发针对不同形态（人形、四足、移动操作器、灵巧手）的重定向方法，研究如何在不同运动学、动力学、接触表面和动作空间之间映射；（4）研究重定向的不确定性估计，使系统可以在不确定时请求人类指导或回退到保守策略。对于物理接地的世界模型，未来工作包括：（1）开发混合架构，结合 3D 场景表示、对象中心结构、物理启发的约束和数据驱动的残差动力学；（2）研究世界模型的不确定性量化，使机器人可以检测何时超出分布并回退到安全策略；（3）开发任务条件的世界模型，使预测与下游控制对齐，专注于与任务相关的未来方面而非重建所有细节；（4）研究如何将神经场景表示与物理模拟结合，构建既视觉接地又物理可行动的世界模型。对于自改进部署循环和奖励接地，未来工作包括：（1）开发任务条件的奖励推断方法，从视频和语言中推断进度、成功和失败；（2）研究组件级信用分配，确定失败应该更新策略、世界模型、重定向还是奖励模型；（3）开发安全的自改进机制，使系统可以在不牺牲安全性的情况下尝试新动作并从失败中学习；（4）研究如何利用人类纠正作为高价值监督信号，使其能够更新多个组件而不仅仅是策略。此外，论文还强调了几个跨支柱的研究方向，包括开发机器人学习的评估基准，不仅评估策略性能，还评估系统转换弱物理体验为有用监督的能力；研究机器人学习系统的接地效率，即系统可以从多少弱标注体验中提取有用的监督；以及研究机器人学习的接地泛化，即系统在新环境、新任务和新形态上的接地能力。
复现评估
由于本文是一篇立场论文而非技术论文，它没有提供具体的算法实现、代码或数据集，因此传统意义上的复现性不适用。然而，论文提出了一个概念框架，可以通过实现四个支柱组件来验证其有效性。作者没有报告任何开源代码或数据集，这意味着研究人员需要从零开始实现这些组件，这可能需要大量工作。数据方面，论文引用了许多现有数据集（如 Open X-Embodiment、DROID、BridgeData V2、RH20T、Ego4D），这些数据集是公开可用的，可以作为构建物理数据引擎和训练世界模型的起点。算力方面，实现和训练这样的系统可能需要大量计算资源，特别是对于大规模视觉-语言模型和世界模型。例如，OpenVLA 有 70 亿参数，在约 970,000 个真实世界机器人演示上训练；Genie 在未标记的互联网视频上训练。实现类似规模的模型可能需要数千 GPU 小时。难度方面，实现完整的物理智能堆栈是一个复杂的多学科项目，涉及计算机视觉、机器人学习、强化学习、世界建模、多模态学习和系统设计。四个组件之间的相互依赖性增加了开发复杂性，因为需要同时开发多个组件并确保它们的接口兼容。然而，论文的框架提供了一个清晰的研究路线图，研究人员可以逐步实现和验证每个组件。例如，可以先实现物理数据引擎的一个简化版本，专注于从视频中推断物体状态和接触；然后实现重定向方法，专注于姿态匹配；然后逐步扩展到保留任务效果的重定向；然后实现世界模型，专注于物体中心动力学；然后逐步添加物理接地和任务条件预测；最后实现部署循环，专注于奖励推断和组件级信用分配。这种渐进式方法可能使框架更可访问和可复现。
论文图表