迈向智能体机器人：模型、数据、环境与执行框架 Towards Agentic Robots: Model, Data, Environment, and Harness
首个用模型-数据-环境-执行框架四域17类体系统一梳理智能体机器人研究的系统性综述
前置知识
VLA 模型（视觉-语言-动作模型）
VLA 模型将大规模预训练的视觉-语言骨干网络适配到机器人动作生成上，代表工作包括 RT-2、OpenVLA、$\pi_0$、$\pi_{0.5}$、RDT-1B 等。其核心技术选择是动作解码方式：一类把连续动作离散化为 token 进行序列生成（RT-2、OpenVLA），另一类用扩散或流匹配（flow matching）的连续动作头，在视觉语言特征条件下生成动作序列（$\pi_0$、CogACT、GR00T N1）。VLA 通过在机器人轨迹数据上训练，把预训练模型中的物体、关系与指令知识接入控制回路。
本文把 VLA 定位为智能体机器人的可执行能力来源之一，贯穿讨论其如何被编排、作为工具调用、如何被服务部署，以及如何与解析控制器组成分层系统，是理解全文四大域的基石。
世界模型与世界-动作模型（WM/WAM）
世界模型学习环境如何随机器人动作变化，通过预测未来状态或观测来支持基于想象的规划与策略学习：DINO-WM、V-JEPA 2-AC 预测动作条件的视觉特征并用模型预测控制（MPC）优化动作序列；UniSim、Cosmos 等动作条件视频模型可充当模拟环境。世界-动作模型（WAM）如 UWM、$\tau_0$-WM、DreamZero 在统一框架内同时学习视频预测与动作生成，把行为与其环境后果显式联系起来。
综述第 2.3 节将 WM/WAM 列为从策略到智能体演化的第三阶段；智能体常把世界模型用作规划器、执行评估器或训练模拟器，理解它才能看懂『未来想象』在智能体决策闭环中的角色。
机器人策略与模仿/强化学习
传统机器人策略通过模仿学习（行为克隆，如 ACT 的条件变分自编码器、Diffusion Policy 的条件扩散）或强化学习（如 QT-Opt 的图像条件动作价值函数）把观测映射为动作。按场景表征可分为基于图像的策略与 3D-aware 策略：后者用 2.5D 高度图（Transporter）、3D 体素（PerAct）、点云特征（DP3）等几何结构辅助动作预测。泛化策略（RT-1-X、Octo）借助 Open X-Embodiment 等跨机器人数据集共享经验。
本文的四阶段演化叙事从传统策略出发；且 Model 域的 Training 与 Adaptation 类别讨论的正是『谁来设计奖励、修订训练流程、用执行经验更新这些策略』，需要这一背景才能理解智能体对学习过程本身的介入。
Harness（执行框架）与函数调用协议
Harness 指让智能体能力可供机器人使用的软件层，负责组件如何被调用、接收什么信息、如何检查执行、什么可以被复用。函数协议规定工具如何被调用、返回什么、何时算成功（如 Physical Agency 返回带机器人状态的类型化失败）；编排决定哪个模型/策略/技能运行、控制权何时移交；运行时门控在模型输出与硬件之间做安全检查——RoboGuard 用隔离模型导出的时序规约做模型检验，把越狱成功率从 92.3% 压到 2.3%。
Harness 是本文提出的四大域中最具原创性的概念：模型和策略再强，若围绕执行的软件组织不当系统仍会失败。论文用编排、记忆、监控恢复、技能、基础设施、分层系统六个类别展开，理解这一概念才能读懂第 7 章。
分层控制：System 2 / System 1 / System 0
论文把机器人系统描述为三层：System 2 是慢速推理层（VLM、LLM 或生成的代码），负责任务与子目标推理；System 1 是学习型 visuomotor 策略（通常为 VLA），以控制频率反应；System 0 是解析控制器（逆运动学、运动规划、MPC、全身控制）。典型速率如 Helix 以 7–9 Hz 的 VLM 写隐变量给 200 Hz 策略，GR00T N1 从 10 Hz 推理模块到 120 Hz 动作块，ReKep 求解器约 10 Hz 运行、关键点跟踪与位置控制 20 Hz。
第 7.6 节用该框架分析层间传什么信号、多久传一次、哪一层握有权威，并指出以往 VLA 综述遗漏了 System 0。这是理解智能体机器人系统结构、延迟预算与监控可行性的关键视角。
Sim-to-Real 与特权信息
Sim-to-Real 指在仿真中训练的能力迁移到真实机器人时面临的差距：仿真提供精确物体状态与明确成功条件，真实系统只能从噪声相机图像和传感器读数估计这些量，小的感知误差、标定差异和意外接触都可能让合理计划失败。特权信息指只有仿真才有的全知观测。论文引用的对比显示：使用完整仿真观测成功率为 65.0%，仅用 RGB 时跌至 22.5%，差距达 42.5 个百分点。
综述反复强调许多基准结果依赖特权状态，评估时必须区分特权输入与感知输入（如 CaP-X 特意分层）；理解这一点才能正确解读 Environment 域、Infrastructure 一节以及公平基准议程中的大量数字。
研究动机
基础模型大幅提升了机器人策略学习能力，VLA 通过离散动作 token 或扩散/流匹配动作头把 LLM 的语义知识接入动作预测，但仅改进动作预测无法保证长时程任务的可靠执行——这类任务要求机器人跟踪任务进度、在环境变化时调整计划、从失败中恢复，而 VLA 策略本身无法稳定提供这些能力。与此同时，研究高度碎片化：模型学习、数据获取、环境构建、运行时系统设计各自为战，尽管它们在真实系统中相互作用；具身智能体、自主机器人、自我改进系统等相关术语又模糊了领域边界，使研究者难以判断智能体究竟在哪里做决策、这些决策对系统整体贡献几何。论文给出的数据也说明问题紧迫：即使是最新的通用智能体 GPT-6 Astra，在 RoboDojo 42 个仿真任务上的平均成功率也只有 22.48%，远未达到可靠执行的水平。
本文的目标是本文的目标是为快速生长但彼此失联的智能体机器人研究提供一张统一地图。具体包括三件事：其一，追溯从机器人策略到智能体系统的发展脉络，覆盖 VLA、世界模型与世界-动作模型，澄清『智能体机器人』的定义与范围——即在目标和执行反馈驱动下自主规划、协调执行、监控进度并从失败中恢复的机器人系统；其二，建立横跨四大功能域（Model、Data、Environment、Harness）、17 个非互斥类别的操作分类学（Table 1），说明每个类别中智能体决策作用于系统的哪个部分、依赖什么工具与反馈；其三，在系统分析的基础上给出研究议程，包括公平基准、真机部署、高效机器人使用与跨本体泛化四个方向，推动该领域从单点能力走向可靠、高效、自适应的完整系统。
与已有工作不同的是，已有综述大多只覆盖一个切面：PAPAV 比较计算机使用与机器人使用的感知-预期-规划-行动-验证循环，有的工作聚焦模型-机器人集成的协议接口与内嵌策略，有的只研究 code-as-policy 类可执行软件，有的专问验证信号从哪来、是否可信。本文的独特切入是以『智能体决策在系统中的位置与作用』为主线做系统级整合：不把某个系统归入单一类别，而是按功能贡献拆解，允许一个工作同时出现在多个类别（如 Zero2Skill 连接智能体主导的数据收集与后续策略训练，HarnessVLA 在固定执行器周围整合记忆、编排、监控与恢复，ENPIRE 展示研究型智能体协调实验改进策略）。它还首次把 Harness——组织模型、工具与技能以执行任务的软件层——作为与模型研究平级的分析对象，并把解析控制（System 0）纳入比较视野，补上了以往 VLA 分层讨论缺失的底层。
核心方法
直觉上，一台智能体机器人的能力由四个杠杆共同决定：模型学到什么、如何决策（Model），用什么数据、如何采集与净化（Data），在什么世界和任务里训练与被测试（Environment），以及把这些能力组织起来跑起来的软件（Harness）。论文的技术路线是综述式建构：第一步梳理机器人学习四个阶段的演化——从基于模仿/强化学习的传统策略（图像类与 3D-aware 类），到接入基础模型知识的 VLA，再到预测物理后果的世界模型与世界-动作模型，最后到组织执行与改进的智能体系统；第二步给出定义、分类学（Figure 2、3 与 Table 1）以及与具身 AI、自主机器人、机器人基础模型的概念辨析；第三步按四大域逐章综述，每章先用一张总览图示意干预点（Figure 4–7），再用详细对比表（Table 2–18）从目标、方法、反馈信号、接口、引擎等维度横向比较代表工作；最后总结开放挑战并给出四个未来方向。
核心创新是把『智能体决策在系统中的位置与作用』作为组织研究的轴心。作者提出四个关键问题：Model——智能体应该学习、理解、决策和控制什么？Data——应该如何采集、标注和精炼机器人数据？Environment——应该构建什么世界、任务和测试？Harness——机器人能力应该如何被编排、恢复和演化？对应 17 个类别，每个类别由『被模型中介决策塑造的系统部分』来定义（Table 1）。最具原创性的是 Harness 概念：即使模型和策略都很强，如果围绕执行的软件组织不当系统仍会失败，Harness 正是管理组件调用、信息传递、执行检查与复用的软件。另一个关键设计是类别的非互斥性：分类刻画的是功能贡献而非系统归属，同一工作可出现在多个类别，这种弹性让分类学能容纳真实系统的复合性（Zero2Skill、HarnessVLA、ENPIRE 均为跨类别案例）。
方法步骤详情
Model 域分五类：Training 讨论智能体设计奖励（Eureka 的『语言模型写奖励代码-训练-按反馈修订』进化搜索循环、RDA 用子任务分解与回放视频语义分析、Demo2Reward 用 VLM 元评论家在演示前缀上调优奖励提示）乃至整个训练流程（ENPIRE 构建重置/验证/安全接口后交给编码智能体改代码，HARBOR 把仿真强化学习组织为类型化工件与门检阶段）；Perception 覆盖观察选择（HINT 在操作模式切换时路由相机视角）、主动感知（MG-VQA 让 VLM 调用推动等工具暴露遮挡信息）与决策输出（ABot-N1 的循环空间推理）；Planning 分生成计划、执行前检查（SayPlan 用场景图仿真反馈修订、GAVEL 用图世界模型验证修复）与执行中更新（HUME 让执行反馈同时修订计划和领域模型）；Robot Control 从动作/语言命令、目标位姿与控制程序（VIA 虚拟夹爪预览、GPT-Policy 结构化位姿请求）到运动约束与代价函数（ReKep 关键点约束、VoxPoser 空间价值地图）；Adaptation 区分经验条件化决策（TidyBot、DROC）、规划器适配（SERP）与策略/权重更新（OLAF、Yell At Your Robot）。Data 域分采集（物理采集 AutoRT、SOAR 约 30,500 条轨迹、Tether 1,946 次尝试 1,085 次成功；仿真生成 RoboGen、GenSim2；生成式合成如 Wh0 的 50,000 条视频片段）、标注（文本/空间/交互/结果四类：NILS、IVLR、RoboSpatial、ROVER）与精炼（HELP、ARS 按估计任务进度保留有用片段、剔除无效动作）。Environment 域分重建（静态结构稳定性检查、铰接资产如 Articulate-Anything 的『渲染生成关节代码-与输入比对-修订-导出 URDF』循环、动力学）、任务生成（GenSim、RoboGen、课程生成 CurricuLLM 与 RATs）与基准（LIBERO-PRO 抗记忆化协议、RoboDojo 42 仿真+18 真机任务、RobotWorld 84 任务、安全类 ManiGuard、记忆类 MEMOBench）。Harness 域六类：编排（路由分发、函数协议、状态连接、移交时机四步）、记忆（写入/更新/检索，BATON 在技能切换时检索启动条件并用腕相机核验）、监控与恢复（前/中/后三类检查、固定响应集或规划器修订、恢复动作与停止规则）、技能（从 Code as Policies 到技能库与带门控的技能进化：ASPIRE 只提升通过验证与泛化检验的修复、RATs 反复成功才升级反复失败即退役）、基础设施（能力接口与 MCP 协议、感知/操作工具链如 GaP 的 51 项技能、策略服务 openpi/LeRobot、运行时门控与版本化）、分层系统（System 2/1/0 的速率与权威划分，以及 Jev、d1 等返回概率的决策模型作为快速选择层）。
技术新颖性
技术新颖性体现在三方面。第一，分类学的操作性：17 个类别不是按算法族或任务域划分，而是按『系统被决策塑造的部分』划分，并配以 Table 2–18 的统一比较维度（目标、方法、数据/反馈、接口、引擎、速率等），把散落在数百篇论文中的设计选择变成可对照的决策空间——例如 Table 13 把编排工作按路由/协议/状态连接/移交时机四类组织，Table 18 明确列出每套分层系统上层传给下层什么、频率多少。第二，Harness 的概念化：以往相关工作散见于 code-as-policy 综述或系统论文中，本文首次把『让能力可被机器人使用的软件』拆成六个可分析组件，并指出技能进化若没有测试与退役门控就不会累积进步（引用一项 123 轮自改进研究中被接受的修改未累积成目标成功的反例）。第三，把解析控制 System 0 纳入与 System 1/2 并列的分析框架：VLA 综述通常只比较单体与分层模型，而 ReKep 求解器 10 Hz、跟踪 20 Hz 这类速率信息恰恰是理解系统可行性与延迟预算所必需的。
实验结果
综述的核心发现可归纳为五点。其一，领域正从策略学习（2.1 节）经 VLA（2.2）与世界模型/世界-动作模型（2.3）走向智能体系统（2.4），四域 17 类的研究版图首次被完整绘制（Figure 3、Table 1–18）。其二，通用智能体已能与专门训练的策略抗衡：GPT-6 Astra 在 RoboDojo 42 个仿真任务上零样本平均成功率 22.48%，超过训练策略 DM0.5（19.34%）、GalaxeaVLA G0.5（14.88%）、Xiaomi-Robotics-1（13.93%）、OpenWAM-$\alpha$（11.92%）与 $\pi_{0.5}$（6.91%），但绝对水平仍然很低，且推理延迟与资源成本成为系统集成方式的关键约束。其三，接口与基础设施质量主导系统表现：NavMCP 把三通道协议换成情景式接口后问答准确率从 74.0% 跌至 59.1%；Show-Harness 把语义步长减半使零样本成功率从 60% 升至 82%；ASPIRE 加入带原语级轨迹的执行引擎后，LIBERO-Pro 扰动上的宏平均成功率从 14% 升至 62%；特权仿真观测（65.0%）与纯 RGB 感知（22.5%）之间 42.5 个百分点的差距说明感知是多数真机失败的主要来源（VoxPoser、ReKep、OK-Robot 均如此）。其四，安全门控有效且必要：RoboPAIR 已能在所有尝试场景中越狱自动驾驶语言模型、GPT-4o 规划的地面机器人与商用四足，而 RoboGuard 的模型检验把越狱成功率从 92.3% 压到 2.3%。其五，效率与累积性是瓶颈：异步服务让 SmolVLA 任务时间缩短约 30%，核函数优化把 $\pi_0$ 压到消费级 GPU 上 27 ms，Robion 用一块 GPU 服务约 20 台机器人；但自改进并不自动累积——一项 123 轮的研究中，被接受的修改并未累积成目标任务上的成功，说明门控（验证、回放、退役机制）与生成同等重要。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 仿真操作智能体评测（RoboDojo，42 个仿真任务） | 平均成功率 | GPT-6 Astra 智能体 22.48%（零样本，无任务微调） | 训练策略 DM0.5 19.34%；GalaxeaVLA G0.5 14.88%；$\pi_{0.5}$ 6.91% | 超过最强训练策略 +3.14 个百分点，超过 $\pi_{0.5}$ +15.57 个百分点 |
| 导航智能体接口协议消融（NavMCP） | 具身问答准确率 | 完整三通道协议（结构化意图+关键帧摘要+持久记忆）74.0% | 情景式接口 59.1% | +14.9 个百分点 |
| 语义动作接口粒度（Show-Harness 零样本） | 成功率 | 细步长接口（步长减半）82% | 原始步长接口 60% | +22 个百分点 |
| 代码修复执行引擎（ASPIRE，LIBERO-Pro 扰动） | 宏平均成功率 | 含原语级轨迹执行引擎 62% | 无执行引擎 14% | +48 个百分点 |
| 运行时安全门控（RoboGuard） | 越狱攻击成功率 | 启用模型检验门控 2.3% | 无门控 92.3% | 降低 90 个百分点 |
| 特权观测 vs 纯感知（代码策略系统） | 成功率 | 完整仿真观测 65.0% | 仅 RGB 观测 22.5% | 差距 42.5 个百分点，凸显感知瓶颈 |
| 异步策略推理（SmolVLA） | 任务完成时间 | 异步执行缩短约 30% | 同步推理-执行串行 | 以小幅成功率代价换取显著加速 |
局限与改进
作为综述，本文自身不包含新实验，其结论建立在各原始工作自报的数字之上，而这些数字来自不同的机器人、仿真器、任务集与评估协议，横向可比性有限——作者在 8.1 节也承认『相似的成功率可能反映完全不同的能力』。分类学的 17 个类别刻意非互斥，导致同一系统在多个类别反复出现（如 NILS 同时出现在采集、标注、精炼），虽然忠实反映了系统的复合性，但也削弱了分类的判别力。第二，许多类别的证据以仿真为主：记忆、监控恢复等 Harness 功能的真机验证仍然稀少；Infrastructure 一节引用的推理加速与调度结果几乎都是策略吞吐层面的，尚未与完整智能体 harness 耦合评测。第三，对『智能体到底贡献多少』这一核心问题，综述只给出了议程（公平基准）而未给出答案；何时值得多调用一次模型的成本收益分析仍以定性讨论为主。第四，文中引用的 GPT-6 Astra、Gemini 4 Argon 等模型进展极快，具体数字与结论的生命周期可能很短，不过分类学框架本身相对稳定。
独立分析的弱点
独立分析可见四点弱点。第一，广度与深度失衡：17 类各配一张对比表，但缺少对证据质量的分级（真机还是仿真、是否有消融、样本量多大），读者难以判断各类方法的成熟度——改进方向是引入证据分级或定量元分析。第二，归因问题悬而未决：论文反复强调任务成功率无法区分是执行器强还是智能体强，却没有提出可操作的归因协议；可以设计因子化基准，固定执行器只变智能体的记忆/重规划/工具集，或强制各系统报告观测次数、计算开销、执行时间与人工协助量。第三，技能进化的门控是临时性的：ASPIRE、RATs、SkillOpt 各用不同的验证规则，缺乏关于『何时自修改有益、何时会破坏已有能力』的理论或系统实证，123 轮不累积的反例说明这里需要类似回归测试集与回滚机制的标准工程实践。第四，真实世界闭环薄弱：物理数据成本高企（Tether 1,946 次尝试仅 1,085 次成功），而 Environment 域的重建与任务生成大多止步于『仿真行为成立』，作者自己也承认外观与稳定性检查不能替代接触、摩擦、可达性与下游执行测试——改进方向是把物理可行性检查设为重建流程的强制环节，并建立仿真条件在硬件上的验证协议。
未来方向
作者提出四个方向：公平基准——固定执行器、观测访问与交互预算以隔离智能体贡献，端到端评测须报告资源消耗（额外观测、计算成本、执行时间、人工协助），并设计需要记忆、重规划与多技能协同的难任务，对会采集数据、更新模型、发展技能的智能体还应考察改进是否泛化到未见任务；真机智能体机器人——接口需描述技能何时可用、需要什么前置条件、如何判断执行完成，失败抓取可能需要再观测、修订命令或换技能，重规划前反馈必须确认当前状态与已执行动作的效果（发送停止请求不等于机器人已停）；高效使用——核心是决定何时调用模型值得其延迟，按任务进度、不确定性与延迟后果调度（HarnessWAM 用轻量进度估计器只在重要事件时唤起 VLM 管理器），本地快模型处理时间敏感决策、云端强模型处理复杂推理；跨本体泛化——从 URDF 与运动学自动构建能力档案（如 EMOS 的 Robot Resume），区分可跨平台复用的高层策略与本体相关的执行细节。基于本文成果还可延伸：把 Jev、d1 这类校准决策模型（d1 文本决策 200–300 ms）作为 System 1.5 嵌入分层栈，让每次选择都带概率与置信阈值；把进化后的技能库蒸馏回模型权重，闭合技能进化与训练的回路（作者指出训练『编码者』本身仍罕见）；以及把世界-动作模型与 Harness 结合，用想象 rollout 作为廉价的执行前检查与恢复演练场。
复现评估
本文是综述，没有需要复现的实验，『复现』主要体现为利用其组织的信息资源。配套仓库 Awesome-Agentic-Robots（GitHub: chonghanqin/Awesome-Agentic-Robots）按四大域维护论文列表，Table 2–18 中每行工作均带论文与代码链接，可按图索骥。对研究者而言，复现所引系统的难度差异极大：VLA 训练类工作（$\pi_0$、RDT-1B、GR00T N1 等）需要大规模机器人数据与多卡 GPU；而 Code as Policies、ReKep、VoxPoser 类系统基于开源感知/抓取/规划工具链（Grounding DINO、SAM 2/3、AnyGrasp、cuRobo），单张 RTX GPU 即可搭建；基准方面 LIBERO、RoboCasa365、RoboTwin、Isaac Lab、Genesis、MuJoCo 均开源。实用建议：把本文当作选型地图——先按 Table 1 定位问题所属类别，再用对应对比表挑选带代码、有真机验证的工作入手。使用本文本身零算力门槛，但复现其中具体系统的难度从低（仿真代码策略）到高（跨组件真机 harness 集成与机群推理服务）不等。
论文图表
横向对比四代机器人智能范式的示意图：传统任务专用策略直接从观测映射到动作；VLA 模型把语言模型的语义知识接入动作生成；以想象为中心的世界模型/世界-动作模型预测动作的物理后果；智能体决策则超越已学策略进行选择、协调与修订。图中在右上方标注了『Agentic Robots — Decisions beyond the policy』的位置，表明智能体的价值在于策略之外的决策层。
一图读懂全文的历史叙事：四个阶段是叠加而非替代关系，可共存于同一系统；智能体的定位是『超越策略的决策』，这是理解论文动机与定义的入口。