多模态具身智能体：从计算机使用到机器人使用的统一能力视角 Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use
提出PAPAV五能力框架，统一审视数字与物理智能体，揭示具身化改变了任务闭环中的什么
前置知识
多模态智能体（MMA）
以多模态大模型为核心、通过语言、图像、视频、工具调用和 GUI 操作等与数字环境交互的目标导向系统。它在任务步 $k$ 按策略 $a_k \sim \pi(\cdot|g,h_k,m_k)$ 选择动作，其中 $g$ 是任务目标、$h_k$ 是交互历史、$m_k$ 是持久记忆，动作产生的观测 $o_{k+1}$ 回灌给后续决策，形成闭环。典型代表是操作浏览器与桌面的 computer-use agent（如 OSWorld、WebArena 上评测的系统）。
MMA 是 PAPAV 三路比较中的数字端锚点：论文反复回答'MMEA 相对 MMA 多了什么、少了什么'，不懂 MMA 的闭环机制就无法理解具身化带来的变化。
机器人系统与 VLA 策略（RS）
通过传感与执行在物理动力学约束下闭环的系统，任务级动作以技能、路点、轨迹或控制指令形式落地：$a_k$ 经执行算子 $\mathrm{Exec}_e$ 变为控制输入 $u(t),\ t\in[t_k,t_{k+1})$，受几何、动力学与安全约束。VLA（视觉-语言-动作）模型如 RT-2、$\pi_0$ 将视觉与语言输入直接映射为动作 token 或连续控制序列。
RS 是 PAPAV 的物理端锚点。论文的核心论点之一是：RS 有强大的身体执行能力，但缺少任务级的预测、规划与验证整合，这是理解 Act/Anticipate 差异分析的基础。
世界模型（World Model）
学习环境状态转移的可复用预测模型，能在给定候选动作条件下递归推演未来多步状态、观测或奖励，如 DreamerV1、DayDreamer、MuZero。与为固定目标训练的普通预测器相比，世界模型的优势在于动力学表示的通用性与可复用性，而非保证预测精度；生成式模型只有在其输出被当作'可能的后续状态'参与推理时才算世界模型。
世界模型是 Anticipate 能力的核心实现载体。论文提出的开放挑战 OC2（什么值得预测）与'决策相关预测'思想都建立在对世界模型作用与局限的理解之上。
部分可观测与闭环反馈
智能体永远只能获得环境的局部观测：物体移出视野、属性被遮挡、早期动作的效应在证据消失后仍长期重要。系统必须维护并修订'任务信念'（belief），把当前观测、历史与记忆融合成对环境状态的估计，并在新证据与旧信念冲突时更新。闭环反馈指动作产生的结果被观测并用于修正后续决策。
部分可观测性是论文五大物理约束之首，也是 OC1（持久物理信念）的根源。理解它才能理解为什么具身化让循环'更难预测、更不容错'。
显式/隐式/未评测三级标注
论文分析基准的方法论：某能力被专门的任务、指标、受控对比或可观测信号直接考察记为'显式评测'（✓）；能力是完成任务所必需但只体现在端到端成绩中记为'隐式评测'（G#）；任务或协议不需要该能力记为'未评测'（#）。论文还给出五条防高估边界，例如多模态输入本身不构成显式 Perceive，外部评测器执行的检查不算 Verify。
这套标注语言是全文实证部分的骨架：'Anticipate 仅 8%、Verify 仅 5% 被显式评测'的结论完全依赖这套口径，读懂它才能评估论文统计的可信度。
研究动机
多模态智能体（MMA）已能操作浏览器、桌面与手机，依靠推理、记忆、工具和反馈维持长程交互；机器人系统（RS）则在物理动力学下耦合感知与执行，通用策略与世界模型不断把语言、感知连接到物理动作。两条线各自发展出成熟的分类体系，但现有综述跟着各自领域的惯例走：计算机使用的综述强调计算架构与数字交互，具身 AI 与 VLA 的综述强调物理任务与执行。论文 Table 1 对 10 篇相关综述的定位分析显示：6 篇同时覆盖 computer-use 与 robot-use，4 篇分析基准，却没有一篇把两个设定当作同一个能力结构来比较。后果是话语体系割裂——一个把 GUI agent 推到高成功率的社区与一个在真实机器人上仍频繁失败的社区，无法回答'当同一个任务循环里的动作开始产生物理后果时，究竟什么变了'。更实际的问题是：基础模型、世界模型与更大的机器人数据集正在把原本分离的能力连接起来，但强组件拼在一起并不等于连贯的物理智能体——连贯性取决于整个闭环在环境变化下的协调。
本文的目标是本文要建立一个统一的、以能力为中心的比较框架 PAPAV（Perceive–Anticipate–Plan–Act–Verify），用五个在任务循环中反复出现的功能角色，把 MMA、RS 及其交集 MMEA（多模态具身智能体）放到同一坐标系下比较。具体目标有三：第一，给出 MMEA 的可操作定义——通过多模态证据引导物理动作、并利用动作反馈修正后续决策的目标导向系统——以及可判定的归类条件；第二，逐能力做三路比较，即先识别 MMA 与 RS 共享什么，再分别分析 MMEA–MMA 与 MMEA–RS 的差异，从而精确定位'具身化改变了什么'与'任务整合改变了什么'；第三，用该框架审计 64 个基准的能力级覆盖，区分'任务需要某能力'与'评测显式考察某能力'，定位评测盲区，为设计可靠的物理智能体和度量五能力（而非仅任务成功率）的进展提供公共基础。
与已有工作不同的是，独特切入角度是'按功能而非架构定义能力'这一抽象单元。一次点击、一次技能调用和一条机器人轨迹在形式上迥异，但 PAPAV 只问它们对同一个任务循环各自贡献什么，而不问系统是否共享架构或动作空间——这使得'数字–物理类比'第一次成为显式的分析轴（Table 1 中唯一一个四维全勾的综述）。第二个独特之处是把通常被折叠进'观测–决策–动作'循环的两个环节拆开：Anticipate 在 Plan 选择路线之前估计候选动作的后果，回答'这个动作会导出什么'的反事实问题；Verify 判断动作后的证据是否支持预期结果，而非仅仅记录又一次观测。这让'预测'与'结果判断'成为可见的独立能力。第三个独特之处是把综述从分类学推进到评测方法论：每个能力小节都给出可操作的编码清单与应测量的量（如校准、新鲜度、误接受率、裁决延迟），并区分'任务结果指标'与'能力级诊断'。
核心方法
直觉上，论文把'智能体完成任务'看作一个逐步推进的任务循环：每一步包含一个推进任务的操作、选择它所用的证据、以及操作后返回的反馈。工作在任务级（task-level）让两个设定处于同一时间尺度——点击和控制节拍不可比，但一个任务步可比。PAPAV 在这个循环里定义五个功能角色：Perceive 从多模态证据建立当前状态信念，Anticipate 估计候选动作的效果，Plan 在任务与环境约束下选择可行路线，Act 通过接口或身体执行，Verify 判断结果并决定继续、终止、重试还是重规划。技术上，论文用式 (1) 形式化 MMEA 循环：$(h_k,g)\xrightarrow{\text{Perceive}} b_k \xrightarrow{\text{Anticipate}} \hat{\Delta}_k \xrightarrow{\text{Plan}} p_k \xrightarrow{\text{Act}} (a_k,\rho_k) \xrightarrow{T_d,O_d} o_{k+1} \xrightarrow{\text{Verify}} v_k$，其中 $b_k$ 是任务条件信念，$\hat{\Delta}_k$ 是预测的任务相关效果，$p_k$ 是拟执行路线，$\rho_k$ 是执行进度，$v_k$ 是 continue/success/retry/replan/fail 等裁决。在此形式化之上，论文做三路能力比较（第 3 章）和 64 个基准的能力覆盖审计（第 4 章），最后提炼五个开放挑战（第 5 章）。
核心创新有三层。第一层是'按功能而非架构定义能力'：一个模型可承担多个功能，一个功能也可分布在多个模型或工具上，功能由'它对循环的贡献'定义，因此点击、技能调用与轨迹可以被放在同一坐标里比较——这避免了按模块分类在架构演化下的脆弱性。第二层是把'具身化改变了什么'操作化为五个物理约束：部分可观测性、有限可模拟性、不可逆性、实时耦合、结果不可验证。它们共同使循环更难预测、更不容错：计算机使用中由结构化接口和系统设计预先固定的选择（如可回滚的状态、权威的成功检查），在开放物理交互中都不再成立，于是更多决策被推入交互过程本身。第三层是 MMEA 的三条件判据：(1) 持久具身任务循环——任务相关状态跨物理执行轮次持续存在且动作能产生可观测的物理变化；(2) 任务级能力回报——每个声称的 PAPAV 能力有文档化的输出并能影响循环内的后续任务级决策；(3) 具身约束承诺——任务决策显式考虑身体与环境的物理可行性、执行时序与控制约束。任一条件证据缺失即'不确定'，显式缺失则移出 MMEA 类。此外论文明确把记忆与编排称为'agentic harness'（协调基底）而非第六能力，保持框架简洁。
方法步骤详情
论文的方法可分四步。第一步，建立共享任务循环与形式化：MMA 在步 $k$ 按 $a_k\sim\pi(\cdot|g,h_k,m_k)$ 选动作；RS 的任务级动作经 $\mathrm{Exec}_e$ 落地为控制输入；MMEA 的动作受可行集约束 $\mathcal{A}_{feas}(b_k,e)=\{a\in\mathcal{A}: \Gamma^j(a,b_k,e)\le 0,\ j\in\{geo,dyn,safe\},\ \tau_{exec}(a,e)\le\tau_{max}\}$，即几何可行性、动力学可行性、安全约束与执行时间预算四类限制。第二步，逐能力做三路比较：每个能力小节（3.1–3.5）先确立 MMA 与 RS 共享的关系（如多模态证据接地、动作条件状态转移预测、语义动作接地、证据接地验证），再分析两组差异，例如 Perceive 从'数字证据查询'到'物理证据查询'（MMA–MMEA）、从'供给式感知目标'到'任务形成的查询'（RS–MMEA）；Plan 从'快照回溯规划'到'已变更状态规划'、从'技能级恢复'到'任务级恢复'。第三步，基准语料构建与标注：经 Google Scholar 与相关会议筛选，要求有明确任务/环境、公开协议和至少一个量化指标，后继基准需任务、环境、数据或协议实质变化才单独计入，最终 64 个基准（10 MMEA、23 MMA、31 RS），语料截止 2026 年 9 月 8 日；每个基准按显式（✓）/隐式（G#）/未评测（#）三级标注五个能力，并施加五条防高估边界（如普通动作后状态变化不足以评 Anticipate、路径/运动规划不算任务级 Plan、产出动作描述或未来视频不算 Act）。第四步，跨域统计与挑战提炼：按指标类型把基准分为 outcome-only（24 个）、outcome-augmented（25 个）、process-diagnostic（15 个），统计各能力显式覆盖率（Figure 10），并沿 PAPAV 顺序归纳五个开放挑战 OC1–OC5。
技术新颖性
与现有工作相比，技术新颖性体现在四点。其一，定位空白：Table 1 显示 10 篇相关综述无一将'数字–物理类比'作为分析维度，PAPAV 是第一个把 computer-use 与 robot-use 当作同一能力结构两端的综述，填补的正是'覆盖两者≠类比两者'的空隙。其二，形式化判据：MMEA 不再是模糊描述，而是三条件可判定归类，任何系统配置都可被编码为属于、不属于或证据不足，这使后续工作可以增量维护一个可复算的系统分类。其三，能力级基准审计方法本身是新的：把'任务需要某能力'与'评测显式考察某能力'分开，并设计防高估标注边界，使'Anticipate 仅 5/64 (8%)、Verify 仅 3/64 (5%) 被显式评测'这类结论有可复现的统计口径。其四，评测方法论输出：每个能力的 Summary 小节给出可直接采用的测量清单——Verify 应测误接受率、误拒绝率、校准误差、裁决延迟与干预收益（并指出后三者是需要配对实验/分支回放的因果量）；Act 应测接地正确性、进度可观测性、终止状态准确率与中断延迟；Anticipate 应区分已执行转移误差与反事实量（排序一致性、决策后悔）。综述通常止于分类，本文把框架推进到了'如何测量'的层面。
实验结果
核心实证是对 64 个基准（10 MMEA、23 MMA、31 RS）的能力覆盖审计（Figure 10、Table 2）。Act 获得最强显式覆盖：MMEA 10/10 (100%)、MMA 16/23 (70%)、RS 29/31 (94%)。Perceive 显式率为 MMEA 7/10 (70%)、MMA 10/23 (43%)、RS 10/31 (32%)。Plan 差异最鲜明：MMEA 有 7/10 (70%) 显式（其余 30% 隐式），而 MMA 和 RS 均为零显式——MMA 16/23 (70%) 隐式、7/23 (30%) 未评测；RS 13/31 (42%) 隐式、18/31 (58%) 未评测。全语料仅 5/64 (8%) 显式评测 Anticipate（世界模型类基准：WorldModelBench、PBench、HarnessEval-W、Dream.exe、RoboWM-Bench），仅 3/64 (5%) 显式评测 Verify（RoboCerebra、AgenticLab、AgentStudio 的 CriticBench）。指标类型上，49 个基准是结果导向（24 outcome-only + 25 outcome-augmented），仅 15 个过程诊断型；过程诊断占比 MMEA 4/10 (40%)、MMA 4/23 (17.39%)、RS 7/31 (22.58%)。分域看：MMEA 基准全部显式评 Act、大多数显式评 Perceive 与 Plan，但 Anticipate 无一显式（全部隐式），Verify 仅 RoboCerebra 与 AgenticLab 显式；MMA 基准中理解类（MMMU-Pro、Video-MME-v2、VSI-Bench）主要评 Perceive，世界模型类显式评 Anticipate，但 Verify 因'外部检查不算'而普遍缺席；RS 31 个基准中 29 个提供显式 Act 证据，但无一显式评任务级 Plan 或智能体自身的 Verify——完成度检查都由评测系统执行。这些数字共同支持论文判断：端到端任务成功率掩盖了预测与验证这两个在物理设定下最关键、也最难的能力，跨域差异主要反映基准设计而非系统能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Act 能力显式评测覆盖 | 显式评测基准数/域内总数 | MMEA 10/10 (100%)、MMA 16/23 (70%)、RS 29/31 (94%) | 其余四个能力的显式覆盖率（对照） | Act 是唯一获得跨三域高显式覆盖的能力；RS 中 29/31 通过任务结果、回报、路径效率或阶段完成度提供显式 Act 证据 |
| Anticipate 能力显式评测 | 显式评测基准比例 | 仅 5/64 (8%)：WorldModelBench、PBench、HarnessEval-W、Dream.exe、RoboWM-Bench | 其余 59/64 为隐式或未评测；MMEA 域内 0/10 显式 | 揭示动作后果预测是当前评测体系最大的盲区，预测质量几乎完全隐藏在任务成功率背后 |
| Verify 能力显式评测 | 显式评测基准比例 | 仅 3/64 (5%)：RoboCerebra、AgenticLab、AgentStudio(CriticBench) | 其余 61/64 为隐式或未评测；外部评测器执行的检查不计入 Verify | 证明'智能体从反馈中判断成败并决定停止/重试/恢复'这一能力在几乎所有基准中都不被考察 |
| Plan 能力显式评测 | 显式评测基准比例 | MMEA 7/10 (70%)；MMA 与 RS 均为 0% 显式 | MMA 70% 隐式/30% 未评测；RS 42% 隐式/58% 未评测 | 任务级规划（分解、子目标排序、约束、协调、重规划）只在具身基准中被显式考察；路径/运动规划按定义不计入 |
| 评测指标类型分布 | 过程诊断型基准占比 | 15/64 为过程诊断型；分域为 MMEA 40%、MMA 17.39%、RS 22.58% | 49/64 为结果导向（24 outcome-only + 25 outcome-augmented） | 过程诊断型指标能把性能归因到具体能力、更好定位失败来源，但需要更细的标注、轨迹记录与评测器设计 |
| Perceive 能力显式评测 | 显式评测基准比例 | MMEA 7/10 (70%)、MMA 10/23 (43%)、RS 10/31 (32%) | 多模态输入本身不计为显式 Perceive（防高估规则） | RS 域显式感知覆盖最低（32%），多数操作基准用结构化状态或未单独考察感知 |
局限与改进
作者承认的局限：其一，语料仅 64 个基准且三域数量不等（10/23/31），跨域比较是描述性的，不是对全部文献的估计；其二，语料截止 2026 年 9 月 8 日，在快速演化的领域很快会过时；其三，能力标注依赖已发表证据，'证据缺失即标为不确定/隐式'可能造成保守偏差——某些系统其实做了预测或验证但论文未报告；其四，类别按主要评测域互斥划分，'多模态输入本身不能使 RS 基准成为 MMEA'的规则会牺牲一些边界案例的刻画。我自己的观察还有四点：第一，论文未报告标注者间一致性（inter-annotator agreement），显式/隐式的边界裁决（如 CaP-Bench 的迭代代码精炼算隐式 Verify、iVISPAR 的状态空间搜索不算任务级 Plan）存在主观空间，第三方复算可能得到不同比例；第二，'过程诊断型指标更好'是有说服力但未量化验证的论断——没有实验对比两类指标在失败定位准确率上的差异；第三，五个开放挑战是概念性的，没有附带可运行的最小评测协议原型，框架到工具之间仍有断层；第四，对安全、伦理与监管着墨很少，物理不可逆性直接关联人身与财产风险，但五个挑战中只有 OC4（何时求助）间接涉及。
独立分析的弱点
独立分析有四个弱点。一、框架的可检验性有限：'合格信念''适用包络''双向执行契约'等是论文提出的分析标准而非现有系统共有的接口，短期内难以变成可自动执行的协议，综述结论与评测工具之间存在落地断层。改进方向：为每个能力发布最小标注手册与金标轨迹样例，让社区可在新基准上复算覆盖统计。二、能力边界判断仍依赖人工编码：五条防高估规则消解了部分歧义，但许多裁决（外部反馈循环算不算隐式 Verify、世界模型基准的'下游执行'算不算 Act）可能引发争议。改进方向：多人标注加一致性统计，或 LLM 辅助初标加人工抽检，公开逐条标注依据。三、只有诊断没有处方试点：论文正确指出应报告误接受/误拒绝率、裁决延迟并测验证器与执行器的相关错误，但没有构造示范数据集或示范基准验证这些指标的可行性。改进方向：以 RoboCerebra 或 AgenticLab 为基础发布带能力级标注的公开轨迹数据集，先行验证协议。四、跨域比较的统计功效弱：MMEA 只有 10 个基准，百分比波动一个基准就是 10 个百分点，论文虽然声明'描述性'，但 Figure 10 的三矩阵并排呈现仍可能诱导读者过度解读差异。改进方向：随语料扩充滚动更新，并给出置信区间或至少按子类（仿真/真实/混合）分层呈现。
未来方向
作者沿 PAPAV 顺序提出五个开放挑战，本身就是研究路线图。OC1 持久物理信念：世界变化时该记住、修改、遗忘什么——激进遗忘导致反复重发现，全量保留让陈旧矛盾信息累积，未来系统可能需要持久结构化状态、压缩隐状态与情景检索的混合方案，评测应问记忆能否在遮挡与变化下恢复隐藏状态、修正陈旧信念且成本不失控。OC2 决策相关预测：与其追求最真实的未来预测，不如保留对动作选择关键的区分——可用'删减预测细节、看策略是否改变'检验充分性；几何后果主导导航、接触与稳定性主导操作、社会响应主导人机交互。OC3 自适应承诺：动作块（action chunk）该多长、何时重开循环——每步重规划昂贵且犹豫，长承诺迟钝；合适 horizon 不是固定值，自由空间运动可长、接触丰富或不可逆动作前应更频繁检查，需用反应延迟、浪费动作数、干预频率、推理成本而非单纯成功率评估。OC4 不确定性条件控制：不确定时该行动、再观测还是求助——取决于观测成本、歧义被解决的可能性、动作可逆性与错误代价，目标是既不鲁莽也不无限重观测与升级。OC5 从验证中学习：同一失败信号可能指向信念、预测、计划或执行的不同组件，改错组件会无效甚至引入新错误；有效改进环需把裁决连接到具体修订并经后续交互检验，防止验证错误在自我改进循环中累积。可延伸方向：把 PAPAV 变成运行时诊断工具（在线定位失败能力）；构建显式同时评 Anticipate+Verify 的新基准；扩展到多智能体具身系统；量化验证器与执行器的证据依赖及相关错误。
复现评估
这是一篇综述，'复现'主要是复算统计与标注协议，无需训练算力。可复现资产：项目主页（showlab.github.io/Awesome-Multimodal-Embodied-Agent）提供文献列表与追踪；Table 2 给出全部 64 个基准的发表 venue、任务描述、类别归属与 PAPAV 三级标注，论文明确声明'语料冻结在截止日期，Table 2 提供复现能力覆盖统计所需的实体、类别与标注'；标注协议有显式/隐式/未评测三级定义与五条防高估边界规则（2.3 节三条件 + 4 节标注边界）。困难与缺口：文献证据收集依赖 Google Scholar 与会议渠道检索，论文未提供检索式、筛选日志或逐条标注理由表，第三方复算 64 条标注可能有出入；能力归属判定需要读大量原始论文，人力成本是主要开销（估计需要熟悉 agent 与机器人两个社区的标注者数周工作量）；若要超越统计复算、实际运行这些基准做能力级诊断，仿真类基准（LIBERO、ALFRED 等）可行，真实机器人与多站点评测（RoboArena、BEHAVIOR Robot Suite）硬件成本高。总体：复算覆盖率统计难度低到中；完全重复标注过程难度中到高，主要瓶颈是主观裁决与文献阅读量，而非数据或算力。
论文图表
2017–2026 年的时间轴全景图。左列是机器人系统（从 Deep Visual Foresight、Dex-Net 2.0、RT-1/RT-2、Diffusion Policy 到 π0、通用策略、世界模型与 RoboArena 等多站点评测）；右列是多模态智能体（从 HuggingGPT、MM-REACT 等工具增强推理到 SeeClick、UI-TARS、OSWorld、OSWorld 2.0 等 GUI grounding 与 computer-use 基准）；中间主干自 2022 年（SayCan、Inner Monologue 等语言模型规划器遇上机器人技能）开始出现并不断加宽。
提供两条研究线各自演化并近期收敛的历史证据，是论文动机的实证支撑：正因为两条线正在汇合，一个统一的比较框架才变得必要且及时。