RobotWorld：跨多样任务与机器人本体的多模态智能体机器人使用基准 RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments

第一步，任务构建：从 BEHAVIOR-1K、RoboCasa、RoboLab、RoboDojo、Bench2Dex、WheeledLab、OmniDrones、VolleyBots 等 20 个源项目选取场景与目标；当源环境只提供连续奖励时补写显式完成目标（如扰动后到达目的地、载荷稳定在规定界内），'活到时域结束'不等于完成；七种驾驶场景引入窄支撑、受限车位、移动门等约束。第二步，接口适配：适配器暴露允许的观测（相机、关节状态等）、文档化命令（单位、坐标系、绝对/增量）、控制器辅助与有界执行；评估器专用状态对智能体不可见。第三步，检查器验证：用正例、反例与边界夹具测试评分逻辑，再用场景探针、状态事件回放与轨迹视频核查物理可达性。第四步，评测执行：五个模型 × 84 任务各 1 个 episode（共 420 个），2026 年 9 月 30 日至 10 月 6 日采集；83 个任务的预算为 15 个连续非动作事件、总预算 30/60/120（排球 1v1 为 20/150），执行控制步会重置连续计数；观测历史含当前观测加每两轮采样至多 4 条历史；代码控制在主评测中默认关闭。第五步，判定与统计：成功在预算边界裁定（含回溯裁决），任务均衡成功率 $SR_{\mathcal{G}}(m)=\frac{1}{|\mathcal{G}|}\sum_{i\in\mathcal{G}}S_i(\xi_{i,m})$；同时记录墙钟时间、机器人请求数、全部工具调用、token 量与列表价成本估计。

技术新颖性体现在四处。第一，混合控制接口：同一 episode 内直接动作（$N$ 步有界段）与代码控制（至多 $M$ 步的生成程序）可交替，论文精确指出代码控制改变的是'程序收到反馈的频率'而非取消反馈——智能体仍在调用间重规划；这与 CaP-X（纯代码控制）、EmbodiedBench（纯直接动作）等单接口基准形成方法学对照。第二，跨本体与跨需求广度：7 类本体、5 大域，包含持续稳定与移动目标交互等 pick-and-place 之外的需求，并以五类需求标签统一刻画任务难度。第三，评估器与智能体解耦：判定使用智能体不可见的隐藏状态，持续性检查在评估器采样率上验证，从协议上杜绝'自我申报成功'。第四，机制级分析框架：通过匹配轨迹对比（如 8 个共同解决任务上的工具调用数与控制步数）分离'交互成本'与'物理执行成本'两个量纲，再按需求分组给出模型画像，把具身评测从分数榜推进到失败机制的诊断层面。

独立分析可指出以下弱点。第一，单 episode 评测的方差问题：排球 1v1、球类拦截等任务随机性强，一次运行的结果噪声大，改进方向是每任务多次初始化、报告成功率的均值与置信区间，或采用留一/自助法估计。第二，预算校准偏置：总预算按 Astra 记录校准，而 Opus、Gemini 的中位调用数分别只有 37 与 11，改进方向是报告成功率-预算曲线（多个预算档位）而非单点。第三，代码控制在主评测默认关闭：这限制了编码强模型的发挥，也与 EmbodiedSWE、CaP-X 关注的核心问题脱节，应补充开/关代码控制的消融实验。第四，需求画像的事后性：分组标签描述任务要求而非能力分解，要回答'是形态还是策略导致差异'需要受控配对设计——同一需求跨本体系统配对并控制辅助程度。第五，物理暂停让模型可用任意长的离线推理换取精度，回避了实时智能体的核心难题，应引入带延迟上界的实时模式或报告每决策延迟。第六，持续性检查依赖评估器采样率，快速瞬时违例可能漏检，可用更高采样率或事件级物理谓词加固检查器。

作者提出的方向：一是靶向消融——系统性变化视觉观测访问、辅助计算与控制器辅助，检验'Astra 更擅长把视觉转为空间估计与动作、Opus 更常通过程序表达几何/物理关系以辅助预测与时机'这一假设；二是实时闭环与真机评测，确认哪些能力能在推理延迟、噪声与动力学差异下存活，以及哪里需要更快的反馈或更强的控制支持；三是构建全新任务、变化初始条件并扩展本体，把可复用的物理能力与任务特定的成功区分开。基于本文成果可延伸的方向：把四个失效层面（状态保持、行动修正、时间协调、完成识别）转化为可优化的训练目标，例如训练完成判别器或过程奖励模型、构造带恢复标注的轨迹数据集；把 63 个无模型可解的任务作为困难集推动能力边界；利用'共同解决任务上交互成本近 2 倍差距'的现象研究高效工具使用的蒸馏与压缩；以及把检查器六族证据改造成可微或 VLM 驱动的自动评估器，降低新任务的检查器开发成本。

复现条件较好：论文提供项目页与开源代码链接，任务全部构建于 20 个公开源项目（BEHAVIOR-1K、RoboCasa、RoboLab、RoboDojo、Bench2Dex、WheeledLab、OmniDrones、VolleyBots 等）之上，任务级检查器阈值随基准规范保留，附录 B–E 给出工具清单、系统/开发者提示词、资源分布数值、全部 420 个结果及代表性成功轨迹解析。算力门槛主要在 API 成本：五个前沿模型合计约 1.36 万美元列表价、累计约 423 小时的仿真+等待时间，对学术实验室不便宜，但框架本身可在开源或低成本模型上以较小预算复跑；真正的工程量在于把 20 个异构仿真器统一到共享协议并逐一验证检查器。主要不确定点：单 episode 设计意味着复现者需自行追加重复运行预算才能得到统计可靠的结论；部分任务依赖源项目的控制器辅助（如 cuRobo 运动规划），上游版本更新可能造成行为漂移。总体属于'概念清晰、工程量大、中等难度'的复现。