← 返回 2026-06-25

EBench：通用移动操控策略的元素级诊断基准 EBench: Elemental Diagnosis of Generalist Mobile Manipulation Policies

Ning Gao, Jinliang Zheng, Xing Gao, Haoxiang Ma, Hanqing Wang, Yukai Wang, Jiantong Chen, Zanxin Chen, Shujie Zhang, Mingda Jia, Xuekun Jiang, Zihou Zhu, Xinyu Li, Shuai Wang, Hao Li, Wenzhe Cai, Yuqiang Yang, Xudong Xu, Zhaoyang Lyu, Yao Mu, Tai Wang, Jiangmiao Pang, Jia Zeng, Weinan Zhang, Chunhua Shen 📅 2026-06-20 👍 16 2026-07-13 08:37
仿真基准 机器人操控 泛化评估 能力诊断 通用策略
arXiv HuggingFace PDF

提出多维诊断基准，揭示通用操控模型的能力特征和泛化边界

前置知识

通用操控策略

通用操控策略是指能够处理多种任务、多种场景的单一机器人控制策略。与专用策略不同，通用策略不需要针对每个任务单独训练，而是通过大规模多任务数据预训练获得跨任务泛化能力。其输入通常是视觉观察、本体感知和自然语言指令，输出是末端执行器动作或关节位置。

论文的核心目标就是评估这类通用策略的全面能力，理解它们在不同任务类型、精度要求和泛化条件下的表现差异。

视觉-语言-动作模型

视觉-语言-动作模型是一种将视觉理解、语言理解和动作执行结合在一起的端到端模型。它通常由视觉编码器、语言编码器和动作解码器组成，能够直接从图像和文本指令生成机器人动作。论文评估的 π0、π0.5、XVLA 和 InternVLA-A1 都是这类模型。

这是论文评估的核心模型类型，理解其架构和训练方式对于解读实验结果至关重要。

远程操作与运动规划

远程操作是指人类操作员通过控制设备直接控制机器人执行任务，适合需要精细接触反馈的灵巧任务。运动规划是指算法根据目标姿态自动计算无碰撞轨迹，适合长时程和移动任务。论文使用双流数据合成：灵巧任务用远程操作，移动和长时程任务用关键帧姿态加 cuRobo 运动规划器。

这是 EBench 构建大规模演示数据集的核心方法，理解其互补性对于理解基准的覆盖范围和质量很重要。

分布外泛化

分布外泛化是指模型在与训练分布不同的测试数据上的表现。论文设计了四个泛化维度：未见背景（改变场景纹理和光照）、未见物体（交换几何不同的物体实例）、改述指令（保留操作目标的语言变体）和混合（三者联合扰动）。训练和测试集在资产级别隔离。

这是 EBench 的核心创新之一，能够诊断模型在分布漂移时的行为，这对实际部署至关重要。

研究动机

现有的仿真基准评估只提供单一成功率标量，无法回答模型在哪里强、在哪里弱、以及当部署分布漂移时这种模式如何变化等根本性问题。桌面级套件如 RLBench、CALVIN、LIBERO 覆盖的物理交互范围狭窄；大规模努力如 RoboCasa、RoboTwin、GenManip 虽然扩展了任务和本体覆盖，但各自只关注单一领域：桌面抓放、移动重排或单次操控；诊断性基准如 RMBench 只隔离单一能力轴（记忆）；BEHAVIOR-1K 虽然涵盖了更广泛的任务类型，但仍回退到总体分数。社区渴望一个基准，其任务套件足够广泛，能够同时覆盖长时程、灵巧和移动领域，并且配备良好的仪器以支持细粒度分析而非单一排行榜标量。

本文的目标是论文的目标是提出 EBench，一个用于通用操控的仿真基准，同时在单一评估套件中覆盖长时程、灵巧精确和移动操控这三个领域。EBench 将 26 个任务标注为五个能力维度和四个泛化维度，使得单一标量成功率能够分解为可解释的能力坐标，为通用操控模型的迭代提供广泛的诊断信号，揭示模型在总体分数背后的优势和劣势。

与已有工作不同的是，本文的独特切入角度在于同时解决三个需求：提供一个同时涵盖长时程、灵巧精确和移动操控的基准代码库；在这些代码库上组装 26 个跨越三种很少在单一套件中同时存在的任务族的任务（10 个移动抓放任务、9 个长时程多阶段任务、7 个具有亚厘米容差的灵巧精确任务）；通过资产分区进行受控的分布外评估，在四个维度上评估：未见背景、未见物体、改述指令及其混合。这使得 aggregate scores 能够分解为可解释的能力坐标，而不是折叠成排行榜标量。

核心方法

EBench 的整体思路是构建一个全方位的诊断基准，从任务设计、数据合成、评估协议到指标库都围绕揭示通用操控策略的细粒度能力特征而设计。方法上采用两流数据合成管道：灵巧精确任务通过人类远程操作收集（保留接触丰富的微观修正所需的反应反馈和动态调整），移动和长时程任务通过关键帧末端执行器姿态加上 cuRobo 运动规划器生成（解决长序列中指数级放大的失败概率问题和移动操控的协调困难）。评估协议要求单一模型检查点解决所有 26 个任务，提供二元成功信号 SR 和奖励部分进度的任务 Score。基准还通过资产分区控制四个泛化维度，在训练和测试集之间建立资产级别的隔离。

核心创新点是将 26 个任务标注为五个能力维度（场景类型、原子技能、时间跨度、精度、操作模式）和四个泛化维度（未见背景、未见物体、改述指令、混合），使得单一标量成功率能够分解为可解释的能力坐标。另一个关键创新是采用双流数据合成管道：远程操作用于灵巧精确任务，关键帧姿态加 cuRobo 用于移动和长时程任务，这样既能收集接触丰富的精细轨迹，又能高效生成大规模长时程演示。第三个关键创新是受控的分布外评估，在训练和测试集之间建立资产级别的隔离，使得测试集从与训练池不相交的场景、物体和指令资产池中构建。

方法步骤详情

方法步骤分为三个主要部分。首先是任务设计和多样性：EBench 包含 26 个操控任务，组织成三个族：移动抓放（10 个移动任务，每集 600-1000 仿真步）、移动长时程（9 个多阶段移动序列，3000-5000 步）和桌面灵巧精确（7 个固定基座任务，1500-3500 步，覆盖亚厘米插入、对齐和双手协调）。每个任务标注五个维度：场景类型、原子技能、时间跨度、精度和操作模式。其次是数据合成：7 个灵巧任务通过运动学同构的 actor-follower 设置收集 400 个远程操作集；19 个移动和长时程任务由注释器指定稀疏的关键帧末端执行器姿态序列和移动情况下的基座航路点，cuRobo 求解无碰撞的最小加加速度轨迹连接它们，每任务生成 200 个运动规划集。最终数据集包含 91.4 小时演示，6600 集，按 LeRobot 格式组织。第三是评估协议：验证集分为 Val-Train（130 个分布内集）和 Val-Unseen（154 个包含未见物体交换的集）；测试集包含 510 集，覆盖所有四个泛化维度。两个指标：二元成功信号 SR（主要）和奖励部分进度的任务 Score。Score 按阶段计算而非从单一距离函数计算，每个任务声明为有序阶段序列，每阶段保持一组模拟器状态条件。

技术新颖性

技术新颖性体现在多个方面。在基准设计上，EBench 首次在单一评估协议下同时覆盖长时程、灵巧精确和移动操控，这与现有基准各自只关注单一领域形成对比。在任务标注上，每个任务都标注五个能力维度和四个泛化维度，使得 aggregate scores 能够分解为可解释的坐标，而不是折叠成排行榜标量。在数据合成上，采用双流管道结合远程操作和运动规划，既能收集接触丰富的精细轨迹，又能高效生成大规模长时程演示。在评估协议上，通过资产级别隔离控制四个泛化维度，使得测试集从与训练池不相交的资产池中构建。在指标库上，使用共享评估原语（场景图关系、关节角度、物体倾斜和朝向、时序约束）组成有序阶段图，替换了以往基准使用的每任务手工编码评估器，使得分数在任务族内可直接比较。

EBench end-to-end pipeline. Left: 26 tasks span pick-and-place, long-horizon, and dexterous-and-precise families, instantiated on shared scene and robot assets. Middle, two-track synthesis: dexterous-and-precise demonstrations are collected via human teleoperation (top); mobile and long-horizon trajectories are generated by motion planning from key-frame end-effector poses fed to cuRobo (bottom). Right: EBench is evaluated through a client–server protocol. The IsaacSim-backed server returns observations and a step signal, and VLA or WAM clients (e.g. a VLM with a DiT action head) emit actions in response.
Figure 2: EBench end-to-end pipeline. Left: 26 tasks span pick-and-place, long-horizon, and dexterous-and-precise families, instantiated on shared scene and robot assets. Middle, two-track synthesis: dexterous-and-precise demonstrations are collected via human teleoperation (top); mobile and long-horizon trajectories are generated by motion planning from key-frame end-effector poses fed to cuRobo (bottom). Right: EBench is evaluated through a client–server protocol. The IsaacSim-backed server returns observations and a step signal, and VLA or WAM clients (e.g. a VLM with a DiT action head) emit actions in response.

实验结果

实验揭示了几个核心发现。首先是总体性能与能力特征的矛盾：四个模型的测试成功率都在狭窄的 24.4-29.5% 范围内，但五维能力特征却相差数十点。π0.5 实现最高的测试 SR 29.5% 和最强的保持率（SR 0.92，Score 0.95），表明其验证性能是未见能力最可靠的预测器。InternVLA-A1 在分布内表现最好（Val-Train SR 33.1%），但在 Val-Unseen 上急剧下降（20.8% SR），显示出对训练分布的强拟合但对分布偏移的有限鲁棒性。其次是能力特征的显著差异：在操作模式上，InternVLA-A1 在移动操控上竞争有力（约 34.7% SR），但在灵巧固定基座任务上急剧下降（5.8% SR），造成队列中最大的移动到灵巧差距（29 点）；π0 表现最平衡，移动（29.2%）和灵巧（18.1%）之间的差距较小（11 点）。在精度上，π0 在亚厘米高精度任务上领先（13.8% SR），其他模型都降到个位数；在低精度任务上，π0.5 表现最好（44.2% SR）。在原子技能上，没有单一模型主导所有十一个技能：π0 在 Pull（47%）和 Press（50%）上领先；XVLA 在 Push 上占主导（73.8%）但在 Handover 上垫底（5.8%）；InternVLA-A1 在 Move 和 Sweep 上获胜但在 Press 和 Flip 上得 0%；π0.5 是唯一没有灾难性零类别的模型。在泛化诊断上，难度层次清晰：背景和语言扰动相对温和，物体级物理变化更难，它们的组合最具挑战性。四个模型在 Background 和 Instruction 扰动下保持 27-35% SR，表明在物体物理不变时感知和语言基础相对鲁棒。Object swaps 将 SR 降低到 21-29%，表明新物体几何和质量分布形式的物理变化构成更强的泛化挑战。联合 Mix 设置进一步将 SR 降低到 18-23%。在预训练敏感性上，EBench 上预训练对每个架构都有很大帮助：π0 从 11.2% 提升到 24.4% SR，π0.5 从 8.5% 提升到 29.5%，XVLA 从 15.7% 提升到 24.7%。而在 LIBERO 和 RoboTwin 2.0 上，预训练几乎没有差异或从零开始模型匹配或超过预训练基线，表明 EBench 是唯一能够测量大规模预训练对通用策略贡献的基准。

EBench five axes task taxonomy. Numbers in parentheses indicate the number of categories within each dimension.
Table 1: EBench five axes task taxonomy. Numbers in parentheses indicate the number of categories within each dimension.
Overall performance of baselines across evaluation splits. SR (%) as the primary metric is highlighted in bold; Score denotes continuous task progress (%), and Retention is the ratio of Test to Val-Train. Results are reported as mean ± standard deviation over three evaluation runs, with the best value in each column shown in bold.
Table 2: Overall performance of baselines across evaluation splits. SR (%) as the primary metric is highlighted in bold; Score denotes continuous task progress (%), and Retention is the ratio of Test to Val-Train. Results are reported as mean ± standard deviation over three evaluation runs, with the best value in each column shown in bold.
Pretraining ablation across EBench, LIBERO, and RoboTwin 2.0. The Pretrain column indicates whether each row evaluates the released checkpoint or a model trained from random initialization on the benchmark's training split.
Table 3: Pretraining ablation across EBench, LIBERO, and RoboTwin 2.0. The Pretrain column indicates whether each row evaluates the released checkpoint or a model trained from random initialization on the benchmark's training split.
Capability breakdown on the five axes. The top row reports overall success rate and three task-level axes: operating mode, temporal horizon, and precision tolerance. The middle row breaks down performance by atomic skill, while the bottom row reports performance across scene categories. Bars denote the mean test SR, and error bars denote standard deviation across seeds.
Figure 3: Capability breakdown on the five axes. The top row reports overall success rate and three task-level axes: operating mode, temporal horizon, and precision tolerance. The middle row breaks down performance by atomic skill, while the bottom row reports performance across scene categories. Bars denote the mean test SR, and error bars denote standard deviation across seeds.
SR of baselines on Validation-Train and Test split across different training steps. Dashed and solid lines denote Train and Test results, respectively.
Figure 4: SR of baselines on Validation-Train and Test split across different training steps. Dashed and solid lines denote Train and Test results, respectively.
Test SR across four generalization dimensions.
Figure 5: Test SR across four generalization dimensions.
查看结构化数据
任务指标本文基线提升
EBench-Test SR (%) π0.5: 29.5 π0: 24.4, XVLA: 24.7, InternVLA-A1: 27.6 π0.5 相比 π0 提升 5.1%，相比 InternVLA-A1 提升 1.9%
EBench-Val-Unseen SR (%) π0.5: 26.5 π0: 25.4, XVLA: 22.7, InternVLA-A1: 20.8 π0.5 相比 InternVLA-A1 提升 5.7%，显示出更好的泛化能力
Mobile Manipulation SR (%) π0.5: 34.7 InternVLA-A1: 34.7, π0: 29.2, XVLA: 未明确 π0.5 和 InternVLA-A1 在移动操控上持平领先
Dexterous Tasks SR (%) π0: 18.1 π0.5: 未明确, InternVLA-A1: 5.8, XVLA: 未明确 π0 在灵巧任务上表现最平衡，移动到灵巧差距仅 11 点
High-Precision Tasks (<1cm) SR (%) π0: 13.8 π0.5: 个位数, XVLA: 个位数, InternVLA-A1: 个位数 π0 在高精度任务上显著领先其他模型
Push Skill SR (%) XVLA: 73.8 π0: 未明确, π0.5: 未明确, InternVLA-A1: 未明确 XVLA 在 Push 技能上占绝对主导地位
Pretraining Effect (EBench) SR improvement (points) π0.5: +21.0 (8.5→29.5) π0: +13.2 (11.2→24.4), XVLA: +9.0 (15.7→24.7) 预训练对 π0.5 带来最大提升，表明 EBench 能有效测量预训练贡献

局限与改进

作者承认的主要局限性是 EBench 完全在仿真中运行，不声称仿真分数能预测真实机器人性能，而是希望将 EBench 视为物理评估之前的可重复筛选基质。未来工作将研究基于 EBench 任务的仿真与真实评估之间的相关性。另一个局限性是 26 任务套件稀疏地覆盖了 9 个场景类别，因此场景级排名应视为初步的，扩展到 50 或更多任务在路线图上，将解锁多元回归代替置换测试。我自己的观察是，虽然 EBench 比现有基准更全面，但仍然只覆盖了固定机器人和移动机器人组合的一个子集，没有考虑其他本体形式如人形机器人或四足机器人。此外，四个泛化维度虽然设计得很好，但还没有覆盖所有可能的分布偏移因素，例如动力学变化、传感器噪声、通信延迟等实际部署中可能遇到的问题。

独立分析的弱点

独立分析的弱点包括：第一，场景覆盖仍然有限。虽然 EBench 覆盖了 9 个场景类别（卧室、浴室、厨房、客厅、书房、餐厅、超市、工业、物流），但每个类别可能只有少量任务，场景级排名可能不够稳健。改进方向是扩展到 50 或更多任务，在每个场景类别内增加任务多样性。第二，任务类型仍有扩展空间。目前主要关注抓放、长时程和灵巧精确任务，但没有覆盖动态交互如抛接、碰撞操作、多机器人协作等更复杂的任务类型。改进方向是增加这些任务类型，以更全面地测试通用策略的能力。第三，泛化维度可以更丰富。目前只覆盖了背景、物体、指令三个维度的偏移，但没有覆盖动力学参数变化（摩擦系数、物体质量）、传感器噪声、通信延迟、执行器延迟等实际部署中常见的分布偏移。改进方向是增加这些泛化维度，使基准更接近真实部署场景。第四，评估指标可以更细粒度。目前使用 SR 和 Score 两个指标，虽然 Score 能奖励部分进度，但对于理解失败模式和具体能力瓶颈仍然不够。改进方向是增加更细粒度的诊断指标，如每阶段的成功率、特定类型错误的频率等。

未来方向

作者提出的未来研究方向包括：扩展到 50 或更多任务，解锁多元回归代替置换测试，使场景级排名更稳健；研究基于 EBench 任务的仿真与真实评估之间的相关性，理解仿真分数在多大程度上能预测真实机器人性能。基于论文成果可以延伸的方向包括：将 EBench 的任务和评估协议扩展到其他本体形式，如人形机器人或四足机器人，测试通用策略的跨本体泛化能力；增加更丰富的泛化维度，如动力学变化、传感器噪声、通信延迟等，更全面地测试模型的鲁棒性；开发更细粒度的诊断指标和分析工具，帮助研究人员更好地理解模型的失败模式和改进方向；将 EBench 的任务和数据集用于新的模型架构训练，探索如何利用 EBench 的多维标注来改进模型的训练策略和损失函数设计；将 EBench 与真实机器人评估结合，建立仿真到真实的传递管道，加速真实机器人策略的开发和部署。

复现评估

论文声称任务、合成数据集、评估代码和所有分割都公开发布，使得未来的通用策略可以沿着相同的五个能力轴进行诊断。数据集包含 91.4 小时演示，6600 集，按 LeRobot 格式组织，每个灵巧精确任务贡献 400 个远程操作集，每个移动抓放任务贡献 200 个运动规划集，每个长时程任务贡献 200 个运动规划集。评估在 8 个消费级 GPU 上大约 30 分钟内完成完整的验证分割。预训练和评估协议使用一致的配方：200K 梯度步，批量大小 128，AdamW 优化器，带预热余弦学习率调度器，峰值 lr 为 $1e-5$。所有模型在三个评估运行中报告平均值和标准差。虽然论文声称公开发布，但需要验证实际开源情况，包括数据集的访问方式、评估代码的可用性和文档质量、预训练模型的可用性等。从描述来看，复现难度应该中等，主要挑战是算力需求（8 个消费级 GPU）和 IsaacSim 仿真环境的设置。

论文图表

EBench is a simulation benchmark for generalist embodied manipulation that, within a single evaluation suite, simultaneously covers long-horizon, dexterous-and-precise, and mobile manipulation across 9 scene categories. Each of the 26 tasks is tagged along 5 capability axes and paired with 4 controlled generalization dimensions, so that a single scalar success rate decomposes into an interpretable capability profile.
Figure 1: EBench is a simulation benchmark for generalist embodied manipulation that, within a single evaluation suite, simultaneously covers long-horizon, dexterous-and-precise, and mobile manipulation across 9 scene categories. Each of the 26 tasks is tagged along 5 capability axes and paired with 4 controlled generalization dimensions, so that a single scalar success rate decomposes into an interpretable capability profile.

这张图展示了 EBench 的整体架构，包括 26 个任务跨越三个任务族（抓放、长时程、灵巧精确），覆盖 9 个场景类别。每个任务标注 5 个能力轴，配对 4 个泛化维度，使得单一标量成功率能够分解为可解释的能力特征。图中的数字显示了基准的规模：26 个任务、3 个任务族、5 个能力轴、4 个泛化维度、510 个测试集。

这张图对理解论文至关重要，因为它直观地展示了 EBench 的核心创新：在单一评估套件中同时覆盖长时程、灵巧精确和移动操控，并将任务标注为多个能力维度和泛化维度。这帮助读者理解 EBench 与现有基准的区别，以及它如何提供细粒度的诊断信号。