ESI-Bench：面向闭合感知-行动回路的具身空间智能基准 ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception-Action Loop
提出首个要求主动探索的空间智能基准，揭示行动选择比感知能力更重要
前置知识
感知-行动回路（Perception-Action Loop）
认知科学中的核心概念，指智能体通过行动获取观测，并理解观测如何随行动变化而变化的闭环过程。不同于被动地处理所见信息，智能体需要主动揭示无法从被动感知中解决的隐藏结构、动态、包含关系和功能。具体表现为：智能体不仅感知环境，还必须决定移动到哪里、探测什么、如何操纵，以及按什么顺序执行这些操作来积累任务相关的证据。
论文的核心论点是真正的空间智能必须通过感知-行动回路来实现，这直接理解论文动机和实验设计（对比被动与主动范式）的基础。
Spelke 核心知识系统
发展心理学家 Elizabeth Spelke 提出的理论，识别了空间智能的四个核心能力：对象表征（物体识别和分类）、布局与几何（空间关系和配置）、数字表征（数量和计数）、代理与目标导向行动（理解其他智能体的意图和行为）。这四个系统被认为是婴儿与生俱来的认知基础设施，构成了复杂空间推理的基础。ESI-Bench 的任务分类完全遵循这个理论框架。
这是 ESI-Bench 任务分类的理论基础，理解这个框架才能明白为什么基准包含 10 个特定类别和 29 个子类别，以及它们如何组织成 Spelke 的四个核心系统。
主动感知（Active Perception）
智能体自主决定何时、何处、以何种方式获取观测信息的过程。不同于被动接收固定视角或随机采样多视图，主动感知要求智能体根据当前任务需求评估每个潜在观测的信息价值，并选择最优的行动策略。例如，为了判断一个物体是否在玻璃杯中，智能体可以选择移动到物体后方、从上方俯视、拿起物体或倾倒出来等多种策略，这些策略都不是预先编程的，而是智能体自发发现的。
这是论文的关键创新点——测试模型是否能选择值得获取的观测，这直接解释了为什么主动探索范式显著优于被动多视图范式（后者虽然消耗更多图像但往往增加噪声而非信号）。
研究动机
现有的空间智能基准测试假设被动观测，即智能体被给予固定的观测（单张图像、随机多视图或预设视频序列）。然而，真实的空间推理场景中，许多关键信息是无法从任何被动观测中直接获取的，包括遮挡结构、容器内部、动态变化、材料透明性、镜面反射等。例如，要判断一个栗子是否在玻璃杯中，仅从外部观察是不够的——必须通过移动视角、拿起物体或倾倒等方式来主动揭示隐藏信息。现有基准无法测试智能体是否知道部署哪些具身能力（感知、移动、操纵）来解决空间任务，也无法区分智能体的失败是因为感知能力不足还是因为行动选择错误。论文通过详尽的人类调研和实验设计，揭示了当前模型在需要主动探索的空间任务上的系统性失败。
本文的目标是本文的目标是创建 ESI-Bench，一个全面的具身空间智能基准，要求智能体通过感知、移动和操纵主动积累证据来回答问题。基准基于 OmniGibson 模拟器构建，包含 10 个任务类别和 29 个子类别，共 3,081 个任务实例。任务设计遵循 Spelke 的四个核心知识系统，覆盖对象表征、布局与几何、数字表征、代理与目标导向行动。每个任务都精心设计，使其只能通过主动交互解决，无法从被动观测中得到答案。核心目标是测试智能体是否知道何时看、看哪里、何时停止，以及如何整合多视图信息形成一致的信念，这是传统基准无法评估的元认知能力。
与已有工作不同的是，本文的独特切入角度是从被动感知转向主动空间能力。与现有基准对比，ESI-Bench 有三个关键区别：(1) 从空间感知转向空间能力——不仅评估智能体能感知什么，还评估它是否知道部署哪些具身能力来解决空间任务；(2) 选择性感知——智能体必须确定哪些观测值得获取，优先考虑任务相关信息而非冗余或无信息输入；(3) 解决感知歧义——智能体必须通过误导性观测推理隐藏空间结构和潜在物理约束。Table 1 详细对比了 ESI-Bench 与 15 个相关基准的区别，突出了其独特性：同时支持空间推理和具身评估，包含完整的动作空间（移动 L、感知 P、操纵 M），并且专门针对无法从被动观测访问的隐藏属性（遮挡、包含、动态等）。
核心方法
ESI-Bench 的方法整体思路是在模拟环境中构建大规模任务数据集，评估智能体在四种范式下的性能：被动单视图（固定初始观测）、被动多视图（随机 30 个视图）、主动探索（完整动作空间）、真值被动（沿最优轨迹的视图，作为神谕消融）。通过这四种范式的对比，可以隔离观测数量、行动选择、感知限制等因素的影响。基准基于 BEHAVIOR-1K 场景池和 OmniGibson 模拟器构建，利用物理引擎支持刚体接触、粒子流体、透明渲染、真实光照和反射等特性。任务构造使用 GPT-4o 作为提案引擎，基于场景图生成任务相关的对象选择、初始位置、智能体姿态、问题和最优轨迹，然后通过严格的验证流程确保物理有效性、可解性和非平凡性。
核心创新点是观测效用取决于模型自身的决策。与现有基准提供固定观测不同，ESI-Bench 要求智能体自主决定部署哪些能力（感知、移动、操纵）以及如何序列化执行来积累任务相关证据。这测试了智能体的元认知能力——知道何时看、看哪里、何时停止。另一个关键创新是将观测过程本身作为评估对象，而不是仅仅测试对给定输入的推理能力。通过对比被动单视图、被动多视图、主动探索和真值被动四种范式，可以精确诊断失败来源：如果被动多视图帮助不大但主动探索显著提升，说明问题在于行动选择而非观测数量；如果真值被动大幅提升但主动探索仍然失败，说明存在感知天花板。
方法步骤详情
方法步骤完整描述：(1) 场景图提取：从 BEHAVIOR-1K 场景加载房间后，查询模拟器状态提取结构化场景图，包括对象边界框、类别、空间关系、房间分配以及可填充容量、切换状态、接触标志等扩展对象状态。(2) 任务构造：GPT-4o 根据场景图和任务类别要求选择任务相关对象，应用任务特定的物理标准选择最合适的类别，确定对象和智能体的初始位置，生成问题和真值动作轨迹。每个任务定义为四元组 $(S, p_0, q, y^*)$，其中 $S$ 是 3D 场景，$p_0$ 是智能体初始姿态，$q$ 是问题，$y^*$ 是真值答案。(3) 场景实例化：加载 GPT-4o 提出的对象到场景，使用边界框相交检查冲突，通过物理运动采样放置对象到支持表面，允许物理引擎沉降固定步数，通过重新查询边界框、每视图对象存在性检查和接触标志验证配置。(4) 轨迹收集：智能体初始化到 GPT-4o 提出的姿态，逐步执行提议的动作，每步渲染为自我中心观测并用相同验证流程检查，任何步骤失败则丢弃整个轨迹。(5) 元数据保存：将任务实例保存为包含场景、房间、楼层、每对象类别和模型实例、验证后的初始位置和四元数、智能体初始姿态、每视图对象存在标志、问题、真值答案和动作轨迹的 JSON 文件。(6) 人类验证和生成器偏见审计：三名人类标注员独立验证每个实例的正确性、可解性和非平凡性，分歧通过多数票解决。
技术新颖性
技术新颖性体现在四个方面：(1) 首个要求主动感知的空间智能基准，测试模型是否能选择值得获取的观测，这与现有基准的固定观测形成根本区别。(2) 完整的三种动作空间（移动 L、感知 P、操纵 M）协同评估，而现有基准通常只支持单一动作类型。(3) 专门针对无法从被动观测访问的隐藏属性（遮挡、包含、动态、透明性、反射、未观测场景变化），这是现有空间推理基准的盲区。(4) 四范式评估框架（被动单视图、被动多视图、主动探索、真值被动）提供了精确的诊断能力，可以隔离观测数量、行动选择、感知限制等因素的影响。实验证明，这种设计成功揭示了模型在主动探索中的自发空间策略（如 Figure 4a 所示的四种独立发现的栗子-玻璃杯探测策略），以及行动盲视、误差级联、认识校准缺失等系统性失败模式。
实验结果
核心发现来自四个维度：(1) 主动探索解锁涌现空间策略：无需显式指令，智能体自发发现多样化的行动组合，带来显著增益。例如在 View Hallucination 任务上，GPT-5 从被动多视图的 39.9% 提升至主动探索的 68.1%，提升 28.2 个百分点；在 Rigid Containment 上从 47.5% 提升至 67.5%，提升 20 个百分点。相比之下，被动多视图往往带来负面影响——GPT-5 在 Spatial Distance 上从 53.9% 下降到 49.1%，证明观测数量不加选择性往往增加噪声而非信号。Figure 5 显示主动探索以少量任务特定步骤达到正确答案，说明收益来自选择性证据获取而非简单增加观测数量。(2) 行动盲视主导感知盲视：对于大多数任务，瓶颈在于行动选择而非感知能力。GPT-5 在 Rigid Containment 上从主动探索的 42.5% 提升至真值被动的 95.0%，在 Physical Contact 上从 64.2% 提升至 90.0%。Geometric Configuration 和 Specular Reflection 是例外，神谕视图帮助有限：GPT-5 在 Geometric Configuration 上即使从完美视角也只达到 26.0%，模型无法判断三个物体是否构成等边三角形。(3) 误差级联：次优行动产生无信息视图，触发更差的后续行动，创造在步骤预算内无法恢复的复合错误链。Figure 4b 生动展示这一过程：错误行动导致错误视图，进而导致更差行动，最终无法恢复。在 Counting w Occlusion 上 GPT-5 的主动探索到真值被动差距达到 43.4 个百分点，在 Structural Enclosure 上达到 45.0 个百分点。(4) 缺乏认识校准：模型过早以高置信度提交答案。Figure 4d 显示模型在仅有几步后就以高置信度停止探索，尽管证据仍然模糊。人类则表现出更强的认识谨慎：在提交前收集更多观测，主动寻求可以证伪当前假设的视角，在模糊时降低置信度。Figure 4e 展示了模型的确认偏误：当被问及物体是橱柜还是钢琴时，模型初步猜测橱柜，然后只向后和向左移动以确认该信念而非挑战它，最终以增加的置信度断言错误答案，尽管从未寻求证伪视角。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| View Hallucination（视图幻觉） | 准确率（Accuracy） | GPT-5 主动探索 68.1% | GPT-5 被动多视图 39.9% | +28.2 个百分点 |
| Rigid Containment（刚性包含） | 准确率（Accuracy） | GPT-5 主动探索 67.5% | GPT-5 被动多视图 47.5% | +20.0 个百分点 |
| Physical Contact（物理接触） | 准确率（Accuracy） | GPT-5 真值被动 90.0% | GPT-5 主动探索 64.2% | +25.8 个百分点（神谕视图） |
| Geometric Configuration（几何配置） | 准确率（Accuracy） | GT 3D+Gemini 真值被动 70.8% | Gemini 3.1 被动单视图 27.5% | +43.3 个百分点（完美 3D 表示） |
| Counting w Occlusion（遮挡计数） | 准确率（Accuracy） | 人类 76.7% | GPT-5 主动探索 13.3% | +63.4 个百分点（人类优势） |
| Material Transparency（材料透明性） | 准确率（Accuracy） | 人类 93.6% | Gemini 3.1 主动探索 52.3% | +41.3 个百分点（人类优势） |
局限与改进
局限性分析包括作者承认的和独立观察的。(1) 模拟环境简化：尽管 OmniGibson 支持真实物理、流体和光学效果，但仍然是现实世界的简化。真实的物理现象（如复杂的材料变形、摩擦变化、温度影响）和光照条件（如全局光照、次表面散射）可能无法完全模拟，这限制了基准测试结果的泛化能力。(2) 任务范围有限：虽然 ESI-Bench 包含 10 个类别和 29 个子类别，但仍然集中在室内环境中的空间推理任务。真实世界的空间智能可能涉及更复杂的场景（如大规模环境、动态多智能体交互、长期记忆整合）和更多样化的任务类型（如创造性解决问题、社交空间推理）。(3) 步骤预算限制：每个任务限制 $T_{max} = 30$ 步，虽然作者在 Appendix P 中验证了这个预算的合理性，但对于某些复杂任务可能仍然不足，这可能低估了智能体的实际能力。(4) 评估指标局限：使用准确率作为主要指标，虽然简单直接，但无法捕捉智能体的探索效率、信念更新过程、置信度校准等元认知维度。作者在 Appendix K 中尝试通过轨迹级定量措施（视图多样性、对比视图寻求、信念修订）操作化这些维度，但这些措施尚未成为标准评估指标。(5) 3D 表示脆弱性：实验显示不完美的 3D 重建可能比 2D 基线更有害，如 VGGT+Gemini 在 Geometric Configuration 上从 27.5% 下降到 9.9%，在 Counting w Occlusion 上从 3.3% 下降到 0.0%。这揭示了显式 3D 表示的高方差特性，但论文没有深入探讨如何构建更鲁棒的 3D 表示。(6) 模型-人类差异的深度分析不足：虽然揭示了认识校准缺失，但对模型为什么会过度自信、为什么会重复相同方向移动、为什么不会寻求证伪视角等根本原因的神经机制或训练动态缺乏深入分析。
独立分析的弱点
独立分析的弱点包括：(1) 模拟到现实的泛化差距：OmniGibson 虽然支持真实物理，但与现实世界的复杂性仍有差距。例如，真实物体的表面纹理、微观结构、环境噪声、传感器噪声等因素可能影响感知和交互策略。改进方向是引入更多现实世界的复杂性，如可变的摩擦系数、材料属性变化、环境扰动等，或者开发真实世界部署的评估协议。(2) 任务多样性不足：虽然 10 个类别覆盖 Spelke 的四个核心系统，但某些类别如 Specular Reflection 和 Action Sequencing 的性能提升有限，可能需要更丰富的任务设计。改进方向是引入更多跨类别的组合任务，测试智能体整合多种空间推理能力的能力。(3) 置信度校准机制缺失：模型过早以高置信度提交答案，暴露了元认知失败。改进方向是在训练中引入不确定性估计和认识校准目标，奖励那些在证据不足时保持不确定性的智能体，或者设计显式的停止条件学习机制。(4) 3D 表示鲁棒性不足：不完美的 3D 重建可能比 2D 基线更有害，这限制了 3D 增强方法的应用。改进方向是研究更鲁棒的 3D 重建方法，或者开发自适应的 2D/3D 融合策略，根据任务类型和重建质量自动选择最合适的表示。(5) 长期记忆和信念更新机制缺失：模型在探索过程中无法有效整合多视图信息形成一致的信念，容易锚定到第一印象。改进方向是引入显式的信念状态表示和贝叶斯更新机制，或者设计对比视图寻求的奖励函数，鼓励智能体主动收集能够证伪当前假设的证据。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的：(1) 作者提出的：扩展基准到更多空间推理任务，如大规模环境中的长期导航、多智能体协作的空间推理、社交空间理解等。研究如何训练具有更好认识校准的智能体，使其知道何时收集更多证据、何时停止探索。探索更复杂的物理交互，如软体物体操作、流体动力学、热力学等。(2) 基于成果可延伸的：开发主动感知学习算法，从人类演示中学习如何选择最优视角和行动序列。研究 3D 表示的鲁棒性，开发能够处理不完美重建的方法。设计更精细的评估指标，捕捉探索效率、信念更新、置信度校准等元认知维度。研究模型-人类差异的神经机制，理解为什么模型会过度自信、不会寻求证伪视角。开发跨模态的空间推理能力，结合视觉、语言、触觉等多模态信息解决空间任务。探索自监督或强化学习方法，在没有显式标签的情况下学习主动探索策略。
复现评估
复现评估：(1) 开源情况：论文声明所有数据、数据集构建代码和评估脚本都公开在 https://esi-bench.github.io/，这是一个积极的信号。但需要确认具体包含哪些内容（场景文件、任务 JSON、评估协议、基线模型代码、预训练模型权重等）。(2) 数据：ESI-Bench 包含 3,081 个任务实例，每个实例都有完整的元数据（场景、对象位置、智能体姿态、问题、真值答案、最优轨迹）。如果这些数据完全公开，可以复现所有实验。但需要确认是否需要单独获取 OmniGibson 模拟器许可证和 BEHAVIOR-1K 数据集。(3) 算力需求：基准评估本身不需要大量算力，因为主要是在预训练模型上评估。但基线模型（GPT-5、Gemini 3.1）可能需要商业 API 访问或大量本地算力。如果需要从头训练模型，则需要大量的 GPU 资源。(4) 难度评估：如果数据、代码和评估协议完全公开，复现结果的中等难度。主要挑战是设置 OmniGibson 环境、获取基线模型访问权限、处理潜在的环境依赖和版本兼容性问题。如果需要重新生成任务或进行大规模人类研究，难度会增加。总体而言，论文在可复现性方面表现良好，但需要验证承诺的开源内容是否实际交付。
论文图表
