ESPIRE：视觉语言模型具身空间推理的诊断基准 ESPIRE: A Diagnostic Benchmark for Embodied Spatial Reasoning of Vision-Language Models
基于模拟环境的诊断基准，系统评估VLM在机器人任务中的空间推理能力
前置知识
视觉语言模型(VLM)
视觉语言模型是一类能够同时理解图像和文本的多模态深度学习模型。它们通过在大规模图文数据上预训练，学会了将视觉特征与语言语义对齐到同一表示空间。典型的VLM包括GPT-4V、Qwen-VL、InternVL等，它们可以接收图像和文本作为输入，输出文本回答或坐标预测。在机器人领域，VLM被用于理解场景、执行指令和辅助决策。
ESPIRE的核心目标是诊断VLM的空间推理能力，理解VLM的基本工作原理和局限性是理解本文动机的前提。
6-DoF物体重排
6-DoF(Six Degrees of Freedom，六自由度)物体重排是指预测物体在SE(3)空间中的目标状态，包括3个平移自由度(x, y, z位置)和3个旋转自由度(pitch俯仰、yaw偏航、roll滚转)。在机器人操作中，这通常意味着预测抓取或放置物体时末端执行器应该到达的精确位姿。与简单的2D指向任务不同，6-DoF任务要求模型具备完整的3D空间几何理解能力。
ESPIRE将执行阶段建模为6-DoF任务，这是评估VLM从被动空间理解转向主动空间行动的关键设计，理解6-DoF的概念才能理解为什么旋转预测如此困难。
参考系(Reference Frame)
参考系是描述物体空间关系时所采用的坐标系统。根据Levinson(2003)的认知语言学理论，空间参考系分为三类：相对参考系(以观察者为中心，如'在我的左边')、内在参考系(以参照物为中心，如'在桌子的前面')和绝对参考系(基于全局坐标，如'朝北')。在空间推理任务中，同一个语言描述可能对应多种参考系解读，这构成了任务的歧义性来源。
ESPIRE的系统化任务设计将参考系作为三个关键因素之一，理解不同参考系的区别对于分析VLM在空间推理中的行为模式至关重要。
场景图(Scene Graph)
3D场景图是一种结构化表示，将场景中的物体表示为节点，物体间的关系表示为边。每个节点通常包含物体的类别、位置、尺寸、朝向等属性。场景图可以用程序化方式查询，例如filter(book, G)可以从场景图G中筛选出所有书本，filterRel(left, obj, G)可以找出位于某物体左侧的所有物体。这种结构化表示使得自动生成任务答案和验证可行性成为可能。
ESPIRE使用场景图表示环境状态，并通过在其上执行功能程序来生成ground-truth答案，这是实现可扩展、可复现评估的技术基础。
生成式vs判别式评估
判别式评估要求模型从预定义选项中选择答案，典型形式是多选VQA(Visual Question Answering)，通过设计干扰项来测试模型能力。生成式评估则要求模型直接生成输出，如坐标点、旋转角度或自然语言描述。判别式评估依赖干扰项设计，容易引入偏差；生成式评估更接近实际应用场景，但评估指标设计更复杂。ESPIRE采用生成式范式，要求模型生成2D坐标点和3D旋转角度。
ESPIRE从判别式VQA转向生成式评估是其核心创新之一，理解这一转变的动机对于理解论文的价值主张至关重要。
研究动机
当前VLM空间推理的评估存在三个根本性局限。首先，大多数现有基准测试采用静态多选VQA范式，如SpatialVQA、VSI-Bench、CV-Bench等，这些测试依赖干扰项来评估模型，容易引入语言偏差，且与实际机器人部署场景脱节——在真实场景中，VLM需要主动执行指令而非被动选择答案。其次，虽然已有工作开始探索生成式评估(如RoboPoint的2D指向任务)，但它们忽略了执行阶段，即在定位目标后还需要执行抓取或放置动作，而这一阶段恰恰是最具挑战性的。第三，现有基准缺乏系统化的空间推理任务设计，无法支持对不同空间维度(关系、距离、属性、方向)和不同粒度(粗粒度vs细粒度)的细粒度分析。例如，Open6DOR和EmbodiedBench等模拟环境虽然包含了执行评估，但任务设计过于简化，且依赖外部工具，无法真正诊断VLM的原生空间推理能力。
本文的目标是本文的目标是构建一个诊断性基准测试ESPIRE，用于系统评估视觉语言模型在具身机器人任务中的空间推理能力。具体而言，ESPIRE需要：(1)提供物理真实的模拟环境，缩小评估与真实部署之间的差距；(2)采用统一的生成式评估范式，将定位和执行作为两个连续子任务，要求模型生成2D坐标和3D旋转；(3)系统化设计涵盖148种空间推理任务类型，覆盖65个指令族，支持对空间关系、距离、属性、方向四个维度以及相对、内在、绝对三种参考系的细粒度分析；(4)通过2,220个评估任务对前沿VLM进行诊断，识别空间推理的关键瓶颈。
与已有工作不同的是，ESPIRE的独特切入角度在于三个方面。第一，它将机器人任务分解为定位和执行两个阶段，并将两者都建模为生成式问题——定位生成2D坐标，执行生成目标位姿，这种统一的生成式范式与主流判别式VQA评估形成鲜明对比。第二，ESPIRE采用层次化的任务设计哲学，通过三个关键因素(空间方面S、参考系F、参照物O)的组合定义任务规范C=(S,F,O)，在给定的上下文中再设计不同粒度的推理任务，这种设计使得系统化分析成为可能。第三，ESPIRE强调'诊断性'而非'竞技性'，它不追求排行榜竞争，而是提供一个'显微镜'来识别空间推理链在哪里断裂，为未来架构提供具体的改进路线图。
核心方法
ESPIRE的方法可以用一个类比来理解：如果把VLM比作一个需要在仓库中找货和放货的机器人，ESPIRE要做的不是测试它能不能从四个选项中选对答案，而是测试它能不能真正找到正确的货物(定位)并正确地放好(执行)。技术路线如下：首先，基于Isaac Sim构建物理真实的模拟环境，包含桌面场景(用于抓取任务)和货架场景(用于放置任务)；然后，通过系统化的任务设计，将空间推理分解为空间方面(关系、距离、属性、方向)、参考系(相对、内在、绝对)和参照物(有向、无向)三个因素的组合；接着，将每个机器人任务分解为定位(识别目标)和执行(预测目标位姿)两个子任务，两者都采用生成式范式；最后，使用功能程序在3D场景图上生成ground-truth答案，并通过运动规划器验证可行性。
ESPIRE的核心创新在于'从被动空间理解到主动空间行动'的范式转变。现有评估主要测试VLM的被动空间理解能力，即给定图像和问题选择正确答案；而ESPIRE要求VLM不仅要理解空间关系，还要将这种理解转化为可执行的动作。具体而言，定位阶段要求模型在图像中生成2D坐标点来指示目标物体或位置，执行阶段则要求模型预测末端执行器的6-DoF目标位姿(3D位置+3D旋转)。这种设计的本质区别在于：判别式VQA可以通过学习语言模式和视觉统计来'作弊'，而生成式评估要求模型真正具备3D几何推理能力。特别是旋转预测任务，要求模型理解物体的3D几何结构和抓取可行性，这是当前VLM最薄弱的环节。实验结果表明，即使在定位准确率超过50%的情况下，执行成功率往往低于30%，这揭示了从理解到行动的巨大鸿沟。
方法步骤详情
ESPIRE的评估流程分为环境构建、任务生成、评估执行三个主要步骤。环境构建阶段，使用Isaac Sim渲染物理真实的桌面和货架场景，每个场景包含可操作的书籍(分小、中、大三种尺寸)、近处参照物(如闹钟、相框)和远处参照物(如落地镜、落地灯)，通过随机化物体位置、姿态、光照和相机视角来增加多样性。任务生成阶段，首先定义任务规范C=(S,F,O)，其中S是空间方面(如关系、距离)，F是参考系(如内在、相对)，O是参照物类型(如有向、无向)；然后为每个任务规范编写功能程序P，如filterDist(Closest, filter(book, G), viewer)表示找出离观察者最近的书；最后通过平衡采样算法生成2,220个评估任务。评估执行阶段，模型首先接收全局视角图像和任务指令，进行定位(最多3次尝试)；如果定位成功，则使用定位结果进行执行(最多5次尝试)，模型需要预测2D抓取点和3D旋转角度；如果执行失败且启用了反思机制，模型会接收失败信息并尝试修正。
技术新颖性
ESPIRE的技术新颖性体现在四个层面。第一，在评估范式上，ESPIRE首次将定位和执行统一为生成式问题，要求VLM直接生成坐标和旋转，而非从选项中选择，这与SpatialVQA、VSI-Bench等判别式基准形成本质区别。第二，在任务设计上，ESPIRE采用S×F×O的三因素分解，支持148种空间推理任务类型的细粒度分析，这是现有基准中最系统化的设计。第三，在环境构建上，ESPIRE基于Isaac Sim提供物理真实的模拟，使用功能程序在场景图上生成ground-truth，实现了可扩展、可复现的评估，同时通过随机化策略缩小sim-to-real差距。第四，在评估指标上，ESPIRE不仅测量定位准确率，还通过运动规划器(cuRobo)评估执行的物理可行性，这种'物理接地'的评估方式比单纯的坐标距离更能反映实际部署效果。
实验结果
实验结果揭示了几个关键发现。首先，在总体性能上，专有VLM如Gemini2.5-Pro表现最强，在pick任务上达到34.06%的整体成功率，但公开VLM如Qwen3-VL系列正在缩小差距，其中Qwen3-VL-30B(仅3B激活参数)在place任务上达到20.00%成功率，超过了Gemini2.5-Pro的5.68%。其次，定位能力普遍优于执行能力：大多数模型的定位准确率超过50%，但执行接受率往往低于40%，这表明VLM具备较好的被动空间理解，但将理解转化为行动的能力有限。第三，在四个空间方面中，方向(Orientation)推理是最具挑战性的：在pick任务中，Gemini2.5-Pro在方向上的准确率为63.81%，而在距离上仅为53.89%；在place任务中，所有模型在方向上的平均准确率仅为37.17%，远低于关系的47.03%。第四，place任务比pick任务困难得多：Gemini2.5-Pro在pick任务上的接受率为63.93%，而在place任务上仅为28.36%，这是因为place任务需要考虑目标空间的额外约束，且面临更严重的遮挡问题。第五，反思机制对定位有帮助但对执行效果不一：Qwen3-VL-8B在启用反思后定位准确率从47.03%提升到58.63%，但执行接受率从63.20%下降到24.38%，这表明当前VLM缺乏足够的3D旋转理解能力来进行有效的反思。第六，旋转预测是执行的关键瓶颈：消融实验表明，pitch轴对pick任务影响最大，roll轴对约束性place任务影响最大，当需要同时预测三个旋转轴时，执行接受率从52.73%骤降至3.64%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Pick任务定位 | Accuracy(%) | Gemini2.5-Pro: 57.72 | InternVL3-78B: 28.31 | 29.41% |
| Pick任务执行 | Acceptance(%) | Gemini2.5-Pro: 63.93 | RoboBrain2.0-7B: 18.81 | 45.12% |
| Place任务定位 | Accuracy(%) | Gemini2.5-Pro: 50.61 | InternVL3-78B: 23.66 | 26.95% |
| Place任务执行 | Acceptance(%) | Qwen3-VL-30B-A3B: 43.47 | RoboBrain2.0-7B: 15.68 | 27.79% |
| Pick任务成功率 | Success(%) | Gemini2.5-Pro: 34.06 | RoboBrain2.0-7B: 10.87 | 23.19% |
| Place任务成功率 | Success(%) | Qwen3-VL-30B-A3B: 20.00 | Gemini2.5-Pro: 5.68 | 14.32% |
局限与改进
ESPIRE存在几个明显的局限性。首先，环境范围有限：虽然桌面和货架场景覆盖了多种空间推理任务，但仅限于室内场景，不包括室外场景中的空间推理(如以公里为单位的距离估计、以树木为参照物、使用全球参考系等)。其次，任务复杂度受限：ESPIRE将推理限制在最多3跳，且仅使用'pick'和'place'两种原始动作，不涉及更复杂的长时程任务或多步空间推理。第三，评估设置的简化：模型被提供ground-truth深度信息，且执行阶段采用简化的6-DoF预测而非完整的轨迹规划，这与真实机器人部署存在差距。第四，参考系歧义问题：当指令未明确指定参考系时(如'在相框左边的书')，模型和人类可能有不同解读，实验表明人类和模型在近处有向参照物上的相关性为负(-0.573)，表明模型默认使用相对参考系而人类偏好内在参考系。第五，sim-to-real差距：尽管作者采取了多种措施缩小差距(如使用真实纹理、随机化光照和相机)，但模拟环境与真实世界仍存在视觉分布偏移。
独立分析的弱点
基于独立分析，ESPIRE存在以下弱点及改进方向。第一，旋转预测能力的评估方式有待改进：当前实验中，模型要么使用ground-truth旋转，要么完全自主预测，缺乏中间层次的评估(如提供旋转提示后性能提升多少)。建议增加旋转辅助信息的消融实验，以更好地理解旋转理解的瓶颈。第二，反思机制的评估不够深入：实验表明反思对执行效果不一，但未深入分析失败的反思内容。建议对反思文本进行定性分析，识别模型在反思中犯的典型错误。第三，缺乏与其他模拟基准的直接对比：虽然论文引用了Open6DOR和EmbodiedBench，但未提供这些基准上的性能对比，难以判断ESPIRE的评估结果是否与其他基准一致。建议在相同模型上运行多个基准，计算排名相关性。第四，任务多样性仍可扩展：当前主要使用书籍作为可操作物体，形状相对规则。建议引入更多样化的物体形状(如不规则形状、柔性物体)以增加挑战性。第五，缺乏对模型失败模式的系统分析：虽然论文提供了定性分析(Table 6)，但未对失败模式进行量化统计。建议建立失败模式分类体系，统计各类失败的比例。
未来方向
ESPIRE为未来研究开辟了多个方向。首先，扩展任务范围：作者提出可以设计长时程任务，要求多步空间推理，这将测试模型的推理链依赖和记忆能力。其次，移动操作扩展：当前pick和place任务在不同工作空间进行，可以扩展为移动操作任务，要求机器人在移动过程中完成空间推理。第三，旋转推理数据集的构建：实验表明旋转预测是关键瓶颈，建议构建专门的旋转推理数据集进行微调。第四，与VLA的集成：当前评估隔离了VLM的推理能力，未来可以将ESPIRE与视觉-语言-动作模型(VLA)结合，评估端到端的具身系统。第五，真实机器人验证：虽然ESPIRE提供了高保真的模拟，但仍需要在真实机器人上验证评估结果的迁移性。第六，多模态输入扩展：当前仅使用RGB图像和深度信息，可以探索融合点云、触觉等多模态信息的效果。
复现评估
ESPIRE的复现性评估如下。开源情况：论文提供了项目主页(spatigen.github.io/espire.io/)和GitHub仓库(github.com/spatigen/espire)，代码和数据应该可以获取。数据集：ESPIRE包含2,220个评估任务，基于Isaac Sim构建，需要NVIDIA GPU支持物理渲染。算力需求：实验使用RTX 4090运行RoboBrain2.0-7B，单次推理平均9.25秒，每次执行平均18.12秒，完整评估可能需要数十小时。对于更大的模型如Qwen3-VL-235B，推理时间会更长。复现难度：中等。主要挑战包括：(1)需要安装Isaac Sim，这是一个复杂的仿真环境；(2)需要下载3D资产和纹理；(3)需要配置cuRobo运动规划器；(4)对于专有VLM如Gemini2.5-Pro，需要API访问权限。总体而言，ESPIRE的复现门槛高于纯文本或图像基准，但低于真实机器人实验。
论文图表
