SpatiaLab：视觉语言模型能否在真实场景中进行空间推理？ SpatiaLab: Can Vision-Language Models Perform Spatial Reasoning in the Wild?
提出1400对真实场景视觉QA基准，揭示VLM空间推理与人类差距超30个百分点
前置知识
视觉语言模型 (VLM)
视觉语言模型是一类同时处理图像和文本输入的多模态深度学习模型，通过将视觉特征（如从ViT或CNN提取的图像嵌入）与语言特征（如从Transformer获得的文本嵌入）在共享表示空间中融合，实现跨模态理解。典型架构包括CLIP式的对比学习预训练、BLIP式的图文匹配，以及GPT-4V式的端到端多模态生成。这类模型能够回答关于图像内容的问题、生成图像描述、执行视觉推理等任务。
本文评估的核心对象就是VLM，理解其架构特点和能力边界是解读实验结果的基础
空间推理 (Spatial Reasoning)
空间推理是指理解、表示和操纵空间关系的认知能力，包括判断物体间的相对位置（左右、前后）、深度遮挡关系、朝向方向、大小比例、导航路径以及三维几何结构。在计算机视觉中，空间推理需要将2D图像信息转化为3D场景理解，涉及透视变换、遮挡推理、尺度一致性等复杂计算。形式化地说，场景可表示为物体集合 $O = \{o_1, \ldots, o_n\}$，空间推理旨在学习映射 $f: (I, Q) \mapsto R$，其中 $I$ 为图像，$Q$ 为语言查询，$R$ 为空间关系的结构化表示。
这是论文研究的核心问题，理解空间推理的多维度特性是理解benchmark设计和评估结果的关键
Chain-of-Thought (CoT) 提示
Chain-of-Thought是一种提示技术，通过引导模型逐步展示推理过程来提升复杂任务的性能。与直接输出答案不同，CoT要求模型先分解问题、逐步推理、最后得出结论。例如对于空间推理问题，模型可能先识别物体、再分析位置关系、最后综合判断。这种技术在数学推理、逻辑推理等文本任务中已被证明有效，但在视觉感知任务中的效果存在争议。
论文探索了CoT及其变体（加自我反思）对空间推理的效果，发现其在视觉感知任务中效果有限甚至有害
LLM-as-a-Judge (LLM评判)
LLM-as-a-Judge是一种自动化评估方法，使用大语言模型作为评判者来评估模型生成的开放性回答。给定问题、标准答案和模型回答，LLM评判者输出二元判断（正确/错误）。这种方法相比人工评估更高效、可扩展，但需要验证其与人类评估的一致性。本文使用Gemini-2.5-Flash作为评判者，通过Cohen's Kappa等指标验证其可靠性。
论文采用此方法评估开放性任务，其可靠性直接影响实验结论的可信度
监督微调 (SFT)
监督微调是在预训练模型基础上，使用标注数据对特定任务进行进一步训练的技术。本文使用LoRA（低秩适应）进行参数高效微调，在Qwen2.5-VL-3B-Instruct上使用40%的SpatiaLab数据进行分层采样训练。SFT能够快速适应特定任务分布，但可能导致对训练格式的过拟合，在其他格式上表现下降，即所谓的'灾难性遗忘'现象。
论文发现SFT在MCQ格式上有效但在开放性格式上效果有限甚至负面，揭示了空间推理能力的本质瓶颈
Cohen's Kappa系数
Cohen's Kappa ($\kappa$) 是衡量两个评估者之间一致性的统计指标，校正了随机一致性的影响。计算公式为 $\kappa = \frac{p_o - p_e}{1 - p_e}$，其中 $p_o$ 是观察到的一致率，$p_e$ 是期望的随机一致率。$\kappa = 1$ 表示完全一致，$\kappa = 0$ 表示与随机一致，$\kappa < 0$ 表示系统性分歧。通常 $\kappa > 0.6$ 被认为是实质性一致，$\kappa > 0.8$ 为高度一致。
论文用此指标验证LLM评判者与人类评估者的一致性，整体达到0.738，证明评估方法可靠
研究动机
现有空间推理基准测试存在三大根本性缺陷，严重限制了对VLM真实空间能力的评估。首先，任务设计过于简单和狭窄：大多数基准（如EmbSpatial-Bench仅6个类别、Space3D-Bench仅211个样本）只覆盖2-14个任务类别，且以简单的二元空间关系或模板化问题为主，无法捕捉真实世界空间推理的多维复杂性。其次，数据来源存在严重的环境偏差：现有数据集主要来自室内场景（如ScanQA的800个3D场景）或合成环境（如CLEVR），缺乏室外、混合环境的多样性，导致模型在实验室数据上表现良好但在真实场景中失败。第三，评估格式单一：大多数基准仅使用选择题或二元判断，无法测试模型的生成式推理能力。关键的实证证据是：在MCQ格式下表现最佳的InternVL3.5-72B准确率仅54.93%，而人类达到87.57%，存在32.64个百分点的巨大差距；在开放性评估中，所有模型性能进一步下降10-25个百分点，最佳的GPT-5-mini仅40.93%而人类为64.93%。
本文的目标是本文旨在构建一个全面、真实、多维度的空间推理基准测试——SpatiaLab，以系统性地评估VLM在真实世界场景中的空间推理能力。具体目标包括：(1) 覆盖空间推理的六大核心维度（相对定位、深度遮挡、朝向方向、大小比例、空间导航、3D几何），每个维度下设5个子类别，共30个细粒度任务类型；(2) 构建包含1,400个视觉问答对的大规模数据集，每个子类别至少25个问题，每个主类别至少200个问题；(3) 支持MCQ和开放性两种评估格式，全面测试识别和生成能力；(4) 使用真实世界图像而非合成数据，确保评估的生态效度；(5) 对25+个最先进的VLM进行系统评估，包括开源、闭源、推理增强和空间专业模型，与人类基线对比。
与已有工作不同的是，本文的独特切入角度在于将空间推理视为一个需要多维集成的认知能力，而非孤立的子任务。与以往专注于单一维度（如仅测试遮挡或仅测试导航）的基准不同，SpatiaLab强调空间推理的组合性：真实场景中的空间理解需要同时整合深度感知、遮挡推理、尺度一致性、多步导航等多种能力。此外，论文首次系统性地比较了MCQ和开放性两种评估格式的差异，发现MCQ格式可能高估模型的实际空间推理能力平均23个百分点，这一发现对VLM评估方法论具有重要启示。另一个关键创新是将复杂度分析量化：图像平均包含21.48个物体（其中11.88个部分可见）、3.23个深度层、2.07个空间关系链，16.71%的问题需要心理旋转，56.07%需要物体特异性识别。这些统计指标证明SpatiaLab捕捉到了真实世界空间推理的杂乱、多层和关系丰富的特征。
核心方法
SpatiaLab的方法论可以分为三个核心部分：基准构建、评估协议和改进策略探索。在基准构建方面，团队采用三管齐下的图像收集策略（自动网络爬取、定向在线检索、手动拍摄），确保图像在光照条件（高对比度51.64%、低对比度25.79%、阴影8.86%）、纹理复杂度（复杂43.43%、均匀35.79%）、空间关系（散乱43.79%、对齐28.50%、堆叠13.79%）等六个元维度上的多样性。标注过程经过三个阶段：标注员培训（理解30个子类别的空间关系）、QA对生成（每个图像配对一个或多个空间问题）、质量控制（语义验证、独立审核、金标准标注）。最终产出1,400个验证通过的QA项，支持MCQ（4选项）和开放性两种格式。在评估方面，MCQ使用直接提示获取选项编号，开放性使用LLM-as-a-Judge（Gemini-2.5-Flash，Cohen's $\kappa = 0.738$）评估。改进策略探索包括：内在推理机制、Chain-of-Thought提示、CoT加自我反思、监督微调（LoRA，40%数据）和多智能体系统SPATIOXOLVER。
SpatiaLab的核心创新在于其"全谱覆盖+真实复杂度"的设计理念。与以往基准的两个根本区别是：第一，任务分类的系统性——覆盖人类空间认知的六大核心维度，每个维度细分为5个子类别，共30个任务类型，这比任何现有基准（最多14个类别）都更全面。例如，"深度与遮挡"维度不仅包括简单的前后关系，还细分为层序关系、部分遮挡、完全遮挡推理、透明效果和反射表面，这些子任务测试的是不同层次的遮挡理解能力。第二，图像复杂度的真实性——通过量化分析确保每张图像平均包含21.48个物体、3.23个深度层，空间关系链平均2.07个链接，这与合成数据集的简洁场景形成鲜明对比。这种设计使得模型无法依赖简单的启发式方法（如"物体越大越近"）来通过测试，必须进行真正的多步空间推理。
方法步骤详情
SpatiaLab的构建和评估分为以下具体步骤：(1) 图像收集阶段：通过网络爬虫从互联网获取多样化图像，针对特定场景进行定向搜索（如厨房、仓库、户外等），并由标注员在室内和室外环境手动拍摄照片，确保涵盖各种光照、纹理和空间配置。(2) 标注员培训：招募24-30岁的工程专业毕业生，进行结构化培训，内容包括六大类别和30个子类别的定义、示例和反例、六元维度的多样性要求、MCQ和开放性格式的设计技巧。(3) QA对生成：每张图像配对一个或多个空间问题，问题设计平衡感知基础和高阶推理（如预测重力下的稳定性），编码为MCQ（4选项）和开放性两种格式。(4) 三级质量控制：第一阶段检查语义有效性和子类别对齐，第二阶段独立标注员验证问题和答案的正确性，第三阶段进行金标准标注。(5) 评估协议：MCQ使用温度0、最大10个token的直接提示；开放性使用温度0.7、最大1200个token的自由生成提示，由Gemini-2.5-Flash评判。(6) 改进策略：分别探索推理机制、CoT、CoT+反思、SFT和SPATIOXOLVER多智能体系统。
技术新颖性
SpatiaLab在技术新颖性方面体现在三个层面。首先是分类体系的创新：基于空间认知心理学理论（Baddeley的工作记忆、Previc的3D空间神经心理学），将空间推理系统化为六大认知维度和30个细粒度子任务，这种分类既覆盖了空间推理的完整谱系，又保持了足够的细粒度以诊断具体弱点。其次是评估方法的创新：首次系统性地比较MCQ和开放性两种格式的差异，发现平均23个百分点的性能差距（$\sigma = 5.5\%$），并揭示空间导航是最强的差距预测因子（Pearson $r = 0.99$），这一发现对VLM评估方法论具有重要启示。第三是改进策略的系统性探索：不仅测试了常见的CoT和SFT方法，还创新性地提出了SPATIOXOLVER多智能体系统，通过7个专门化智能体（视觉分析、物体分割、属性提取、空间关系、分组对称、变换追踪、表示标准化）将复杂空间推理分解为可管理的子任务。
实验结果
SpatiaLab的实验结果揭示了当前VLM在空间推理上的系统性弱点。在MCQ评估中（表2），25+个模型的整体准确率范围为30-55%（随机基线25%），而人类基线达到87.57%。表现最佳的是InternVL3.5-72B（54.93%），其次是o4-mini（53.21%）和GPT-5-mini（54.29%）。类别分析显示，朝向方向（Orientation）和3D几何是大多数模型表现较好的维度（多个模型超过60%），而空间导航、深度遮挡和大小比例则是普遍较弱的维度。值得注意的是，空间专业模型（SpaceOm、SpaceThinker、SpaceQwen）仅达到40-41%左右，表明专门化并不能自动转化为更高准确率。在开放性评估中（表3），性能进一步下降：GPT-5-mini最高40.93%，而人类为64.93%，开源小模型大多在10-20%范围。MCQ到开放性的平均性能差距为23.0%（$\sigma = 5.5\%$），空间专业模型差距最大（约27%），推理模型差距最小（约19%）。错误分析显示，模型在遮挡推理、尺度一致性和多步导航规划上存在集中失败，表明组合空间表示和推理能力的局限性。改进策略方面，SFT在MCQ上提升10.97%但在开放性上仅1.07%，CoT在大多数类别上无效甚至有害，SPATIOXOLVER仅在朝向方向上取得显著提升（开放性+36%）但在深度遮挡上严重退步（-24%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 空间推理（MCQ） | 准确率 (%) | InternVL3.5-72B: 54.93% | 人类: 87.57% | 最佳VLM与人类差距32.64个百分点 |
| 空间推理（开放性） | 准确率 (%) | GPT-5-mini: 40.93% | 人类: 64.93% | 最佳VLM与人类差距24个百分点 |
| 朝向方向（MCQ） | 准确率 (%) | GPT-5-mini: 60.40% | 人类: 91.58% | 31.18个百分点差距 |
| 3D几何（MCQ） | 准确率 (%) | o4-mini: 51.26% | 人类: 93.70% | 42.44个百分点差距 |
| 深度遮挡（MCQ） | 准确率 (%) | InternVL3.5-72B: 57.14% | 人类: 74.13% | 16.99个百分点差距 |
| 空间导航（MCQ） | 准确率 (%) | InternVL3.5-72B: 54.85% | 人类: 87.76% | 32.91个百分点差距 |
| 大小比例（MCQ） | 准确率 (%) | InternVL3.5-72B: 49.21% | 人类: 88.89% | 39.68个百分点差距 |
| SFT微调效果（MCQ） | 准确率提升 (%) | Qwen2.5-VL-3B: 36.59% | 基线: 25.63% | +10.97个百分点 |
| SFT微调效果（开放性） | 准确率提升 (%) | Qwen2.5-VL-3B: 35.48% | 基线: 34.40% | +1.07个百分点 |
| 外部基准迁移（Mind The Gap） | 准确率 (%) | SFT后: 47.56% | SFT前: 35.86% | +11.70个百分点 |
局限与改进
论文坦诚地指出了几个重要局限性。首先，LLM评判者的可靠性虽然整体较好（Cohen's $\kappa = 0.738$），但在朝向方向（$\kappa = 0.500$）和大小比例（$\kappa = 0.417$）类别上仅为中等一致，这意味着这些类别的开放性评估可能存在一定的评分噪声。其次，SFT实验仅在Qwen2.5-VL-3B-Instruct一个模型上进行，且仅使用40%数据，其泛化性有待验证。第三，SPATIOXOLVER多智能体系统虽然在朝向方向上取得显著提升（开放性+36%），但在深度遮挡（-24%）和空间导航（-12%）上严重退步，表明多步推理不能弥补基础感知能力的不足。从我自己的观察来看，论文的图像收集虽然声称来自网络爬取、定向搜索和手动拍摄三种来源，但未提供各来源的具体比例，且所有图像均为静态照片，缺乏视频或多视角数据，这对评估需要时间推理或视角变换的空间任务（如动态遮挡、运动轨迹预测）是一个限制。此外，标注员均为24-30岁的工程专业毕业生，可能无法代表更广泛人群的空间推理模式。
独立分析的弱点
论文揭示了几个值得深入分析的弱点。第一，MCQ格式的结构性优势问题：论文发现MCQ平均高估模型能力23个百分点，且在某些情况下（如Llama-3.2-11B在深度遮挡上差距为-1.98%，o4-mini在相对定位上差距为-3.18%），开放性评估反而更准确，这表明精心设计的干扰选项可能误导MCQ评估。改进方向是开发更鲁棒的干扰选项生成方法，或采用开放性评估作为主要评估格式。第二，SFT的"算法紧身衣"效应：SFT在MCQ上提升10.97%但在开放性上仅1.07%，且在大小比例（-3.95%）和相对定位（-0.79%）上出现负迁移，这表明SFT可能过度拟合于选择题格式而非真正提升空间理解。改进方向包括结合对比学习目标、几何感知的辅助损失函数，或使用更多样化的训练格式。第三，CoT在视觉感知任务中的失效：与文本推理不同，CoT在大多数空间类别上未能提升甚至降低性能（如Gemini-2.5-Flash在MCQ上整体下降18个百分点），这暗示当前VLM缺乏内在的3D感知先验，导致推理步骤强化错误而非纠正错误。改进方向是开发感知基础的推理方法，如显式几何推理模块或物理约束损失。
未来方向
论文和基于其发现可延伸的未来研究方向包括：(1) 富含物理交互的训练数据——当前VLM主要在静态互联网图像上训练，缺乏物理动力学的直接监督。未来可构建包含物体交互、重力效应、碰撞响应的多模态数据集，通过具身模拟器（如Habitat、AI2-THOR）生成。(2) 几何感知的架构创新——当前Transformer架构缺乏显式的3D表示机制，未来可探索将深度估计网络、点云处理模块或NeRF表示集成到VLM中，实现从2D到3D的直接推理。(3) 课程学习策略——论文发现空间专业模型在开放性评估上表现最差（仅10-13%），可能是因为训练数据分布过于狭窄。未来可设计从简单到复杂的空间推理课程，逐步增加任务难度和多样性。(4) 多视角和时序推理——当前基准仅使用单张静态图像，未来可扩展到多视角场景或视频序列，测试模型的空间记忆和时序推理能力。(5) 具身反馈循环——论文指出CoT在视觉推理中的局限性源于缺乏感知锚点，未来可通过具身代理在虚拟环境中执行动作并获得视觉反馈，形成感知-推理-行动的闭环学习。(6) 对抗性鲁棒性——论文发现模型在边界情况下（如反常尺度、反射表面）表现脆弱，未来可构建专门的对抗性空间推理测试集，评估模型的鲁棒性。
复现评估
SpatiaLab的可复现性整体较好，但存在一些限制。开源情况方面，基准数据集已公开在 https://spatialab-reasoning.github.io/，包含图像和QA对。论文提供了详细的标注流程（附录C）、评估协议（附录D）和超参数设置（附录H），以及完整的提示模板（图6-12）。数据方面，1,400个QA对覆盖30个子类别，每个子类别至少25个问题，统计上已证明足够稳定（Wilcoxon检验$p > 0.05$，Cronbach's $\alpha > 0.98$）。算力方面，SFT实验使用4-bit量化和LoRA（rank=16）在有限GPU资源上进行，对大多数研究团队可及；但评估25+个模型需要大量API调用（特别是闭源模型）。SPATIOXOLVER使用Gemini-2.5-Flash，温度0.1，多次迭代，计算成本中等。难度方面，完整复现需要：(1) 访问多个闭源API（GPT、Gemini、Claude等）；(2) 运行SFT实验的GPU资源；(3) LLM评判者的实现和验证。论文提供了多运行验证（N=3, 标准差<0.6%）和ICC可靠性分析（>0.98），确保结果的统计稳健性。总体而言，复现的主要障碍是API访问成本而非技术复杂性。
论文图表
展示了Spatial Relation Agent和Grouping Symmetry Agent的提示模板。Spatial Relation Agent提取物体间的空间关系为三元组(ObjA, Relation, ObjB)，Grouping Symmetry Agent识别更高阶的分组和对称模式。
展示了SPATIOXOLVER的中间处理阶段，帮助理解如何将原始视觉信息转化为结构化的空间表示。
展示了Representation Standardization Agent、MCQ Spatial Option Prompt和Open-ended Spatial Reasoning Agent的提示模板。标准化智能体将所有输出统一为JSON格式，推理智能体基于结构化表示回答空间推理问题。
展示了SPATIOXOLVER的最终推理阶段，帮助理解多智能体系统如何将分散的感知信息整合为统一的空间推理。