SpatialAct：探索VLM代理在3D场景中的空间推理到行动能力 SpatialAct: Probing Spatial Reasoning-to-Action Capabilities of VLM Agents in 3D Scenes

SpatialAct的完整方法包含四个主要步骤。第一步是数据收集，构建三种3D场景类型：抽象几何场景通过程序化生成，每场景包含5-7个随机采样的几何对象；城市建筑场景从RAISECity数据集派生，使用白盒和纹理建筑模型，每场景限制不超过20个建筑；室内场景从InternScenes数据集构建，包含5-15个可移动家具。第二步是质量控制，对城市建筑和室内场景进行程序化清理去除异常情况，然后手动检查元素尺寸、空间布置合理性、错误模式和语义一致性（针对室内场景）。第三步是QA对生成和任务设计，基于干净场景注入不同难度和修正步骤的布局错误，然后按照分层任务设计生成问题。对于多轮精炼任务，模型首先获得原始错误场景的俯视图和等距视图，然后识别空间错误并输出修正行动命令。第四步是模拟器执行和迭代工作流，模型的行动命令（如移动方向和距离、旋转角度、缩放比例）被解析并执行，更新后的场景再次渲染，下一轮模型获得新视图、原始视图、上轮行动命令和累积历史，重复此过程直到模型判断所有错误已修复或达到最大轮数（30轮）。

SpatialAct的技术新颖性体现在多个方面。首先是评估范式的创新，首次将高层语义空间行动（移动、旋转、缩放）与模拟器执行结合，实现可验证的行动-状态转换循环，避免了传统具身评估中低层控制的混淆。其次是分层诊断设计，从基本空间能力到单步修复再到多轮交互，系统性地揭示了模型能力的层次结构，发现基础技能表现良好不能保证复杂任务成功。第三是程序化错误注入和动态渲染，减少了静态基准污染风险，使评估更加可控。第四是跨场景类型的泛化性评估，覆盖抽象几何、城市建筑和室内三种场景，发现模型对室内场景更熟悉但场景成功率受结构复杂性影响。最后是多维度指标设计，包括修复准确率（修复率、场景成功率）和修复效率（有效修复轮数比、提前停止率、平均完成令牌数），全面评估模型的推理-行动能力。

独立分析的弱点包括几个具体方面。第一，状态跟踪机制不足，当前模型没有显式的空间状态表示来维护跨轮次的场景认知，导致行动不一致和错误重复。改进方向可以是引入显式场景图或3D场景编码器作为工作记忆，在每轮迭代中更新和维护。第二，约束感知规划能力弱，模型难以理解边界、拓扑和多对象关系等全局约束，导致修复一个错误时引入新错误。改进方向可以是集成约束求解器或可微优化模块，在生成行动前验证其可行性。第三，错误模式特异性不足，模型对不同错误类型（碰撞vs方向）采用相似的推理策略，但不同错误需要不同的修复方法。改进方向可以是错误类型检测器，根据错误类型调整推理策略。第四，长期horizon协调缺乏，模型在多个错误同时存在时难以制定全局修复计划，容易陷入局部最优。改进方向可以是层次化任务分解，先识别错误依赖关系，再按优先级顺序修复。第五，反馈利用不充分，模型可能忽略更新视图中的关键变化，仍然基于过时信念行动。改进方向可以是注意力机制专门聚焦视图变化，或者引入对比推理明确比较前后状态。

未来研究方向包括作者提出的和基于成果可延伸的几个方向。作者提出的方向包括：扩展评估到真实世界场景，探索提升多轮推理和行动执行的方法，开发更鲁棒、类人的空间推理到行动能力。基于成果可延伸的方向包括：首先，开发显式空间状态表示机制，如可学习的场景图或3D场景编码器，用于跨轮次状态跟踪。其次，设计约束感知规划算法，集成物理约束验证或可微优化，确保生成行动的全局一致性。第三，研究错误依赖建模和层次化修复策略，帮助模型理解错误之间的关系并制定全局修复计划。第四，探索记忆机制用于跨轮次信息累积，如外部记忆库或状态摘要，减少对长上下文的依赖。第五，研究领域自适应和预训练策略，使模型更熟悉特定场景类型（如城市建筑）的特征。第六，开发人类in-the-loop学习框架，从人类修复轨迹中学习更好的策略。第七，扩展评估到更多错误类型和更长的交互horizon，测试模型的极限能力。第八，研究跨模态空间推理，结合文本、图像、3D模型等多模态信息进行更鲁棒的空间理解。

本文的复现评估总体良好。作者宣布开源代码、数据集、模拟器工作流、评估平台和分析工具，通过GitHub仓库https://github.com/tsinghua-fib-lab/SpatialAct提供。数据集包含333个场景和4,355个QA对，覆盖三种场景类型和三种问题格式，规模足够支持重新训练和评估。评估环境使用标准模拟器和渲染工具，没有依赖专有软件。人类评估平台是网页式的，易于访问和使用。模型评估采用统一推理设置，最大交互轮数30，最大完成令牌数8,096，上下文窗口约200K，这些参数都有明确说明。然而，专有模型（GPT-5.4、GLM-5V-Turbo、Gemini-3.1 Pro）的API访问需要费用，可能限制部分研究者的复现能力。算力需求方面，多轮交互和场景渲染需要一定计算资源，但总体可控。难度主要在于模拟器工作流和评估框架的搭建，但开源代码应该大大降低这个门槛。作者提供了详细的任务子类别定义和代表性提示，便于研究者理解实验设置。总体而言，本文的复现性良好，开源承诺和详细文档支持了研究社区的验证和扩展。