通过文本表征引导推理释放多模态大语言模型的空间推理能力 Unleashing Spatial Reasoning in Multimodal Large Language Models via Textual Representation Guided Reasoning
用结构化文本描述3D空间布局作为中间推理链，提升MLLM的空间推理准确率
前置知识
自我中心视角（Egocentric）与他者中心视角（Allocentric）
自我中心视角（egocentric）是以观察者自身为参照系的空间表征方式，类似于第一人称视角的视频，物体的位置关系是相对于'我'而言的（如'前方偏左'）。他者中心视角（allocentric）则是以环境本身的坐标系为参照，类似俯瞰地图的鸟瞰视角，物体位置以绝对坐标描述。认知科学研究表明，人类在进行复杂空间推理时，会自动将视觉输入转换为他者中心的内部表征，例如在脑中构建房间的俯瞰布局图。本文的核心灵感正是来源于这一认知过程：MLLM如果能像人类一样从自我中心视频中构建出他者中心的空间表征，就能更准确地回答空间推理问题。
本文的根本论点是MLLM过度依赖自我中心视角的2D视觉信号，需要显式构建他者中心表征才能做好空间推理，理解这两种视角的区别是理解整篇论文的基础。
Chain-of-Thought（思维链）提示
Chain-of-Thought（CoT）是一种通过在提示中引导大语言模型生成中间推理步骤来提升复杂推理任务性能的方法。模型不再直接从输入跳到答案，而是先输出一段逐步推理的文字（即'思维链'），类似于人类解题时写出中间步骤。CoT在算术、符号推理等任务上效果显著，但在空间推理任务中表现不佳甚至可能损害性能，因为语言形式的推理链往往无法捕捉3D几何结构信息。本文正是在观察到这一局限后，提出了结构化的文本空间表征作为替代方案。
理解CoT的局限性是理解本文创新动机的关键——标准思维链在空间推理上失效，因此需要设计新的中间推理表征形式。
认知地图（Cognitive Map）
认知地图是认知心理学中的经典概念，指生物体在大脑中形成的关于环境空间布局的内部表征。在MLLM领域，Yang等人（2025a）将此概念具体化为一种提示方法，要求模型将场景表示为一个 $10 \times 10$ 的语义网格，记录各类物体在网格中的粗略位置。这种方法为后续的空间推理研究奠定了基础，但其粗粒度的网格化表征难以捕捉精细的空间关系。本文的TRACE方法可以看作是对认知地图思路的精细化升级：从粗粒度网格升级为带精确坐标的实体注册表。
认知地图是本文最直接的相关工作和对比基线，理解它的设计和局限性有助于理解TRACE的改进之处。
VSI-Bench 和 OST-Bench 评测基准
VSI-Bench是基于自我中心室内场景扫描视频的空间推理基准，包含5,130个问答对，覆盖288个真实视频，涉及物体计数、绝对距离、物体尺寸、房间尺寸、相对距离、相对方向、路线规划、出现顺序共8类任务。OST-Bench则侧重评估在线时空理解能力，包含1,386个场景和10,165个问答对，采用多轮对话形式。两个基准都要求模型从第一人称视频中理解3D空间关系，是当前评估MLLM空间智能能力的主要平台。本文在这两个基准上都进行了全面实验。
这两个基准是评估本文方法有效性的核心平台，理解它们的任务设置和评估方式有助于理解实验结果的含义。
研究动机
现有的多模态大语言模型在3D空间推理任务上表现不佳，这是一个被多项研究反复验证的系统性问题。具体来说，在VSI-Bench上，即使是强大的专有模型Gemini 3 Pro使用直接提示（Direct prompting）也只能达到52.61%的平均准确率，而开源模型如Qwen2.5-VL-72B更是只有36.28%。更令人意外的是，标准的Chain-of-Thought提示方法不仅不能提升空间推理性能，反而经常导致性能下降——Qwen2.5-VL-72B在使用CoT后准确率从36.28%暴跌至29.78%，下降了6.5个百分点。根本原因在于，这些模型过度依赖2D视觉信号，从隐式空间线索中学到了虚假的捷径关联，而非真正构建对3D场景的层次化抽象理解。例如，模型可能通过物体在画面中的像素大小粗略估计距离，但无法正确理解物体之间的三维几何关系，更无法在脑中建立一致的坐标系统。
本文的目标是本文的核心目标是回答一个根本性科学问题：能否引导MLLM从2D视觉观察中显式地构建和推理3D空间环境的结构化他者中心表征？具体而言，作者希望设计一种不依赖额外模态输入（如深度图、点云）、不需要大规模监督微调数据、能直接应用于现成MLLM的提示方法，使其在空间推理任务上获得一致且显著的性能提升。更进一步，作者希望通过可量化的实验验证，明确识别出MLLM空间推理的瓶颈所在——到底是3D视觉感知能力不足，还是语言推理能力不足。
与已有工作不同的是，现有工作主要沿两条路线尝试解决MLLM的空间推理问题：一是构建大规模空间推理监督微调数据（如SAT、MM-Spatial），但这限制了可扩展性和泛化能力；二是引入额外的几何或立体视觉模态（如SpatialRGPT、LLaVA-3D），但这增加了系统复杂性，且无法直接应用于现成的MLLM。本文的独特切入角度是：受到认知科学中人类空间推理过程的启发，不改变模型的输入模态或参数，而是通过精心设计的提示策略，诱导模型在生成最终答案之前，先输出一个结构化的文本空间表征作为中间推理链。这种做法的巧妙之处在于，它利用了语言本身作为'接口'来承载空间信息——既然模型的语言推理能力相对较强，不如把空间推理问题转化为语言推理问题。
核心方法
TRACE的核心思路可以用一个生活类比来理解：当你第一次走进一间陌生酒店房间，你不会盯着每帧画面去回答'床和门哪个更远'这样的问题，而是在脑中默默构建一张房间的俯瞰地图——门在哪里、床在哪里、桌子在哪里、它们之间的大致距离是多少。这张脑中的地图就是他者中心的空间表征。TRACE的设计正是模仿了这个认知过程：它诱导MLLM在回答空间推理问题之前，先用文本'画'出这样一张空间地图。技术上，TRACE将这个过程分为三个层次：先建立房间级别的坐标系统和布局描述（Meta Context），再记录观察者的移动轨迹（Camera Trajectory），最后登记所有可见物体的位置和属性（Entity Registry）。这三个层次从宏观到微观，从粗到细地构建了完整的空间表征，最终生成一个YAML格式的结构化文本，作为后续空间推理的'空间缓存'。
TRACE最本质的创新在于：它不是在优化模型如何'看'视频，而是在优化模型如何'想'空间。之前的认知地图方法（CM）用粗粒度的 $10 \times 10$ 网格来表示物体位置，这就像用马赛克画来看世界——当多个物体落在同一个网格单元时，模型无法区分它们的精确位置。TRACE则通过每个物体的独立坐标 $[x, y]$（以米为单位的浮点数）来精确描述位置，同时为每个物体附上视觉签名（visual signature）用于消歧、空间关系（spatial relation）用于补充相对位置信息。这种从'网格化粗定位'到'实体级精定位'的升级，使得模型能够处理需要精确几何推理的问题。更关键的是，TRACE将这种表征构建过程设计为一种结构化的Chain-of-Thought——模型在生成最终答案时，不仅要参考视频本身，还要参考之前生成的空间表征，从而将空间推理'锚定'在显式的几何约束上，而非依赖隐式的2D视觉捷径。
方法步骤详情
TRACE的完整推理流程分为两个阶段。第一阶段是空间描述（Spatial Descriptor），MLLM接收原始自我中心视频和精心设计的提示词，生成结构化的TRACE表征。这一阶段包含三个核心组件的生成：（1）Meta Context——模型首先识别房间类型（如'矩形办公室'）、确定坐标轴方向（如'+Y轴指向窗户方向'）、记录初始朝向，这是整个空间表征的锚点；（2）Camera Trajectory——模型沿着时间线记录观察者在每一步的位置坐标 $[x, y]$、朝向（使用8个离散的基方向编码）和动作描述（如'站在入口处，向左平移'），形成一条穿越场景的路径；（3）Entity Registry——模型逐一登记所有可见物体，每个物体包含唯一ID、类别、首次出现时间戳、估计坐标、近似尺寸、视觉签名和空间关系描述，且强制要求将每个物体单独列出而非分组，以确保精确计数和定位。第二阶段是推理解析（Reasoning Parser），模型接收原始视频、问题和第一阶段生成的TRACE表征，基于这个'空间缓存'来计算物体间的欧几里得距离、遍历路径节点或判断空间关系，从而生成最终答案。整个过程在一次推理中完成（one-stage inference），生成TRACE和回答问题共享同一个上下文窗口。
技术新颖性
TRACE的技术新颖性体现在三个层面。首先，在表征设计上，它是第一个将他者中心空间表征拆解为元上下文、轨迹和实体注册表三要素的提示方法，每个要素都对应特定的空间推理需求——元上下文解决坐标系一致性问题，轨迹解决动态观测问题，实体注册表解决物体级精确定位问题。其次，在推理机制上，TRACE揭示了一个重要发现：不仅最终的文本表征有价值，生成这个表征的推理过程本身也是关键——one-stage推理（同时生成表征和回答问题）的性能优于two-stage推理（先生成表征再喂给模型回答问题），差距在Gemini上为60.15% vs 58.52%。这意味着空间推理更像是一种'内化'的认知过程，而非简单的信息检索。第三，在灵活性上，TRACE完全基于提示工程，不需要修改模型参数或引入额外模态输入，可以无缝应用于任何现成的MLLM，从7B参数的MiMo-VL到更大规模的Gemini 3 Pro、o3、GLM-4.5V都验证了有效性。
实验结果
本文在VSI-Bench和OST-Bench两个基准上进行了全面实验，核心发现如下。在VSI-Bench上，TRACE在所有测试的模型上都取得了一致的性能提升：Gemini 3 Pro从52.61%提升到60.15%（+7.54%），Qwen2.5-VL-72B从36.28%提升到39.38%（+3.10%），MiMo-VL-7B从39.79%提升到41.42%（+1.63%），o3从51.15%提升到54.08%（+2.93%），GLM-4.5V从37.33%提升到45.01%（+7.68%）。值得注意的是，对于开源小模型，空间特定的提示方法（CM和TRACE）优于通用语言推理提示（CoT、LtM和ToT），这说明显式几何锚定对较小模型尤为重要。在OST-Bench上，TRACE在MiMo-VL-7B上从62.65%提升到65.04%（+2.4%），在Gemini 3 Pro上从59.22%提升到60.42%（+1.2%），考虑到OST主要评估多轮对话中的在线时空理解，现有提示方法在该基准上几乎无效，TRACE的提升尤为可贵。与其他文本空间表征方法的对比中，在text-only推理设置下，TRACE（31.11%）显著优于认知地图（21.41%，+9.7%）和空间描述（27.58%，+3.53%），验证了其结构化设计的优势。消融实验表明，移除实体注册表导致5.24%的性能下降（尤其在物体相关任务上），移除轨迹导致1.92%的下降（主要影响距离和顺序推理），说明两个组件各司其职。分解分析进一步揭示，3D视觉感知和语言推理两个环节都是瓶颈：当描述器从Gemini替换为Qwen时性能下降约16个百分点，当解析器从Gemini替换为Qwen时下降约11个百分点，且较小模型主要在推理能力上存在更大差距。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VSI-Bench 平均（Gemini 3 Pro） | Avg. Accuracy | 60.15 | 59.72 (Cognitive Map) | +0.43% |
| VSI-Bench 平均（Gemini 3 Pro） | Avg. Accuracy | 60.15 | 52.61 (Direct) | +7.54% |
| VSI-Bench 平均（Qwen2.5-VL-72B） | Avg. Accuracy | 39.38 | 36.28 (Direct) | +3.10% |
| VSI-Bench 平均（MiMo-VL-7B） | Avg. Accuracy | 41.42 | 39.79 (Direct) | +1.63% |
| VSI-Bench 平均（GLM-4.5V） | Avg. Accuracy | 45.01 | 37.33 (Direct) | +7.68% |
| VSI-Bench 平均（o3） | Avg. Accuracy | 54.08 | 51.15 (Direct) | +2.93% |
| OST-Bench 平均（MiMo-VL-7B） | Avg. Accuracy | 65.04 | 62.65 (Direct) | +2.4% |
| OST-Bench 平均（Gemini 3 Pro） | Avg. Accuracy | 60.42 | 59.22 (Direct) | +1.2% |
| Text-only推理对比（Qwen2.5-VL-72B） | Avg. Accuracy | 31.11 | 21.41 (Cognitive Map) | +9.70% |
局限与改进
作者在论文中明确承认了几个局限性。首先，TRACE目前被设计为静态的他者中心表征——它为整个视频生成一个全局的空间快照，这种全局视角虽然提供了稳定的空间推理基础，但在需要实时追踪智能体状态变化的多轮对话场景中，会与动态的自我中心更新产生解耦。在OST-Bench的Agent State预测任务中，TRACE确实偶尔会导致性能下降，正是因为这个原因。其次，当前实现依赖MLLM自身来生成空间表征，没有利用专门的3D视觉专家模型，这可能导致坐标估计和物体识别的精度受限。从独立观察来看，TRACE的token开销在某些大模型上较高（Gemini上约844个token，vs Direct的334个），尽管在紧凑模型MiMo上token效率很好（738个token，低于ToT的1133个和LtM的1097个）。此外，TRACE的提示词非常长且复杂，包含详细的YAML格式要求和多种规则，这对模型的指令跟随能力提出了较高要求——从实验中可以看到Qwen系列在复杂提示下表现不佳，可能正是因为其指令跟随能力较弱。
独立分析的弱点
尽管TRACE在多个基准上展示了优势，但仍存在几个值得关注的弱点。第一，坐标估计的精度问题：TRACE要求模型估计物体的 $[x, y]$ 坐标（以米为单位），但视觉模型在没有深度信息的情况下很难做到准确的度量级估计，消融实验中移除实体注册表后Abs. Dist.指标从21.74%上升到28.84%（Table 4），反而说明当前的坐标估计有时会引入噪声而非有用信息，特别是在距离相关任务上。改进方向是引入轻量级的深度估计模块或结合已有的单目深度模型来辅助坐标推断。第二，静态表征的局限：TRACE生成的是一次性全局快照，无法适应在线流式推理场景。未来可以设计增量更新机制，每到达新视频帧时只更新轨迹和新增实体，而非重新生成整个表征。第三，TRACE的提示词设计过于精细复杂（YAML格式、多种规则约束），对模型的指令跟随能力要求很高，这限制了其在更小模型上的适用性。可以考虑将提示设计简化，或通过少量示例（few-shot examples）来替代冗长的规则描述。第四，token效率在大模型上不够理想——在Gemini 3 Pro上TRACE消耗约844个token，几乎是Direct方法的2.5倍，这在实际部署中可能带来显著的延迟和成本增加。
未来方向
作者提出了多个值得深入的研究方向。最直接的下一步是开发动态流式TRACE框架，能够随着新观测的到来增量地更新相机轨迹和实体注册表，使模型维持一个持续更新的世界模型，同时递归地将智能体的位姿投影到地图中。这将使TRACE从'一次性快照'升级为'实时地图'，更好地服务于需要持续空间感知的具身智能任务。另一个重要方向是通过训练将TRACE内化到MLLM中：利用TRACE自动生成高质量的空间推理监督数据用于有监督微调（SFT），甚至进一步用强化学习（RL）来优化空间推理策略，使结构化空间表征成为模型原生推理过程的一部分，而非外置的提示工件。此外，将专门的3D感知模块（如单目深度估计、视觉SLAM）集成到TRACE中，可以在保持语言推理灵活性的同时提升中间表征的准确性。研究表征压缩和token效率优化也是一个有前景的方向，特别是对于低延迟的具身智能部署。最后，将TRACE扩展到导航、规划和操作等更广泛的任务，将有助于验证结构化文本世界模型是否能作为感知和推理之间的通用接口。
复现评估
从复现的角度评估，本文的可复现性较好。TRACE是一种纯提示工程方法，不需要训练新的模型参数，代码量极小——核心工作就是设计提示模板。论文详细给出了完整的提示模板（包括系统提示和用户提示的完整文本，见Appendix A），任何人都可以直接复制这些模板来复现实验。实验涉及的两个基准VSI-Bench和OST-Bench都是公开可用的数据集。在模型方面，论文使用了混合的专有和开源模型：Gemini 3 Pro和o3是闭源API，但开源模型Qwen2.5-VL-72B、MiMo-VL-7B、GLM-4.5V都可以本地部署。不过，完整复现需要能够运行72B参数模型的GPU资源（至少需要多卡A100设置），这对许多研究者来说可能是较大的门槛。此外，论文提到对OST-Bench只使用了200个场景和1,396个QA对的随机子集，复现时需要确认随机种子。总体而言，这是一项复现门槛较低、适合快速验证和借鉴的研究工作。
论文图表
图1包含三个子图。(a)展示了一个自我中心视频配合空间推理问题的挑战场景；(b)展示了人类解题时脑中构建的房间布局文本描述；(c)展示了TRACE的整体框架，包括元上下文、轨迹和实体注册表三个组成部分。
这是全文最重要的动机图，直观展示了从认知科学灵感（人类如何做空间推理）到技术方案（TRACE的三个核心组件）的完整逻辑链条，是理解论文核心思想的关键入口。
图5展示了将3D空间理解分解为视觉感知（Spatial Descriptor）和语言推理（Reasoning Parser）两个阶段后，不同模型组合的性能表现。当描述器或解析器被替换为较弱的Qwen模型时，性能都会显著下降。
这张图揭示了MLLM空间推理的关键瓶颈——不仅视觉感知能力（描述器）重要，语言推理能力（解析器）同样关键，且两个环节的性能差距在不同模型间差异显著，为未来的模型优化指明了方向。