Think3D：用空间思考来实现空间推理 Think3D: Thinking with Space for Spatial Reasoning
让VLM通过主动探索3D点云空间进行推理，而非被动接受2D图像
前置知识
Vision-Language Model (VLM)
视觉语言模型是一类能够同时处理图像和文本输入的多模态模型，典型代表包括GPT-4V、Gemini等。这些模型通过在大规模图文数据上预训练，学会了将视觉特征与语言语义对齐。VLM可以回答关于图像内容的问题、描述场景、进行视觉推理等。然而，传统VLM主要在2D图像平面上进行推理，缺乏真正的三维空间理解能力。
本文的核心目标是增强VLM的空间推理能力，理解VLM的现有能力和局限是理解本文动机的关键
3D Reconstruction（3D重建）
3D重建是从2D图像或多视角图像中恢复三维几何结构的技术。本文使用的Pi3和VGGT等方法可以从多张不同视角的图像中估计相机位姿并生成彩色点云。点云是三维空间中离散点的集合，每个点包含3D坐标和颜色信息。通过渲染引擎，可以从任意视角观察重建的3D场景。
3D重建是本文框架的技术基础，提供了可供VLM交互探索的3D几何表示
Chain-of-Thought (CoT) Reasoning
思维链推理是一种让模型逐步展示推理过程的技术，通过在生成最终答案前产生中间推理步骤来提升复杂推理任务的性能。本文将其扩展到3D空间，提出'3D chain-of-thought'的概念，让模型通过逐步探索不同视角来积累空间证据。
本文将CoT思想从文本/2D扩展到3D空间，形成空间推理链
GRPO (Group Relative Policy Optimization)
GRPO是一种强化学习算法，通过比较同一问题的多个采样轨迹的相对表现来估计优势函数。与传统的PPO不同，GRPO不需要额外的价值网络，而是直接在组内进行相对比较。本文使用GRPO来训练模型学习何时以及如何调用3D工具进行空间探索。
GRPO是本文强化学习模块的核心优化算法，用于训练空间探索策略
研究动机
当前的视觉语言模型虽然在2D视觉理解方面表现出色，例如在MMMU等综合基准上已接近人类水平，但在需要真正3D空间推理的任务上仍然表现不佳。现有的'用图像思考'(think with image)方法主要依赖2D操作（如缩放、裁剪、深度估计），这些操作只能提供浅层的空间线索，如相对深度、物体排序或计数，无法支持跨视角或3D几何的深层推理。例如，在BLINK Multi-view等多视角理解基准上，现有VLM的表现远落后于人类。此外，通过在大规模空间数据上训练来内化空间知识的方法需要巨大计算资源，还可能损害模型的通用推理能力。
本文的目标是本文的目标是让VLM能够像人类一样通过主动操作3D空间来推理。具体来说，作者希望构建一个框架，使VLM能够调用3D工具（重建、变换、渲染）来探索场景的不同视角，逐步积累几何证据，最终形成对空间关系的准确理解。这种主动探索范式应该能够在不进行大规模训练的情况下提升闭源模型的空间推理能力，并通过强化学习帮助开源小模型学会有效的探索策略。
与已有工作不同的是，本文的独特切入角度是从被动感知转向主动3D探索。与现有方法的根本区别在于：第一，操作空间从2D图像升级到3D点云，支持真正的空间推理而非2D平面上的推理；第二，从被动接受固定输入转变为主动选择探索视角，模拟人类拖拽、旋转3D场景的认知过程；第三，引入强化学习让模型自主学习何时探索、如何探索，而非依赖人工设计的探索规则。这种'用3D空间思考'的范式更接近人类的几何推理方式。
核心方法
Think3D的整体思路是将空间推理转化为一个迭代的3D探索过程。直觉上，当人类被问到一个关于空间关系的问题时（如'站在摄像头2的位置转身180度后右边是什么'），我们会在脑中旋转和移动场景来理解空间布局。Think3D让VLM也能做类似的事情：给定多视角图像和问题，VLM首先决定是否调用3D重建工具获取点云，然后通过'观察-操作-反射'循环逐步探索不同视角。每次迭代中，VLM选择一个相机位置、旋转角度和观察模式（全局视角或第一人称视角），工具渲染出新视角图像，VLM观察后决定是否继续探索或给出答案。这个过程最多进行K次迭代（默认K=3），形成一条3D推理链。
本文的核心创新是提出'用3D空间思考'(Think with 3D Space)的范式，区别于现有的'用图像思考'(Think with Image)。关键区别在于：第一，操作对象从2D图像升级到重建的3D点云，支持真正的三维几何推理；第二，引入相机位姿作为操作锚点，确保空间操作的一致性和可解释性；第三，支持全局视角和第一人称视角的切换，前者理解整体布局，后者获取局部细节。另一个重要创新是Think3D-RL，通过强化学习让小模型自主学习有效的空间探索策略，仅使用任务奖励而非昂贵的操作轨迹标注。
方法步骤详情
Think3D的方法包含三个核心组件的协作：(1) 3D操作工具包：使用Pi3从多视角图像重建彩色点云和相机位姿，每个相机表示为 $C_t = (\mathbf{K}_t, \mathbf{R}_t, \mathbf{t}_t)$，包含内参矩阵、旋转矩阵和平移向量；支持两种变换模式——全局模式围绕场景质心旋转点云，第一人称模式围绕锚点相机旋转视角；使用点云渲染器生成新视角图像。(2) VLM空间推理代理：在第k次迭代中，VLM基于历史 $\mathcal{H}_{k-1}$ 和当前观察生成输出 $\mathbf{o}_k$，解析为文本响应和可选的工具调用 $\mathbf{a}_k = (i_k, m_k, \Delta\alpha_k, \Delta\beta_k)$。(3) Think3D-RL强化学习模块：将探索过程建模为轨迹 $\tau$，仅在轨迹结束时给予奖励 $R(\tau) = R_{\text{ans}} \cdot R_{\text{fmt}}$，使用GRPO算法优化策略。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在概念层面，首次明确提出'用3D空间思考'的范式，将空间推理从被动感知转变为主动探索，这在VLM社区是全新的视角。其次，在方法层面，设计了相机锚点机制解决3D操作的参考系一致性问题，这是之前2D操作方法所不具备的。第三，在训练层面，将多步工具调用过程建模为强化学习问题，仅使用任务奖励信号就能学到有效的探索策略，避免了昂贵的逐步标注。实验表明，RL训练后的小模型会自发地学习到与大模型相似的探索模式（如偏好俯视角），这种涌现行为证明了方法的有效性。
实验结果
实验在三个具有挑战性的空间推理基准上进行：BLINK Multi-view（多视角几何理解）、MindCube（相机运动理解）和VSI-Bench-tiny（视频空间智能）。主要发现包括：(1) 对于闭源模型，Think3D作为零样本插件即可带来显著提升。GPT-4.1在BLINK Multi-view上提升27.09%（从36.82%到63.91%），在MindCube平均提升7.66%；Gemini-2.5-Pro在VSI-Bench上平均提升6.45%。这些增益表明主动3D探索对强大模型同样有效。(2) 对于开源小模型Qwen3-VL-4B，直接使用Think3D仅获得0.61%的边际提升，但经过Think3D-RL训练后，增益跃升至9.32%（BLINK+MindCube）和12.05%（VSI-Bench）。这证明了强化学习对于小模型学会有效探索的重要性。(3) 消融实验表明，3D重建、相机锚点、相机选择、第一人称视角四个组件缺一不可，完整系统在BLINK上达到63.91%。(4) RL训练过程中，模型首先减少探索轮次以提高奖励，随后逐渐增加工具调用，最终收敛到更有效的探索策略。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BLINK Multi-view（多视角推理） | Accuracy (%) | Think3D(GPT-4.1): 63.91, Think3D(Gemini): 52.88, Think3D(Qwen-T3RL): 53.39 | GPT-4.1: 36.82, Gemini: 44.86, Qwen: 47.87 | GPT-4.1: +27.09, Gemini: +8.02, Qwen-T3RL: +7.28 |
| MindCube（旋转视角理解） | Average Accuracy (%) | Think3D(GPT-4.1): 63.33, Think3D(Gemini): 63.34 | GPT-4.1: 55.83, Gemini: 64.17 | GPT-4.1: +7.50, Gemini: +3.17 |
| VSI-Bench-tiny（视频空间智能） | Average Accuracy (%) | Think3D(GPT-4.1): 51.14, Think3D(Gemini): 51.61, Think3D(Qwen-T3RL): 45.41 | GPT-4.1: 48.18, Gemini: 45.16, Qwen-T3RL: 33.36 | GPT-4.1: +2.96, Gemini: +6.45, Qwen-T3RL: +12.05 |
局限与改进
本文的局限性主要体现在以下几个方面。首先，3D重建质量是性能的瓶颈——消融实验表明使用VGGT替代Pi3会导致约4%的性能下降，说明框架对重建工具有一定依赖。其次，迭代探索带来额外计算开销，虽然与Self-Refine相比效率相当，但相比直接推理仍有显著的时间和token成本。第三，RL训练仅在MindCube的977个样本上进行，泛化到更多样化的空间推理场景有待验证。第四，当前方法假设输入为多视角图像，对于单张图像或视频流的实时空间推理场景尚未覆盖。此外，实验评估的基准相对有限，主要集中在室内场景的相对空间关系推理，对于更复杂的空间任务（如导航、操作）的效果未知。
独立分析的弱点
独立分析本文的弱点，主要有以下几点：(1) 探索效率问题——当前方法采用固定的K=3次迭代上限，缺乏自适应停止机制。虽然模型可以发出STOP信号，但在实际测试中很少使用。改进方向是引入基于不确定性的自适应探索，当新视角不再提供新信息时自动停止。(2) 2D到3D的语义鸿沟——VLM本质上是在处理渲染的2D图像而非真正的3D数据，这限制了深度感知的精度。改进方向是直接在3D特征空间进行推理，而非渲染回2D。(3) 单一的探索动作空间——当前仅支持相机旋转，缺乏平移、缩放等更丰富的空间操作。扩展动作空间可能带来更强的探索能力。(4) 缺乏空间记忆机制——每次探索都依赖完整的观察历史，随着轮次增加可能超出上下文限制。
未来方向
基于本文成果可以延伸多个研究方向。作者提到的方向包括将框架扩展到机器人导航和操作场景，实现具身空间智能。基于本文的探索，我建议以下方向：(1) 将Think3D与视频理解结合，实现实时动态场景的空间推理；(2) 探索多智能体协作的空间探索，多个VLM代理分别探索场景的不同区域并共享信息；(3) 引入人类反馈强化学习(RLHF)，让人类标注更好的探索路径而非仅依赖任务奖励；(4) 将框架应用于AR/VR场景中的空间问答和导航辅助；(5) 探索将3D操作工具与代码生成能力结合，让模型编写自定义的3D操作脚本。
复现评估
本文的复现条件相对友好。代码、模型和数据已在GitHub开源（https://github.com/zhangzaibin/spagent）。关键资源包括：(1) 3D重建使用开源的Pi3或VGGT模型；(2) RL训练基于SWIFT框架，使用8张H200 GPU训练1个epoch；(3) 评估使用公开的BLINK、MindCube和VSI-Bench数据集。主要复现挑战在于：RL训练需要大量GPU资源（虽然作者声称可在消费级GPU上运行推理）；3D重建工具的部署和配置可能有一定技术门槛；RL训练的超参数调优可能需要多次实验。总体而言，有GPU资源的研究团队应该能够在1-2周内复现主要结果。
论文图表
