← 返回 2026-06-18

强化空间视觉语言模型中的双路径推理 Reinforcing Dual-Path Reasoning in Spatial Vision Language Models

Yatai Ji, An-Chieh Cheng, Yang Fu, Yukang Chen, Han Zhang, Zhaojing Yang, Wei Huang, Ka Chun Cheung, Song Han, Vidya Nariyambut Murali, Pavlo Molchanov, Jan Kautz, Simon See, Hongxu Yin, Ping Luo, Sifei Liu 📅 2026-06-16 👍 15 2026-07-13 08:37
3D感知 双路径推理 强化学习 空间推理 视觉语言模型
arXiv HuggingFace PDF

提出SR-ReaL框架，通过LOR和DTR双路径推理+强化学习提升空间VLM的几何推理能力

前置知识

空间视觉语言模型

空间视觉语言模型是一类专门针对3D空间理解的多模态模型，它们不仅识别图像中的物体，还能理解物体在三维空间中的位置关系、深度信息、遮挡关系和视角依赖关系。这类模型通常结合深度地图、相机内外参等几何信息，通过专门的位置编码方案将2D坐标、深度信息与视觉特征融合，使模型具备更强的空间感知能力。

理解空间VLM是阅读本文的基础，因为SR-ReaL正是在SR-3D这一空间VLM基础上构建的，需要理解其如何编码和处理空间信息。

GRPO (Group Relative Policy Optimization)

GRPO是一种无需价值函数评论家的策略优化方法，它通过比较同一查询生成的多个响应的奖励来估计优势。对于给定查询，从旧行为策略采样一组输出，通过将每个响应的奖励与组内统计量进行归一化来计算优势，这种归一化实际上起到了基准作用，鼓励模型强化优于组平均的输出。GRPO的目标函数包含重要性采样比率、PPO风格的裁剪机制和KL散度惩罚项。

GRPO是SR-ReaL强化学习阶段的核心算法，理解其原理有助于掌握论文如何通过RL优化推理路径。

Region-to-3D Grounding

区域到3D锚定是一种将视觉区域标记与3D几何量相关联的技术。给定一个视觉区域标记（如边界框或mask标记），模型预测其3D中心或边界框，从而将区域引用链接到几何量。在SR-ReaL中，当区域标记以形式出现在文本中时，它会被替换为相应图像区域的视觉标记，模型通过学习从2D位置先验到3D坐标的映射来实现准确的3D定位。

这是DTR路径的核心机制，理解它对于掌握SR-ReaL如何实现精确的3D定位和几何推理至关重要。

研究动机

现有空间视觉语言模型在复杂空间推理任务上仍面临严重挑战。虽然几何感知能力有所提升，但需要多步推理、链式连接深度线索、距离比较和场景关系的任务仍然困难重重。更关键的是，不同类型的空间查询需要根本不同的推理策略：一些最适合通过纯语言逐步演绎场景关系来解决，而涉及深度、距离或精确定位的查询则受益于先在3D空间中锚定对象再执行推理。现有框架无法在统一的空间VLM中同时处理这两种策略。

本文的目标是本文的目标是构建一个统一的空间推理模型框架，使其具备两种互补的推理路径：纯语言推理路径执行逐步语言演绎，而先检测再推理路径在执行定量推理前注入显式3D线索。通过两阶段训练流程（冷启动监督微调+强化学习优化），使单一模型同时支持这两种推理模式，并能根据任务需求灵活选择。

与已有工作不同的是，本文的独特切入角度在于认识到空间推理任务本质上存在两种不同的解决策略，而非试图用单一方法处理所有问题。与现有方法不同，SR-ReaL不是简单地应用强化学习或增加3D表示，而是设计了双路径架构，其中DTR路径引入了内部区域到3D锚定接口，并通过离散的中心点检测奖励来精细化几何对齐，这种设计使模型能够在同一架构下学习何时使用语言推理、何时需要显式几何计算。

核心方法

SR-ReaL的整体思路是构建一个双路径空间推理框架，通过两阶段训练使空间VLM同时掌握语言推理和几何锚定推理两种策略。首先在冷启动阶段，构建两条平行的结构化思维链数据集，并为模型添加区域到3D锚定能力，通过混合监督实现稳定初始化；然后在强化学习阶段，使用GRPO算法联合优化两条路径，针对DTR路径额外引入离散检测奖励。这种设计使单一模型能够根据任务需求灵活选择推理策略。

核心创新点在于提出了LOR和DTR两种互补的推理路径，并在统一架构下通过结构化监督和强化学习联合训练。与已有方法的本质区别在于：SR-ReaL不强迫模型使用单一推理策略，而是让模型学会根据任务特性选择最合适的方法。DTR路径通过区域标记实现从2D到3D的映射，这是关键技术创新，它将语义解析与3D感知解耦，使模型能够进行精确的几何计算。

方法步骤详情

SR-ReaL的方法步骤分为两个阶段。冷启动SFT阶段：首先构建LOR数据集，给定空间问答对，使用大型VLM生成逐步推理轨迹；然后构建DTR数据集，使用或估计3D中心或边界框，将这些线索集成到包含定量空间计算的结构化推理链中；接着构建复杂空间任务数据，涵盖导航、物体交互等高级场景；最后混合2D/3D锚定数据、区域提示QA和通用多模态数据，总共约100万样本，微调模型两个epoch。强化学习阶段：使用约20万空间问题，采用GRPO算法训练200步，rollout批次大小为512，学习率为1×10⁻⁶，通过准确度奖励、格式奖励和DTR特有的离散检测奖励优化策略。

技术新颖性

技术新颖性体现在多个方面：首次在空间VLM中实现双路径推理统一框架；创新性地提出区域到3D锚定接口，通过标记将视觉区域标记与预测的3D坐标链接；设计了针对DTR的离散中心点检测奖励函数r_detect = max(0, 1 - ⌊d/0.2⌋ × 0.2)，其中d是预测中心与真实标注的距离；引入在线过滤机制，移除获得相同总奖励的rollout组，提高训练效率；通过高质量混合冷启动数据确保RL稳定优化和跨域迁移。

A spatial imagination query where SR-ReaL resolves the task under both reasoning paths—Language-Only Reasoning (LOR) and Detect-Then-Reason (DTR) (right-most column). Prior art (left-most column) fail on such examples due to inaccurate or insufficient geometric deduction.
Figure 1: A spatial imagination query where SR-ReaL resolves the task under both reasoning paths—Language-Only Reasoning (LOR) and Detect-Then-Reason (DTR) (right-most column). Prior art (left-most column) fail on such examples due to inaccurate or insufficient geometric deduction.
Two-stage Training Pipeline: In Stage 1 (cold-start SFT), we fine-tune the spatial VLM with spatial CoT, 2D/3D grounding (global and region prompts), and region-prompted multimodal QA to initialize spatial reasoning ability. In Stage 2, we apply RL on multiple-choice and filling spatial QA, optimizing grouped rollouts of LOR/DTR trajectories with accuracy, format, and 3D-center detection rewards.
Figure 2: Two-stage Training Pipeline: In Stage 1 (cold-start SFT), we fine-tune the spatial VLM with spatial CoT, 2D/3D grounding (global and region prompts), and region-prompted multimodal QA to initialize spatial reasoning ability. In Stage 2, we apply RL on multiple-choice and filling spatial QA, optimizing grouped rollouts of LOR/DTR trajectories with accuracy, format, and 3D-center detection rewards.
CoT Data Construction: We generate step-by-step CoT of two spatial reasoning paths: Language-Only Reasoning (top), Detect-Then-Reason with geometry-grounded deduction (middle). Complex Spatial tasks Construction: Using multimodal scene-graph datasets that provide both visual and geometric annotations, we prompt LVLM to generate higher-level reasoning task data (bottom).
Figure 3: CoT Data Construction: We generate step-by-step CoT of two spatial reasoning paths: Language-Only Reasoning (top), Detect-Then-Reason with geometry-grounded deduction (middle). Complex Spatial tasks Construction: Using multimodal scene-graph datasets that provide both visual and geometric annotations, we prompt LVLM to generate higher-level reasoning task data (bottom).

实验结果

实验结果表明SR-ReaL在多个空间推理基准测试上显著优于基线模型。在SPAR-Bench上，DTR路径达到61.9的平均准确率，比基线SR-3D（33.4）提升+28.5，LOR路径也达到60.5。在EmbSpatial上，DTR达到81.3，比基线72.5提升+8.8。在全局基准SAT上，LOR达到68.7，比基线63.0提升+5.7。单点RL训练的检查点同时支持两种推理路径，DTR在区域感知任务上表现优异，LOR增强了一般空间推理能力。联合训练两条路径产生相互强化效果，LOR推理在加入DTR数据后从58.0提升到58.7，DTR推理在加入LOR数据后从57.2提升到60.8。高质量混合冷启动数据对稳定RL优化和跨域迁移至关重要。

Results on spatial reasoning benchmarks. I.e., SPAR-Bench, where SR-3D as its base model, and Ours-LOR / Ours-DTR denote our final model evaluated with language-only and detect-then-reason inference, respectively. Our method also generalizes and improves the performance of the out-of-domain benchmarks, such as EmbSpatial and SAT.
Table 1: Results on spatial reasoning benchmarks. I.e., SPAR-Bench, where SR-3D as its base model, and Ours-LOR / Ours-DTR denote our final model evaluated with language-only and detect-then-reason inference, respectively. Our method also generalizes and improves the performance of the out-of-domain benchmarks, such as EmbSpatial and SAT.
Comparisons of LOR/DTR inference on representative SPAR-Bench subtasks for single-view and multi-view scenarios. We report accuracies on depth_prediction_oo (Depth), distance_infer_center_oo (Distance), obj_spatial_relation_oo (Relation), and spatial_imagination_oo (Imagination).
Table 2: Comparisons of LOR/DTR inference on representative SPAR-Bench subtasks for single-view and multi-view scenarios. We report accuracies on depth_prediction_oo (Depth), distance_infer_center_oo (Distance), obj_spatial_relation_oo (Relation), and spatial_imagination_oo (Imagination).
Results on OOD benchmarks: BLINK (Spatial), RealWolrdQA, and CVBench.
Table 3: Results on OOD benchmarks: BLINK (Spatial), RealWolrdQA, and CVBench.
Ablation on LOR and DTR training. We compare models trained with LOR-only, DTR-only, and mixed data. Columns indicate the inference mode used during evaluation (LOR/DTR).
Table 4: Ablation on LOR and DTR training. We compare models trained with LOR-only, DTR-only, and mixed data. Columns indicate the inference mode used during evaluation (LOR/DTR).
Ablation on DTR designs. We validate the impact of RL detection reward and region-to-3D mechanisms. All metrics are evaluated under DTR inference. SPAR-Det denotes 3D localization error on a validation set of SPAR.
Table 5: Ablation on DTR designs. We validate the impact of RL detection reward and region-to-3D mechanisms. All metrics are evaluated under DTR inference. SPAR-Det denotes 3D localization error on a validation set of SPAR.
Effect of Cold-Start/RL stages. The ablation is conducted with LOR-only training on selection questions. "Cold-Start only" removes RL, "RL only" skips cold-start, and "Full pipeline" uses both stages. "SI": single-view, "MI": multi-view.
Table 6: Effect of Cold-Start/RL stages. The ablation is conducted with LOR-only training on selection questions. "Cold-Start only" removes RL, "RL only" skips cold-start, and "Full pipeline" uses both stages. "SI": single-view, "MI": multi-view.
Ablation of Cold-Start training data in LOR training setup.
Table 7: Ablation of Cold-Start training data in LOR training setup.
Visualization examples of our model. On the fundamental spatial question (spatial relationship and distance), we compare the reasoning paths of LOR and DTR. On the complex spatial task (navigtion), our model also demonstrates reasoning generalization capability.
Figure 4: Visualization examples of our model. On the fundamental spatial question (spatial relationship and distance), we compare the reasoning paths of LOR and DTR. On the complex spatial task (navigtion), our model also demonstrates reasoning generalization capability.
查看结构化数据
任务指标本文基线提升
SPAR-Bench (深度预测) 准确率 35.4 (DTR) 24.1 (SR-3D) +11.3
SPAR-Bench (距离推理) 准确率 80.0 (DTR) 56.2 (SR-3D) +23.8
SPAR-Bench (空间关系) 准确率 73.9 (DTR) 46.8 (SR-3D) +27.1
SPAR-Bench (空间想象) 准确率 52.0 (DTR) 28.2 (SR-3D) +23.8
EmbSpatial 准确率 81.3 (DTR) 72.5 (SR-3D) +8.8
SAT 准确率 68.7 (LOR) 63.0 (SR-3D) +5.7

局限与改进

作者承认的局限性包括：框架构建在SR-3D空间VLM基础上，推理时需要深度地图和相机内外参，这限制了在缺乏几何元数据的野外图像中的应用；DTR路径依赖从2D边界框或mask标注导出的区域标记，当区域标注缺失时（如SAT等全局基准），DTR无法应用；尽管在OOD基准上取得增益，但在感知密集任务（如BLINK、RealWorldQA）上应用思维链推理可能损害性能；冷启动数据构建依赖专有LVLM（Gemini-2.5-Pro）进行CoT生成，引入对外部API的依赖。额外观察：多视图场景中坐标对齐的准确性依赖于相机标定精度，实际部署可能面临挑战。

独立分析的弱点

SR-ReaL的一个显著弱点是对几何元数据的强依赖，在缺乏深度传感器和相机标定的真实场景中实用性受限。改进方向可以是研究从单张RGB图像预测深度和相机参数的自监督方法，或者设计不依赖显式3D信息的空间推理路径。另一个弱点是DTR路径需要区域标注，自动生成可靠区域提议仍是一个开放挑战，可以考虑集成目标检测模型自动生成区域提议，或者设计端到端的区域发现机制。此外，模型尚未学会何时使用多步推理与直接回答，这是一个重要的改进方向。

未来方向

作者提出的未来研究方向包括：研究如何在没有显式区域标注的情况下自动生成可靠区域提议，使DTR路径适用于更多场景；探索如何让模型自主选择推理策略（LOR/DTR/直接回答），而非依赖提示指定；将框架扩展到视频和多视图动态场景，处理时间维度的空间推理；研究更高效的强化学习算法，减少计算开销。基于成果可延伸的方向：结合具身智能平台进行物理世界验证；应用于医学影像分析和遥感等需要精确空间理解的科学领域；探索与符号推理系统结合，提升复杂几何问题的解决能力。

复现评估

复现评估方面，论文提供了较为详细的实现细节，包括训练参数（冷启动阶段：学习率5×10⁻⁶，2 epoch，批次128；RL阶段：学习率1×10⁻⁶，200步，批次512）和数据构成（冷启动约100万样本，RL约20万样本）。但存在几个挑战：冷启动数据构建依赖专有LVLM（Gemini-2.5-Pro），公开复现可能面临API访问限制；训练需要32块NVIDIA A100 GPU，算力要求较高；部分数据集（如CA-1M）可能需要特定访问权限。开源情况方面，论文未明确说明代码和模型权重是否开源，这对独立研究者的复现造成一定困难。总体而言，复现难度中等偏高，主要挑战在于数据获取和算力需求。

论文图表

figure_1.jpg
figure_1.jpg
figure_2.jpg
figure_2.jpg
figure_3.jpg
figure_3.jpg
figure_4.jpg
figure_4.jpg
figure_s1.jpg
figure_s1.jpg
figure_s2.jpg
figure_s2.jpg
table_1.jpg
table_1.jpg
table_2.jpg
table_2.jpg
table_3.jpg
table_3.jpg
table_5.jpg
table_5.jpg
table_7.jpg
table_7.jpg
table_s1.jpg
table_s1.jpg
table_s2.jpg
table_s2.jpg
table_s3.jpg
table_s3.jpg