学会在三维世界中思考与探索 Learning to Think and Explore in 3D World
让VLM把3D场景当作可交互环境，用结果导向RL学会边推理边主动探索
前置知识
VLM（视觉语言模型）
以图像为输入、以文本为输出的大型多模态模型，典型代表如 Qwen-VL、InternVL。其原生视觉接口是一次一张（或若干张）静态图像，由视觉编码器（如 ViT）转为 token 后与语言模型拼接。本文刻意不改变这一原生接口——不给点云、不给视频、不给 3D 编码器，只让模型像人一样一次看一张第一人称渲染图。
理解本文的出发点必须知道 VLM 的输入长什么样：作者的全部设计（单帧初始化、渲染观测、相对动作）都围绕'保留 VLM 原生视觉编码'展开，这是与 3D-LLaVA 等注入 3D 表示的方法的根本分野。
POMDP（部分可观测马尔可夫决策过程）
智能体无法直接观测完整环境状态、只能获得部分观测的序贯决策框架，由状态、动作、观测、转移、奖励构成。本文把 3D 问答形式化为 POMDP：隐藏状态 $s_t=(M,c_t)$ 包含场景 $M$ 与相机位姿 $c_t$，观测 $o_t=\text{Render}(M,c_t)$ 是渲染图，动作为相机移动或作答。
论文第 3.1 节的整个方法定义、附录 A 的理论分析（一致性集合、被动感知上限）都建立在 POMDP 语言上；不懂这个框架就无法理解'探索为什么在原则上必要'的论证。
轨迹监督微调（SFT）
用示范轨迹做监督学习：把'推理—动作—观测—再推理—答案'整条序列作为训练目标，但损失只算在模型自己生成的 token 上（推理、动作、最终答案），环境渲染图和 prompt token 被掩码排除。本文由 GPT-5.4 生成并筛选出 5,712 条轨迹作为教师示范。
SFT 在本文中的定位是'初始化交互协议'而非教探索策略，理解这一点才能看懂 4.7 节消融：为什么没有 SFT 的纯 RL 也能学（41.4%），但有 SFT 起点的 RL 交互次数更多（8.7 vs 2.0）、收敛更快。
GRPO 与可验证奖励 RL
组相对策略优化（GRPO）对同一 prompt 采样一组 rollout（本文 $G=8$），用组内标准化奖励 $\hat{A}_i$ 作优势，免去价值网络；配合 PPO 式裁剪与 KL 惩罚稳定更新。可验证奖励指奖励由可程序化验证的结果给出，本文用 LLM judge 判答案语义等价、精确匹配、物体可见性验证组成。
本文的探索能力完全来自 GRPO 的组内对比机制：同一初始条件下 8 条 rollout 获取的证据不同，答对的策略被强化。不理解组相对优势，就无法理解'没有任何探索监督，探索行为从哪来'这一核心问题。
自我中心视角与相机位姿渲染
相机位姿 $c=(e,f)$ 由位置 $e\in\mathbb{R}^3$ 与朝向 $f\in S^2$ 决定（本文固定无 roll，共 5 自由度）。给定重建的 3D 场景网格 $M$ 与位姿，可确定性渲染出该视角下的 RGB 图像，即 $o_t=\text{Render}(M,c_t)$。相对动作指沿相机自身坐标系平移（前后左右上下）或绕轴旋转。
动作空间设计（80 个相对导航动作、单位步长 1m/0.6m/30°）与动作—观测一致性结论（渲染比真实图检索高 10.6%）都依赖对'位姿→渲染'这一确定性映射的理解，这是整个交互环境的地基。
研究动机
现有 3D 视觉语言模型几乎都假设视觉证据是完整给定的：LL3DA、3D-LLaVA 等直接接收 RGB-D 扫描或点云，Ross3D、Spatial-MLLM 用视频加 2.5D 表示，SpatialLadder、SpaceR、Video-R1 依赖固定视频输入。但在部分可观测的真实场景里，模型不仅要推理已有证据，还必须决定如何行动去获取缺失证据。例如问'走廊尽头是什么'而走廊背对初始视角时，被动模型存在贝叶斯上限 $\text{Acc}_{pass}=\max_y \Pr(y^*=y\mid q,o_0)$：若初始视图与多个场景一致而这些场景给出不同答案，无论模型容量多大都无法答对。近年的主动视角方法也有缺口：Chain-of-View 免训练、Think3D 只优化工具使用、ViewSuite 把自探索蒸馏成视角图，要么不联合优化推理与探索，要么存在额外监督，探索策略本身从未仅凭最终答案对错端到端学出来。
本文的目标是本文的目标是构建并训练一个能'边想边看'的 3D 视觉语言模型 Act3D：保留 VLM 原生的单张图像视觉编码，把 3D 场景当作外部交互环境，模型从一张 640×480 的第一人称初始视图和一个问题出发，最多进行 12 次导航与视角控制交互，再提交最终答案。训练采用两阶段：先用 GPT-5.4 生成的 5,712 条轨迹做监督微调以建立交互协议，再用以最终答案正确性为主奖励的 GRPO 强化学习优化整个策略，全程不对中间视角、动作或探索路径提供任何直接监督。作者希望借此检验一个核心命题：仅凭任务级的结果监督，能否让模型自发学会任务导向的视觉信息获取，并在此之上超越使用完整 3D 输入的被动感知方法。
与已有工作不同的是，独特切入在于把'具身'抽象为对重建 3D 扫描的直接相机控制，同时完全不改动 VLM 的视觉接口：不给点云、不给视频、不给 3D 特征，只给一次一张的第一人称渲染图，动作是'左移''右转 45 度'这类尺度不变的相对相机运动。附录 A 给出理论支撑：一致性集合 $K(h_t)=\{M': \text{Render}(M',c_s)=o_s,\ \forall s\le t\}$ 随每次观测单调收缩、答案不确定性 $H(y^*\mid h_t)$ 期望递减，而被动感知只是'在第 0 步立即停止'的交互策略特例，故 $\sup_\pi \text{Acc}(\pi)\ge \text{Acc}_{pass}$——交互可突破被动上限。与现有多模态 agentic RL（Search-R1、VerlTool 等操作输入内已有证据）不同，这里模型要在单条 rollout 中同时学会获取什么证据、如何移动、以及如何推理。
核心方法
方法把 3D 推理形式化为 POMDP：任务实例 $w=(M,q,y^\star)$，隐藏状态 $s_t=(M,c_t)$，$c_t=(e_t,f_t)$ 为相机位置与朝向（无 roll，5 自由度），观测 $o_t=\text{Render}(M,c_t)$。策略在完整交互历史 $h_t$（含中间推理 $z_t$）上自回归生成下一步动作。动作采用相对参数化：10 个运动基元（前/后/左/右/上/下平移，左右转、上下转）配 1–8 的步长乘子，共 $|A_{nav}|=80$ 个导航动作，单位步长为 1 米、0.6 米与 30 度；相机动力学由式(1)确定性更新，并被投影到扩张 1 米的场景包围盒内。终止动作 $\text{STOP}(y)$ 提交答案，交互预算 $T_{max}=12$，超时按错误计。训练分两阶段：先轨迹监督 SFT 建立基本交互能力，再用 GRPO 做结果驱动的策略优化，奖励完全由最终答案的对错主导。
核心创新是'只按结果付钱'的探索学习：RL 阶段不标注任何该看哪里、该怎么走，探索策略完全从组内对比中习得——同一初始条件采样 $G=8$ 条 rollout，因动作不同而获取的证据各异，GRPO 用标准化优势 $\hat{A}_i$ 让高回报的取证策略胜出。奖励 $R(\tau)=\lambda_{judge}R_{judge}+\lambda_{EM}R_{EM}+\lambda_{int}c(\tau)-\lambda_{fmt}R_{fmt}$ 中交互项最巧妙：若某条正确 rollout 的某个视图确实拍到了问题所指物体（借助 3D 标注验证 grounding，$R_{gnd}=1$），一次性给满 $\lambda_{int}N_{max}=0.60$；否则按次累计至同一上限。作者称之为'为证据付费而非为看付费'：一旦拿到所需视图，继续乱看不再加钱，这与传统逐步发放探索奖励的做法有本质区别。
方法步骤详情
流程：(1) 初始化——对每个问题渲染 640×480 初始视图并附房间尺寸；(2) 策略推理——模型在 中推理后，要么发 指定动作与可选距离，要么输出 ；(3) 环境更新——按式(1)确定性移动相机、渲染新视图并返回新位姿；(4) 循环至多 12 步或作答，超时按错误计。训练第一阶段：GPT-5.4 生成并筛选出 5,712 条轨迹、20,603 张渲染观测、830 个场景，按式(7)只在模型生成的 token 上算损失（2 个 epoch，学习率 $10^{-5}$）。第二阶段：在 51,543 个问题上跑 GRPO，每步 64 个 prompt、每 prompt $G=8$ 条 rollout，学习率 $2\times10^{-6}$，$\epsilon=0.2$，$\beta=0.005$，奖励权重 $(\lambda_{judge},\lambda_{EM},\lambda_{fmt},\lambda_{int})=(0.3,0.2,0.2,0.05)$，H200 上用 vLLM 异步采样。
技术新颖性
新颖性有三层。其一，与被动 3D 方法（LL3DA、Ross3D、Video-3D LLM 等假定完整输入）不同，本文把 3D 表示留在模型外部作为环境，模型只见单帧自我中心图像，输入帧数比开源 3D 方法少 50–70%，且用更低分辨率观测。其二，与多模态 agentic RL（Search-R1、VerlTool 等操作输入中已有的证据）不同，这里的工具调用会真正产生新的视觉证据，推理与探索在同一条自回归 rollout 中联合优化。其三，奖励不含任何中间轨迹监督，grounding 项只验证答案物体是否被看到，从而实现结果导向的探索涌现；消融还给出两个反直觉结论：渲染比真实图检索平均高 10.6%（动作—观测一致性比保真度重要），相对动作 41.4% 显著高于绝对位姿 36.7%（尺度不变、相机中心、语义可解释）。
实验结果
混合数据的 Act3D 在六基准（ScanQA 42.1、SQA3D 49.0、SPB-MV 47.3、SPB-SI 37.4、MP3D 63.3、ARKit 80.0）平均 53.2%，比基座 Qwen3.5-9B 的 31.2% 高 22.0 个点，比 Gemini 3.6 Flash（52.2%）高 1.0，超过最佳被动方法 Ross3D（50.7%），且输入帧少 50–70%。RL 相对 SFT 初始化平均 +4.6（48.6→53.2），ARKit +14.1、SPB-MV +8.1；仅用 ScanQA 训练时其余五基准平均 49.5→51.6，域外平均比 SFT init 高 5.9%。学习动态：平均交互次数 3.3→8.3；按探索需求分层，ScanQA 增益从 +0.6%（最低组）到 +16.3%（最高组），RL 在最难组贡献 +10.9%。消融：单帧 41.0%≈BEV+4 帧 41.4%；渲染比检索 +10.6%；相对动作 41.4% vs 绝对 36.7%；0.05/次的交互奖励使交互升至 9.4–10.1，域外升（SPB-MV +6.4）域内降 0.3–2.3。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 六个 3D 基准平均（ScanQA/SQA3D/SPB-MV/SPB-SI/MP3D/ARKit） | 平均准确率 (%) | 53.2 | Gemini 3.6 Flash 52.2；Ross3D 50.7；基座 Qwen3.5-9B 31.2 | 较基座 +22.0，较 Gemini +1.0，较最佳开源被动方法 +2.5 |
| ARKitScenes | 准确率 (%) | 80.0 | SFT 初始化 65.9；Gemini 3.6 Flash 73.0 | RL 相对 SFT init +14.1，相对 Gemini +7.0 |
| SPBench-MV | 准确率 (%) | 47.3 | SFT 初始化 39.2 | +8.1 |
| ScanQA（仅用 ScanQA 训练的配置） | 准确率 (%) | 45.5 | SFT 初始化 39.4 | +6.1（且其余五个未见基准平均 +2.1） |
| ScanQA 单帧初始化消融 | 准确率 (%) | 41.0（单帧） | BEV+4 帧 41.4；BEV+1 帧 36.7 | 用 1/5 的输入量达到与 5 视图相当的效果 |
| 观测接口消融 | ScanQA 准确率 (%) | 渲染观测（13 个 checkpoint 平均高 10.6） | 真实图检索（位姿偏差达 1–2 米、24–26 度） | 动作—观测一致性带来的 +10.6% |
| 动作参数化消融 | ScanQA 准确率 (%) | 相对动作 41.4 | 绝对位姿预测 36.7 | +4.7 |
局限与改进
作者承认的局限：实验限于室内重建扫描场景；相机动力学只做包围盒裁剪、不做碰撞检测，相机可以穿过几何体，与真实机器人运动差距明显；渲染图保真度低于真实照片；交互预算固定 12 步；SFT 依赖 GPT-5.4 教师生成轨迹，受专有模型制约；LLM judge（Qwen3-30B-A3B）判定语义等价存在误判与被 hack 的风险。我自己的观察：训练数据与 ScanQA、MP3D、ARKit 等评测集存在域重叠，Table 1 绿色高亮显示部分基准在训练分布内，'平均 53.2%'对 Gemini 仅 +1.0 的领先可能被域内训练放大；探索需求分层用的是几何估计（方位角+距离推算所需交互次数）而非人工标注；答案被限制在 1–5 个词，无法考察长文推理深度；静止场景假设排除了动态物体；12 步上限对大型多层建筑场景可能不够。
独立分析的弱点
独立分析四点弱点。第一，信念状态完全靠上下文隐式存储：每步追加一张渲染图与位姿文本，24,576 token 上下文在长探索时会逼近极限，且没有显式地图或记忆压缩、无法惩罚重复访问同一区域——改进方向是引入拓扑记忆或学习式历史摘要。第二，确定性穿墙式相机控制让策略学到的导航难以直接迁移到有碰撞和动力学约束的真实平台——可在环境中加入碰撞检测与可达性约束重新训练，检验探索策略的鲁棒性。第三，奖励权重 $(0.3,0.2,0.2,0.05)$ 为手工设定，交互奖励消融显示它在域内降 0.3–2.3 个点、域外升，说明探索激励与任务精度存在张力——可借鉴课程式或自适应权重（如饱和感知重加权）让探索激励随训练退火。第四，交互奖励中的 grounding 验证依赖 3D 标注物体位置，无标注场景需换用开放词表检测器，会引入新噪声源。
未来方向
可延伸方向：把交互接口从重建网格换到真实机器人或真实图像流（需解决 Fig.7 暴露的检索偏差，1–2 米、24–26 度的动作—观测错位）；扩展到动态场景与视频输入；让停止时机本身成为学习目标，实现自适应交互预算而非固定 12 步；将 Think3D 式 3D 重建工具纳入同一 RL 框架，让模型学会在'移动取景'与'脑内重建'之间选择；改进信用分配，把轨迹级优势 $\hat{A}_i$ 细化到逐步粒度，可能加速探索策略学习；探索跨场景、跨楼层的长程导航问答；把学到的探索能力蒸馏到更小模型。理论上，附录 A 的一致性集合框架可进一步推广为主动感知的信息增益与样本复杂度分析，为'该看哪里'提供最优性刻画。
复现评估
复现条件较好：基座 Qwen3.5-9B 开源；训练数据全部来自公开基准（ScanQA、MP3D、ScanNet、ARKitScenes、ESI）；评测 judge 用开源 Qwen3-30B-A3B-Instruct；训练在 NVIDIA H200 上用 vLLM 异步 rollout；附录 C 完整给出策略、教师、judge 三类 prompt 与全部超参（SFT 两个 epoch、学习率 $10^{-5}$；GRPO $G=8$、学习率 $2\times10^{-6}$、$\epsilon=0.2$、$\beta=0.005$、$N_{max}=12$）。两个门槛：SFT 教师是 GPT-5.4（专有 API，生成 5,712 条轨迹有费用）；多轮交互式 RL 基础设施（环境渲染、异步采样、轨迹级优势计算）工程量不小，需多卡 H200 级算力。论文未明确承诺开源代码，但 Ross3D 复现协议（Table 3：EM 30.7 vs 发布值 30.8）展示了评测管线的严谨。总体难度中偏高，瓶颈在交互式 RL infra 而非数据。
论文图表
上半部分对比四种范式：完整 3D 表示（LL3DA、3D-LLaVA）、视频+2.5D 表示（Ross3D、Spatial-MLLM）、纯视频（SpatialLadder、SpaceR）、主动交互（本文）。下半部分展示一条真实 rollout：模型为回答'走廊尽头是什么'，依次执行右转 90°、右转 90°、右移 1.2 米、右转 45°、后退 1.5 米，每次都附带推理文字，最终作答'door'。
一图看懂本文与所有被动方法的本质区别（输入假设完全不同），以及交互式推理在实际运行中的形态——推理与动作交替、假设随观测修正。
展示两阶段训练数据的构成：SFT 阶段 5,712 条轨迹（来自 ScanQA、MP3D、ESI，共 20,603 张渲染观测、830 个场景）与 RL 阶段 51,543 个问题（来自 ScanQA、MP3D、ScanNet、ARKitScenes 生成 QA）在各数据集上的分布，并给出精选空间推理问题的示例。
说明 RL 只需问题—答案对即可训练、因此数据规模远大于需要完整轨迹的 SFT，这是两阶段设计的数据层面动机。
三组并排对比：按请求位姿渲染的图像与检索到的最近真实 ScanNet 图像，检索偏差分别达 +0.56 米/26 度、+1.02 米/25 度、+1.96 米/24 度。相同训练条件下，渲染在全部 13 个评测 checkpoint 上优于真实图检索，平均高 10.6%。
揭示动作—观测一致性比视觉保真度更重要的设计原则：检索图虽真实但与执行的动作错位，会破坏策略对'动作→观测'因果链的学习。