用想象力思考：基于世界模拟器的智能体视觉空间推理 Thinking with Imagination: Agentic Visual Spatial Reasoning with World Simulators

Astra方法的完整步骤包括问题形式化、世界模拟器训练和智能体策略训练三个阶段。在问题形式化阶段，给定空间问题和初始上下文图像，每回合智能体状态直接表示为轨迹，包含问题、原始上下文图像、之前推理步骤、模拟器动作和模拟器输出。动作空间包含两个高层动作：查询世界模拟器获取想象观测，或输出最终答案终止轨迹。查询动作由参考图像索引、运动类型和运动幅度参数化，转换为自然语言相机运动指令后发送给世界模拟器。在世界模拟器训练阶段，Astra-WM使用视图一致性调优在544k质量验证的SFT数据上微调Bagel，这些数据来自IsaacSim、ScanNet++、ScanNet、Matterport3D、DL3DV和ARKitScenes等多姿态室内场景，训练目标是生成条件化的目标视图，使其匹配场景上下文和显式相机运动查询。在智能体策略训练阶段，Astra-VL使用世界模拟器在环的两阶段强化学习课程，第一阶段奖励函数包含答案奖励、格式奖励和使用奖励，保持模拟器调用轨迹在策略分布内；第二阶段奖励函数额外包含工具诱导增益项，鼓励仅在想象观测改善直接回答时使用模拟器。训练使用veRL实现GRPO优化，视觉塔冻结，策略使用bfloat16 FSDP和梯度检查点，每个轨迹最多支持3轮工具调用和10轮助手回合。

Astra的技术新颖性体现在多个层面。在问题形式化层面，首次将世界模拟作为智能体视觉空间推理的通用接口，VLM可以通过显式相机运动动作查询并将返回的想象观测整合到多轮推理中。这种解耦设计允许推理器与模拟器分开，使得任何合适的VLM和世界模拟器都可以在共享协议下组合。在世界模拟器层面，引入视图一致性调优，将Bagel从通用多模态生成模型转换为动作条件的世界模拟器，通过姿态一致性评估和内容一致性评估验证模拟器质量。在策略训练层面，设计世界模拟器在环的两阶段强化学习课程，第一阶段防止策略在学习有效模拟器交互前就向短直接答案坍缩，第二阶段通过比较工具增强推理与无工具基线来鼓励选择性想象。这种训练策略显式处理了强化学习中的关键权衡：稀疏增益奖励会导致工具使用坍缩，而密集使用奖励保持探索但可能鼓励过度想象。此外，从SenseNova-800K、VST-500K和自构造Hard-UMMQA数据集构建6k空间问答语料库，通过高温度采样筛选Qwen3-VL-8B-Instruct在五次试验中最多答对一次的样本作为困难样本用于RL训练，这种困难样本挖掘策略确保训练数据聚焦于模型真正需要工具帮助的场景。

Astra存在几个具体弱点可以改进。首先，相机运动词汇过于有限，仅支持六种基本运动类型，这在处理复杂空间场景时可能不够灵活。改进方向是扩展运动词汇，包括组合运动、曲线运动、更精细的幅度控制等。其次，世界模拟器仅在室内场景数据上训练，室外泛化能力未知。改进方向是收集更多样化的场景数据，包括室外、动态场景、复杂光照条件等。第三，训练数据规模较小（6k样本），可能导致策略过拟合。改进方向是扩大数据规模，引入更多样化的空间推理数据源，如真实机器人数据、用户交互数据等。第四，当前框架缺乏对生成观测质量的自适应评估，策略无法判断模拟器输出是否可靠。改进方向是在奖励函数中加入模拟器输出质量评估，或者训练一个判断器来评估生成视图的可靠性。第五，缺乏对不确定性的显式建模，策略无法表达对答案或观测的置信度。改进方向是引入不确定性量化，使智能体能够在高不确定性时更积极地寻求额外证据。第六，推理时的工具调用策略可能不够优化，可能存在不必要的模拟器调用。改进方向是引入更精细的停止准则或效率优化算法。

基于本文成果，未来研究方向可以从多个角度延伸。作者提出的方向包括：扩展世界模拟器的能力，支持更复杂的相机运动和更丰富的场景类型；探索多智能体协作空间推理，多个智能体可以共享和整合想象观测；研究更高效的训练策略，减少对大规模RL训练的依赖；以及将框架应用到更广泛的任务，如机器人导航、AR/VR交互、3D场景理解等。基于成果可以延伸的方向包括：探索与其他推理能力的结合，如因果推理、物理推理等，构建更全面的多模态智能体；研究跨模态的想象力，如从文本描述生成想象观测；开发更鲁棒的世界模拟器，能够处理动态场景、交互变化等复杂情况；以及探索人类与AI智能体的协作空间推理，研究如何将人类的空间心理模型与AI的想象能力结合。此外，还可以研究Astra框架在其他领域的应用，如医学影像分析、自动驾驶场景理解、工业检测等需要精确空间推理的任务。

Astra的复现难度中等。项目页面提供了基本的项目介绍和论文引用，但没有明确提供代码、模型或数据的开源链接。世界模拟器Astra-WM基于Bagel-7B-MoT，这是一个开源的多模态生成模型，但需要获取IsaacSim、ScanNet++、ScanNet、Matterport3D、DL3DV和ARKitScenes等数据集来构建544k SFT训练数据，这些数据集有的需要申请许可，有的规模较大。智能体策略Astra-VL基于Qwen3-VL-8B，使用veRL框架实现GRPO优化，部署Astra-WM通过vLLM-Omni作为在线世界模拟器。训练设置包括提示批次大小128、rollout组大小4、PPO小批次大小128、学习率1乘10的负5次方训练5个epoch，视觉塔冻结，策略使用bfloat16 FSDP和梯度检查点。这些配置需要相当的计算资源，估计需要多张高端GPU。评估使用MMSI-Bench（1000个多视图空间推理示例）和MindCube基准，报告精确匹配准确率作为主要任务指标。总体而言，虽然论文提供了相对详细的实现细节，但由于缺乏明确的代码和数据开源链接，以及训练所需的显著计算资源，完整复现Astra框架存在一定挑战。