SpatialBrain：从经验中生长的空间智能 SpatialBrain: Spatial Intelligence Growing from Experience
冻结VLM骨干，凭3D场景记忆、技能库与认知经验在任务块间自进化，五基准平均提升5.1分
前置知识
视觉语言模型（VLM）
视觉语言模型将图像编码后与文本指令一起送入统一的大模型进行多模态推理，如 GPT-5.6-sol、Gemini-2.5-Pro、Qwen3-VL。它能读图答题，但缺乏精确的几何计算与度量能力，直接回答空间问题时容易在参考系和跨视角整合上出错。
全文的骨干全程冻结不参与训练，理解“固定VLM+外部状态更新”这一设定是读懂自进化的前提。
自进化智能体（Self-evolving Agent）
指智能体在不改变模型参数的情况下，通过积累语言反馈、工作流或经验规则来改进后续行为，代表工作包括 Reflexion（题内语言反思）、ExpeL（从训练任务蒸馏经验）、Agent Workflow Memory（可复用工作流）。本文将其限定为任务块之间、无参考标签的外部状态更新。
本文的定位与贡献必须放在这条工作线的坐标系里理解，它与 Reflexion 等的本质区别是论文卖点。
参考系与视角变换
空间关系的描述依赖坐标系：自我中心参考系以观察者朝向为轴，他我中心参考系以场景或对象为轴。同一问题换参考系答案可能完全相反，例如“上楼后食物储藏在左还是右”必须先确定 upstairs 定义了哪个前进方向，再据此计算左右。
任务签名与技能中的“绑定参考系再计算位移”步骤都围绕它展开，是空间推理最核心的失分来源。
多视角几何与场景图
利用深度估计与相机位姿把多个视图的观测统一到同一世界坐标系，再以对象为节点、空间关系为边构成场景图，支持距离、方位等可查询关系。同一对象的多次观测可对其 3D 中心做置信度加权融合，并记录支持该节点的视图列表。
3DFusionMemory 的数据结构 $G=(V,E,C,R)$ 本质就是带置信度与视图支持标记的场景图。
测试时适应（Test-time Adaptation）
指在推理阶段不训练参数、只调整外部状态（记忆、检索、提示、工具配置）来提升表现的方法。本文是其空间推理特例：经验以任务块为单位批量更新，块内任务并行执行、互不读取更新，保证无信息泄漏。
帮助读者理解论文为何反复强调“这是状态更新而非梯度步”，以及块级快照的设计动机。
研究动机
空间推理任务的难点不在于缺乏几何工具，而在于推理者必须判断：哪些属性可以直接读出，哪些需要跨视角重建、测量或变换参考系。同一个场景中，“沙发是什么颜色”可直接观察，“扶手椅A在沙发A的哪边”需要参考系，“哪个更近”需要多视角几何证据。现有两条路线各有短板：SpatialVLM、SpatialRGPT 等训练型方法需要昂贵的空间标注训练，换骨干就要重训；GCA、AlloSpatial 等智能体方法虽然接入了重建、检测、仿真等工具，但“拥有工具”不等于“知道何时用”，对所有场景一律重建会引入额外开销与噪声证据，一律直接回答又会漏掉必须跨视角整合的信息。GPT-5.6-sol 直接回答在五个空间基准的平均正确率仅 67.5%，MindCube 上只有 67.2%，说明即使最强的前沿模型也常因“选错计算路径”而失分。
本文的目标是本文的目标是在完全不更新模型权重的前提下，让固定的视觉语言骨干（GPT-5.6-sol）通过积累“如何使用资源”的经验来提升空间推理：系统能针对当前任务的条件（参考系、关系范围、输出形式、时序结构、度量需求、视角数）动态选择推理路线、记忆访问模式和技能组合；经验只在任务块之间以无参考标签的方式更新，场景内证据则每题独立重建、不跨题迁移。量化目标是在 MMSI、MindCube、OmniSpatial、SpaceDG、SAT 五个基准上稳定超越同骨干直接回答基线（平均 67.5%），且不借助任何参考答案或基准类别标签。最终实现平均正确率从 67.5% 提升到 72.6%，其中 MindCube 提升 20.4 个百分点，证明外部经验积累可以替代部分训练才能带来的空间能力。
与已有工作不同的是，本文的核心洞察是区分“关于场景的证据”与“关于如何推理的经验”：一个计算相对方向的程序可以跨场景复用，但它上次操作的对象坐标绝不能带进新场景。已有工作恰好混淆了这两者——Reflexion、ExpeL 等自进化智能体保留语言反馈或经验规则，但不区分哪些内容可迁移；对象中心场景图、探索快照等方法保留空间证据，却无法跨任务积累；Skill-3D 蒸馏工具工作流但服务于推理与智能体后训练。SpatialBrain 的独特切入是三重分离：3DFusionMemory 表示“当前场景支持什么”，技能库存储“如何执行”，空间认知记录“何时、怎样使用”，并以任务块为单位做无标签的测试时资源适应——经验更新是可检查、可回滚的状态转移，而非梯度下降。
核心方法
直觉上，SpatialBrain 像一个经验丰富的测量员：他每到一个新现场都会重新画草图（当前场景记忆），但随身带着工具箱（技能库）和笔记本（什么任务该用哪件工具、哪条路线更省成本）。技术上，给定图像 $I_{1:K}$、问题 $q$ 与选项 $O$，固定骨干作为控制器选择并调用工具。系统维护两类时间尺度的状态：题内随执行更新的场景图 $G_{i,t}$，与任务块内所有任务共享的快照 $H_b=(L_b, P_b)$，整体状态为 $S_{i,t}=(G_{i,t}, H_b)$。块内各任务并行执行、互不读取彼此的更新与未来观测；块完成后，完成的轨迹被抽象为无标签记录并整合进策略经验 $P_b$ 与技能库 $L_b$。深度与位姿等感知工具为记忆提供证据，所有评测均与同骨干直接回答做对照，五基准上平均分从 67.5 提升至 72.6。
核心创新是把自进化建模为“外部状态更新”而非“参数更新”，并用严格的抽象规则保证只有可迁移的经验进入持久状态。任务轨迹 $\tau_i$ 先经过 $d_i = \mathrm{Abs}(\tau_i)$ 投影，只保留任务签名、资源决策、工具序列、过程检查、失败与成本，明确排除参考答案、字面场景坐标和原始任务内容；随后做块级更新 $P_{b+1} = U_{policy}(P_b, D_b)$ 与 $L_{b+1} = U_{skill}(L_b, D_b)$。这保证了“计算过程可复用、场景坐标不迁移”。另一个关键设计是资源变更必须“有据可依”：在可执行配置中，路线或记忆模式的替代方案需要足够的历史支持、可接受的过程风险且估计 token 成本更低才允许切换，且每次请求最多改变一个习得因子，防止经验噪声引发决策不稳定。这与题内纠错的 Reflexion 有本质区别：改变的是后续任务可用的状态。
方法步骤详情
第一步，构建任务签名 $\sigma_i$，描述参考系、关系范围、输出形式、时序结构、度量需求与视角数，不使用参考答案或基准标签。第二步，空间认知依据 $g_i = \pi(\sigma_i; P_b, L_b) = (r_i, m_i, K_i, \nu_i)$ 选出推理路线 $r_i$（直接优先或工具辅助）、记忆访问模式 $m_i$（关闭/仅答案校验/对规划器可见）、许可技能集 $K_i$ 与验证修订策略 $\nu_i$。第三步，3DFusionMemory 把检测、深度与位姿融合进场景图 $G_{i,t}=(V_{i,t}, E_{i,t}, C_{i,t}, R_{i,t})$：对象节点经置信度加权融合更新 3D 中心，关系携带置信度、支持视图与歧义标记，路由历史 $R_{i,t}$ 支持连续平移旋转查询。第四步，技能 $\ell=(A_\ell, X_\ell, P_\ell, Y_\ell)$ 按适用条件与类型化输入执行参数化工具流程并返回证据，例如先绑定参考系再算相对方向。第五步，轨迹被抽象为 $d_i$，块完成后整合进 $P_{b+1}$ 与 $L_{b+1}$。
技术新颖性
与训练型空间 VLM（SpatialVLM、SpatialRGPT、SpatialLadder、SenseNova-SI 等）相比，本文完全不动权重，把空间能力外置为可检查的记忆、技能与策略。与工具型框架（GCA、AlloSpatial、SpatialClaw、SpatialCLI）相比，它新增了“何时用”的条件经验层，而不是静态地暴露工具集。与自进化智能体（Reflexion 的题内语言反馈、ExpeL 的训练任务经验蒸馏、ACE 的上下文剧本、ADAS 与 Darwin Gödel Machine 的程序搜索与代码修改）相比，它强调块级、无参考标签的测试时适应，且把场景几何与资源使用经验严格分离。与 Skill-3D 的区别在于后者将工作流蒸馏用于推理与智能体后训练，而本文只做外部状态更新、不产生训练信号。这套“证据/技能/策略”三分离的组织方式在空间智能体文献中是首次出现。
实验结果
五基准实验显示：SpatialBrain（GPT-5.6-sol 骨干）平均正确率 72.6%，对比同骨干直接回答 67.5% 提升 5.1 个百分点；逐项看，MMSI 57.1 对 53.8（+3.3），MindCube 87.6 对 67.2（+20.4，最大增益），OmniSpatial 69.1 对 68.3（+0.8），SpaceDG 57.9 对 56.9（+1.0），SAT 91.3 持平。平均分也超过 Gemini-2.5-Pro（55.2）、ACE-Brain-0.5-8B（57.1）与 Skill-3D（65.1）。组件消融（MindCube 全量 1,050 题）显示三个组件都关键：完整 87.6，去技能库 76.7，去 3DFusionMemory 75.2，去空间认知 78.8，直接回答 67.2；Among/Around 类增益大于 Rotation。错误分析上，MindCube 错误从 344 降到 130（降 62.2%），MMSI 减少 33 个错误，运动/旋转类需求降幅最大，但顺序推理在两基准上一降一升，收益依任务结构而异。经验覆盖方面，MMSI 积累 165 个任务签名、引用 24 个种子技能，3D 对象出现在 50.6% 的 MMSI 任务中；早期 GPT-5.5 提示检索实验未带来精度或成本改善，暗示收益依赖强骨干与保守更新规则。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMSI 多图像空间推理 | Accuracy (%) | 57.1 | GPT-5.6-sol 直接回答 53.8 | +3.3 |
| MindCube 有限视角场景构建 | Accuracy (%) | 87.6 | GPT-5.6-sol 直接回答 67.2 | +20.4 |
| OmniSpatial 动态空间能力 | Accuracy (%) | 69.1 | GPT-5.6-sol 直接回答 68.3 | +0.8 |
| SpaceDG 退化观测（固定1,000题子集） | MRA (%) | 57.9 | GPT-5.6-sol 直接回答 56.9 | +1.0 |
| SAT 空间能力测试 | Accuracy (%) | 91.3 | GPT-5.6-sol 直接回答 91.3 | 持平 |
| 五基准平均 | Accuracy (%) | 72.6 | GPT-5.6-sol 直接回答 67.5 | +5.1 |
| MindCube 组件消融 | Accuracy (%) | 87.6（完整） | 去技能库 76.7 / 去3DFusionMemory 75.2 / 去空间认知 78.8 | 各组件贡献 8.8–12.4 分 |
局限与改进
作者明确承认：各基线协议与推理精度不一致，跨方法对比仅具定位意义；SAT 评测固定了选项顺序；消融中去掉 3DFusionMemory 会同时移除基于记忆的答案校验，无法单独隔离“存储”本身的贡献；覆盖曲线只证明经验的积累与使用，不证明自进化带来普适提升；感知与几何误差的校准仍不完善。我补充几点：增益高度集中在 MindCube（+20.4），OmniSpatial 仅 +0.8 且在自我中心类问题上出现回退，SpaceDG 的距离与计数类也回退，说明抽象出的经验对任务结构敏感；全文未报告端到端 token 成本与延迟，“更省成本”只是更新规则里的估计量而非实测；早期 GPT-5.5 实验失败提示方法可能依赖前沿模型的工具调用可靠性；SAT 仅 150 题，91.3 的持平在统计上意义有限。
独立分析的弱点
第一，经验抽象的粒度可能过粗：任务签名仅用参考系、关系范围、输出形式、时序结构、度量需求、视角数六元条件刻画任务，跨基准经验可能互相污染（顺序推理在 MindCube 下降、在 MMSI 上升就是迹象），改进方向是引入更细粒度的条件检索或按域隔离经验池。第二，“每次请求最多改变一个习得因子”的保守策略虽稳但慢，长期运行下经验可能陈旧或冲突，需要引入经验衰减、置信度加权合并与冲突检测机制。第三，成本核算缺失：更新规则用“估计 token 成本更低”做切换条件，但论文没有报告含重建、记忆查询、技能执行在内的端到端成本曲线，应补上完整的成本-精度帕累托分析。第四，3DFusionMemory 的置信度加权融合依赖感知校准，作者也承认校准不完善，错误的关系会污染后续查询与答案校验，可引入跨视图一致性校验与不确定性传播。第五，块级并行隐含任务独立同分布的假设，流式真实场景中任务分布漂移时的更新策略尚属空白。
未来方向
作者提出的方向包括：设计与对照严格匹配的评测，同时度量答案质量与获取、使用经验的全部成本；改进感知与几何误差的校准。基于本文成果可延伸的方向有：其一，把积累的过程记录用于智能体后训练（如 Skill-3D 式的蒸馏），打通“测试时经验→训练数据”的回路；其二，研究跨域经验迁移与遗忘机制，检验任务签名抽象的普适边界；其三，引入层级技能组合与技能合成，让 $U_{skill}$ 能生成新程序而不只是更新现有种子技能的可用性；其四，把 3DFusionMemory 与高斯溅射等显式三维表征结合，提高几何查询精度并量化不确定性；其五，从理论上刻画经验质量，例如在何种任务分布假设下 $U_{policy}$ 的保守更新能保证性能单调改进。
复现评估
复现难度中等偏高。有利因素：模型权重全程冻结、无需任何训练，算力主要花在 API 调用与离线感知工具上；五个评测基准均为公开数据集（MMSI 1,000、MindCube 1,050、OmniSpatial 1,533、SpaceDG 固定 1,000 子集、SAT 150 题），论文给出了题量与协议细节（如 SpaceDG 用 MRA 指标、SAT 固定选项顺序）。不利因素：论文未声明开源代码，任务签名提取、Abs 抽象提示词与 $U_{policy}/U_{skill}$ 的整合规则只在附录中部分描述，细节复现需要大量试错；骨干是 GPT-5.6-sol 这类前沿 API 模型，五条评测流的调用成本不低；3DFusionMemory 依赖深度估计与相机位姿恢复，需自行集成现成感知管线。总体上，工程能力强的团队可在数周内搭建近似原型，但要严格对齐论文数字较难。
论文图表
