SpatialEvo:基于确定性几何环境的自进化空间智能 SpatialEvo: Self-Evolving Spatial Intelligence via Deterministic Geometric Environments
用几何可验证的3D场景,让单VLM自问自答持续提升空间推理。
前置知识
GRPO(Group Relative Policy Optimization)
一种无需critic的RL算法。对每个prompt采样n个候选输出组成group,在group内用奖励均值与标准差做advantage归一化,再以PPO-clip目标驱动策略更新。比PPO省去value network,在MLLM RLHF中越来越流行。
SpatialEvo的Questioner和Solver都用GRPO做在线RL,且各自形成独立group(Questioner为n个问题一组,Solver为每题的n个答案一组)。理解group内的归一化方式,才能看懂公式(1)的优势计算和后续奖励设计。
VLM/MLLM与3D空间推理任务
VLM以RGB图像和文本为输入、文本为输出。3D空间推理是其子方向,要求模型回答'两物相距多远'、'相机相对方向'等需要几何理解的问题,以多视角RGB为输入,代表基准有VSI-Bench、EmbSpatial。
本文的核心目标正是提升VLM在多视图/单视图/双视图空间任务上的能力,所有16个DGE任务类别、9个评测基准都围绕3D空间推理展开,必须先理解任务定义才能读懂后续奖励与验证规则。
点云与相机位姿(point cloud & camera pose)
点云是3D全局坐标系下的 $(x,y,z)$ 点集合;相机位姿描述每帧相机在世界坐标的旋转矩阵 $R$ 与平移 $t$ 。给定两者,相对位姿可由 $R_2 R_1^{-1}$ 严格计算,距离可由 $z=K[R|t]X$ 投影得到。
本文反复强调'3D空间推理的真值可由点云和相机位姿程序化精确计算',这一性质正是DGE能摆脱模型投票、成为零噪声评判器的物理基础;不理解点云/位姿就无法理解DGE为什么是deterministic的。
自进化(self-evolution)/自博弈(self-play)
模型不依赖外部标注,通过自身生成训练信号并迭代改进的范式。常用做法是用模型自身预测做majority voting构造伪标签,再以伪标签继续训练,因伪标签继承偏见而存在'自我强化错误'的风险。
SpatialEvo是对self-evolution范式的反思与改进。论文第一节明确点出'consensus self-evolve的GT是biased的',并以3D空间推理为切入口提出物理可验证的替代方案,这是整篇论文motivation的关键支点。
扫描数据集ScanNet/ScanNet++/ARKitScenes
室内3D扫描代表数据集:ScanNet含1513个RGB-D场景+重建+语义,ScanNet++含460个高质量场景,ARKitScenes含5047个ARKit采集的真实室内序列,共同提供稠密点云、相机位姿、语义mesh等'可计算GT'资产。
SpatialEvo把约4K个源场景的扫描资产直接喂给DGE作为几何oracle,而模型只看到对应RGB图像。理解这三个数据集的资产构成(尤其是语义标注+稠密重建)才能明白DGE能在多大任务范围内做精确计算。
研究动机
3D空间推理是具身智能、机器人导航、场景问答的核心能力,近年来SpatialVLM、SpatialBot、SpatialLadder等方法通过在'多视角图像+几何问答'的大规模标注数据上微调VLM取得了明显进展。然而这类基于静态数据集的方法存在结构性弱点:训练分布在数据集生成时就固定了,既无法对模型当前的薄弱环节做针对性增强,也难以随模型变强生成更难的样本,更无法在不持续投入人工标注的前提下扩展规模。研究者因此转向自进化(self-evolution)范式——让模型在迭代自博弈中自行蒸馏训练信号。但现有自进化方法共享一个致命缺陷:由于真值不能直接从环境读出,训练信号必须用模型自身预测做majority voting或self-consistency来构造,这使得伪标签继承模型自身偏见,梯度更新很可能'强化'而非'纠正'模型的几何错误。换言之,consensus-based self-evolve训练得越久,模型偏见越固化,在空间推理这类对物理精度敏感的任务上尤其危险。
本文的目标是本文目标明确:把自进化范式首次引入3D空间推理,并用'物理可验证的GT'取代'模型投票的伪GT',从而实现零噪声的持续进化。具体目标包含三点:(1)设计一个Deterministic Geometric Environment(DGE),用原子化的几何验证规则覆盖16类空间推理任务,把所有未标注3D场景资产转化为可交互的精确GT评判器;(2)用GRPO驱动单一VLM在Questioner和Solver两角色间协同进化,前者负责基于全局场景布局出题,后者在DGE硬约束下做精确几何推导;(3)引入任务自适应调度器,根据历史准确率把训练资源动态集中到模型最弱的类别,实现无人工干预的课程涌现。在9个基准上,作者希望Qwen2.5-VL-3B/7B骨干的均值分别达到51.1/54.7,并在VSI-Bench等空间基准上取得最高分,同时不损害通用视觉能力。
与已有工作不同的是，现有自进化方法(VisPlay、EvolMM、V-Zero、Vision-Zero、MM-Zero等)虽然推进了多模态自博弈,但都受限于静态图像语料,或不得不依赖模型投票作为奖励代理。本文观察到3D空间推理具有一个区别于其他任务的独特性质:给定稠密点云、标定相机位姿和合法的几何问题,正确答案可以被程序化精确计算,无需任何模型判断(例如绝对距离化归为包围盒近点计算,相对相机方向化归为旋转矩阵算术)。这意味着物理世界本身就是一个零噪声的公正裁判。基于此,作者提出SpatialEvo框架,核心切入角度是'用确定性几何反馈替代模型共识':DGE把扫描数据中的真值计算固化为一组可执行规则,Q-Solver共进化负责把这一反馈转化为可学习的策略梯度。这一路线与VisPlay/V-Zero的consensus-based自博弈以及SpatialLadder/SpaceR的静态标注形成本质区别,首次让3D空间推理具备了'无标注也能持续变强'的可能性。
核心方法
SpatialEvo的直觉是:3D场景的几何GT是'免费'的,只要设计一套把它调用起来的规则集,就能让VLM在不出错的反馈下持续自我训练。技术上由两大组件构成:Deterministic Geometric Environment(DGE)与Spatial-Grounded Policy Co-Evolution。整体流程是:对每个3D室内场景 $S$ (含稠密点云、相机位姿序列、语义标注),任务调度器先推断当前场景可执行的任务子集 $T_\text{feasible} \subseteq T$ ,按历史准确率采样一种任务类别 $k$ 分配给Questioner;Questioner看到多视角RGB图像后,生成一个空间问题 $Q$ 及其场景观察描述;DGE对 $Q$ 做三阶段流水线(实体解析→合法性校验→GT合成),若问题合法则由几何工具集精确计算GT $G$ 并给Questioner发奖励 $r_Q$ ,否则返回具体失效原因;接着同一VLM切换为Solver角色,看到 $Q$ 与图像后独立生成答案 $A$ ,并以 $G$ 为硬约束计算Solver奖励 $r_A$ ;两个角色共享参数,梯度联合反传,在线RL采用GRPO——Questioner把 $n$ 个候选问题组成一个group做advantage归一化,Solver对每个去重后的问题独立采样 $n$ 个答案再组成 $m$ 个group。任务调度器则实时更新 $S_k/N_k$ 并以负相关于历史有效准确率 $\bar{a}_k$ 的权重 $w_k$ 重新分配采样概率,自动把训练资源集中到最弱的任务类别。
本文的核心创新是用'程序化几何计算'取代'模型投票',从而把自进化从'有偏的伪监督'升级为'零噪声的物理监督'。与已有方法有三处本质区别:(1)VisPlay/V-Zero/MM-Zero等consensus-based自进化用模型majority voting构造GT,标签中必然携带模型偏见,而DGE把每个任务类别拆解为一组原子验证规则(premise consistency、inferential solvability、geometric degeneracy filtering),对合法问题直接由点云+相机位姿计算精确GT,完全绕开模型判断;(2)多数3D空间方法(SpatialVLM、SpatialBot、SpatialLadder)依赖静态标注数据集,训练分布在生成时即固化,而SpatialEvo在GRPO框架下让单一VLM同时充当Questioner和Solver,通过角色条件提示实现'全局场景感知→局部几何求解'的双层认知协同进化;(3)VisPlay等的课程靠人工设计,SpatialEvo的任务自适应调度器用历史有效准确率 $\bar{a}_k$ 的伪观测平滑直接驱动采样分布 $w_k$ ,使课程随模型能力迁移而自涌现,无需任何人工难度序列。
方法步骤详情
方法可拆为五步。第一步是DGE任务规则集预定义:为16个空间推理任务(6个多图场景级、3个单图、7个双图)各写一份几何验证规则,覆盖物体计数/大小/绝对距离/相对距离/相对方向/房间尺寸、单视图相对方向/相机-物体距离/深度排序、相机间位置/相机-物体位置/相机-区域位置/相机运动/可见性比较/相机间高程/属性度量。第二步是DGE自动化验证流水线:Stage 1用轻量LLM从问题文本中抽取frame index/物体类别/空间关系等结构化实体;Stage 2对照规则集做premise consistency与inferential solvability检查,失效时触发截断并对Questioner给负奖励;Stage 3用刚体坐标变换、点云包围盒拟合、深度图投影、平面法向估计等核心算子,在全局坐标系下做精确数值计算,输出GT与关键中间状态。第三步是Questioner奖励: $r_Q = \alpha f_\text{fmt} + (1-\alpha) f_\text{valid} \cdot f_\text{obs}$ ( $\alpha=0.1$ ),其中 $f_\text{valid}$ 来自DGE校验、 $f_\text{obs}$ 由轻量LLM judge评估Questioner对全局到局部的视觉观察质量;耦合项保证只有同时满足几何合法与视觉充分才给正信号,防止'形式合规但无空间理解'的浅层问题。第四步是Solver奖励:对合法问题 $r_A = \alpha f_\text{fmt} + (1-\alpha) f_\text{acc}$ , $f_\text{acc}$ 锚定DGE真值;对非法问题,要求Solver显式解释DGE返回的失效原因,以 $f_\text{explain}$ (轻量LLM judge打分)替代 $f_\text{acc}$ ,使非法问题也变成有效学习信号。第五步是GRPO训练:对每个场景采 $n$ 个Questioner候选问题组成group算优势;语义去重后得 $m$ 个唯一问题,每个独立采 $n$ 个Solver答案组成独立group;优势按公式 $\hat{A}_i = (r_i - \text{mean}(r))/(\text{std}(r)+\epsilon)$ 在各自group内归一化,联合反传到共享参数 $\theta$ 。
技术新颖性
技术新颖性可归纳为四点。第一,把DGE做成'程序化几何oracle'而非'模型评判器':每个任务的GT都由点云/相机位姿上的闭式计算给出,例如绝对距离化归为包围盒近点计算、相对方向化归为旋转矩阵 $R_\text{rel}=R_2R_1^{-1}$ 的算术、深度排序化归为点云投影后目标中位深度比较,完全脱离任何模型判断,这是以往自进化工作(VisPlay/V-Zero/MM-Zero)所不具备的物理基础。第二,Questioner-Solver单模型共进化:一个VLM在角色条件提示下切换为出题者/解题者,共享参数让'全局场景感知'与'局部几何求解'两类认知能力在同一表示空间中相互强化,与He et al.(2025)VisPlay的多角色设计在空间推理场景下做了领域特化。第三,非法问题的'解释学习'机制:把DGE返回的失效原因(如'frame index越界'、'参考物体点云过稀疏')作为Solver必须显式推理的对象,由LLM judge评分解释质量,使原本会被丢弃的负样本变成对任务规则的元认知学习信号,这是对'无效数据=无信号'这一传统假设的修正。第四,任务自适应调度的伪观测平滑:为缓解早期训练样本稀疏导致 $\bar{a}_k$ 估计不稳的问题,作者用伪观测平滑维护 $\bar{a}_k$ 并以 $w_k \propto (1-\bar{a}_k) + \delta$ 驱动采样,使课程在零人工干预下迁移——这一设计在Table 4的四轮迭代中得到直接验证(带调度器单调上升到46.1,不带则从44.5衰减到43.4)。
实验结果
实验基于ScanNet/ScanNet++/ARKitScenes约4K源场景,在Qwen2.5-VL-3B/7B两档骨干上对比9个空间/通用基准。核心发现分四层。第一层:均值上SpatialEvo 3B/7B分别取得51.1/54.7,均超过所有基线(3B: SpatialSSRL 49.5、Baseline 47.5、SpaceR 45.2、SpatialLadder 44.4;7B: SpatialSSRL 53.9、Baseline 52.1、SpaceR 49.9、VILASR 43.0)。第二层:在VSI-Bench上7B档SpatialEvo以46.1反超SpatialLadder 45.4、SpaceR 36.8、SpatialSSRL 33.7,3B档取得39.2(仅次于SpatialLadder 45.7),验证了DGE自进化在3D定量推理上的优势;在EmbSpatial上3B档取得61.2优于所有基线,7B档取得66.0(略低于SpatialSSRL的69.3);在ViewSpatial上3B/7B分别42.3/43.2均位列第一,显示视角依赖推理的强迁移。第三层:通用能力保留——MMStar 3B/7B为55.2/62.5(基本贴合Qwen基线54.6/61.6),RealWorldQA 3B/7B为66.5/66.7,表明空间专精未损害通用视觉;同时SpatialLadder/VILASR在V-STAR上崩溃到36.7/35.6(基线74.9/78.5),暴露了静态数据训练的分布偏移问题。第四层:消融(7B)显示去掉物理接地(用majority voting伪GT)导致最大下降,avg从54.7→49.6,VSI-Bench从46.1暴跌到18.8,直接证明'GT噪声'是自进化空间推理的关键瓶颈;其他组件去掉后avg分别下降:无Solver -3.2、无Questioner -1.6、无自适应调度 -0.3、无validity reward -0.8、无observation reward -0.2、无explanation reward -0.4,共同印证双角色+物理oracle+课程调度的协同价值。在线vs静态对比(3B, VSI-Bench六个核心任务)显示,即便任务覆盖更窄,SpatialEvo Online RL仍以46.3胜过SpatialLadder RL 40.1,SpatialEvo Offline SFT 43.9也优于SpaceR Data 36.3、SpatialSSRL Data 28.1。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VSI-Bench 7B | 综合得分 (8子任务平均) | 46.1 (Obj. Count 62.5, Abs. Dist. 32.8, Obj. Size 61.6, Room Size 35.7, Rel. Dist. 45.1, Rel. Dir. 43.9, Route Plan 27.3, Appr. Order 40.1) | SpatialLadder 45.4、SpaceR 36.8、SpatialSSRL 33.7、Qwen2.5-VL-7B Baseline 31.1 | 比最强基线SpatialLadder高+0.7,比SpaceR高+9.3,验证DGE自进化在多视图3D定量推理上的领先地位 |
| VSI-Bench 3B | 综合得分 | 39.2 | SpatialLadder 45.7、SpaceR 36.0、Qwen2.5-VL-3B Baseline 28.1 | 低于SpatialLadder 6.5,但高于Baseline 11.1、SpaceR 3.2;3B档SFT数据优势更明显,显示空间自进化在小模型上仍有提升空间 |
| EmbSpatial 7B | 具身空间理解准确率 | 66.0 | SpatialSSRL 69.3、Qwen2.5-VL-7B Baseline 63.6、SpaceR 60.3、VILASR 47.8 | 在3B档(61.2)取得最佳,7B档略低于SpatialSSRL -3.3,表明EmbSpatial的自监督信号与本框架存在互补性 |
| ViewSpatial 3B/7B | 视角依赖空间推理准确率 | 3B 42.3 / 7B 43.2 | 3B: SpatialLadder 43.0 / 7B: SpatialSSRL 37.5 | 3B略低于SpatialLadder -0.7,7B高于SpatialSSRL +5.7,ViewSpatial 7B档以43.2位列第一,显示DGE在双图几何推理上的优势 |
| V-STAR 3B/7B | 视频时空推理准确率 | 3B 75.4 / 7B 78.0 | 3B: SpatialSSRL 77.0 (最强) / 7B: SpatialSSRL 79.1 (最强) | 略低于SpatialSSRL(3B -1.6, 7B -1.1),但显著优于SpatialLadder(3B 36.7, 7B 35.6,接近崩溃),说明物理接地的自进化在时空推理上不引发分布偏移 |
| MMStar 3B/7B | 通用视觉理解准确率 | 3B 55.2 / 7B 62.5 | 3B: Baseline 54.6 / 7B: Baseline 61.6 | 略高于Qwen2.5-VL基线(3B +0.6, 7B +0.9),显著优于SpatialLadder 3B 45.8(-9.4)和VILASR 7B 60.8(-1.7),证明空间专精未损害通用能力 |
| RealWorldQA 3B/7B | 真实世界空间理解准确率 | 3B 66.5 / 7B 66.7 | 3B: SpatialSSRL 65.4 / 7B: SpatialSSRL 69.9 | 3B最优,7B略低于SpatialSSRL -3.2,但都高于Baseline(3B 63.4, 7B 69.5 7B档除外),显示跨域迁移稳健 |
| Ablation 7B (Architecture) | 9基准平均分 | SpatialEvo Full 54.7 | w/o Physical Grounding 49.6 (-5.1), w/o Solver 51.5 (-3.2), w/o Questioner 53.1 (-1.6), w/o Adaptive Scheduler 54.4 (-0.3) | 物理接地贡献最大,VSI-Bench从46.1暴跌至18.8,直接证明majority voting伪GT对空间推理的致命性 |
| Online RL vs Static SFT (3B, 6任务VSI-Bench) | 六任务平均分 | SpatialEvo Online RL 46.3 / Offline SFT 43.9 | SpatialLadder RL 40.1 / SpaceR SFT 36.3 / SpatialSSRL SFT 28.1 / SpatialLadder SFT 43.7 | Online RL比最强RL基线SpatialLadder高+6.2,Offline SFT比SpaceR SFT高+7.6,在线自进化的动态课程优势被直接量化 |
局限与改进
作者在文末未单设Limitations小节,但从方法与实验细节可观察到以下五点局限。(1)任务覆盖依赖3D资产:16个DGE任务全部要求稠密点云与相机位姿,ScanNet/ScanNet++/ARKitScenes之外的野生视频、互联网图、低质量扫描均无法直接调用DGE,模型在缺乏3D资产的视频(如V-STAR的YouTube片段)上的优势被压缩(75.4/78.0略低于SpatialSSRL 77.0/79.1)。(2)计算成本不低:Questioner要生成 $n$ 个候选问题,Solver对每个去重后问题再采 $n$ 个答案,且每个问题都触发一次DGE的LLM实体解析+几何计算,单步训练FLOPs显著高于纯SFT,论文未报告具体GPU小时数与FPS。(3)轻量LLM judge的可靠性:Questioner的observation reward和Solver的explanation reward都由轻量LLM judge打分,论文未做人工一致性评估,该judge本身的偏见可能再次引入噪声(尽管影响小于majority voting)。(4)任务调度器的早期冷启动:伪观测平滑虽缓解了 $\bar{a}_k$ 的稀疏性,但在前几百步仍可能将训练资源过度倾斜到偶然得分低的类别,Table 4的Iter 1带/不带调度器均为44.2,说明早期收益尚未释放。(5)失败case缺乏定性分析:作者主要用均值和子任务分数报告结果,没有展示Questioner生成的典型合法/非法问题样例以及Solver的失败模式,读者难以判断'几何幻觉'是否真的被消除,还是被转移到了其他环节。
独立分析的弱点
独立审视可识别四点待改进之处。第一,Questioner奖励的耦合项 $f_\text{valid} \cdot f_\text{obs}$ 虽然防止'形式合规但无空间理解',但observation reward本质是LLM judge对文字描述的评分,存在被Questioner学会'写漂亮文字但不出有信息量的问题'的风险;改进方向是加入reference-free的视觉grounding评估,例如要求Questioner在问题中显式引用具体frame index并要求其内容与该帧真实物体类别一致。第二,DGE实体解析依赖轻量LLM,若该LLM在罕见物体类别或长复合句上解析失败,会导致本应合法的问题被错杀,造成训练信号的浪费;改进方向是用VLM直接做端到端结构化输出,或者为每个任务维护few-shot的regex/template fallback。第三,任务调度器只用了历史有效准确率 $\bar{a}_k$ 一个标量,没有利用问题难度、场景复杂度等更丰富信号;改进方向是引入问题级难度估计(例如参考问题中物体数/距离量级)与场景级多样性约束,避免调度器在某一场景类型上过拟合。第四,所有训练数据局限于ScanNet/ScanNet++/ARKitScenes约4K室内场景,EmbSpatial 7B档低于SpatialSSRL的现象提示,在某些自监督信号更友好的任务上DGE未必占优,改进方向是把DGE扩展到室外(waymo、KITTI)与合成数据(Hypersim)中,提升任务和场景的多样性。第五,论文没有提供Questioner生成问题的样例库,导致读者无法直观判断问题的质量,改进方向是公开一个100-500条的小型样例集与人类评估。
未来方向
作者在结论中提到希望'物理接地的自进化范式'能服务更广泛的具身智能研究,基于此可延伸四条值得探索的方向。(1)闭环在线自进化:目前模型在固定4K场景上离线训练,可探索把DGE部署到机器人/AR设备上,每条轨迹执行后用DGE自动生成新的空间问答对并在线fine-tune,使模型随物理交互持续校正偏见。(2)任务空间扩展:把DGE从16个空间任务扩展到物理推理(惯性、自由落体)、因果(推动哪一物体)、导航(从A到B的最短路径)等需要'可计算GT'的具身任务,形成统一的物理自进化框架;同时把'非法问题解释'机制推广为'任务规则元认知学习'。(3)与其他自进化范式融合:SpatialSSRL在V-STAR/EmbSpatial上的优势说明RGB自监督信号与DGE物理信号互补,未来可探索GRPO奖励 $r_A = r_\text{DGE} + \beta r_\text{self-supervised}$ 的混合设计,或Questioner在多个oracle间切换。(4)跨模态泛化:把DGE的'程序化GT'思想扩展到具身视频问答、3D物体操作任务、视觉-语言导航等更复杂场景,例如对导航任务用BFS/A*计算最短路径作为oracle,对操作任务用物理仿真器计算接触/力作为oracle。(5)安全性与可解释性:利用Questioner生成的问题作为模型能力的'探针',通过DGE的失效原因分布诊断模型在哪些几何前提上仍有系统性错误,把诊断结果用于下游任务的失败归因与安全过滤。
复现评估
复现评估分四方面。开源情况:论文给出了GitHub与Hugging Face主页链接,承诺开源代码、模型权重与数据,但目前(以论文时间为准)尚未发布完整仓库,核心DGE的16个任务规则集与GRPO超参需要自行实现,中小团队无法直接跑通。数据可获得性:ScanNet需要从官方申请学术许可,ScanNet++与ARKitScenes在申请后均可下载,Qwen2.5-VL-3B/7B-Instruct在Hugging Face开源,DGE所需的3D资产(稠密点云、相机pose、语义标注)都在这些数据集中,数据门槛中等。算力需求:训练Qwen2.5-VL-7B + GRPO + 多候选采样 + 三个轻量LLM judge,即使是3B档也至少需要8张A100(80G)跑数天,7B档对显存和wall-clock要求更高;推理阶段单张A100可应对,但9个基准全跑仍需数小时。复现难度:技术栈涉及VLM微调(LoRA或全参)+ GRPO在线RL + 16个任务的几何验证规则实现 + 任务调度器伪观测平滑 + 4个LLM judge协同,每一项都有独立门槛;GRPO的group内归一化和Questioner-Solver角色切换的prompt工程是核心创新点,工程难度高于普通SFT;最大的不确定性在于DGE的具体规则实现细节未在正文完整披露(Appendix B/C只做概要说明),不同实现可能带来0.5-2分的均值差异。综合看,有3D资产+多卡资源的实验室可在3B档上复现SpatialEvo的均值水平,7B档的精确复现需要严格对照附录规则。
论文图表
对比三种训练范式:Static Data Tuning(手工标注+提取标签,固定数据集,GT准确但静态)、Consensus Self-Evolve(模型投票构造伪GT,动态但GT有偏)、SpatialEvo(用DGE从3D场景资产直接计算精确GT,兼具准确与动态)。每个范式用'视觉观察→问题/答案'流程图表示,底部依次给出标签'😡手工标注固定数据/😡错误或偏置GT/😃动态学习'与'😃准确GT'的emoji。
这是论文核心立论的视觉总纲,清楚呈现'SpatialEvo=静态方法的GT质量+自进化的动态性'这一核心主张,缺它则motivation中consensus self-evolve为何有偏的论点难以被读者形象化接受。