探测视觉基础模型中的空间状态表征

四级功能探针评测十个视觉基础模型：读出精度、输入利用与目标效用三者分离

前置知识

冻结特征探测（frozen-feature probing）

冻结骨干网络全部参数，只在其输出特征上训练一个轻量读出头（浅层MLP或线性层），用于检验某个表征中“已经包含”哪些信息。如果探针能从特征中恢复某信息，说明该信息以可解码的形式存在于特征中；探测精度即该信息的“可访问性”。本文用这种范式在十个冻结表征上做七项空间读出测量，所有能力差异都归因于表征本身而非微调带来的改变。

全文所有结论都建立在“冻结特征+浅探针”之上，理解这一范式才能明白为什么作者声称测的是“表征能提供什么”而非模型端到端性能。

相机位姿与 $SE(3)$

相机位姿描述相机在某一坐标系中的位置与朝向，属于特殊欧氏群 $SE(3)$ 上的元素（旋转+平移，6自由度）。本文用 AUC@30 度量位姿读出：位姿误差曲线在 30 度阈值下的面积，越高越好。物体定位的方位角（bearing）、L4 的 9 维相机动作（平移+旋转）也都定义在这个空间上。

L1 的度量几何、L2 的预测目标、L4 的动作空间全部以位姿为核心，不懂 $SE(3)$ 与 AUC@30 就无法读懂指标含义与“位姿链”结论。

物体持久性与视角外定位

认知科学的 object-file 理论认为物体离开视野后，其信息仍绑定在同一“档案”上。本文的视角外定位任务是：先在历史帧中观察目标并用掩码池化得到物体查询 $q_{obj}$，等相机运动使目标出画后，仅凭整段前缀特征与该查询预测目标相对最终相机的方位角。

这是论文区分“读出可见场景”与“维持空间状态”的关键任务，也是两条成分链（位姿→持久性→行动）的中间节点。

路径积分（path integration）

源自动物空间认知：内部位置估计随自身运动被连续累加修正。本文版本是让循环探针沿同一轨迹逐步施加相对相机运动并预测各路标点（偏移 1、2、4）的未来特征，与一次性给出全部相对运动的端点“直接预测”相对照；两者读出架构不同，比较并不能孤立“循环”本身的贡献。

L3 的两种评测形态之一，用于检验表征是否支持运动条件下的序列更新，而非仅单步预测；V-JEPA2 在此领先而 DINOv2 领先直接预测，是“无全面冠军”的重要证据。

场景自举置信区间（scene-bootstrap）

以场景为聚类单位，对 69 个验证场景有放回重采样 1000 次，为每个指标单元格构造 95% 置信区间；所有单元格共享同一批重采样，因此模型间、前缀间的差异是配对比较。区间不含零才视为差异可靠；表格中加粗/彩色与灰色标注均由此判定。

论文大量结论是“A 与 B 是否真的不同”，不掌握这套统计设定就无法判断哪些数字差异是实打实的。

视频生成器与世界模型

视频生成器（Wan、CogVideoX）与世界模型（Aether、MiniMax-H3）以去噪或流匹配为目标训练，内部激活并非为下游读出而优化。本文除网络层外还扫描“生成坐标”：在指定去噪步（Wan/CogVideoX 用 scheduler step 749）或流坐标（MiniMax-H3 用 0.25）处抽取中间块特征，并比较早期/晚期坐标的读出差异。

评测对象的一半属于该家族，且论文发现持久性在三个生成模型上都偏好较早去噪坐标——不懂生成坐标就无法理解这一独有的评测维度。

研究动机

现有对视觉基础模型空间能力的评测几乎都停留在“可见场景读出”层面：测深度、测相机位姿、测多视角对应，或用 VQA 类基准（如 VSI-Bench）以语言问答考察空间理解。这些评测无法回答一个更基本的问题：模型是否维持了一个随自运动更新、在物体离开视野后仍然存在的“空间状态”。一个深度读出很强的模型完全可能记不住十几秒前看过、现已出画的目标在哪里；一个能高精度检索“未来特征”的模型也可能只是在利用相邻帧的视觉连续性，而非真正做运动条件化的预测。此外，单一诊断分数掩盖了抽取设置的影响：同一模型在不同层、不同历史长度、不同去噪坐标下读出差异巨大，既有工作很少控制这些变量；而“世界模型”们是否真的维持了可用于行动的状态，更缺乏功能层面的检验。

本文的目标是本文要给“空间状态表征”一个可操作、可测量的定义，并系统回答三个递进问题：（1）冻结特征里哪些空间信息可直接读出——L1 空间结构，含深度、相机位姿、实例身份、视角一致性；（2）表征是否把信息维持在了观测之外——能否定位已出画的物体（L2 物体持久性）、能否在自运动条件下预测尚未观测的未来特征（L3 预测性空间更新，含直接预测与路径积分）；（3）这些信息是否对行为有用——给定目标帧能否预测朝目标前进的动作（L4 可行动性）。作者用统一的因果流式形式化（前缀长度 $p\in\{8,12,16,24\}$、各前缀独立编码）在 ScanNet++ 室内轨迹上对十个冻结表征做对照严谨的功能剖析，并用匹配控制实验区分“可解码”“真正使用输入”“功能效用”三个层次。

与已有工作不同的是，独特切入角度有四点。第一，把评测对象从“几何读出”扩展为四级功能谱系：既有工作（VidFM3D、SeeSE3、VSI-Bench 等）主要测深度/位姿/VQA，本文首次把物体持久性、预测性更新与可行动性纳入同一框架，且不预设内部状态的具体形式（不要求显式 3D 地图、场景图或 slot 结构）。第二，区分“可解码性”与“输入利用”：通过复制最后一帧特征、位移匹配的错误运动、打乱/反转历史、移除目标可见帧、零化视觉 token 等匹配控制，证明探针读出准确不等于探针真的用了历史或运动。第三，沿层深度×流式前缀（外加生成模型的去噪坐标）系统扫描抽取设置，而非默认单一隐藏态代表整个模型。第四，提出并实证“两条成分链”：持久性与可行动性建立在相机位姿读出之上，特征预测建立在可见场景读出之上，二者相互独立——为“单一基准无法概括空间能力”给出结构性解释。

核心方法

直觉上，论文把每个视觉基础模型当作“黑箱空间传感器”：喂入一段不含未来帧的因果视觉前缀，冻结参数，再在特征上训练浅层探针逐级询问四级功能是否可达。L1 读当前可见场景：度量几何（深度+相机位姿）、实例身份分离、跨视角对应；L2 在物体出画后定位它：用历史可见帧池化的物体查询 $q_{obj}$ 加整段前缀特征，预测目标相对最终相机的方位角；L3 测运动条件化预测：直接预测给出前缀特征与相对相机运动后回归未来帧特征（以候选检索 R@1 评测），路径积分则用循环探针沿轨迹逐步施加运动；L4 测可行动性：给定当前特征与独立编码的目标帧特征预测 9 维相机动作，分候选选择与连续输出两种设定。全部实验在 ScanNet++ 位姿轨迹上进行（612 个训练场景、69 个验证场景、每前缀 276 个验证窗口），探针架构与训练目标在同模型内跨层、跨前缀共享，统计上用场景聚类 bootstrap 配对区间判断差异。

核心创新是把“空间状态表征”从结构性定义（必须是 3D 地图或场景图）改为功能性定义（四个按“超出当前观测的需求”排序的可测能力等级），并配上一套分离“信息存在”与“信息被使用”的匹配控制协议。与以往只问“能否解码出深度”的探测不同，本文每个高阶任务都带对照：持久性任务里保留物体查询但替换/打乱/清空视觉历史；预测任务里比较正确运动与位移匹配的错误运动、学习预测与直接复制最后一帧；行动任务里比较完整输入与仅目标/仅当前帧、正确目标与打乱目标。这样把“探针读出精度”（decodability）、“探针实际使用的输入”（input use）与“正确输入是否带来行为收益”（functional utility）三者分开——关键负结果（如目标敏感但无目标效用）正是靠这种分离才被发现。另一关键设计是让图像/视频编码器、3D 重建、视频生成器、世界模型、多模态六个家族的十个模型在同一数据、同一探针协议下横向可比。

方法步骤详情

流程分四步。第一步，数据构造：自建流水线处理 ScanNet++ 轨迹，产出 RGB、相机位姿、实例几何与可见性标注；训练/验证场景不相交，场景级切分避免相关轨迹、物体、窗口跨集泄漏。第二步，特征抽取：对模型 $m$ 的指定层 $\ell$，独立编码共享起点、终点为 $p$ 的因果前缀 $Z^{m,\ell}_p=E^{m,\ell}(I_{1:p})$；未来帧 $I_{p+h}$（$h\in\{1,2,4\}$）单独编码，作为预测目标或 L4 目标帧；生成模型在指定去噪坐标抽取（Wan/CogVideoX 用 scheduler step 749，MiniMax-H3 用 flow coordinate 0.25）。第三步，逐级训练探针：L1 做深度与位姿回归、原型交叉熵实例身份、双视角对应匹配；L2 预测出画目标方位角；L3 直接预测以前缀特征+相对运动检索未来特征（828 候选），路径积分循环施加 $a_{t:t+K-1}$；L4 候选选择按进展（平移+0.5×旋转弧度）对两个 9 维动作打分，连续输出以 $[c,g,g-c,c\odot g]$ 融合当前与目标投影预测动作。第四步，统计与控制：主表按 $\bar{s}_{m,t}=\frac{1}{|P_{m,t}|}\sum_{p}s_{m,t}(\ell_m,p)$ 聚合，69 场景 1000 次配对 bootstrap 给区间；再跑复制基线、错误运动、历史打乱/反转/清零、目标打乱等控制与层×前缀扫描。

技术新颖性

新颖性在评测学而非模型层面。其一，“空间状态”的操作化定义是新的：以“超出当前观测还需要什么”为序排出四级谱系（L1 读可见、L2 需保持、L3 需预测、L4 需行动），并把“哪些低阶成分支撑高阶能力”变成可用秩相关回答的经验问题——发现 $\rho=0.76$ 的位姿—持久性链与独立的预测链。其二，控制精细度超出以往：复制基线揭示 V-JEPA2 的“未来预测”其实不如复制最后一帧；历史打乱（误差变化 ≤0.95°）与移除目标可见帧（V-JEPA2 +9.22°）能区分探针用的是“帧内容”还是“时间顺序”。其三，把生成模型的内部计算纳入探测坐标系：除层外还扫描去噪步/流坐标，发现持久性在三个生成模型里都偏好较早坐标，这是对只扫层的 VidFM3D 等工作的扩充。其四，负结果驱动的设计：候选选择与连续输出两种 L4 设定互为对照，暴露出“目标敏感性≠目标效用”这一此前无人报告的分离现象。

**Figure 3**: Probing four spatial capabilities

**Figure 8**: Interventions separate information use from decodability

实验结果

主结果（Table 2）显示没有任何模型全面领先。L1 上 Fast3R 位姿 AUC@30 最高（0.3870，DINOv2 仅 0.0412）、视角一致性最高（0.9808）、深度损失最低（0.1386），但实例身份不如 DINOv2（1.6072 vs 1.3828）。L2 上 Fast3R 定位误差最低（32.79°），VideoMAE 36.45° 第二，远好于 DINOv2（65.38°）与 Qwen2.5-VL（68.59°）——尽管后两者深度/实例/视角读出都更强；跨十个模型，持久性与位姿读出的秩相关 $\rho=0.76$，与深度/实例/视角仅 $\le0.43$。L3 上 DINOv2 领先直接预测（R@1 0.2373），V-JEPA2 领先路径积分（0.1588），两预测排序相似（$\rho=0.93$）但与持久性无关（$|\rho|<0.1$）。抽取设置影响巨大：56 对前缀比较中 45 对偏好短前缀 p8，8 对偏好 p24 且几乎全是可见场景读出；全部 8 个持久性配对随前缀变长恶化（VideoMAE 29.55°→54.80°，实例损失 2.47→9.98 在 p24 崩溃；DINOv2 路径积分 0.1256→0.0713）。控制实验揭示分离：V-JEPA2 复制最后一帧（19.93%）反超学习预测（13.04%）；正确运动给 V-JEPA2/VideoMAE/CogVideoX 带来 +18.84/+10.51/+4.35pp；历史使 V-JEPA2/Wan 定位改善 10.26°/10.01°，但最准的 VideoMAE 仅 2.08°（不显著），历史打乱最多变 0.95°。原生预测（Table 15）保结构不保接口：V-JEPA2 预测特征上冻结读出器的深度 MAE 从 0.182 升至 0.246，重训后 0.223，介于布局先验 0.241 与真实读出之间。L4 上候选选择全员超 67.8% 的仅动作基线（75.9–79.9%，打乱目标掉 12.2–20.7pp），但连续输出里完整输入虽比仅目标高 6.0–13.8pp，却不比仅当前帧好；换目标使预测动作旋转 29.8–45.6°，而正确目标对进展的增益（−2.3 到 +1.2pp）区间全含零。最终归纳出两条成分链：位姿→持久性→行动，可见场景读出→预测。

**Table 1**: Ten representations evaluated

**Table 2**: Main results for all ten representations

**Table 3**: Motion and history controls

**Table 4**: Goal-conditioned action prediction: candidate-selection setting

**Table 5**: History interventions for object persistence

**Table 6**: Spatial readout on the 171 shared validation windows

**Table 7**: Direct prediction with a common next-observation target

**Table 9**: Direct prediction against matched action controls

**Table 10**: Longer versus shorter prefix with 95% scene-bootstrap intervals

**Table 14**: Motion-dependent endpoint matching

**Table 15**: Spatial readout through V-JEPA2's native predictor

**Table 16**: Goal-conditioned action prediction: continuous-output setting

**Table 17**: Feature extraction details

**Figure 4**: Spatial readout depends on both layer and streaming prefix

**Figure 5**: Testing readable structure and goal-specific utility

**Figure 6**: Capability profiles across measured layers

**Figure 7**: Layer–prefix structure of instance identity and object persistence

**Figure 9**: Spatial readout across generation coordinates

查看结构化数据

任务	指标	本文	基线	提升
视角外物体定位（物体持久性，L2）	方位角误差 (°) ↓	Fast3R 32.79（最佳）	DINOv2 65.38 / Qwen2.5-VL 68.59	比图像/多模态编码器低约 33–36°；VideoMAE 36.45° 第二
相机位姿读出（度量几何，L1）	AUC@30 ↑	Fast3R 0.3870	DINOv2 0.0412 / Qwen2.5-VL 0.0269	高出约一个数量级（+0.35 以上）
深度读出（度量几何，L1）	深度损失 ↓	Fast3R 0.1386	Aether 0.5270（最差）	相对最差模型损失降低约 74%
实例身份分离（L1）	原型交叉熵损失 ↓	DINOv2 1.3828	Aether 7.1847	损失降低约 81%
视角一致性（L1）	平衡准确率 ↑	Fast3R 0.9808	Aether 0.6928	+28.8 个百分点
直接预测（L3）	全局 R@1 ↑（828 候选）	DINOv2 0.2373	Fast3R 0.0133（L1 最强者近乎垫底）	证明 L1 读出强不代表预测强
路径积分（L3）	全局 R@1 ↑（828 路标）	V-JEPA2 0.1588	Aether 0.0042	约 37 倍
目标条件动作·候选选择（L4）	二选一准确率 (%) ↑	Fast3R 79.9	仅动作基线 67.8 / 随机 50	+12.1pp；打乱目标使准确率下降 12.2–20.7pp
目标条件动作·连续输出（L4）	正进展轨迹比例 (%) ↑	Fast3R 59.8	仅目标基线（低 6.0–13.8pp）/ Wan 50.2	优于仅目标，但不优于仅当前帧（关键负结果）

局限与改进

作者明确承认的局限：其一，Fast3R 的训练数据包含 ScanNet++，且部分验证场景在其训练集中，它在位姿、持久性、行动上的领先可能部分来自对场景的熟悉；其二，结论限定于冻结特征接口、训练过的探针与离线室内轨迹——独立编码的因果前缀刻画的是“观测历史的表征能提供什么”，而非在线增量状态更新；其三，各模型在自己特征空间里检索，R@1 不共享统一物理误差尺度；其四，主表探针只用单一训练种子（42），bootstrap 区间只反映评测抽样而非训练随机性；其五，更长前缀同时移动了终点帧，前缀比较无法单独分离“历史长度”效应；其六，直接预测与路径积分读出架构不同，比较不能孤立循环的贡献；其七，范围限于静态室内环境与观察者运动，不含物体动态与接触物理。我的补充：L4 是浅探针+离线监督诊断而非闭环策略，“可行动性不足”可能低估特征在真实规划循环中的价值；实例身份测的是嵌入分离度而非分割质量；成分链的秩相关只基于 10 个模型点，$\rho=0.76$ 的不确定度偏大；designated layer 的选取标准也未完全透明。

独立分析的弱点

弱点一：数据泄漏嫌疑——Fast3R 见过部分验证场景，而它恰好在最关键的位姿/持久性/行动三项领先，这削弱了“位姿链”头部的结论强度；改进方向是在所有模型训练集之外的新扫描数据上重测。弱点二：检索式预测指标模糊——R@1 跨特征空间不可比，且统一 h=1 目标后 DINOv2/Qwen2.5-VL 达 0.61/0.53 的高分可能主要来自相邻帧特征连续性（作者自己也承认）；改进方向是统一换算到物理误差（如未来深度 MAE）并强制以复制基线归一。弱点三：探针容量受限——浅读出头读不出的信息可能只是需要非线性组合，而非表征中不存在；改进方向是加入受控的更强读出（如小型注意力头）并报告容量敏感性。弱点四：L4 非闭环——目标效用缺失是在离线监督诊断下测得的，真实 MPC 循环中可能不同；改进方向是把探针嵌入模型预测控制做真实导航评测。弱点五：静态环境使“持久性”退化为“相机运动下的静止物体定位”，与认知意义上的持久性（物体自身变化后仍可追踪）有差距；改进方向是引入动态物体数据。弱点六：10 个模型、每格单种子，成分链秩相关的统计功效有限，应报告相关系数的置信区间。

未来方向

作者方向：把评测从独立编码的冻结前缀扩展到真正的在线状态更新（循环/记忆机制是否维持状态）；把四级谱系延伸到物体动态与闭环行动；研究层与前缀效应在训练过程中的起源（文中强调测的是“计算中的可达性”而非“训练中的涌现”）。基于成果可延伸：其一，“成分链”可直接指导表征改进——既然位姿读出支撑持久性与行动，可在预训练中加入位姿/自运动监督（类似 SPA 的 3D 感知增强）再复测四级剖面；其二，把本框架用作世界模型审计器：Aether 等在 L1–L4 几乎全面垫底，说明视频生成质量与状态可用性脱节，可对生成模型中间状态做四级体检以指导架构；其三，目标效用缺失提示需要目标条件化读出结构或强化学习微调，把“对目标敏感”变成“对目标负责”；其四，长前缀普遍恶化（p24）提示长上下文视觉聚合是开放问题，可研究时间池化、窗口注意力或显式状态压缩；其五，将七项测量+控制协议产品化为公开基准，加入统一物理误差标尺与闭环评测。

复现评估

复现评估：论文给出项目页与代码链接，附录 A.7/A.9/A.11 的协议细节相当完整（主评测每前缀 276 个验证窗口；持久性任务 p8 时 80 个合格窗口、p12 及以上各 171 个；候选选择 844 训练查询+227 验证查询；连续输出 1024 训练轨迹+256 验证轨迹；探针种子 42、行动实验种子 41–45；69 个验证场景 1000 次配对 bootstrap）。十个模型多为公开权重（DINOv2-L、V-JEPA2、VideoMAE-L、Fast3R、Wan2.1-1.3B、CogVideoX-5B、Qwen2.5-VL-7B 等，MiniMax-H3 与 LingBot-video 的权重可得性需确认）。主要成本在特征抽取：需对 612 个训练场景的轨迹在多层×多前缀×多去噪坐标上前向多个大模型，估计需要数张 A100 级 GPU 运行数天，而探针训练本身很轻。ScanNet++ 需申请，位姿/实例几何/可见性流水线是否随代码发布决定复现摩擦。总体判断：协议文档化程度高、控制实验定义清晰，可复现性中上；主要不确定性在于生成模型抽取坐标的精确对齐与个别模型权重的获取。

探测视觉基础模型中的空间状态表征 Probing Spatial State Representations in Visual Foundation Models