ConsiSpace：面向视频空间推理的几何一致性学习框架

以几何一致性组织视频证据并自监督强化跨视角稳定性，平均提升12.6分

前置知识

视频空间推理（Video Spatial Reasoning）

视频空间推理指模型从视频序列中推断物体位置、场景连通性、方向和空间关系的能力，是面向导航的感知和长视频问答的核心能力。它要求模型在部分可观性或长时序上下文中保持稳定的几何理解，典型评测基准包括室内场景的 VSI-Bench、行人视角的 OSI-Bench 以及全人工标注的 MMSI-Video-Bench。难点在于：相邻帧往往包含冗余的空间证据，而空间证据又常常稀疏或依赖视角，导致现有 MLLM 难以可靠地聚合一致的空间信息。

本文正是围绕视频空间推理展开，理解这个任务定义、其评测子任务（计数、绝对/相对距离、物体/房间尺寸、相对方向、路径规划等）以及它的两个核心挑战（效率与跨视角鲁棒性），是读懂全文动机与方法的前提。

几何基础模型（Geometry Foundation Model, 如 VGGT）

VGGT（Visual Geometry Grounded Transformer）是一种前馈式几何基础模型，能从单目或多视角 RGB 图像一次性预测相机位姿、深度图和场景结构等显式几何线索。与需要完整 3D 监督的重建管线不同，它以 feed-forward 方式提供 pose、depth 和 structure 信号，使 MLLM 在无需完整 3D 标注的情况下获得几何感知能力。类似工作还有 DUSt3R、MASt3R 等。本文将冻结的 VGGT 作为空间编码器，提取空间 token $S_t$ 和几何线索 $G_t=(T_t,D_t)$。

ConsiSpace 的整个记忆机制（写入门控、融合、检索）都建立在 VGGT 提供的相机位姿和深度图之上，理解 VGGT 输出什么、能提供哪些几何信号，才能理解几何一致性如何被用作证据组织准则。

几何一致记忆（Geometry-Consistent Memory, GCM）

GCM 是 ConsiSpace 的核心模块，由互补的两个库组成：隐式空间记忆 $\mathcal{M}_{imp}$ 存储每帧的证据 token（视觉语义 token 与空间 token 拼接投影而成），用于查询相关检索；显式空间记忆 $\mathcal{M}_{exp}$ 存储相机位姿和深度图，提供几何一致性信号。这种分离解耦了证据表示与几何引导操作：$\mathcal{M}_{imp}$ 支撑证据检索，$\mathcal{M}_{exp}$ 引导几何门控写入、几何一致融合和几何过滤检索。记忆大小为 M=64 token、特征维度 512，组织成 4 个 chunk，配 8 头重采样器。

GCM 是论文最大创新点，理解其双库结构和写入-融合-检索三个生命周期操作，是理解论文如何用几何一致性把冗余视角压缩成紧凑证据、并实现长视频可扩展性的关键。

自监督强化学习的一致性奖励（UC-SSRL）

UC-SSRL（Unified Consistency Self-Supervised Reinforcement Learning）是在 SFT 之后用多视角一致性作为自监督信号的强化学习阶段。核心假设：如果底层 3D 空间关系稳定，那么从不同视角或不同证据集对同一问题的预测应该一致。它设计三类奖励：答案一致性 $R_{KL}=-\alpha\,\mathrm{KL}(\pi_i\|\pi_j)$、度量一致性 $R_{metric}=-\eta|\hat{d}_i-\hat{d}_j|$、拓扑一致性 $R_{topo}=-\beta(\mathrm{KL}(P_i\|P_j)+\mathrm{KL}(P_j\|P_i))$，组合成 $R=R_{KL}+R_{metric}+R_{topo}$，以策略梯度方式优化，只更新 LoRA 参数。

UC-SSRL 是论文第二大创新，理解它如何在不依赖额外人工标注的情况下、通过双视角采样器构造成对观测并用三类互补奖励提升跨视角稳定性，是理解论文鲁棒性提升来源的关键。

LoRA 微调（Low-Rank Adaptation）

LoRA 是一种参数高效微调方法，在冻结的预训练权重旁注入低秩矩阵 $\Delta W = BA$（其中 $B\in\mathbb{R}^{d\times r}$，$A\in\mathbb{R}^{r\times k}$，秩 $r\ll d,k$），只训练这些低秩矩阵，从而以极小可训练参数量适配下游任务。本文采用秩 16、$\alpha=32$ 的 LoRA，使用 bfloat16 精度、DeepSpeed ZeRO-3，在 SFT 和 UC-SSRL 阶段都只更新 LoRA 参数，而基础模型 Qwen3-VL-8B、视觉塔 SigLIP2 和几何编码器 VGGT 全部冻结。

理解 LoRA 才能理解 ConsiSpace 为何能在 8×A100 80GB 上完成训练、为何 UC-SSRL 是轻量且与 GCM 互补的，以及论文强调的'可训练参数只占全模型极小比例'的工程含义。

研究动机

视频空间推理对面向导航的感知和长视频问答至关重要，但现有 MLLM 主要是语义中心的（semantics-first）：它们强调识别和语言条件化推理，对视角几何和空间结构建模很弱。作者指出两个具体的实践挑战。第一是效率问题：相邻帧往往包含大量冗余的空间证据，存储或关注更多帧会增加显存与算力却带不来成比例的收益，例如 Table 4 显示在 200 帧输入下，密集保留所有观测的 VLM-3R 需要 78.5GB 显存和 10.80s 推理时间。第二是鲁棒性问题：冗余或失配的证据会导致不一致的空间接地和不稳定的跨视角答案，如图 1(b) 所示 SpaceMind 在 View 1 答 B、View 2 答 D 而 Cambrian-S 答 D/C，两者都被判定为 Inconsistent。作者认为，这两个挑战都可以通过利用空间一致性来解决：对静态场景的平滑视角变化下，正确的空间关系应当保持不变，这天然为紧凑证据组织和稳定推理提供了信号。

本文的目标是本文的具体目标是构建一个几何一致性感知的视频空间推理框架 ConsiSpace，把 3D 空间一致性同时用作证据组织准则和后 SFT 的学习目标。一方面，通过几何一致记忆（GCM）以几何引导的写入、融合和检索，紧凑而鲁棒地组织视觉-空间证据，从而在长视频上同时改善显存、延迟和精度；另一方面，通过统一一致性自监督强化学习（UC-SSRL），在 SFT 锚定答案正确性之后，进一步用答案、度量和拓扑三类一致性奖励精炼跨视角稳定性，且无需额外人工标注。最终在 VSI-Bench、OSI-Bench、MMSI-Video-Bench 三个基准上，将平均分比最强基线提升 12.6 分，并在效率上显著优于密集证据方法。

与已有工作不同的是，本文的独特切入角度是把几何一致性作为贯穿记忆全生命周期的显式准则，而非像以往工作那样仅把它当作输入特征或训练信号。与 SpaceR、ViLaSR、Cambrian-S 这类依赖空间数据和训练目标的方法不同，也与 VLM-3R、SpaceMind、GeoThinker 这类把几何感知 token 融入 MLLM 的方法不同，ConsiSpace 用几何一致性来决定'何时写入、如何融合、保留什么、检索哪些'。它既不同于 Video-3D LLM、N3D-VLM 这类依赖显式 3D 表示的方法，也不同于 Spatial-SSRL 这类依赖内在预训练任务的自监督方法——UC-SSRL 直接从多视角一致性推导自监督奖励，把'同一 3D 关系在不同视角下预测应一致'这一不变量变成显式优化目标。这种'几何即组织准则'的视角是本文与已有工作的本质区别。

核心方法

整体思路是直觉先行：既然平滑视角变化下正确的空间关系不变，那么几何一致性就既能用于压缩冗余证据（效率），又能用于稳定跨视角推理（鲁棒性）。技术路线上，ConsiSpace 由双编码器、几何一致记忆（GCM）、查询条件融合模块和视频语言模型组成。每帧用冻结 SigLIP2 提取视觉 token $X_t=E_{vis}(I_t)$，用冻结 VGGT 提取空间 token 和几何线索 $S_t,G_t=E_{spa}(I_t;I_{<t})$，其中 $G_t=(T_t,D_t)$ 含相机位姿和深度图。证据 token 与几何线索被分别存入隐式/显式双库记忆，经几何门控写入、几何一致融合和几何过滤的分层检索后，与查询 token、汇总 token 拼接成上下文 $Z$ 喂入 VLM。训练上，先在 VSI-590K 和作者新建的 nuScenes-10K 上做最大似然 SFT，再从 SFT 检查点初始化 UC-SSRL，用双视角采样器构造成对观测并以三类一致性奖励做策略梯度优化，且仅更新 LoRA 参数。

核心创新点在于把几何一致性同时作为证据组织准则和后 SFT 学习信号，这与已有方法存在本质区别。已有的空间感知 MLLM 主要关注表示设计或训练时监督，对冗余视频证据的写入、融合、检索缺乏控制；而 ConsiSpace 用几何一致性管理记忆全生命周期——写入判据 $\text{write}(t)=\mathbb{I}[\Delta p_t>\tau_p \lor \Delta\theta_t>\tau_\theta]$ 抑制冗余写入，几何邻域 $\mathcal{N}(t)$ 内按语义相似度做融合以合并一致证据，检索时再用方向一致性项 $\beta\cos(Q_{topo},e_i^{dir})$ 过滤几何不一致的帧。更进一步，UC-SSRL 把'同一 3D 关系跨视角应一致'这一不变量变成三类自监督奖励（答案 KL、度量、拓扑），这区别于 Spatial-SSRL 依赖内在预训练任务的做法，使一致性学习真正服务于空间推理的视角稳定性。

方法步骤详情

方法分四步。步骤1 特征提取：冻结 SigLIP2 给出视觉 token $X_t\in\mathbb{R}^{N\times d}$；冻结 VGGT 给出空间 token $S_t$ 与几何线索 $G_t=(T_t,D_t)$（$T_t$ 含位姿 $p_t$、视角 $v_t$，$D_t$ 为深度图）。步骤2 写入与融合：构造隐式证据 $e_t=\text{Pack}(X_t,S_t)$ 与对齐线索 $g_t=(T_t,D_t)$；按帧间平移 $\Delta p_t=\|p_t-p_{t-1}\|_2$ 与视角变化 $\Delta\theta_t=\angle(v_t,v_{t-1})$ 做门控写入，仅当 $\Delta p_t>\tau_p$ 或 $\Delta\theta_t>\tau_\theta$（默认 $\tau_p=0.15$m、$\tau_\theta=15^\circ$）时写入；写入后在几何邻域 $\mathcal{N}(t)=\{j:\|p_t-p_j\|<r,\angle(v_t,v_j)<\theta\}$（默认 $r=0.40$m、$\theta=30^\circ$）内按 $\hat j=\arg\max_j\cos(k_t,k_j)$ 融合入 $e_{\hat j}$，否则追加。步骤3 分层检索：文本编码器得 $q_e$，先按 chunk 语义分 $s_c=\cos(q_e,k_j^c)$ 取 top-$K_c=8$，再按帧级分 $s_f=\alpha\cos(q_e,k_i^f)+\beta\cos(Q_{topo},e_i^{dir})$ 取 top-$K_f=8$，并以 $z_{topo}=\mathrm{CA}(Q_{topo},\mathcal{B}_{topo})$、$z_{metric}=\mathrm{CA}(Q_{metric},\mathcal{B}_{metric})$ 聚合全局汇总 token，拼 $Z=\text{Concat}([\text{TOK}(q)],z_{topo},z_{metric},\{z_i\},\{g_i\})$ 喂入 VLM。步骤4 UC-SSRL：对 $(V,q)$ 用双视角采样器得 $o_i,o_j$ 与答案分布 $\pi_i,\pi_j$，算三类奖励 $R_{KL}=-\alpha\mathrm{KL}(\pi_i\|\pi_j)$、$R_{metric}=-\eta|\hat{d}_i-\hat{d}_j|$、$R_{topo}=-\beta(\mathrm{KL}(P_i\|P_j)+\mathrm{KL}(P_j\|P_i))$，组合 $R=R_{KL}+R_{metric}+R_{topo}$ 以策略梯度优化，权重 $10^{-2}$，仅更新 LoRA。

技术新颖性

技术新颖性体现在四处。第一，GCM 的双库设计与生命周期管理：把隐式证据 token 与显式几何线索解耦，使几何一致性成为写入、融合、检索三阶段的统一准则，这是以往几何融合方法（VLM-3R、SpaceMind、Spatial-MLLM）未做的。Table 6 消融显示，去掉几何门控写入会使保留条目增至 2.3×，去掉融合增至 1.8×，去掉几何过滤检索虽不改变条目数却显著损害 OSI/MMSI，证明三者互补。第二，UC-SSRL 的多视角自监督奖励：区别于依赖内在预训练任务的 Spatial-SSRL，UC-SSRL 直接从多视角一致性推导答案/度量/拓扑三类奖励，Table 7 显示三者互补且全用最佳。第三，分层检索中的方向一致性项：把查询的方向语义 $Q_{topo}$ 与帧视角方向 $e_i^{dir}$ 结合，在 chunk 召回后做帧级几何过滤。第四，新建并严格验证的 nuScenes-10K 户外合成数据：经几何有效性过滤、答案可解析性检查、一致性检查、MLLM 验证、去重，从 22518 候选筛出 10000 QA 对，且与 OSI-Bench 无视频/标注重叠，1000 对人工抽检正确率 91.6%。

**Fig. 3**: Geometry-Consistent Memory (GCM) evidence lifecycle.

**Fig. 6**: Qualitative visualization of geometry-filtered retrieval.

实验结果

核心发现可逐一对应各实验。主基准全面领先：VSI-Bench（Table 1）ConsiSpace$^{UC-SSRL}$ 达 76.6 Avg，比 SpaceMind（69.6）高 +7.0、比 Qwen3-VL-8B（57.4）高 +19.2；OSI-Bench（Table 2）达 53.0 Avg，比 VLM-3R（40.3）高 +12.7；MMSI-Video-Bench（Table 3）Sufficient-Coverage 达 57.5、Uniform-50 达 58.1，比 VLM-3R 高 +14.9/+15.0。UC-SSRL 一致优于 SFT，如 OSI 从 45.8 升到 53.0（+7.2），且在视角/度量更难的 OSI、MMSI 上提升更大（图 5）。效率与可扩展性（Table 4）：50 帧时 22.0GB/1.65s 优于 VLM-3R 24.8GB/2.10s；200 帧时仅 35.0GB/3.10s 而 VLM-3R 暴涨到 78.5GB/10.80s，且 VSI/OSI/MMSI 均更高，证明 GCM 选择性组织证据。导航相关（Table 5）：ObjectNav 下一航点 ConsiSpace$^{UC-SSRL}$ 方向准确率 50.8、成功率 39.7、剩余距离 4.05，优于 Qwen3-VL-8B（42.6/31.8/4.72）。对噪声几何鲁棒（Table 8）：30% 噪声下 VSI 仍有 73.1，GeoThinker 仅 65.2。阈值不敏感（Table 10/11），存在宽稳定区；读取策略互补（Table 9），Summary+Top-K 最佳。

**Table 4**: End-to-end efficiency and long-video scaling.

**Table 8**: Robustness to noisy VGGT geometry.

**Fig. 7**: Consistency under revisit views.

查看结构化数据

任务	指标	本文	基线	提升
VSI-Bench 室内视频空间推理（平均分）	Avg.（Acc/MRA 平均，越高越好）	76.6（ConsiSpace$^{UC-SSRL}$）	69.6（SpaceMind）/57.4（Qwen3-VL-8B-Instruct）	+7.0 / +19.2
OSI-Bench 开放世界行人视角空间推理（平均分）	Avg.（Acc/MRA 平均，越高越好）	53.0（ConsiSpace$^{UC-SSRL}$）	40.3（VLM-3R）/31.2（Qwen3-VL-8B）	+12.7 / +21.8
MMSI-Video-Bench 充分覆盖/均匀50帧（平均分）	Avg.（exact-match Acc，越高越好）	57.5（SC）/58.1（U50）	42.6（SC）/43.1（U50，VLM-3R）	+14.9 / +15.0
长视频效率（200帧，单 A100 80GB）	峰值显存 / 推理时间	35.0GB / 3.10s	78.5GB / 10.80s（VLM-3R）	显存省约55%，延迟快约3.5倍且精度更高
ObjectNav 下一航点预测（方向准确率）	Acc.↑ / Succ.↑ / Dist.↓	50.8 / 39.7 / 4.05（ConsiSpace$^{UC-SSRL}$）	42.6 / 31.8 / 4.72（Qwen3-VL-8B）	+8.2 / +7.9 / -0.67

局限与改进

局限性可从作者承认与独立观察两方面看。作者方面，论文主要把视频空间推理与导航动机相联系，但 ObjectNav 只评测'下一航点方向预测'而非端到端具身控制，因此方法的导航价值是间接的（Table 5）。此外 UC-SSRL 依赖 SFT 提供任务对齐的初始化，其增益建立在 SFT 已锚定答案正确性之上，并非从一致性单独学到正确性（作者在图 5 与 Table 7 讨论中明确）。几何线索依赖 VGGT，Table 8 表明 30% 噪声下 VSI 从 76.6 降到 73.1，说明性能仍受几何估计质量制约。独立观察方面：第一，nuScenes-10K 虽然 1000 对人工抽检正确率 91.6%，但仍属合成数据，泛化到真实复杂户外场景的程度有待验证；第二，所有主实验与效率评测都基于 Qwen3-VL-8B 单一骨干，未验证 GCM 与 UC-SSRL 在更大或更小骨干、或非 Qwen 系列上的迁移性；第三，论文未报告各模块的额外参数量、训练时长（步数）与碳排放，虽提及 8×A100 80GB 但可复现成本信息不全；第四，对比基线未包含部分更强的最新闭源模型（如 GPT-5/Gemini 3 Pro 仅出现在部分子表），公平性边界需谨慎解读。

独立分析的弱点

第一个弱点是骨干与几何编码器的耦合较深。GCM 的写入/融合/检索强依赖 VGGT 的位姿与深度，一旦几何估计在动态、遮挡或镜面场景下失效，记忆组织质量会下降。改进方向是引入几何不确定性估计，让门控与融合能自适应降权低置信度几何，或用多几何模型集成投票。第二个弱点是记忆与检索的超参较多（$\tau_p,\tau_\theta,r,\theta,K_c,K_f,\alpha,\beta$ 等），虽 Table 10/11 表明对写入/融合阈值不敏感，但检索加权系数与 chunk/帧 top-K 的最优组合未必在所有数据分布上稳定，改进方向是做更大范围的跨数据集超参扫描或让这些权重可学习。第三个弱点是 UC-SSRL 仅更新 LoRA，对视角稳定性的精炼可能受限于 LoRA 容量；改进方向是结合全参数 RLHF 或奖励模型蒸馏，在更大可训练空间内优化一致性。第四个弱点是评测覆盖度：主基准偏室内/行人视角，缺乏无人机、第一人称极限运动、大规模室外驾驶等更剧烈的视角变化，改进方向是在更广分布上验证，并补充端到端具身导航而非仅下一航点。第五个弱点是 nuScenes-10K 的合成性，改进方向是用真实多传感器采集的、含复杂遮挡与动态物体的户外空间问答数据替代或扩充训练池。

未来方向

作者在结论中希望几何一致性成为视频空间推理的简单有效原则，并暗示可扩展到更多空间推理与导航任务。基于成果可延伸的方向包括：第一，将 GCM 的几何组织思想迁移到 3D 表示（如高斯泼溅 GS-Reasoner、显式地图 Map2Thought），探索几何一致记忆与 3D 表征的联合管理；第二，把 UC-SSRL 的多视角一致性奖励推广到更一般的'不变量一致性'，例如光照/材质变化下的语义一致性、时序一致性，形成统一的'不变量自监督 RL'框架；第三，研究几何一致记忆与检索增强（RAG）、外部记忆层的结合，构建可终身学习的空间记忆系统；第四，在具身智能体中把 ConsiSpace 作为空间感知前端，与动作策略联合训练，验证其在端到端导航与操作任务上的价值；第五，探索如何减少对冻结 VGGT 的依赖，例如用自监督方式从视频本身学习几何一致性信号，或训练轻量几何蒸馏模型以降低推理成本。

复现评估

复现性总体较好但有缺口。有利方面：明确给出骨干与冻结策略（Qwen3-VL-8B-Instruct + LoRA rank 16/$\alpha$=32，冻结 SigLIP2 与 VGGT）、记忆超参（M=64、维度 512、4 chunk、8 头重采样、top-K=8、每 chunk 8 value/每帧 4 value token）、训练超参（SFT 200 步、学习率 $10^{-4}$、per-device batch 1、梯度累积 2、最大序列长 5120、bfloat16、DeepSpeed ZeRO-3、UC-SSRL 权重 $10^{-2}$）和算力（8×A100 80GB）；nuScenes-10K 构造管线（22518 候选筛到 10000，含几何有效性/答案可解析/一致性/MLLM 验证/去重，与 OSI 无重叠，抽检 91.6%）描述较详，附录 A/B/C 提供数据与实现细节。不利方面：论文未给出 GitHub/HuggingFace 链接，是否开源代码与权重不明；nuScenes-10K 合成管线代码未明示发布；UC-SSRL 双视角采样器的具体采样策略与奖励工程细节需查附录；部分基线（GPT-5、Gemini 3 Pro）评测设置说明不足。整体有足够细节复现核心结果，但完整复现需相当算力与工程投入，且依赖未明确开源的数据生成代码。

ConsiSpace：面向视频空间推理的几何一致性学习框架 ConsiSpace: Learning Geometric Consistency Matters for Video Spatial Reasoning