让几何信息在空间推理中真正发挥作用：GeoSR框架 Make Geometry Matter for Spatial Reasoning

GeoSR的方法步骤分为以下几个阶段。第一步，几何token提取：给定输入图像/视频帧 $\{I_t\}_{t=1}^T$ 和文本提示 $Q$，视觉分支将图像编码为2D视觉token $F^V \in \mathbb{R}^{(H_V W_V T) \times C_V}$，几何分支使用预训练3D模型提取几何token $F^G \in \mathbb{R}^{(H_G W_G T) \times C_G}$，文本分支编码提示为 $F^P \in \mathbb{R}^{L_P \times C_P}$。第二步，Geometry-Unleashing Masking：在训练时以概率 $\beta=0.5$ 启用掩码，遮盖比例 $\gamma=0.8$ 的视觉token。对于静态场景，随机选择掩码位置；对于动态场景，先通过瓶颈token $B$ 与几何token的交叉注意力计算相关性分数 $s$，然后用TopK选择最高相关性的位置进行掩码，同时需要将掩码位置从几何分辨率插值到视觉分辨率。第三步，Geometry-Guided Fusion：对于静态场景，将几何token通过MLP对齐后得到 $\tilde{F}_G$；对于动态场景，先将QFormer压缩的几何证据 $Z_G$ 通过交叉注意力重新分布到完整时空维度。然后计算门控 $\alpha = \sigma(W_g[\text{LN}_v(\tilde{F}_V); \text{LN}_g(\tilde{F}_G)] + b_g)$，最终融合 $F = \alpha \odot \tilde{F}_V + (1-\alpha) \odot \tilde{F}_G$。第四步，推理时禁用掩码，使用完整的视觉token输入。

GeoSR的技术新颖性体现在多个层面。首先，在研究视角上，这是首次系统性地揭示几何token在空间推理中被低估的现象，并通过定量实验（如DSR-Bench上w/ Geo.的64.0%低于w/o Geo.的58.1%）提供了可复现的证据。这改变了领域对"注入几何信息就能提升空间推理"这一普遍假设的认知。其次，在掩码策略上，动态场景的TopK掩码设计是新颖的——它利用QFormer的注意力权重来识别与问题最相关的几何token位置，然后在对应的视觉位置施加掩码。这种"问题引导的掩码"比随机掩码更有针对性，因为掩码的位置恰好是几何信息最需要发挥作用的区域。第三，在融合机制上，token和channel维度的双重门控比现有的加法融合（Eq. 1）或简单拼接（Eq. 4）提供了更精细的控制粒度。最后，整个框架的设计是轻量的——额外参数主要来自几何投影和门控模块，相比基线仅增加约70M参数（从9.16B到9.23B），推理时间增加仅0.01秒（从0.40s到0.41s）。

尽管GeoSR取得了显著的性能提升，但仍存在几个值得关注的弱点。首先，静态空间推理的提升幅度较小（平均仅1.2%），这可能意味着在静态场景中，2D外观信息本身已经足够用于大部分空间推理任务，几何token的作用有限。改进方向可以是设计更有挑战性的静态空间推理任务，或者探索在静态场景中如何更好地利用几何信息。其次，掩码比例 $\gamma=0.8$ 的选择是固定的，没有根据输入内容动态调整。对于简单场景，可能不需要如此高的掩码比例；对于复杂场景，可能需要更高的比例。可以探索自适应掩码比例的策略。第三，门控机制虽然精细，但缺乏对门控值的可解释性分析——我们不知道模型在哪些位置更多地依赖几何信息，这限制了对模型行为的理解。第四，论文没有评估GeoSR在其他下游任务（如一般视频理解、物体检测）上的影响，掩码训练策略可能会损害模型在非空间推理任务上的性能。最后，论文只在单一VLM（Qwen2.5-VL-7B）上实验，未验证在不同规模或不同架构的VLM上的效果。

论文作者提出的数据质量改进方向是非常有价值的未来研究方向。除了作者提到的改进几何感知问题构建和标注一致性外，基于GeoSR的成果还可以延伸出多个研究方向。第一，自适应掩码策略：可以根据输入场景的复杂度和问题类型动态调整掩码比例和位置，而不是使用固定的 $\gamma=0.8$。第二，几何token质量提升：GeoSR证明了模型在被强制时会使用几何信息，因此提升几何token本身的质量（如使用更强的3D基础模型）可能带来更大的收益。第三，跨任务迁移：探索GeoSR的掩码和门控策略是否能迁移到其他需要空间理解的任务，如机器人导航、自动驾驶场景理解等。第四，多模态融合的通用框架：Geometry-Guided Fusion的门控思想可以推广到其他多模态融合场景，如音频-视频融合、文本-表格融合等。第五，轻量化几何提取：当前依赖大型3D模型提取几何token，未来可以探索更轻量的几何特征提取方法，降低整体计算成本。

论文的复现性评估需要从多个维度考虑。代码和数据方面，论文提供了项目主页 https://suhzhang.github.io/GeoSR/，但未明确说明是否开源代码。训练数据方面，静态场景使用SPAR-7M和LLaVA-Hound数据集，动态场景使用DSR-Train数据集，这些都是公开可用的数据集。预训练模型方面，Qwen2.5-VL-7B、VGGT和π3都是公开模型。算力要求是一个重要门槛：静态场景训练需要约14小时（4×H200 GPU，DeepSpeed ZeRO-2），动态场景需要约20小时（4×H200 GPU，ZeRO-3 Offload），推理时模型大小为9.23B参数，占用18.95GB显存。对于资源有限的研究者来说，4×H200 GPU是一个较高的门槛，但论文提供了详细的超参数设置（$\gamma=0.8$, $\beta=0.5$, 瓶颈长度 $L_B=32$ 等），这有助于复现。总体而言，复现难度中等偏高，主要挑战在于算力需求和几何token提取的实现细节。