SPACENUM：重新审视视觉语言模型中的空间数值理解 SPACENUM: Revisiting Spatial Numerical Understanding in VLMs
提出SPACENUM基准揭示VLMs在空间数值理解上的系统性缺陷
前置知识
视觉语言模型（VLMs）
视觉语言模型是能够同时处理图像和文本的多模态深度学习模型。它们通常由视觉编码器（如CLIP ViT）提取图像特征，语言解码器（如Transformer）处理文本，通过跨模态注意力机制实现视觉和语言的交互。VLMs可以执行图像描述、视觉问答、零样本分类等任务，是当前多模态AI的核心技术之一。
本文研究的核心对象，需要了解VLMs的基本架构和工作原理，特别是视觉特征提取与语言生成的结合方式，才能理解为何模型在空间数值理解上存在困难。
认知地图（Cognitive Map）
认知地图是指智能体在环境中探索时构建的内部空间表示，通常包含物体位置、相对距离、方向关系等空间信息。在机器人导航和空间推理中，认知地图是记忆和理解环境的关键结构。数值形式化的认知地图可能用坐标、边界框或关系图来表示空间布局。
论文中静态布局场景的核心概念，涉及如何用数值坐标表示空间结构，以及VLMs能否从视觉观察中推断出这种结构化的空间表示。
LoRA微调
LoRA（Low-Rank Adaptation）是一种参数高效的微调方法，通过在预训练模型的权重矩阵上添加低秩分解的适应矩阵来实现微调，只训练少量参数就能获得良好性能。典型设置包括rank 8、alpha 16，学习率 $1 \times 10^{-4}$，使用余弦退火调度和bfloat16精度。相比全参数微调，LoRA大大降低了存储和计算开销。
论文中用于改善VLMs空间数值理解能力的技术手段，需要理解其工作原理才能评估论文中微调实验的有效性和改进幅度。
研究动机
当前视觉语言模型在具身环境中日益广泛地应用，需要生成带有明确数值的输出，如机器人导航时的动作幅度rotate_left(20度)或空间推理中的物体坐标。虽然这些数值输出看起来合理，但它们是否真正基于空间感知的度量属性仍不清楚。现有研究如SAT、OmniSpatial等主要关注模型是否理解空间变化本身，但并未深入研究参数化这些变化的数值是否真正具有空间意义。论文作者观察到，在空间探索中，数值描述状态转换的幅度，作为连续观察之间的过渡量；在空间理解中，数值编码相对空间关系，对应静态的相对空间布局。这两种场景下的数值都应该具有明确的度量意义，但现有VLMs可能只是在生成合理的数值而非真正理解其空间含义。
本文的目标是本文旨在系统性地研究当前VLMs是否真正理解作为空间中度量量的数值，以及生成的数值是否基于空间的度量属性。通过构建统一的SPACENUM框架，覆盖动态转换和静态布局两种互补的场景，作者希望揭示VLMs在空间数值理解方面的能力边界和失败模式。
与已有工作不同的是，本文的独特切入角度在于直接研究空间数值理解，而不仅仅是空间理解或空间推理。与已有工作不同，SPACENUM关注数值本身是否作为有意义的空间量被模型理解，而不是将数值作为辅助标签或输出。通过定义双向任务NUM2SPACE（数值到视觉）和SPACE2NUM（视觉到数值），作者能够从两个方向系统性地评估VLMs的空间数值映射能力，发现视觉到数值和数值到视觉之间的不对称性，这种不对称性在以往研究中未被充分探索。
核心方法
SPACENUM框架采用双场景、双向任务的设计来评估空间数值理解。两种场景包括动态转换（spatial exploration）和静态布局（spatial understanding），分别对应数值作为过渡量和数值作为布局表示的两种用法。对于每种场景，作者设计了NUM2SPACE和SPACE2NUM两个双向任务，形成完整的评估矩阵。动态转换数据使用AI2-THOR模拟器生成，涵盖Move Forward/Backward/Left/Right和Rotate Up/Down/Left/Right等动作，动作参数范围从0.2米到2.4米、10度到70度。静态布局数据使用NVIDIA Isaac Sim构建，基于两个锚点物体定义坐标系，第三个目标物体在不同位置和大小时生成布局变化。整个基准包含3,800个测试样本和77,412个训练样本，涵盖1D、2D、3D坐标表示以及桌面级和房间级场景。
核心创新在于将空间数值理解问题分解为两种互补场景和双向映射任务，从而能够系统性地诊断VLMs的失败模式。不同于以往工作仅关注模型能否执行空间推理，SPACENUM关注数值本身的度量意义。通过NUM2SPACE和SPACE2NUM的双向设计，作者发现了视觉到数值映射和数值到视觉映射之间的显著不对称性：在动态转换中，模型在SPACE2NUM上表现更好，说明动态转换更依赖视觉信息；在静态布局中，模型在NUM2SPACE上表现更好，说明静态布局更依赖语言侧的空间先验。这种双向评估框架是本文与已有工作的本质区别。
方法步骤详情
方法包含数据收集、任务定义和评估分析三个主要步骤。数据收集阶段，对于动态转换，在AI2-THOR中执行参数化动作并记录连续观察，确保动作覆盖、转换连续性、视觉锚定和数据有效性四个约束条件。动作参数范围通过表1定义：Move F/B为0.2–2.4米，Move L/R为0.2–1.2米，Rotate U/D/L/R为10–70度。对于静态布局，在NVIDIA Isaac Sim中使用两个锚点物体构建坐标系，放置第三个目标物体时产生位置、大小或两者的变化。任务定义阶段，NUM2SPACE任务输入为初始观察o_t、动作a和数值n，要求从候选中选择正确的观察o_t+1；SPACE2NUM任务输入为o_t、o_t+1和a，要求推断数值n。评估分析阶段，在18个VLM上测试，使用bfloat16精度、温度0.7、top-p 0.9、top-k 50，在4张NVIDIA H100 (80GB) GPU上运行。后续进行错误分析、推理轨迹分析、盲测试、视觉干预、表示干预和微调实验。
技术新颖性
技术新颖性体现在多个方面：首先，SPACENUM是首个直接研究空间数值理解的基准，而非仅关注空间关系或变化本身。其次，双向任务设计揭示了视觉-数值映射的不对称性，这一发现在以往研究中未被报道。第三，通过错误邻近度分析（对动态转换错误分配{100, 70, 40, 0}分）和错误分解分析（将静态布局错误分为位置错误、大小错误或两者错误），作者发现了模型失败的结构化模式：更大规模的模型在动态转换中犯的错误在数值上更接近正确答案，而静态布局错误倾向于同时出现位置和大小的联合错误。第四，通过推理轨迹分析，作者识别出三个关键失败模式：过早停留在粗略空间线索、缺乏反事实幅度推理、在图像空间而非任务定义的坐标系中推理。这些发现为改进VLMs的空间数值理解能力提供了明确方向。
实验结果
核心发现是当前VLMs在空间数值理解上存在系统性缺陷。在18个VLM（2B到72B规模）上的评估显示，最佳模型Qwen2.5-VL-72B平均准确率仅39.8%，接近随机猜测（30.0%），多个模型甚至低于随机基线。动态转换场景下，所有动作类型的表现都持续低迷，强模型仅达到约40%，仅比随机基线高10个百分点，表明模型普遍未能建模转换动力学。静态布局场景显示出清晰的结构模式：模型在简单设置如1D布局和桌面级场景中表现相对较好（1D-Map (D)达到50–71%），但在高维和房间级设置中性能大幅下降（3D-Map (D)仅25–28%），仅略高于25%的随机基线。双向任务分析揭示强烈的不对称性：在动态转换中，SPACE2NUM持续优于NUM2SPACE，如Move F/B的SPACE2NUM为37–44%而NUM2SPACE为32–38%；在静态布局中，NUM2SPACE持续优于SPACE2NUM，如1D-Map (R)的NUM2SPACE为64–71%而SPACE2NUM仅18–33%。错误邻近度分析显示，随着模型规模增大，预测数值在动态转换中更接近正确答案，表明扩展能改善粗略空间敏感性但精确数值接地仍困难。静态布局错误分析显示联合位置-大小错误占主导，表明模型依赖粗略整体匹配而非解耦空间推理。显式推理（链式思维）带来的提升微乎其微（差异通常在1%以内），主要失败模式包括过早停留在粗略线索、缺乏反事实幅度推理、在图像空间而非任务坐标系中推理。微调实验显示LoRA微调能部分改善性能，在转换与布局数据比例为25:75时达到最佳效果。微调模型在外部基准OS-Motion、SAT-AC、SAT-OM上显示一致提升，8B模型在SAT-OM上提升高达43.5%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SPACENUM Overall | Accuracy (%) | 39.8 (Qwen2.5-VL-72B) | 30.0 (Random Guess) | +9.8 |
| Dynamic Transition SPACE2NUM | Accuracy (%) | 44.0 (Qwen2.5-VL-72B, Rotate L/R) | 25.0 (Random Guess) | +19.0 |
| Static Layout NUM2SPACE 1D-Map (D) | Accuracy (%) | 71.0 (Qwen2.5-VL-32B) | 50.0 (Random Guess) | +21.0 |
| Static Layout SPACE2NUM 3D-Map (D) | Accuracy (%) | 26.8 (Qwen2.5-VL-72B) | 25.0 (Random Guess) | +1.8 |
| External Benchmark SAT-OM (8B model) | Accuracy Improvement (%) | +43.5 | Pre-tuning baseline | +43.5 |
局限与改进
作者承认的局限性包括研究主要集中在受控的空间设置、基于离散候选的评估和模拟环境。扩展到更开放的真实世界场景、具身交互和连续空间预测设置仍然是未来重要方向。作者主要从视觉和语言侧分析失败，而VLMs内部如何执行空间推理仍然很大程度上未被探索。虽然进行了初步的基于注意力的分析，但当前VLMs中严重的注意力塌陷使得难以得出明确结论。本文自己的观察包括：基准测试仅包含4个候选选项，实际应用中可能需要处理更开放的输出空间；动作参数和布局变化的范围相对有限，可能无法完全覆盖现实世界中的空间变化多样性；评估主要依赖准确率指标，对于数值偏移的严重程度没有充分的量化评估。
独立分析的弱点
论文的主要弱点包括评估范式的局限性。使用4选1的多项选择格式可能低估了模型的实际能力，因为模型可能理解了空间概念但难以在候选选项间做出精确区分。动作参数范围和布局变化空间相对受限（如移动距离最大2.4米、旋转角度最大70度），未能充分测试模型在更大空间尺度下的泛化能力。动态转换场景仅包含6种基本动作类型，缺少更复杂的复合动作和连续动作序列。静态布局场景仅涉及最多3个物体，未能评估模型在更复杂多物体场景中的表现。微调实验使用的训练数据量（77,412样本）相对较小，可能限制了对数据缩放效应的充分研究。推理轨迹分析仅限于定性观察，缺少对推理质量与最终性能之间相关性的定量分析。另一个重要弱点是缺少对模型内部表示的深入分析，虽然作者提到注意力塌陷问题，但并未提供替代的内部分析方法来理解模型如何（或未能）表示空间数值信息。
未来方向
作者提出的未来方向包括将空间数值理解扩展到更开放的真实世界场景、具身交互和连续空间预测设置。理解VLMs内部如何执行空间推理仍然是重要方向，尽管注意力塌陷带来挑战。基于论文成果可延伸的方向包括：探索如何设计专门的空间数值感知架构，如引入明确的坐标表示层或空间数值推理模块；研究如何从更广泛的多模态数据中学习空间数值接地，包括视频、传感器数据和用户交互；开发更具诊断性的评估指标，不仅测量准确率还量化数值偏移的严重程度；探索主动学习或课程学习方法，从简单到复杂逐步提升模型的空间数值理解能力；研究如何将空间数值理解与其他认知能力（如时间推理、因果推理）结合；开发专门针对空间数值理解的预训练目标，如预测动作的度量后果或推断隐藏的坐标参数；探索跨语言、跨文化对空间数值表示的影响。
复现评估
论文提到项目页面为https://sterzhang.github.io/SpaceNum-Home/，但未明确说明数据和代码是否开源。数据生成完全依赖模拟器（AI2-THOR和NVIDIA Isaac Sim），这增加了复现复杂度。评估在4张NVIDIA H100 (80GB) GPU上运行，硬件要求较高。微调实验使用特定LoRA设置（rank 8, alpha 16, 学习率 $1 \times 10^{-4}$, 3个epoch, 有效批大小128），这些超参数需要精确复现。实验使用温度0.7、top-p 0.9、top-k 50的推理配置，不同采样策略可能影响结果。论文提到使用bfloat16精度和Flash Attention 2，这些实现细节需要注意。整体复现难度中等偏高，主要挑战在于模拟器环境配置、大规模模型访问和计算资源需求。如果能提供完整的数据集、评估脚本和模型检查点，复现难度将显著降低。
论文图表
左图展示了数值表示改变的影响，包括将数字转换为自然语言（NL）和整数缩放表示（Int.），如将米转换为厘米。结果显示自然语言转换带来的提升可忽略，整数缩放仅在较大模型的转换任务中提供有限改进（如InternVL3.5-38B在转换任务上提升4.5%），布局推理性能基本不变。右图展示了将布局图像替换为逐步结构化的抽象表示（点、2D框、3D框）的效果。结果显示这显著改善了SPACE2NUM，而对NUM2SPACE的影响较小。
这个图对理解论文重要，因为它识别了空间数值理解的主要瓶颈。左图说明数值的表面形式不是主要问题，瓶颈不在于如何表达数值。右图揭示关键发现：主要瓶颈在于视觉到结构的抽象，即当前VLMs难以将原始视觉观察转化为适合数值推理的结构化空间表示。SPACE2NUM的大幅改善说明一旦提供结构化表示，模型就能更好地推断数值。
该表格展示了在4B模型上使用GRPO进行强化学习调优的性能提升。比较了严格精确匹配奖励和基于错误幅度的分级奖励两种奖励设计。结果显示RL带来的整体提升有限，转换任务在严格奖励下提升6.38%，分级奖励下提升6.88%；布局任务在严格奖励下提升6.64%，分级奖励下提升7.60%。在子任务上，NUM2SPACE的改善（提升8.10/9.37）大于SPACE2NUM（提升5.05/5.52）。分级奖励在所有指标上都略优于严格奖励。
这个表格对理解论文重要，因为它评估了强化学习作为改善空间数值理解方法的潜力。结果显示RL带来的提升有限，说明单纯通过奖励信号优化难以解决空间数值接地的根本问题。分级奖励略优于严格奖励，说明考虑错误幅度是有益的，但整体效果仍然有限，这进一步支持了论文的核心论点：问题不在于优化策略而在于模型的空间表示和推理能力。
该表格展示了调优后模型在外部空间推理基准上的性能提升。包含OS-Motion（相机运动理解）、SAT-AC（动作后果预测）和SAT-OM（物体运动理解）三个任务。4B模型在这些任务上的提升分别为提升5.5%、提升8.1%和提升34.8%。8B模型的提升分别为提升4.5%、提升18.9%和提升43.5%。SAT-OM的改善特别大，说明调优增强了模型对物体动力学的推理能力。8B模型的改善总体上大于4B模型，特别是在SAT-AC和SAT-OM上。
这个表格对理解论文重要，因为它证明了学到的能力超越了SPACENUM基准本身。如果调优只是过拟合到SPACENUM的任务格式，那么在外部基准上不应该有一致的提升。三个外部基准上的持续改善说明调优改善了通用的空间推理能力，而非仅仅是任务特定的技巧。特别是SAT-OM上的大幅提升表明模型对物体动力学的理解得到了实质性改善。