ReVSI:重建视觉空间智能评测,准确衡量VLM的三维推理能力 ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning
指出VSI-Bench两大系统性缺陷并重建更可靠的3D空间推理评测基准。
前置知识
VLM(视觉语言模型)
能同时理解图像/视频和自然语言的多模态模型。给定若干采样帧和一段文字问题,VLM输出文字回答。在空间智能评测中,VLM通常以16/32/64/128帧的子采样视频作为输入,而非原始的全部帧序列。
ReVSI的所有诊断都围绕现代VLM的真实输入设置展开,理解VLM如何消费稀疏采样帧是理解本文核心问题的前提。
3D空间智能(Visual Spatial Intelligence, VSI)
指VLM对三维室内场景中物体数量、尺寸、距离、方向、布局等几何属性进行推理的能力,通常以ScanNet、ScanNet++等真实扫描数据集为基础构造问答对进行评估。代表工作VSI-Bench包含Object Counting、Absolute Distance等7个子任务。
本文正是对VSI-Bench这一主流评测进行系统性质疑,理解其7个子任务定义有助于理解ReVSI的改进点。
点云3D标注(Point-cloud based 3D annotations)
VSI-Bench等基准的物体标签、3D包围盒、房间区域来源于对RGB-D扫描重建的网格(mesh)进行人工或半自动标注。由于重建噪声、标注流程依赖网格而非原始视频,常出现物体漏标、类别错标、尺寸异常等问题。
本文第一个核心缺陷——标注到视频的ground-truth漂移——就源自此,理解点云标注的局限性是理解ReVSI重新标注工作必要性的关键。
Frame budget(帧预算)
VLM对长视频进行处理时只能采样固定数量的帧(常见16/32/64/128)送入模型。VSI-Bench在全部帧(数千帧)上构造QA,但模型推理时只能看到稀疏子集,导致许多被查询物体并未出现在给定帧中,问题实际上无法回答。
ReVSI的第二个核心贡献「帧预算感知评测」正是为了解决这个问题,必须先理解实际模型输入与基准构建时的差异。
MRA指标与Dummy Video诊断
MRA是VSI-Bench数值题核心指标,对多个相对误差阈值 $\theta \in \{0.5,\dots,0.95\}$ 下的命中率取平均。Dummy Video是ReVSI对照视频(GT恒为0),检验模型是否真依赖视觉证据。
理解这两个工具能帮助你抓住ReVSI诊断实验的核心思路:用受控的视频输入拆解模型「看见」和「答对」之间的因果关系。
研究动机
当前广泛使用的VSI-Bench等空间智能评测存在两个被忽视的系统性缺陷,导致评测信号严重失真。第一个是标注到视频的ground-truth漂移:VSI-Bench的物体标签、3D包围盒、房间面积都来自对ScanNet等数据集的网格重建进行标注,作者手动核查了三个代表性任务发现,在565道Object Counting题中有7%答案错误、5%问题定义模糊,288道Room Size题中27%相对面积误差超过50%,且门、窗等物体的尺寸分布出现明显物理不合理(如图1(a)中的椅子被错标为23→27把,房间面积被错标为46.7 m²,而实际是开阔空间)。第二个是场景可观测性与帧预算不匹配:VSI-Bench在全部数千帧上构造QA对,但现代VLM推理时只能消费16/32/64/128帧的稀疏子集。在16帧设置下,Object Counting仅有77%的题目可回答、53%答案正确,Appearance Order仅28%答案正确;即便64帧,Object Counting的答案正确率也只有94%。这意味着很多题目在模型实际输入下根本无法成立,模型答错究竟是因为看不到物体还是不会推理无从区分。
本文的目标是本文的具体目标有三个:(1)系统性揭示并量化VSI-Bench在标注质量和帧预算两方面的失效模式;(2)发布ReVSI基准,包含381个场景、5365个物体、504个开放词汇标签,比VSI-Bench(288场景、3185物体、65标签)在规模和多样性上都有显著扩展;(3)提出「帧预算感知」和「可视性引导诊断」两个新协议,使每个QA对在模型真实输入下既可回答又答案正确,并通过Dummy Video(无目标物体的对照视频)暴露模型是否真的依赖视觉证据。
与已有工作不同的是，以往工作(无论VSI-Bench、SPAR-Bench还是VSI-SUPER)都默认「点云3D标注 = 视频评测的ground truth」,从未在原始视频上系统验证标注的正确性,也从未将评测的帧预算与模型真实推理帧对齐。空间智能领域的SFT方法如SpaceR、VST、Spatial-MLLM、VLM3R等都在VSI-Bench上汇报巨大提升,但没人追问这些提升是否在更严格的评测下还成立。本文填补的正是「评测可信度」这个被整个领域共同忽视的空白,从一个benchmark维护者的视角,反过来用更可信的评测去诊断已有模型和方法,而不是去刷分。
核心方法
ReVSI的方法可以类比为给一份试卷做「换源 + 重新出题 + 重新计分」三件事。换源:不再用点云网格的旧标签,而是作者团队用自研的Web 3D标注工具(Figures 9-12)对ScanNet v2、ScanNet++ v2、ARKitScenes、3RScan、MultiScan共5个数据集的381个场景重新做物体标签、重力对齐3D包围盒(Algorithm 1)、房间边界多边形标注,并对每个物体记录在16/32/64/all帧下的可视性。重新出题:沿用VSI-Bench的7类任务定义,但为每类补充模板(如跨类计数、单一主房间面积、向相反方向站立的相对方向、最远物体相对距离)并显式过滤会引起歧义的物体(如鞋子、整张床)。重新计分:对每一道QA提供与16/32/64/all帧对应的「帧自适应」答案,而非一个全帧答案;再额外提供Query-Dropped、First-Frame-Repeated、Black三种dummy video作为视觉证据为零的对照,把「模型得分」和「模型真正看见了什么」解耦。
本文核心创新点可以浓缩为一句话:让模型看到的视觉证据,和被问到的问题、被比较的答案,严格一致。具体实现上分两个层次。第一层是「标注/答案与视频对齐」:通过把ground truth从「全帧标注」降维到「按帧预算分别构造可见物体集合和正确答案」,在Table 2中体现为ReVSI对每个16/32/64/ALL帧都重新校验可回答性和答案正确性,这是VSI-Bench未做的。第二层是「显式诊断幻觉」:通过Query-Dropped(去掉所有含目标物体的帧)和Black(全黑帧)两类ground-truth必然为0的dummy video,看模型是否能输出0;能输出0说明模型至少「看得见才说」,不能则说明模型在用场景先验或语言先验猜答案,这一思路在Table 5中直接暴露了Cambrian-S、VST、Spatial-MLLM、VLM3R等SFT模型在object counting上正确率跌至0.0-1.1%的惊人幻觉行为,而InternVL3.5在Black视频上仍能拿到50.3%的物体尺寸估计MRA。
方法步骤详情
ReVSI构建流程分四步。第一步是视频预处理:对ScanNet/ScanNet++统一下采样到640×480@10fps,丢弃相机位姿含NaN的帧;ARKitScenes和MultiScan先手动校正sky-up方向再缩放;3RScan因为官方帧稀疏,直接缩放到360×640@4fps,所有视频由作者手动确认朝向正确。第二步是物体与场景重标注:用Web标注工具对原标注做修正、补漏、重画3D包围盒(Algorithm 1的gravity-aligned OBB),并以「问GPT-5.2当一致性校验、人类做最终决定」的方式给出504个开放词汇标签,每场景平均比VSI-Bench多出50%以上物体。第三步是QA重生成:在保持VSI-Bench模板结构(Table 9)的前提下,为每个任务新增更平衡的模板,例如Object Counting新增「两类物体累计计数」和「this scene」替代「this room」,Object Relative Direction新增「面向相反方向」和四象限front-left/front-right/back-left/back-right;同时对每任务定义exclusion list(Table 10),剔除鞋子、整张床、L型沙发等会引发歧义或可由2D线索直接解的样本。第四步是帧预算与可视性感知:用相机位姿把每个3D物体栅格化到各帧像素,若某帧投影面积超过5%帧面积则自动标记为可见,否则通过Web工具(Figure 11)人工确认;在此基础上生成16/32/64/all四套QA和三种dummy video(Figure 15),并提供给评测者用于受控诊断。
技术新颖性
技术新颖性体现在三个层面:(1)将「评测有效性」显式定义为「QA对在模型真实输入下可回答且答案正确」,并把这一原则落到帧自适应答案生成上,这是VSI-Bench完全缺失的;(2)dummy video作为可解释幻觉诊断工具,首次在3D空间智能评测中把「物体可见性」作为独立变量操控,既不依赖额外的监督,也不依赖白盒访问模型内部,直接通过输入构造+输出比对暴露先验依赖;(3)闭集65类到开放词汇504类的标签升级,以及对Object Size Estimation的尺寸分布主动重采样(Table 11中refrigerator只用170-200cm区间5%、mirror保留全尺寸40%等),从数据源头破坏「靠类别先验猜答案」的捷径。整体上,本文没有提出新的VLM模型或新训练方法,而是提出了一套新的评测范式,这种「以评测驱动认知」的思路在当前刷榜文化盛行的领域里相当稀缺。
实验结果
实验围绕三个对照轴展开。第一是VLM零样本基线对比(Table 3, 64帧):在VSI-Bench上Qwen3-VL-32B以平均61.8高于Gemini 3 Pro的60.5,但切换到ReVSI后趋势反转,Gemini 3 Pro以60.9反超Qwen3-VL-32B的53.3,InternVL3.5-38B也从60.8跌到54.1,开源模型平均掉分3-8分,Object Counting和Relative Distance子任务上掉分最严重,Qwen3-VL-32B的Object Counting从74.0直降到46.9,降幅近40%。第二是空间SFT模型对比(Table 4):VSI-Bench上VLM3R-7B平均60.9、Cambrian-S-7B平均67.5,看似大幅领先基线;在ReVSI上Cambrian-S-7B仅49.1、VLM3R-7B仅50.1,提升幅度大幅缩水,更关键的是SpaceR-7B在ReVSI上从基线Qwen2.5-VL-7B的33.9跌到30.5,Object Counting从34.3跌到30.7,说明强化学习训练反而引入了幻觉。第三是dummy video诊断(Table 5, 16帧下正确率):人工标注的Human对Query-Dropped/First-Frame-Repeated/Black全为100%,GPT-5.2为74.0/89.6/99.2,Qwen3-VL-32B为50.5/92.7/100.0(几乎无幻觉);而所有SFT模型在Query-Dropped上几乎全错,Cambrian-S-7B仅1.1%、Spatial-MLLM-4B-820k仅0.0%,InternVL3.5-38B在Black视频上Object Size Estimation的MRA仍有48.6(表6),而Qwen3-VL-8B对应仅0.7,直接证伪了「高准确率 = 真正推理」的假设。Object Absolute Distance上(Table 3)出现「距离越远MRA越宽容」的伪改善现象(图7),Qwen3-VL-32B在6m以上才出现明显绝对误差增长,但VSI-Bench短距离题占比高,MRA对小值惩罚更严,导致VSI-Bench系统性低估长程空间能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Object Counting (64帧, NQ) | MRA | Gemini 3 Pro 60.1 / Qwen3-VL-32B 46.9 / InternVL3.5-38B 43.8 | VSI-Bench同模型:Gemini 3 Pro 45.3 / Qwen3-VL-32B 74.0 / InternVL3.5-38B 73.9 | 开源模型掉分20-30分,显示VSI-Bench系统性高估靠先验的猜答能力 |
| Object Absolute Distance (64帧, NQ) | MRA | Gemini 3 Pro 54.7 / Qwen3-VL-32B 65.0 | VSI-Bench:Gemini 3 Pro 38.3 / Qwen3-VL-32B 57.0 | ReVSI绝对得分提升约8分,因为去除了<1m的2D可解短距问题 |
| Room Size Estimation (64帧, NQ) | MRA | Gemini 3 Pro 51.9 / InternVL3.5-38B 58.4 | VSI-Bench:Gemini 3 Pro 47.4 / InternVL3.5-38B 65.0 | 去噪后的房间多边形使任务更难,开源模型掉分约7分 |
| Spatial SFT模型平均 (ReVSI, 64帧等价) | Avg MRA/Acc | Cambrian-S-7B 49.1 / VLM3R-7B 50.1 | 对应基线Qwen2.5-VL-7B 32.6-33.9 / VSI-Bench同模型67.5/60.9 | VSI-Bench显示巨大提升(+33/+27),ReVSI仅+16/+17,部分模型(SpaceR)反而比基线低3-5分 |
| Dummy Video (16帧, Object Counting) | Exact Match (=0) | Qwen3-VL-32B 50.5/92.7/100.0 (QD/FF/Black) | Cambrian-S 1.1/2.8/0.0; Spatial-MLLM-820k 0.0/0.0/0.0; InternVL3.5-38B 9.1/45.0/1.2 | Qwen3-VL幻觉率比InternVL3.5低约40-90分,SFT模型几乎完全不会说「我没看见」 |
| Dummy Video (16帧, Object Size, Black) | MRA(=0理想) | Qwen3-VL-8B 0.7 / Qwen3-VL-32B 0.3 | InternVL3.5-8B 50.3 / InternVL3.5-38B 48.6 | InternVL3.5在完全黑屏上仍能答对一半以上,几乎完全靠先验 |
局限与改进
作者明确承认的局限是ReVSI的扩展性受限于专家级人工标注的成本:381个场景、5365个物体、504类标签全部由具备3D数据经验的作者手工完成,GPT-5.2仅作为标签一致性校验,不参与最终标注;因此短期内难以扩展到训练规模的监督。独立的额外观察:ReVSI的评测样本量(尤其是对proprietary模型,仅用约16%的1093个样本做tiny评估)与VSI-Bench的差异可能放大估计方差,部分微小的分数变化(如Gemini 3 Flash 65.7 vs Gemini 3 Pro 60.1的Object Counting反转)需要更大样本验证;另外,16帧下被排除的Room Size和Route Planning两道题并非「必然不能答」,而是作者基于经验判断「大概率答不出」,未来可以引入动态可答性判断来减少人为先验;dummy video构造假设了「看到物体帧被去掉后ground truth = 0」对Object Counting成立,但对Relative Distance等题这种处理并不直接适用,论文目前只覆盖了Counting和Size两个任务。
独立分析的弱点
独立分析三个可改进点。第一,dummy video的诊断能力目前只对Object Counting和Object Size Estimation两个数值任务定义清晰,Relative Distance和Relative Direction类选择题即便答错也分不清是「没看见」还是「看见了但推理错」,建议未来为每类任务都设计对应的zero-evidence控制(如Relative Direction可构造目标物体始终在模型背面的dummy video,期望答案是back或随机分布)。第二,ReVSI的「帧自适应答案」在每帧预算下独立校验了可视性和答案,但没有在评测时同时报告「如果模型只能看到1帧会怎样」或「如果帧来自非均匀采样会怎样」两种更激进的设置,这对长视频模型和超长视频模型(如Gemini 3 Pro默认1FPS)其实很关键,目前Gemini 3 Pro在Table 3中用1FPS采样但被当作「无限帧」来评估,严格来说应当与「64帧」区分。第三,论文的Open Vocabulary标签体系虽然从65扩到504,但Top-300词云中仍由chair、table、door、sofa等少数家具主导(图16),长尾分布并未根本改变,建议借鉴LVIS或更细粒度的属性(材质、颜色、风格)做进一步细粒度扩展,避免模型仍通过「高频家具名→典型尺寸」的捷径得分。
未来方向
作者在结论与Limitations中明确提出未来需要「自动化或半自动化的高质量空间监督生成管线」,以打破人工标注的扩展瓶颈。基于成果可延伸的方向至少有四个:(1)把dummy video诊断工具开放成VLM空间推理的标准化体检流程,类似医学的对照组实验;(2)把ReVSI的QA对和可视性元数据扩展到embodied/robotics setting(文中提到的EmbSpatial-Bench和RefSpatial-Bench),解决agent视角下的ground-truth漂移;(3)结合本文发现的「训练数据噪声导致SFT模型幻觉」现象,反思SpatialVLM、Cambrian-S等大规模合成数据流水线的标注质量,探索弱监督/自校验的数据清洗方法;(4)把评测从「闭集正确答案」扩展到「区间可接受答案」或「分布级正确」,因为许多空间问题(如房间面积)本身就没有唯一精确答案,目前MRA的固定阈值 $\theta \in C$ 仍可能过严。
复现评估
复现友好度较高但有门槛。代码、数据、官方Tiny评测集和Hugging Face页面都在论文明确给出(论文中标注了Project Page、GitHub、Hugging Face三个链接),所有重标注流程、QA生成脚本、Frame Budget构造、dummy video构造都公开,核心实现基于NumPy、Open3D等成熟库,标注工具是自研Web应用,源码可读性较好。算力方面,所有零样本模型用ModelScope SWIFT和LMMs-Eval框架在greedy decoding下推理,proprietary模型用1.6k样本的tiny子集,Gemini 3用1FPS、其余开源模型固定64帧,单卡A100/H100即可复现大多数实验;但SpaceR、VLM3R、Spatial-MLLM等SFT模型需要按各自官方仓库的依赖复现微调,部分模型(如Cambrian-S-7B)需要128帧推理显存较大,中小实验室可能需要多卡。整体难度:数据准备零门槛(直接下载ReVSI),但要复现SFT对比的完整Table 4需要数张A100级别GPU,1-2周时间可完整复现主表。
论文图表
上半部分(a)展示Poor Annotation Quality:同一房间里椅子被错标为23→27把、房间面积46.7 m²实为开阔空间;(b)展示Invalid QA Pairs:对6个枕头的Object Counting题,64帧时答案为4,32帧为3,16帧只剩1,直接说明帧数变化就能让正确答案失效;右下(c)是各模型在dummy video上的幻觉率热力图,InternVL3.5接近100%,Qwen3-VL接近0%。
这是全文的teaser figure,一张图同时呈现了标注噪声、帧采样敏感性、模型幻觉三大核心问题,让读者30秒内理解本文的全部痛点。
左上:Object Counting的Correct/Wrong/Ambiguous分布,7%答案错误、5%题目本身模糊;右上:Room Size Estimation的相对面积误差直方图,RAE>50%占27%,很多图书馆等开放空间因Alpha Shape算法误算;下方:门和窗的高度分布直方图,大量样本落在物理不合理的区间(标注为Wrong的柱子)。
用具体数字量化了VSI-Bench标注噪声的严重程度,是支撑「必须重做标注」这一判断的核心证据,直接驱动了ReVSI的标注设计。
三组柱状图,左列是Question Answerability(可回答比例),右列是GT Answer Correctness(答案正确比例)。16帧下Object Counting只有77%可回答、53%答案正确;Appearance Order在64帧下答案正确率仍只有70%,Object Size Estimation在16帧下可回答率仅85%。
这是「帧预算与答案不匹配」问题最直接的实证,说明VSI-Bench在常用帧设置下存在大量「无法回答的题目」,直接催生了ReVSI的帧自适应QA设计。
6个ScanNet/ScanNet++场景,每个场景展示3D mesh和原始视频两个视角,标注了VSI-Bench的答案vs实际答案。典型例子:门长度VSI-Bench报101 cm实际>200 cm,键盘数VSI-Bench报2实际4,房间面积18.8 m²实际29.2 m²,还有把Cup错标为Notebook、Telephone错标为Cables等明显的类别错误。
用具体场景而不是抽象数字证明「标注噪声是VSI-Bench的普遍问题」,是说服读者「必须重做标注」最直观的证据。