← 返回 2026-05-22

SpaceDG：视觉退化条件下的空间智能基准测试 SpaceDG: Benchmarking Spatial Intelligence under Visual Degradation

Xiaolong Zhou, Yifei Liu, Ziyang Gong, Jiarui Li, Qiyue Zhao, Muyao Niu, Yuanyuan Gao, Le Ma, Xue Yang, Hongjie Zhang, Zhihang Zhong 📅 2026-05-21 👍 28 2026-07-13 08:36
3DGS 基准测试 多模态大语言模型 空间智能 视觉退化鲁棒性 退化感知训练
arXiv HuggingFace PDF

用3DGS物理退化引擎构建首个评测退化下MLLM空间智能的大规模基准。

前置知识

3D Gaussian Splatting (3DGS)

一种用一组各向异性3D高斯基元表示场景的新视图合成方法，每个高斯带有位置、协方差、不透明度与球谐系数。通过可微光栅化可从任意相机视角实时渲染RGB与稠密深度，相比NeRF训练快、显存友好且可解析几何。

SpaceDG把退化嵌入3DGS渲染管线本身，必须理解其可微光栅化与位姿/深度输出，才能看懂pre-render退化如何保证多视图几何不变。

Spatial Intelligence（空间智能）

指模型从2D视觉观测推断3D物理结构、相对方位与几何关系的能力，包括相机平移/旋转估计、物体计数、距离与尺寸估计、相对方位判断等。是具身智能与自动驾驶系统的基础感知-推理能力。

本文评测的核心能力，11类空间任务均围绕此设计，理解其定义才能判断退化对各子能力（相机中心 vs 物体中心）的影响差异。

Visual Degradation（视觉退化）

图像在采集、传输、部署中出现的质量下降。论文系统建模9类物理退化：散焦、畸变、运动模糊、雾、水滴、低光、过曝、JPEG压缩、低分辨率，分属光学动态、气象、光度、数字四大类，并各自源自物理形成过程。

本文的研究对象，理解每类退化的物理形成过程是读懂退化合成引擎（pre/post-render）与Figure 6相关性分析的前提。

Mean Relative Accuracy (MRA)

用于评估数值型答案（如距离、3D尺寸）的指标，以相对误差阈值判断正确性。论文取阈值集合 $\Theta=\{0.50,0.55,...,0.95\}$，对每个 $\theta$ 统计预测值 $\hat{y}$ 满足 $|\hat{y}-y|/y\le\theta$ 的比例后加权聚合。

空间任务大量输出数值答案，传统Accuracy无法衡量，MRA是SpaceDG评测的关键指标，必须理解其阈值含义才能读懂Table 2的数值。

Point-Biserial Pearson相关系数 $|r|$

衡量二元变量与连续变量相关性的统计量。本文以 $|r|$ 度量clean（$x=0$）与退化（$x=1$）条件下模型得分 $y$ 的关联，$|r|$ 越大表示退化对该切片（任务/退化类型）影响越显著。

Figure 6相关性分析的核心统计量，理解它才能看懂为何低光与雾最致命、物体中心任务比相机中心任务更敏感。

研究动机

现有空间智能基准（如Cambrian-S、VST、SenseNova-SI所依赖的数据集）几乎都建立在"完美观测"假设之上：使用清晰、高分辨率、光照良好的图像。然而真实世界中的具身智能体与自动驾驶系统在采集、传输、部署中不可避免地遭遇运动模糊、低光照、镜头畸变、压缩伪影、恶劣天气等退化。这些退化在低层视觉领域已被深入研究（ImageNet-C等corruption基准），但当前MLLM在受损观测下进行精细空间推理的能力仍是空白。空间推理高度依赖物体边界、相对位置、多视图一致性等精细几何证据，退化对其影响可能远超语义识别任务，亟需一个同时满足"退化真实、几何结构保留、真值可靠"的系统化评测基准。

本文的目标是本文目标是构建首个面向"退化感知空间理解"的大规模数据集与基准。SpaceDG数据集基于3DGS物理退化合成引擎生成约1M QA对、覆盖160K+图像与9类物理退化；SpaceDG-Bench为人工核验的1,102题基准（9,918个VQA对），覆盖11类空间推理任务。通过评测25个闭源/开源/空间专精/机器人脑模型，量化退化对空间智能的冲击，并验证退化感知SFT能否提升鲁棒性，最终证明模型在退化条件下不仅接近、更能超越人类水平（在退化条件下比人类59.5%高6.6个百分点）。

与已有工作不同的是，既有MLLM鲁棒性评测主要面向语义识别或基础视觉推理（如ImageNet-C衍生工作），未触及精细空间智能。本文的独特切入角度是：以3DGS作为几何一致、可渲染的场景表示，把退化形成过程嵌入渲染管线本身（pre-render注入散焦/畸变、post-render注入雾/低光/压缩等），从而保证退化图像背后3D空间真值完全不变，问答答案可直接从相机外参、3D框中心、物体尺寸与相对方位精确计算。这种"物理建模+几何不变"的设计既保证退化真实又保证答案可靠，弥补了现有鲁棒性基准"退化仅为2D叠加噪声"或"空间真值不可信"的双重缺口。

核心方法

整体思路是：先用可渲染的3D表示把场景"锁住"其几何，再在渲染过程或线性光域注入物理退化，保证退化前后空间真值不变；同时在干净的几何-语义标注上自动生成空间问答，最后把退化图像与几何真值答案配对，构成训练/评测数据。技术路线分四步：以DepthAnything-v3与COLMAP重建几何约束的3DGS、SAM3生成语义掩码并提升为3D实例；按共视性与基线约束采样单/双视图并套用结构化模板从相机外参与3D框计算答案；在渲染域或RGB域注入9类退化；两阶段（Qwen3-VL-32B+人工）质量过滤。整个引擎保证退化既物理真实又几何不变。

核心创新是把"退化"从"事后贴在RGB上的噪声"提升为"嵌入3DGS渲染管线的物理过程"，使退化既真实又几何不变。具体地，pre-render阶段对3DGS点云/相机施加散焦、畸变、运动模糊等几何相关退化，post-render阶段在渲染RGB或线性光域施加雾、水滴、低光、过曝、JPEG压缩、低分辨率等光度与数字退化。这与传统2D图像增强叠加corruption的方法本质不同：前者保留多视图几何一致性，后者会破坏之；同时答案由3D标注严格推出，而非依赖易错的2D估计，从源头保证benchmark的可信度。这也是SpaceDG-SFT能同时提升clean与退化性能的根基。

方法步骤详情

步骤1（重建）：用DepthAnything-v3估计深度先验、COLMAP估计位姿，优化几何约束的3DGS，得到可渲染场景+稠密深度+标定位姿。步骤2（分割）：SAM3对关键帧输出2D语义掩码，借助深度、位姿与框IoU跨视图关联，得到3D实例（含3D框、可见帧列表、最高置信视图）。步骤3（描述）：对每个3D实例在其最高置信掩码图上请VLM生成简短语言描述，避免在评测图上添加人工标记（框/点）。步骤4（QA生成）：以共视性（depth-supported重投影一致性，沿用MapAnything）与最小基线约束采样单/双视图，套用11类结构化模板，由相机外参与3D框中心计算答案，输出多选/二值/数值。步骤5（退化）：按物理公式注入9类退化。步骤6（验证）：Qwen3-VL-32B初筛+两位专家独立复核。

技术新颖性

技术新颖性体现在三个层次。其一，首次提出"几何不变的物理退化合成"：退化嵌入3DGS渲染或线性光域，9类退化覆盖光学动态/气象/光度/数字四大类，且保证3D空间真值不变，相较ImageNet-C等纯2D corruption更真实且可溯源，同时天然支持多视图退化一致性。其二，把退化感知与空间智能首次结合，设计11类任务横跨相机中心（平移/旋转）、物体中心（计数/方向/距离/尺寸）、相机-物体关系（跨视图方向/相对位置）三种视角配置，并以MRA（$\Theta=\{0.50,...,0.95\}$）统一处理数值答案。其三，发现并量化"退化感知SFT可让模型在退化条件下超越人类且不损失clean性能"，并揭示"空间微调换来鲁棒性但牺牲退化理解敏感性"的trade-off，为后续研究指明方向。

Four degradation categories and their specific degradation QA Examples
Figure 2: Four degradation categories and their specific degradation QA Examples
The SpaceDG data engine
Figure 3: The SpaceDG data engine
Distribution of SpaceDG and SpaceDG-Bench
Figure 4: Distribution of SpaceDG and SpaceDG-Bench

实验结果

评测25个模型得到四点核心发现。第一，退化一致性损害空间推理：所有模型退化分数均低于clean，例如Gemini-3.1-Pro从63.1%降到56.7%，InternVL3.5-38B从52.9%降到47.7%，Qwen3.6-Plus在散焦与低光上跌幅最大。第二，人类亦受冲击：人类clean达80.4%但退化仅59.5%（-20.9%）。第三，退化感知SFT显著有效：SpaceDG-SFT-Qwen3-VL-8B在clean从49.1%升到73.2%、退化从42.1%升到66.1%，退化条件下甚至超人类59.5%达6.6个百分点。第四，非图像基线GPT-5.4仅35.1%、Qwen3-VL-8B仅33.5%，接近随机猜测，证明基准几乎无语言捷径。此外CoT对退化推理反而有害（Gemini-3.1-Flash-Lite从48.8%降到47.0%），低光与雾最致命，物体中心任务比相机中心任务更敏感。

Statistics of SpaceDG and SpaceDG-Bench
Table 1: Statistics of SpaceDG and SpaceDG-Bench
Quantitative comparison of models on SpaceDG-Bench
Table 2: Quantitative comparison of models on SpaceDG-Bench
Performance changes when degradation type and severity are explicitly provided by prompts
Table 3: Performance changes when degradation type and severity are explicitly provided by prompts
CoT performance of Gemini-3.1-Flash-Lite on SpaceDG-Bench
Table 4: CoT performance of Gemini-3.1-Flash-Lite on SpaceDG-Bench
Per-degradation performance of representative models
Figure 5: Per-degradation performance of representative models
Degradation-wise correlation analysis
Figure 6: Degradation-wise correlation analysis
查看结构化数据
任务指标本文基线提升
SpaceDG-Bench 整体（退化平均） Average Accuracy/MRA (%) SpaceDG-SFT-Qwen3-VL-8B: 66.1（退化avg）；clean 73.2 Gemini-3.1-Pro 56.7；GPT-5.4 46.2；基座Qwen3-VL-8B-Instruct 42.1；人类 59.5 退化avg 比基座 +24.0个百分点；比最强闭源Gemini-3.1-Pro +9.4；超人类 +6.6
SpaceDG-Bench clean image Accuracy/MRA (%) SpaceDG-SFT-Qwen3-VL-8B: 73.2 Gemini-3.1-Pro 63.1；基座Qwen3-VL-8B-Instruct 49.1；人类 80.4 比基座 +24.1；比最强闭源Gemini-3.1-Pro +10.1（SFT不损失clean性能）
SpaceDG-Bench 各退化子项（SFT-Qwen3-VL-8B） Accuracy (%) 散焦65.6/畸变69.2/雾62.2/JPEG67.5/低光59.2/低分辨率63.9/运动模糊66.1/过曝70.3/水滴67.5 基座Qwen3-VL-8B对应值范围约36.1-48.5 各子项平均提升 15-24个百分点，过曝/畸变提升幅度最大
退化类型+严重度显式提示（Table 3） 平均Accuracy变化 (%) 空间微调模型 SpaceDG-SFT-Qwen3-VL-8B: -0.0（几乎无变化） 通用模型 Qwen3-VL-8B-Instruct: +0.8；Qwen3-VL-4B-Instruct: +1.4（最大） 揭示反直觉发现：空间微调换来鲁棒性但牺牲退化理解敏感性
CoT对退化推理影响（Table 4，Gemini-3.1-Flash-Lite） Accuracy (%) with CoT: 47.0 w/o CoT: 48.8 CoT反而降低1.8个百分点，证明通用CoT对退化推理有害

局限与改进

作者明确承认：(1)人类基线仅在900题子集上评测，代表性有限；(2)退化类型固定为9类单因素，未覆盖多退化叠加；(3)数据源自ScanNet++室内场景，室外/大规模未验证。我的额外观察：(4)仿真退化与真实传感器退化（如雨雾+运动模糊+传感器噪声耦合）仍存在domain gap，SFT收益能否迁移到真实部署未验证；(5)SpaceDG-Bench仅9,918对，对25个模型做绝对排名时部分11类子任务样本偏少，方差可能较大；(6)CoT有害结论仅在Gemini-3.1-Flash-Lite单模型上得出，泛化性存疑；(7)所有评测为zero-shot，未探索few-shot或in-context退化提示的潜力；(8)3DGS在反光/透明/天空区域重建质量差，可能把重建误差伪装成退化影响。

独立分析的弱点

独立分析三点弱点及改进方向。第一，退化类型为单因素独立注入，而真实世界常多重叠加（如夜间+运动模糊+压缩），可设计组合退化并标注主导因素，引导模型学习退化解耦与因果归因。第二，仅评测zero-shot与SFT，缺少对"in-context退化提示"的系统消融——Table 3已显示显式退化类型对通用模型有效（+0.6~+1.4），可探索检索式退化提示工程或轻量退化适配器。第三，评测场景限于ScanNet++室内，3DGS在反光/透明/弱纹理区域重建质量差会放大误差；可引入更广的室外/街景/动态场景，并用NeRF/3DGS不确定性估计筛选高质量样本。此外退化形成参数（强度区间）固定，可做强度连续可调以研究性能-强度曲线，从而量化每类退化的"临界失效点"。

未来方向

作者提出退化感知训练是构建鲁棒空间MLLM的有前景方向。基于成果可延伸五条线：(a)将3DGS退化引擎扩展到室外、街景、第一人称具身机器人视角，构造真实部署场景的退化评测闭环；(b)把退化感知与3DGS物理建模结合，训练能同时识别退化类型并据此校准置信度的"自校准空间模型"，专门针对Figure 7中"低能见度乱猜"错误；(c)将benchmark扩展到视频时序退化与online SLAM/导航任务，验证退化下空间推理对下游决策的传导影响；(d)探究CoT为何在退化下有害（Table 4），设计退化感知的专用推理模板而非通用CoT；(e)结合强化学习或RLHF，让模型在退化下学会主动求证、检索多视图或给出保守置信区间。

复现评估

复现门槛中等偏高。数据引擎依赖DepthAnything-v3、COLMAP、SAM3、3DGS重建与若干退化物理模型，ScanNet++源数据需申请许可。SFT细节明确：Qwen3-VL-8B-Instruct与InternVL-3.5-8B各训1 epoch，batch size=2048，使用8×H200 GPU；但完整超参（学习率、调度、数据配比、混合精度）未全部披露。GitHub仓库（github.com/Visionary-Laboratory/SpaceDG2026）承诺开源，代码与权重发布时点未明。SpaceDG-Bench的1,102题经人工核验、评测协议（EASI+VLMEvalKit）标准化，复现评测较可行；但复现完整1M训练集与SFT则需较大算力（8×H200约数天），对中小团队构成壁垒，且依赖若干闭源/受限权重。

论文图表

Overview of SpaceDG
Figure 1: Overview of SpaceDG

总览图分四块：左上展示光学动态、光度、气象、数字四大类共9种物理真实退化；右上展示相机中心、相机-物体、物体中心三类空间任务组；中部展示基于3DGS的退化数据引擎；右下是代表性模型与人类(clean image)上界、非图像下界的性能对比，SpaceDG-SFT在退化条件下最高约66.1%。

一张图浓缩论文全部卖点（退化种类、任务体系、数据引擎、SFT收益），是理解全文动机与贡献的入口图。

The four identified errors caused by visual degradations
Figure 7: The four identified errors caused by visual degradations

定性案例分析四类退化诱发错误：退化归因错误（把雾误判为过曝）、空间关系扭曲（鱼眼效应导致距离低估）、伪影诱发错误（JPEG块效应导致重复计数）、低能见度乱猜（低光下仍过度自信）。每例给出clean答案与退化下推理链。

把抽象的错误模式具体化，为后续自校准/保守回答研究指明靶点，对设计改进方案至关重要。