OpenSpatial：面向空间智能的原理化数据引擎 OpenSpatial: A Principled Data Engine for Empowering Spatial Intelligence
开源 3D 框中心化的空间数据引擎，合成 3M 多任务样本让 VLM 在空间推理基准上平均提升 14.1%。
前置知识
多模态大语言模型 (MLLM/VLM)
将视觉编码器（如 ViT、CLIP/SigLIP）抽取的图像特征投影到大语言模型的 token 空间中，通过指令微调（Visual Instruction Tuning）让模型能看图对话、回答视觉问题。代表工作有 LLaVA、Qwen-VL、InternVL 系列。
OpenSpatial 是在 VLM 之上做 SFT 注入空间知识，读者需要清楚 VLM 训练分预训练对齐与监督微调两阶段，以及视觉编码器在微调中通常需要较小学习率的原因。
3D 定向包围盒 (Oriented Bounding Box, OBB)
在三维世界坐标系中用一个长方体去拟合物体的几何范围，参数通常为 $(x, y, z, x_l, y_l, z_l, r, p, y)$，其中前三个是中心坐标，中间三个是沿各轴的边长，最后三个是滚转/俯仰/偏航角。OBB 比 2D 框多保留了深度与朝向，比密集点云又轻量很多。
OpenSpatial 的核心抽象就是 OBB，读者需要理解它为何在跨视角、跨任务、跨数据源中能作为统一锚点（viewpoint-invariant anchor），以及它如何支撑距离/朝向/相对位置等度量推理。
场景图 (Scene Graph)
把场景表示为图结构，节点是物体及其属性（类别、尺寸、掩码、标签），边是物体间的空间或语义关系（左右、前后、上下、依赖）。在程序化 VQA 合成中，场景图提供可枚举、可控的物体与关系集合，避免随机采样带来的长尾偏差。
OpenSpatial 通过场景图以编程方式枚举问题模板与答案候选，从而实现五大任务的平衡覆盖，这是它缓解'空间短视'（spatial myopia）的关键机制。
SAM (Segment Anything) 与 3D 提升 (3D Lifting)
SAM 是 Meta 提出的通用 2D 实例分割基础模型，可对 box/point prompt 输出精确像素级掩码；3D 提升指从多视角 2D 图像（关键帧或视频帧）反推出 3D 几何的过程，通常结合相机内外参、深度估计、跨视角实例关联、凸包拟合等步骤。
OpenSpatial 用 Gemini 做识别、SAM 做掩码、再做跨视角关联和凸包拟合，这是它把'野外 web 视频'扩展为可用 3D 监督的关键 pipeline，决定了数据可扩展性。
研究动机
尽管 MLLM 在图像描述、OCR、通用 VQA 上突飞猛进，但它们对'空间'的处理依然薄弱：典型 VLM 在 BLINK、AllAngles、MMSI 等空间推理基准上比 Gemini-2.5-Pro 这类专有模型低 10–20 个百分点（InternVL2.5-8B 在 AllAngles 仅 48.9，MMSI 仅 28.6）。现有数据工作普遍只发布固定、预处理后的训练集（SpatialVLM、SpatialRGPT、VST、SenseNova-SI、Cambrian-S），而真正的数据生成引擎、3D 标注流程、过滤规则都被锁在闭源系统里，导致两个系统性问题：一是数据多样性不足带来的'空间短视'，即模型在某些 benchmark 上分数高，但面对未覆盖场景就会失效；二是研究社区无法做受控消融——别人问'换 2D 框、换数据源、加过滤阈值会怎样'，没法重复实验，进步被切碎成一堆互不通用的孤岛。
本文的目标是OpenSpatial 的目标是把'空间数据'这件事从一次性数据集发布，提升为一套可重复使用、可扩展、可程序化操控的开源数据基础设施。它要在单一 3D 框中心化表示之上，覆盖五大基础空间能力（SM/SR/CP/MC/SAR），并在统一管线里同时支持人工精确标注与自动化 3D 提升两种模式，从而既能产出高保真数据，又能持续吃下未标注的野外视频，最终把 3M 样本的 OpenSpatial-3M 训练集与全套生成引擎一起开源给社区。
与已有工作不同的是，本文的独特切入角度是'数据引擎'视角：以往工作要么是'算法+小数据集'，要么是'大数据集+黑盒管线'，OpenSpatial 把注意力放在数据生产的设计原则上——为什么 3D 框比点云更适合做监督锚点、为什么要做 3D 提升来扩展数据源、为什么用场景图驱动的合成能缓解任务偏置。同时它把这些选择变成可模块替换、可消融的代码组件，配合五大任务的渐进式课程，使得'哪种数据设计提升哪类空间能力'这一长期模糊的问题变得可被实验验证。
核心方法
OpenSpatial 的整体思路是把空间监督统一在'3D 定向包围盒 (OBB)'这一几何锚点之上：先用人工标注或自动化 3D 提升把每个场景重建为带 OBB 的网格，再把 OBB 投影到每一帧、做可见性/遮挡过滤与掩码细化，得到统一的 object–frame 索引（包含 3D 框、2D 框、SAM 掩码、点云、语义标签、metric flag），最后基于这个索引用场景图以程序化方式枚举单视图与多视图 QA。直觉上，这是把'VLM 想要的二维问答'反过来从'已经知道 3D 真相的中间表示'里采样出来，因此监督信号天然具备视角一致性与度量精度。
与已有空间数据工作的本质区别有三点：(1) 用 OBB 而非 2D 框或稀疏点云做核心监督——OBB 在世界坐标系下视角无关，每个物体只有一个稳定的 3D 锚，跨帧关联几乎零成本，而点云受遮挡和密度影响会丢几何（实验显示换成点云中心化后 VSI 反而从 41.7 掉到 37.2）；(2) 3D 提升管线把数据源从 ScanNet/Matterport3D 等精选集扩展到 web 视频，仅靠这一项就使 BLINK 从 55.3 涨到 62.2、CV-3D 从 73.8 涨到 87.9；(3) 场景图驱动的合成是'先列物体再列关系再列问题模板'，而不是从现成 QA 蒸馏，从而保证 SM/SR/CP/MC/SAR 五个任务的覆盖均衡，规避数据偏置带来的'空间短视'。
方法步骤详情
OpenSpatial 的具体执行分为四步。第一步是场景级 OBB 标注：对带位姿的视频序列，既支持按 EmbodiedScan 协议的人工标注（高精度、低吞吐），也支持自动化 3D 提升（用 Gemini 做逐视角物体识别、SAM 提取实例掩码、跨视角实例关联与合并、最后用凸包拟合得到 OBB），输出每个场景的网格 + OBB 集合。第二步是属性中心化的 object–frame 映射：把 3D OBB 投影到每帧后，先用相机视锥剔除视场外的框，再用深度图反投影像素到世界坐标，计算像素在 3D 框内的体积占有率，低于阈值的视为被遮挡并剔除；保留的像素点云作为粗掩码喂给 SAM 得到精修 2D 实例掩码，并附上 metric flag（标记该 OBB 是否反映真实世界尺度，否则跳过测量类问题）。第三步是场景图驱动的 QA 合成：单视图下从 object–frame 索引构建带视觉锚点的高亮图（防止同类多实例指代歧义），再在场景图上枚举关系/属性/比较类问题；多视图下通过共享 OBB 子集来采样视角对，确保有充分重叠但又存在有意义的变化，然后在统一的跨视角场景图上做 re-identification、相机变化推理、跨视角一致性检查。第四步是后处理与课程化组织：把生成结果按 SM/SR/CP/MC/SAR 五大类、19 个子任务分层，得到渐进式课程——从单帧度量到跨视角一致性再到场景级规划。
技术新颖性
技术上本文的新颖性体现在四个层面。一是把 OBB 作为跨模态、跨任务、跨数据源的统一监督基元，这是把传统 3D 感知里的几何抽象和 VLM 的自然语言监督首次在工业级数据规模上对齐；二是 3D 提升管线（Gemini + SAM + 跨视角关联 + 凸包拟合）把 'web 视频 → 3D 框'做成可重复的工程流程，区别于 SpatialVLM/SpatialRGPT 那种依赖单一精选 3D 数据集的做法；三是 object–frame 索引同时承载 2D/3D 框、掩码、点云、标签、metric flag，使得同一中间表示能驱动十九种子任务 QA 合成，避免为每个任务单独搭管线；四是引入可见性 + 体积占有率过滤，消融实验显示仅这一项就把 BLINK 从 56.6 抬到 60.3、VSI 从 32.1 抬到 41.7，证明'高质量过滤'本身就是空间数据工程里的隐形贡献。
实验结果
主实验（Table 1）在统一代码库下对比了 10+ 个开源 VLM 与 OpenSpatial 微调版本，得到三条核心结论。第一，OpenSpatial 系列在所有 8 个空间基准上取得新 SOTA：最强的 OpenSpatial-Qwen3-VL-8B 把 3D-Avg 从 56.7 提到 62.1（+5.4），BLINK 从 66.1 提到 68.2，AllAngles 从 49.5 提到 59.8（+10.3），MMSI 从 28.1 提到 41.9（+13.8），CV-3D 从 90.8 提到 94.0；第二，跨架构一致性极强，4 个 backbone（InternVL2.5-8B、InternVL3-8B、Qwen2.5-VL-7B、Qwen3-VL-8B）平均提升 5.4–9.5 分，证明增益来自数据而非模型；第三，OpenSpatial-Qwen2.5-VL-7B 在 VSI 上取得 +20.7 的最大单点提升，说明从 2D 框切到 3D 框对'视点推理'类任务的杠杆最大。Table 2 的横向对比显示 OpenSpatial 500k 子集的 Mean Deviation 为 -2.5、标准差 4.4，是 Cambrian-S（-6.0/5.4）、SenseNova-SI（-6.5/7.0）、VST（-2.8/3.9）中最稳定的。Table 3 的模块消融在 200k ScanNet 子集上揭示：换成点云中心化反而让 AllAngles 从 53.2 跌到 49.7（点云不保留完整几何导致测量任务监督噪声），而去掉遮挡过滤则把 BLINK/AllAngles/VSI 全部打回基线附近（56.6/47.0/32.1）。Table 4 的数据规模消融显示 3D-Avg 随 20%→100% 单调上升（57.6→59.7），但单基准非严格单调，提示需要指数级更多数据才能继续推高。Table 5 的模型规模消融（3B→7B→32B）从 56.1→59.7→61.3 单调上升，证明数据引擎对不同容量模型都能稳定兑现收益。Table 6 单独验证 3D 提升数据：仅 200k web 视频样本就使 BLINK 提升 6.9、CV-3D 提升 14.1。Fig. 5 的双面热图则从任务互补性角度证实：SM 任务主要拉高 metric 类基准，CP 任务主要拉高视点意识基准，组合后 Overall Average 曲线稳步上行。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BLINK（多视角空间感知综合） | 准确率 (%) | 68.2 (OpenSpatial-Qwen3-VL-8B) | 66.1 (Qwen3-VL-8B 原版) | +2.1 |
| AllAngles（多角度物体识别） | 准确率 (%) | 59.8 (OpenSpatial-Qwen3-VL-8B) | 49.5 | +10.3 |
| MMSI（多视角空间推理） | 准确率 (%) | 41.9 (OpenSpatial-Qwen3-VL-8B) | 28.1 | +13.8 |
| VSI（视觉空间智能） | 准确率 (%) | 61.6 (OpenSpatial-Qwen3-VL-8B) | 55.6 | +6.0 |
| CV-3D（3D 视角推理） | 准确率 (%) | 94.0 (OpenSpatial-Qwen3-VL-8B) | 90.8 | +3.2 |
| 3D-SR（3D 空间关系） | 准确率 (%) | 56.2 (OpenSpatial-Qwen3-VL-8B) | 52.8 | +3.4 |
| ERQA（具身空间问答） | 准确率 (%) | 44.2 (OpenSpatial-Qwen3-VL-8B) | 40.1 | +4.1 |
| RealWorldQA（真实世界空间问答） | 准确率 (%) | 71.0 (OpenSpatial-Qwen3-VL-8B) | 70.7 | +0.3 |
局限与改进
作者明确承认的局限有两点：一是当前数据分布偏向室内场景（来自 ScanNet、Matterport3D、ARKitScenes、ScanNet++、Hypersim 等），桌面级和户外场景的提升仍较 marginal，需要扩展数据源覆盖；二是数据规模消融显示收益递减（3D-Avg 20%→100% 只增加 2.1），意味着空间智能可能需要指数级更大的数据才能持续推高。从我自己的观察看，Table 1 中 OpenSpatial-InternVL2.5-8B 和 InternVL3-8B 在 RealWorldQA 上甚至出现 -0.8 / -3.9 的轻微退化，提示密集空间微调可能与'开放世界通用知识'产生梯度冲突，1:1 配比 LLaVA-OneVision 通用数据是缓解手段但未彻底解决；此外 MCP/SenseNova-SI 在 VSI、MMSI 等子任务上仍有专项优势（SenseNova-SI 1.1 在 VSI 取得 58.8，反超本文 56.7），说明 OpenSpatial 偏'广而稳'、专项场景下未必最强；最后，3D 提升管线依赖 Gemini 做识别，存在闭源模型 API 漂移和成本的工程风险。
独立分析的弱点
从独立分析看，本文有以下可改进的弱点。第一，3D 提升管线把'web 视频 → 3D 框'做成可扩展流程，但完全依赖 Gemini 做语义识别和 SAM 做掩码，没引入显式深度监督或多视角几何一致性约束，因此 Fig. 4 中凸包拟合的 OBB 在面对镜面/玻璃/小物体时可能尺寸失真；改进方向是融合单目深度（如 Depth Anything v2）和 NeRF/3DGS 类方法做几何再精化。第二，场景图驱动的 QA 合成虽然任务覆盖广，但问题模板与物体集合仍然人工枚举，对长尾空间现象（如'物体被部分遮挡后的尺寸估计'、'反光面上的相对位置'）的覆盖有限；改进方向是用 LLM 迭代式生成新问题模板 + 人工审校闭环。第三，空间微调与通用多模态能力存在轻微跷跷板（RealWorldQA 退化），目前的 1:1 数据配比是粗粒度；改进方向是按任务梯度冲突度做动态采样（grad-norm 之类）。第四，作者未提供数据毒性/公平性审计，5 大类 19 子任务主要覆盖英文场景下的西方室内物体，跨文化（如中式家具布局）、跨年龄段（儿童玩具）的覆盖未评估。
未来方向
作者明确提出的未来方向是扩展数据覆盖到桌面级与户外复杂环境，并把模块化管线做成可持续社区贡献的基础设施。基于成果可延伸的方向有三个：一是把 OBB 抽象升级为 3D 高斯泼溅 (3DGS) 或 NeRF 级别的稠密表示，配合更细粒度的属性（材质、关节、铰链）做机器人操作数据合成；二是把 3D 提升管线扩展到多模态输入（RGB + 文本描述 + LiDAR），并引入主动学习挑选高价值 web 视频降低标注成本；三是把 OpenSpatial 与 RL/RLHF 结合，用空间推理任务的 VQA 准确率作为 reward 信号做后训练，进一步解锁组合式空间推理。
复现评估
复现门槛整体偏低：作者在 GitHub (VINHYU/OpenSpatial2026) 同时开源了数据引擎代码与 OpenSpatial-3M 数据集，并提供了 ScanNet 单源消融版本（200k 样本），数据格式（OBB 网格 + object–frame 索引）显式文档化。训练侧明确给出 AdamW、base lr $5 \times 10^{-5}$、vision encoder lr $5 \times 10^{-6}$、global batch size 128、32 张 NVIDIA GPU、1 个 epoch 等完整超参；SFT 混合数据按 1:1 配 LLaVA-OneVision 通用数据 + OpenSpatial 空间数据。算力门槛主要在 32×GPU 单 epoch 微调 3M 样本，按 A100/H100 估算约 1500–3000 GPU·小时，对一般实验室是中等到较高负担；论文未提供单卡 gradient checkpointing / LoRA 等降配方案，因此小资源团队可能需要借助 DeepSpeed Zero-3 或把训练样本子集化。评估则使用了 BLINK、AllAngles、ERQA、VSI、3D-SR、MMSI、CV-3D、RealWorldQA、MMStar、MMBench、MMMU 共 11 个公开 benchmark，复现相对容易。唯一可造成复现差异的隐藏变量是 SenseNova-800K 的混合比例与 Gemini API 版本——作者建议社区固定这两个变量后再做严格对比。
论文图表
左半部分是 OpenSpatial 五层任务金字塔——底层是 Automatic Annotation（数据生成管线），往上是 Spatial Relationship、Camera Perception、Multi-view Consistency、Scene-Aware Reasoning，最顶端是 Spatial Measurement 作为几何基础；右半部分是横跨多个空间智能基准（Distance、Size、Spatial Reasoning、Multi-view Consistency、Scene Understanding）的 Baseline vs w/ OpenSpatial Data 柱状对比，强调各基准普遍提升。
这张图同时传达了'本文的五大任务层次结构'和'跨基准一致提升'两条核心信息，是读者快速理解 OpenSpatial 全貌的入口。