Holi-Spatial：将视频流演化为整体3D空间智能 Holi-Spatial: Evolving Video Streams into Holistic 3D Spatial Intelligence
首个全自动大规模空间感知多模态数据集构建流水线，从原始视频生成高质量3D空间标注。
前置知识
3D高斯泼溅（3DGS）
3D高斯泼溅是一种基于高斯函数的神经场景表示方法，通过优化数百万个3D高斯椭球体来重建场景。每个高斯椭球体由位置（均值）、协方差（形状）、不透明度和颜色等参数定义，通过可微渲染实现从多视角图像重建高质量3D场景。与NeRF等隐式表示不同，3DGS支持实时渲染且易于几何操作。
本文使用3DGS作为核心几何表示，通过优化3DGS场景获得高质量多视图一致深度图，为后续2D到3D提升提供精确几何基础。
空间智能
空间智能指大型多模态模型（LMMs）理解3D空间结构的能力，包括感知物体位置、估计距离、推理空间关系等。它要求模型超越2D平面理解，从视觉输入中建立3D心智模型，支持机器人操作、导航、场景编辑等应用。
本文旨在通过大规模高质量数据增强模型的空间智能，解决现有数据稀缺导致模型空间能力不足的核心问题。
开放词汇分割
传统分割模型只能识别预定义类别（如ScanNet的50类），而开放词汇分割利用视觉语言模型（VLM）的开放世界知识，可以识别任意文本描述的物体类别。这依赖于VLM对齐视觉和语言表示的能力，使其能泛化到未见过的类别。
本文利用VLM（如Gemini3-Pro）生成开放词汇类别标注，再指导SAM3进行实例分割，实现细粒度、无限制的物体识别。
多视图融合
多视图融合指将来自不同视角的观察信息整合为一致3D表示的过程。在3D重建中，这涉及几何对齐（通过相机姿态）、语义一致性（同一物体在不同视角的标签应相同）和置信度融合（选择最可靠观察）。
本文通过多视图融合合并不同视角的遮挡观察，解决SAM3在单图像中因遮挡产生的物体碎片化问题，提高3D标注的完整性。
3D边界框（OBB）
3D定向边界框是包围物体的最小长方体，由7个参数定义：中心位置（x,y,z）、尺寸（长宽高）和旋转角（通常绕重力轴）。它比轴对齐边界框（AABB）更紧凑，能更好贴合物体形状。估计OBB需要精确的3D点云和聚类算法。
本文生成320K个高质量3D边界框，用于3D物体检测任务，其精度直接影响下游空间推理性能。
研究动机
现有空间智能数据集构建方法存在严重瓶颈：一是依赖人工标注的3D数据集（如ScanNet、ScanNet++），这些数据集需要专用扫描硬件和人工标注，成本高昂且扩展性差，例如ScanNet仅包含50个预定义类别；二是通过前馈模型处理单张图像生成数据，但单视图方法缺乏多视图一致性，导致深度估计存在重影和浮动物，3D边界框不准确；三是基于3DGS的优化方法需要逐场景训练，耗时且不稳定，难以大规模部署。这些限制导致现有空间数据集规模有限（通常仅几千个场景），类别覆盖狭窄，语义粒度粗糙，严重制约了模型空间能力的泛化性。
本文的目标是本文旨在构建首个全自动、大规模、空间感知的多模态数据集，无需人工干预，直接从原始视频流生成高质量3D空间标注。具体目标包括：1）构建可扩展的自动标注流水线，支持几何准确的3DGS重建、渲染深度图、物体级和关系语义标注；2）生成涵盖多样几何、关系和语义推理任务的空间问答对；3）通过微调视觉语言模型验证数据集对空间智能的有效提升。
与已有工作不同的是，与以往方法不同，本文的独特切入角度是将空间数据构建视为可扩展的非人工流水线，通过系统性组合最新AI工具（3DGS、VLM、SAM3等）构建自动标注引擎，甚至超越人工标注质量。这种组合创新实现了正向数据飞轮：更高质量的3D几何 → 更准确的语义提升 → 更好的空间推理 → 更强模型 → 更大规模数据生成。此外，本文首次统一了多种空间任务（3D重建、新视角合成、深度渲染、2D分割、3D检测、3D grounding、空间QA），而以往方法通常专注于单一任务。
核心方法
Holi-Spatial采用三阶段流水线，将原始视频流转化为高保真3D几何和全面语义标注。第一阶段“几何优化”使用Structure-from-Motion恢复相机参数，通过深度估计模型初始化点云，再利用3DGS优化几何结构，消除浮动物并确保多视图深度一致性。第二阶段“图像级感知”均匀采样关键帧，用VLM生成开放词汇类别标注，维护动态类别记忆以确保语义一致性，然后指导SAM3进行实例分割，并通过几何感知过滤策略将2D掩码提升为3D定向边界框。第三阶段“场景级细化”采用从粗到精策略：首先通过3D IoU合并冗余检测，然后应用基于置信度的三级过滤（保留、丢弃、验证），最后使用VLM生成精细描述和空间问答对。
核心创新点在于首次实现全自动、无监督的空间标注流水线，通过巧妙组合现有AI工具超越人工标注质量。与已有方法的本质区别体现在：1）几何上，通过3DGS优化强制执行多视图深度一致性，解决前馈深度估计的重影问题；2）语义上，利用VLM的开放世界知识和动态类别记忆实现细粒度、一致的物体识别；3）融合上，设计几何感知的2D到3D提升策略，通过掩码侵蚀和网格引导深度过滤抑制边界误差；4）验证上，引入基于VLM的智能体对边界案例进行重新评估，在精度和召回率间取得最佳平衡。这种组合使得流水线能处理复杂场景（遮挡、杂乱、运动模糊），而无需任何人工干预。
方法步骤详情
流水线具体步骤如下：1）输入原始视频流，使用COLMAP进行SfM恢复相机内参和外参；2）使用Depth-Anything-V3估计单目深度，初始化3DGS场景；3）优化3DGS，引入表面重建正则化确保多视图深度一致性，消除大尺度浮动物；4）均匀采样关键帧，对每帧使用Gemini3-Pro生成类别标注，更新动态类别记忆$M_t$；5）基于记忆提示SAM3进行开放词汇实例分割，生成预测集$O_t = \{(M_k, s_k)\}$；6）使用优化后的深度图$D_t$将2D掩码反投影到3D点$P = D_t(u) \cdot K^{-1} \tilde{u}$；7）应用掩码侵蚀和网格引导深度过滤抑制边界误差；8）估计初始3D定向边界框；9）检测地板平面，重新对齐所有边界框的重力方向；10）通过3D IoU合并同一类别的冗余检测，阈值$\tau_{merge}=0.2$；11）应用三级置信度过滤：$s_k \geq 0.9$保留，$s_k < 0.8$丢弃，中间值触发VLM智能体验证；12）对验证通过的实例，选择最高置信度视角，使用Qwen3-VL-30B生成精细描述；13）基于模板生成空间问答对，涵盖相机旋转、物体距离、方向推理等任务。
技术新颖性
技术新颖性主要体现在：1）首次实现从原始视频到完整空间标注的全自动流水线，无需人工标注或专用3D传感器；2）设计几何感知的2D到3D提升策略，通过掩码侵蚀处理SAM3边界误差，通过多视图网格深度过滤处理深度不连续性；3）引入动态类别记忆机制确保跨帧语义一致性；4）设计基于VLM的智能体验证系统，配备图像放大工具和SAM3重分割工具，处理置信度边界案例；5）构建统一框架同时支持3D重建、新视角合成、深度渲染、2D分割、3D检测、3D grounding和空间QA，而以往方法通常专注于单一任务。这些创新组合使得数据质量显著超越现有方法，在ScanNet++上深度F1提升0.5，3D检测AP50提升64%。
实验结果
实验结果表明Holi-Spatial在多个基准上取得显著提升：1）几何保真度方面，在ScanNet++上深度F1分数达到0.89，相比M3-Spatial的0.39提升128%，可视化显示点云几乎无重影且浮动物大幅减少；2）2D分割方面，在ScanNet++上IoU达到0.64，相比SA2VA的0.25提升156%，尤其在远距离镜面等挑战性实例上表现更好；3）3D检测方面，在ScanNet++上AP50达到70.05，相比LLaVA-3D的4.80提升1359%，相比SpatialLM的6.23提升1024%；4）VLM微调后，在空间推理任务上，Qwen3-VL-8B在MMSI-Bench上从31.1提升到32.6，在MindCube上从29.4提升到49.1（提升67%）；5）3D grounding任务上，Qwen3-VL-8B在ScanNet++上AP50从13.50提升到27.98（提升107%），相比VST-7B-SFT的11.20提升150%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 3D物体检测 | AP50 | 67.00 | 8.19 (SpatialLM) | +58.81 |
| 2D实例分割 | IoU | 0.64 | 0.25 (SA2VA) | +0.39 |
| 多视图深度估计 | F1分数 | 0.89 | 0.39 (M3-Spatial) | +0.50 |
| 空间推理（MMSI-Bench） | 准确率 | 32.6% | 31.1% (Qwen3-VL-8B) | +1.5% |
| 空间推理（MindCube） | 准确率 | 49.1% | 29.4% (Qwen3-VL-8B) | +19.7% |
| 3D grounding | AP50 | 27.98 | 13.50 (Qwen3-VL-8B) | +14.48 |
局限与改进
论文承认的局限性包括：1）流水线依赖多个上游组件（Depth-Anything-V3、SAM3、VLM等）和逐场景优化，计算成本较高，在挑战性视频（有限视角、运动模糊、严重遮挡、动态物体）下可能退化；2）开放词汇语义标注可能继承基础模型的偏差或错误，需要鲁棒验证和不确定性估计；3）当前仅在室内场景验证，对室外场景的泛化性未评估。额外观察：1）数据集构建需要大量GPU资源（32×H800），限制了小团队使用；2）空间问答对基于模板生成，可能缺乏自然语言的多样性；3）3D边界框质量依赖深度估计精度，在纹理稀疏或重复区域可能不准确。
独立分析的弱点
独立分析的弱点包括：1）流水线的模块化设计导致误差累积，每个阶段的错误会传播到后续阶段，例如SAM3的边界误差会影响3D边界框精度，改进方向是引入端到端优化或反馈机制；2）置信度过滤阈值（0.8和0.9）是固定值，可能不适合所有场景，改进方向是自适应阈值或基于场景复杂度的动态调整；3）VLM智能体验证引入额外计算开销，且依赖VLM的判断能力，改进方向是开发更轻量的验证模型或主动学习策略；4）空间问答对基于模板生成，问题模式相对固定，改进方向是引入基于LLM的多样化问题生成；5）数据集仅覆盖室内场景，改进方向是扩展到室外、城市和自然场景。
未来方向
作者提出的未来方向包括：1）提高效率，如自适应早停和更好的基于置信度的验证；2）扩展到更广泛的领域和更长的视频上下文；3）构建更强的整体3D空间理解基准。基于成果可延伸的方向：1）将流水线应用于实时视频流，支持机器人在线空间感知；2）结合强化学习优化标注质量，形成闭环数据飞轮；3）扩展到动态场景和时序空间推理；4）将3DGS重建与语言模型深度集成，实现3D场景的可编辑、可交互表示；5）开发基于该数据集的多模态空间推理基准，评估模型对空间隐喻、因果关系的理解。
复现评估
复现评估：1）开源情况良好，论文提供了代码仓库（https://github.com/Visionary-Laboratory/Holi-Spatial）和项目网站；2）数据集基于公开数据源（ScanNet、ScanNet++、DL3DV-10K），但需要自行构建3DGS场景和生成标注，复现需要大量计算资源；3）算力要求高，训练使用32×NVIDIA H800 GPU（80GB），普通实验室难以复现；4）依赖多个预训练模型（Depth-Anything-V3、SAM3、Gemini3-Pro、Qwen3-VL-30B），需要相应API访问权限；5）流水线复杂度高，涉及SfM、3DGS优化、VLM推理、多视图融合等多个步骤，完整复现需要约1-2周计算时间；6）论文提供了详细算法（Algorithm 1）和提示模板（Figure 13、14），有助于理解实现细节。
论文图表
比较了不同模型在MMSI-Bench和MindCube基准上的表现。Holi-Spatial微调后的Qwen3-VL-8B在MindCube上达到49.1%准确率，相比基线提升19.7个百分点。
该表证明了数据集对空间推理能力的有效提升，支持论文的核心主张。
展示了用于VLM智能体验证的详细提示模板，包括系统提示、用户输入格式、任务描述、决策指南和输出格式要求。
该图提供了实现智能体验证的具体细节，有助于复现和理解方法。
展示了用于2D图像物体grounding的提示模板，包括粒度规则、一致性要求和输出格式。
该图提供了VLM生成类别标签的具体指导，支持开放词汇分割的实现。