OpenVoxel：无需训练的稀疏体素分组与标注方法用于开放词汇3D场景理解 OpenVoxel: Training-Free Grouping and Captioning Voxels for Open-Vocabulary 3D Scene Understanding
利用VLM/MLLM构建文本场景图，实现零训练3D开放词汇分割与指代表达分割
前置知识
稀疏体素光栅化（Sparse Voxel Rasterization, SVR）
SVR是一种将3D场景表示为稀疏体素场的渲染方法，通过体素光栅化实现高质量的新视角合成。与3D高斯溅射（3DGS）类似，SVR使用离散的稀疏体素作为基本图元，支持基于光栅化的高效渲染。在SVR中，场景由N个体素表示，每个体素具有颜色、不透明度等属性。渲染时使用经典的体积渲染方程，其中体素对光线的贡献权重由不透明度和前序体素的透射率决定。SVR的离散结构使得分组和属性赋值变得高效且直接。
OpenVoxel的整个框架建立在SVR表示之上，SVR的离散体素结构使得分组和属性赋值变得高效且直接
开放词汇3D分割（Open-Vocabulary 3D Segmentation, OVS）
开放词汇3D分割是指在3D场景中根据任意自然语言查询（不限于预定义类别）来分割目标物体的任务。传统语义分割只能识别训练时见过的类别（如桌子、椅子），而OVS可以处理如靠近苹果的绿色玩具这样的开放词汇查询。该任务要求3D表示具有语言感知能力，能够将语言描述与3D几何对应起来。
这是本文要解决的核心任务之一，理解OVS的挑战（嵌入空间限制、训练成本）才能理解OpenVoxel的创新价值
指代表达分割（Referring Expression Segmentation, RES）
RES是比OVS更具挑战性的任务，需要根据复杂的自然语言描述来定位和分割3D场景中的目标物体。与OVS的简单类别查询不同，RES涉及属性、功能、空间关系等多维度信息的理解和推理。现有的基于CLIP或DINO嵌入的方法难以处理这类复杂语义。
RES任务是OpenVoxel的核心优势所在，本文在此任务上相比现有方法取得了17.9%的显著提升
SAM2（Segment Anything Model 2）
SAM2是Meta开发的通用分割基础模型，能够对图像和视频中的任意物体进行分割。给定图像或视频，SAM2可以生成高质量的逐像素分割掩码，无需针对特定数据集训练。在OpenVoxel中，SAM2用于为每个训练视图生成2D分割掩码，这些掩码随后被提升到3D空间用于体素分组。
SAM2提供了高质量的2D分割先验，是OpenVoxel无需训练即可实现实例级分组的关键组件
多模态大语言模型（Multimodal Large Language Model, MLLM）
MLLM是能够同时处理文本和图像的大语言模型，如Qwen3-VL、GPT-4V等。在OpenVoxel中，MLLM承担三重角色：将自由形式的描述规范化为统一模板；生成场景中每个物体组的详细规范描述；执行文本到文本检索，从场景图中找到最匹配查询的目标物体。本文使用Qwen3-VL-8B-Instruct作为主要MLLM。
MLLM是OpenVoxel实现无需训练、文本到文本检索范式的核心驱动力，替代了传统的嵌入空间对齐
Describe Anything Model（DAM）
DAM是一个专门用于详细局部图像和视频描述的视觉语言模型。给定图像和分割掩码，DAM能够生成掩码区域内物体的详细自由形式描述。在OpenVoxel中，DAM首先为每个体素组生成原始描述，然后由MLLM进一步规范化为标准格式。DAM的输入是视频帧掩码对，输出是针对掩码区域的自然语言描述。
DAM提供了高质量的初始描述，为后续的规范化场景图构建奠定基础
研究动机
现有3D开放词汇理解方法面临三个核心问题。首先是训练成本高昂：LangSplat、ReferSplat等方法需要为每个场景训练语言嵌入，其中ReferSplat在单个RTX 5090 GPU上需要超过1小时的训练时间（官方报告在A6000上需58分钟，但复现实测至少需2小时）。其次是需要大量人工标注：ReferSplat需要人工标注的描述掩码对作为训练数据，这种劳动密集型的预处理严重限制了方法的实际应用。第三是嵌入空间的表达能力受限：基于CLIP或BERT文本编码器的方法只能学习短词或标签级别的语义对齐，难以处理复杂的句子级查询。例如，当输入一个有趣的玩具有细长的腿在阳光下看起来很有趣时，基于嵌入空间的方法往往只能捕捉到部分关键词（如toy），而忽略其他语义线索，导致分割结果不准确。
本文的目标是本文的目标是设计一个完全无需训练的框架，能够直接从多视角图像重建的3D稀疏体素模型出发，自动生成语义连贯的物体级分组，并为每个分组构建详细的规范描述，最终实现高质量的开放词汇3D场景理解。具体而言，OpenVoxel旨在：在约3分钟内完成整个场景的分组和场景图构建，比现有方法快10倍以上；无需任何人工标注或梯度下降训练；在复杂指代表达分割任务上超越需要训练的方法。
与已有工作不同的是，OpenVoxel的独特切入角度是完全绕过嵌入空间对齐的范式。传统方法将3D特征训练到CLIP或DINO的嵌入流形中，然后通过嵌入相似度进行检索，这种方法受限于固定嵌入空间的表达能力。OpenVoxel则采用文本到文本检索的新范式：首先利用VLM和MLLM为每个3D物体组生成丰富的人类可读文本描述，构建规范场景图S；然后在查询时，将用户查询和场景图中的描述都转换为同一规范格式，通过MLLM直接进行文本到文本的匹配和推理。这种方法不仅避免了训练成本，更重要的是摆脱了嵌入空间的语义瓶颈，能够处理任意复杂的自然语言查询。
核心方法
OpenVoxel的整体思路可以概括为分组、标注、检索三阶段流水线。首先给定从多视角图像重建的稀疏体素模型，我们利用SAM2在每个视角生成2D分割掩码，然后通过投票和匹配机制将这些2D掩码提升到3D空间，将N个体素聚类为语义连贯的物体级分组。这一步的核心直觉是：属于同一物体实例的体素应该在3D空间中聚集在共同的质心周围。接下来，我们渲染每个分组在多个视角下的掩码和图像，使用DAM生成详细的自由形式描述，再用MLLM将其规范化为统一格式，构建包含每个分组ID、3D位置和规范描述的场景图。最后，当用户输入查询时，我们将查询也规范化为相同格式，然后通过MLLM在场景图中进行文本到文本检索，找到最匹配的目标物体并渲染其分割掩码。
OpenVoxel与已有方法的本质区别在于完全抛弃了嵌入空间对齐的范式。传统方法如LangSplat、ReferSplat等需要训练3D特征以对齐CLIP或BERT的嵌入空间，然后通过嵌入相似度进行检索，这导致两个根本性限制：训练成本高，每个场景需要30分钟到2小时；嵌入空间的表达能力有限，难以处理复杂的句子级语义。OpenVoxel的核心创新是采用文本到文本检索：利用MLLM的强大语言理解能力，直接比较用户查询和场景图中存储的自然语言描述。这不仅完全消除了训练需求（处理时间从1小时以上降至约3分钟），更重要的是突破了嵌入空间的语义瓶颈，能够处理涉及属性、功能、空间关系等复杂语义的查询。另一个关键创新是规范化的描述模板，统一格式确保了描述的一致性和可比性。
方法步骤详情
OpenVoxel的方法包含三个主要步骤。第一步是训练自由稀疏体素分组：给定N个稀疏体素，我们为每个体素维护一个3维群组特征（指向其所属实例质心的空间坐标）和特征权重（表示当前特征的置信度）。从第一个视角开始，我们计算每个SAM2掩码的质心，然后通过体素的渲染权重将2D信息累积到3D。对于后续视角，我们先将当前群组场渲染到新视角得到投影掩码，然后通过IoU匹配将新掩码与已有实例关联，未匹配的掩码作为新实例添加到群组字典中。第二步是规范场景图构建：对每个群组，我们渲染其在多个视角下的二值掩码，与原始图像一起输入DAM获取自由形式描述，然后用MLLM规范化为标准格式（类别名词、外观细节、功能用途、放置位置）。视觉提示策略包括暗化掩码外区域并用红点高亮目标物体。第三步是指代查询推理：给定用户查询，MLLM首先将其规范化为相同模板，然后与场景图中的所有描述进行文本到文本匹配，选择最佳匹配的群组ID，最后渲染对应的3D掩码。
技术新颖性
OpenVoxel的技术新颖性体现在多个层面。首先，它首次提出在3D场景理解中完全采用文本到文本检索范式，彻底绕过嵌入空间对齐，这是一个范式级别的创新。其次，群组特征的设计巧妙地利用了3D空间的几何特性，用指向实例质心的3维坐标作为群组标识，而非传统方法中的高维可学习特征，这使得无需梯度下降即可通过2D掩码投票进行分组更新。第三，规范化的描述模板和视觉提示策略（暗化背景加红点高亮）是针对MLLM的有效工程创新，确保了描述的一致性和MLLM的注意力聚焦。第四，整个框架的模块化设计使其能够受益于基础模型的持续进步，当更好的SAM、DAM或MLLM出现时，OpenVoxel的性能可以自然提升。
实验结果
OpenVoxel在多个基准测试上取得了显著成果。在最具挑战性的Ref-LeRF指代表达分割（RES）任务上，OpenVoxel实现了42.4%的平均mIoU，相比原始ReferSplat报告的29.2%提升了13.2个百分点，相比作者复现的ReferSplat版本（24.5%）更是提升了17.9个百分点。这一结果特别令人印象深刻，因为OpenVoxel完全无需训练和人工标注，而ReferSplat需要人类标注的描述掩码对进行训练。在LeRF-OVS开放词汇分割任务上，OpenVoxel以66.2%的平均mIoU排名最优，超越了3DVLGS的64.3%和CCL-LGS的65.1%。在LeRF-Mask子集上，OpenVoxel达到87.2% mIoU，虽略低于ObjectGS的88.3%，但考虑到这是为RES优化的框架，该结果依然极具竞争力。消融实验清楚地展示了各组件的贡献：基线配置（无掩码合并、无规范化）仅24.3% mIoU；加入掩码合并策略后提升至28.0%（提升3.7%）；加入规范化标注后大幅提升至36.4%（提升8.4%）；最终加入查询规范化后达到42.4%（提升6.0%）。运行时间对比显示OpenVoxel仅需约3分钟完成分组和场景图构建，而ReferSplat需要超过1小时，ObjectGS需要约40分钟，实现了10倍以上的加速。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Ref-LeRF RES 指代表达分割 | mIoU | 42.4% | ReferSplat: 29.2%, GOI: 20.5% | 提升13.2%对比ReferSplat原始报告，提升17.9%对比ReferSplat复现 |
| LeRF-OVS 开放词汇分割 | mIoU | 66.2% | CCL-LGS: 65.1%, 3DVLGS: 64.3% | 提升1.1%对比CCL-LGS |
| LeRF-Mask 开放词汇分割 | mIoU 和 mBIoU | 87.2% 和 81.4% | ObjectGS: 88.3% 和 84.4% | 接近最优，相差1.1% mIoU对比ObjectGS |
| ScanNet语义分割 19类 | mIoU | 31.6% (Majority of 50-NN) | OpenGaussian: 24.7% | 提升6.9%且无需GT点云 |
| 运行时间 | 每场景处理时间 | 约3分钟 | ReferSplat: 超过1小时, ObjectGS: 约40分钟 | 10倍以上加速 |
局限与改进
作者在论文附录E部分坦诚地讨论了OpenVoxel的局限性。首先，作为无需训练的方法，分组过程对参数相对敏感。采样帧率和合并频率需要针对每个场景进行定制，而SAM2参数的调整对实例分离效果影响较大。作者建议的启发式规则是每3到5帧采样一帧，每3步执行一次合并，但在某些场景下可能需要手动调整。其次，由于分组是在实例级别进行的，当用户查询指向大物体的某个部件时（如相机的闪光灯），OpenVoxel会分割整个物体而非仅该部件。第三，为了实现快速推理（每查询不到1秒），MLLM的链式思考能力被关闭，这限制了复杂推理场景下的表现。从作者的分析来看，还有几个值得关注的问题：规范化描述模板虽然提高了一致性，但也可能丢失某些细节信息；文本到文本检索依赖MLLM的内部推理，缺乏可解释性；对于视图相关的查询（如当前视角最近的桌子），框架的处理能力有限，虽然可以返回多个候选，但准确性有待提高。
独立分析的弱点
OpenVoxel有几个值得深入分析的弱点。首先，分组粒度问题：当前的实例级分组无法处理部件级查询。改进方向可以是采用层次化分组策略，先粗粒度分组再细粒度子分组，或者构建场景图来显式表示部件与整体的关系。其次，视图采样效率问题：当前均匀采样最多150个视图是启发式的，可以根据场景复杂度自适应调整，简单区域减少采样，复杂区域增加采样。第三，MLLM的推理能力受限：关闭链式思考虽然加快了推理，但限制了复杂查询的处理能力。可以考虑在首选拓扑排序查询时启用链式思考，或者设计更高效的推理策略。第四，规范化描述可能丢失上下文：固定模板的描述格式虽然一致，但可能遗漏一些非标准但重要的信息。可以探索更灵活的描述格式，或在场景图中增加额外的元数据字段。
未来方向
作者提出和论文成果可延伸的未来方向包括：构建复杂场景图，在存储每个分组中心位置的基础上，增加显式的空间关系（如上方、之间）和归属关系（如属于、部分），这将显著提升视图相关查询和部件级查询的能力；探索视觉示例与推理时间的平衡，当前为避免推理时间增加而禁用视觉示例作为MLLM的上下文学习，但适当引入少量高质量示例可能提升规范化质量；利用更强大的MLLM，随着开源MLLM在推理速度和能力上的提升，OpenVoxel可以自然受益，特别是更高效的链式思考实现；扩展到动态场景，当前框架假设静态场景，未来可以结合视频理解模型扩展到包含运动物体的场景；与3D编辑任务结合，OpenVoxel的分组和描述能力可以直接支持3D场景编辑，如基于自然语言的物体删除或替换。
复现评估
OpenVoxel的复现条件相对友好。作者承诺将开源代码，代码基于PyTorch和公开的SVR代码库构建。所有使用的预训练模型都是公开可用的：SAM2（Meta开源）、DAM（开源）、Qwen3-VL-8B-Instruct（阿里开源）。数据集使用公开的LeRF和ScanNet基准。计算资源方面，作者在单张RTX 5090 GPU上完成所有实验，整个流程（分组、标注、检索）约3分钟，推理每查询不到1秒，这使得大多数研究者都能够复现。论文提供了详细的系统提示词和实现细节，包括帧采样策略、合并频率等工程技巧。需要注意的是，作者提到SVR的预训练需要单独进行，但这是标准流程。整体而言，OpenVoxel的复现难度较低，具有良好的可重复性。
论文图表
该图展示了两种方法的对比：左侧是ReferSplat的流程，需要2D掩码加人工标注描述，训练时间超过1小时，最终得到BERT嵌入；右侧是OpenVoxel的流程，仅需2D掩码（来自SAM2），无需任何人工标注，约3分钟完成，通过渲染标注流程直接生成文本描述。
这张图直观展示了OpenVoxel的核心优势，完全无需训练和人工标注，是理解本文创新价值的关键入口图。
该图展示了Teatime场景上5个查询的分割结果对比。例如查询A smooth container placed next to the sheep doll near the apple时，ReferSplat仅捕捉container关键词，同时分割了咖啡杯和茶杯，忽略了空间线索。而OpenVoxel正确定位了目标容器。
补充了更多场景的定性证据，展示OpenVoxel在不同场景类型上的泛化能力。