Group3D：基于MLLM驱动语义分组的开放词汇3D目标检测 Group3D: MLLM-Driven Semantic Grouping for Open-Vocabulary 3D Object Detection
用MLLM语义分组约束多视角3D实例构建，实现开放词汇检测
前置知识
开放词汇3D目标检测（Open-Vocabulary 3D Object Detection）
传统3D目标检测只能识别训练时预定义的固定类别（如ScanNet的20或200类），而开放词汇3D检测旨在突破这一限制，能够识别任意文本描述的物体类别。这通常通过利用大规模视觉-语言模型（如CLIP）学习到的语义对齐能力来实现，将2D的开放词汇能力迁移到3D空间。核心挑战在于如何在没有3D标注的情况下，将2D语义信息准确地投射到3D空间中形成可靠的物体实例。
这是本文要解决的核心任务，理解开放词汇设定才能明白为什么现有方法在跨视角一致性上存在困难，以及本文提出的语义约束方案的价值所在。
多视角3D重建（Multi-view 3D Reconstruction）
从多个不同视角拍摄的RGB图像中恢复场景的3D几何结构。这包括估计相机位姿（pose）和深度图（depth map），然后通过反投影（back-projection）将2D像素坐标转换为3D点云。常用方法包括基于SfM（Structure from Motion）的传统方法和基于深度学习的端到端重建模型（如本文使用的Depth Anything 3和VGGT）。在本文中，多视角几何是将2D分割掩码提升到3D空间的基础。
本文的整个流程依赖于多视角几何将2D信息提升到3D，理解这一过程才能明白3D Fragment Memory是如何构建的，以及为什么pose-free设置更具挑战性。
语义兼容性分组（Semantic Compatibility Grouping）
这是本文提出的核心概念，指利用MLLM将场景词汇表中的类别划分为若干组，组内的类别被认为可能指向同一个物理物体（如chair和sofa可能因视角不同被识别为不同类别，但它们语义上兼容）。关键在于分组不是基于空间邻接或共现关系，而是基于语义可替换性——即在分类噪声下，哪些类别标签可以互相替代。同时，结构性不兼容的类别（如wall和window、table和cup）会被明确排除在同一组外。
这是本文方法的核心创新，理解语义兼容性分组的定义和约束条件是理解Group3D如何避免过度合并的关键。
体素化重叠与包含比（Voxel Overlap and Containment Ratio）
用于衡量两个3D片段之间几何一致性的指标。体素化是将连续3D空间离散化为固定大小的立方体（本文使用5cm），然后计算两个片段体素集合的交并比（IoU）和包含比（Containment Ratio）。包含比 Cont_vox(B->A) = |vox(A) ∩ vox(B)| / |vox(B)| 特别重要，因为当两个片段大小差异很大时，IoU可能低估它们的几何重叠程度，而包含比能捕捉这种不对称的包含关系。
这是Group3D中判断两个3D片段是否应该合并的几何依据，理解这两个指标及其阈值设置对于理解算法的合并决策过程至关重要。
多模态大语言模型（MLLM, Multimodal Large Language Model）
能够同时处理文本和视觉输入的大规模语言模型，如本文使用的GPT-5.1。在本文中，MLLM被用于两个关键任务：一是从每个视角的图像中预测物体类别，构建场景自适应词汇表；二是将这些类别划分为语义兼容性组。MLLM的优势在于它能理解视觉内容并生成结构化的语义输出，这是传统视觉模型难以做到的。
MLLM是本文方法的核心组件，理解其在类别预测和语义分组中的作用是理解Group3D整体架构的基础。消融实验也表明，使用更大的MLLM（GPT-5.1 vs Qwen3-VL-8B）会带来性能差异。
研究动机
在多视角RGB设置下的开放词汇3D目标检测中，现有方法通常将几何驱动的实例构建与语义标注解耦：先通过几何一致性生成类别无关的3D片段，再在实例形成后进行开放词汇分类。这种解耦设计虽然简化了开放词汇标注流程并保持了几何鲁棒性，但留下了一个根本性问题——实例构建完全由几何一致性主导，在融合阶段缺乏语义约束。在多视角RGB场景中，几何证据本质上是视角依赖的且常常不完整的（相比真实点云），仅基于几何的融合会导致两类不可逆的关联错误：一是过度合并（over-merging），即将属于不同语义类别的物体片段错误地合并为一个实例；二是碎片化（fragmentation），即将同一个物体的不同观察错误地分离为多个实例。一旦在实例构建阶段边界被错误地折叠，后续的语义推理很难可靠地解耦它们。
本文的目标是本文的具体目标是提出一种多视角开放词汇3D目标检测框架Group3D，将语义约束直接集成到实例构建过程中，而不是在实例形成后再添加语义信息。具体来说，Group3D要实现在pose-known和pose-free两种设置下都能工作，仅依赖RGB观察；利用MLLM构建场景自适应词汇表并将其组织为语义兼容性组；在片段融合阶段同时满足语义兼容性和几何一致性两个条件，从而避免几何驱动的过度合并；在ScanNet和ARKitScenes基准上达到最先进的性能，同时展现强大的零样本泛化能力。
与已有工作不同的是，本文的独特切入角度在于观察到现有方法的几何优先、语义后补范式在多视角RGB设置下存在根本性缺陷：当几何证据不完整或有歧义时，仅靠几何一致性无法可靠地合并跨视角片段。与之前将语义信息仅用于最终分类或表示层面的方法不同，Group3D首次将语义约束引入到片段关联的决策过程中。其核心洞见是：MLLM不仅能预测物体类别，还能理解哪些类别在分类噪声下可能指向同一物理物体（语义兼容性），这种先验知识可以作为融合时的约束条件，与几何一致性共同决定片段是否应该合并。这种语义门控融合机制在保持开放词汇灵活性的同时，有效防止了不可逆的实例构建错误。
核心方法
Group3D的整体思路可以概括为语义引导的多视角3D实例构建。直觉上，当我们在不同视角观察同一个场景时，同一个物体可能被识别为不同的类别（如从某个角度看是chair，从另一个角度看可能是sofa），但这些类别在语义上是兼容的。Group3D利用MLLM来理解这种语义兼容性，并将其转化为实例构建的约束条件。技术路线上，Group3D首先构建两个场景级记忆：场景词汇记忆（Scene Vocabulary Memory）聚合所有视角的类别预测，3D片段记忆（3D Fragment Memory）存储所有通过多视角几何提升到3D的分割片段。然后，利用MLLM将场景词汇表划分为语义兼容性组，这些组在片段融合阶段充当门控条件——只有属于同一兼容性组且满足几何一致性的片段才能被合并。最后，通过多视角证据累积确定每个实例的最终类别和3D边界框。
Group3D的核心创新在于将语义约束直接集成到实例构建过程中，而不是在实例形成后再添加语义信息。与现有方法（如Zoo3D、OpenM3D）的本质区别在于：这些方法在片段融合时完全依赖几何一致性，语义信息仅用于最终的类别分配；而Group3D在融合阶段就引入了语义门控机制。具体来说，Group3D使用MLLM将场景词汇表划分为语义兼容性组 G = {G_g}，这些组编码了跨视角类别等价性的合理假设（如chair-sofa、desk-table）。在融合时，两个片段 F_{n,i} 和 F_{m,j} 只有在满足 g(l_i) = g(l_j)（即属于同一兼容性组）且通过体素重叠检验时才能合并。这种语义门控融合机制捕捉的是语义可替换性而非空间邻接关系，能够在保持开放词汇灵活性的同时防止过度合并。
方法步骤详情
Group3D的方法包含四个主要步骤。第一步是场景词汇记忆构建：对每个输入视角 I_n，查询MLLM获取物体类别集合 V_n，通过规范化（大小写统一、形态标准化）后跨视角聚合去重，形成场景级词汇表 V = ∪V_n。第二步是3D片段记忆构建：使用SAM 3对每个类别 l_i ∈ V 生成类别感知的2D掩码 m_{n,i} 和置信度分数 s_{n,i}，然后利用相机内参 K_n、外参 T_n 和深度图 D_n 将掩码反投影到3D空间，得到点云片段 F_{n,i}，置信度定义为查询分数和全局存在分数的乘积。第三步是语义兼容性分组：查询MLLM将场景词汇表划分为兼容性组，明确排除结构性不兼容的类别（如wall-window、table-cup）。第四步是组门控3D片段融合：按空间范围降序排列片段，对每个片段检查是否与已有簇满足语义兼容性和体素重叠（IoU ≥ τ_iou 或包含比 ≥ τ_cont），满足则合并，否则创建新簇。最后通过多视角证据累积，使用置信度加权的类别分数 s(l) = s̄(l) · w(N(l)) 选择最终类别。
技术新颖性
Group3D的技术新颖性体现在三个方面。首先，首次将MLLM驱动的语义分组机制引入3D实例构建过程，这与传统方法在表示层面或后处理阶段使用语义信息的做法有本质区别。语义兼容性组不是简单的类别相等约束，而是编码了分类噪声下的类别等价性先验，这使得方法能够处理跨视角的类别变异性同时防止结构性不兼容的合并。其次，提出了组门控融合算法（Algorithm 1），将语义兼容性作为融合的必要条件与几何一致性联合使用，实现了语义先行、几何验证的融合策略。第三，设计了包含体素IoU和包含比的双重几何验证机制，特别是包含比 Cont_vox(B->A) 能够捕捉大小差异较大的片段之间的不对称包含关系，解决了传统IoU在片段尺寸不均衡时的低估问题。整个框架在pose-known和pose-free两种设置下都能工作，且是训练无关的（training-free with respect to 3D supervision）。
实验结果
Group3D在多个基准和设置下均取得了最先进的性能。在ScanNet20的pose-known设置下，Group3D达到51.1 mAP25和27.4 mAP50，显著超越之前的最佳多视角方法Zoo3D1（32.8 mAP25），提升幅度达18.3个百分点。值得注意的是，Group3D甚至超越了使用真实点云的方法（如OV-Uni3DETR的25.3 mAP25），证明语义约束的实例构建可以补偿显式3D测量的缺失。在pose-free设置下，Group3D达到41.2 mAP25和18.5 mAP50，同样大幅超越Zoo3D1（27.9 mAP25），表明方法在几何证据不完整时的鲁棒性。在ScanNet60设置下，Group3D在pose-known下达到29.1 mAP25，在pose-free下达到22.3 mAP50，保持竞争力。在更具挑战性的ScanNet200长尾设置下，Group3D在pose-known下达到17.9 mAP25和8.7 mAP50，超越Zoo3D1的16.5 mAP25。在ARKitScenes上，Group3D在pose-known下达到20.5 mAP25和5.9 mAP50，在pose-free下达到18.4 mAP25和4.5 mAP50，展示了跨数据集的泛化能力。消融实验表明，语义兼容性分组是关键：移除类别信息（纯几何融合）导致mAP25从41.2降至28.2，严格同类约束降至35.9，而语义兼容性分组达到41.2。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ScanNet20 多视角开放词汇3D检测（pose-known） | mAP25 / mAP50 | 51.1 / 27.4 | Zoo3D1: 32.8 / 15.5 | +18.3 mAP25 / +11.9 mAP50 |
| ScanNet20 多视角开放词汇3D检测（pose-free） | mAP25 / mAP50 | 41.2 / 18.5 | Zoo3D1: 27.9 / 10.4 | +13.3 mAP25 / +8.1 mAP50 |
| ScanNet60 多视角开放词汇3D检测（pose-known） | mAP25 / mAP50 | 29.1 / 13.9 | Zoo3D1: 23.9 / 10.8 | +5.2 mAP25 / +3.1 mAP50 |
| ScanNet200 多视角开放词汇3D检测（pose-known） | mAP25 / mAP50 | 17.9 / 8.7 | Zoo3D1: 16.5 / 6.3 | +1.4 mAP25 / +2.4 mAP50 |
| ARKitScenes 多视角开放词汇3D检测（pose-known） | mAP25 / mAP50 | 20.5 / 5.9 | Zoo3D1: 16.1 / 3.5 (pose-free) | +4.4 mAP25 / +2.4 mAP50 |
局限与改进
尽管Group3D取得了显著的性能提升，但仍存在一些局限性。首先，方法高度依赖MLLM的质量：消融实验显示，将GPT-5.1替换为较小的Qwen3-VL-8B会导致mAP25从41.2降至38.5，表明语义分组的效果与MLLM的能力密切相关，这限制了方法在资源受限场景下的应用。其次，方法的计算成本较高：每个场景需要采样128帧图像，对每帧查询MLLM获取类别预测，然后进行多轮分组和融合，整个流程涉及多次MLLM调用和3D几何计算。第三，方法在ScanNet60上的表现相比ScanNet20有明显下降（mAP25从51.1降至29.1），表明随着词汇表规模增大，语义兼容性分组的有效性可能受到影响。第四，作者自己也承认，当前框架仅支持简单的物体类别标签，未来需要扩展到更丰富的语言描述和更复杂的场景级推理。此外，方法对SAM 3的分割质量也有依赖，Grounded SAM 2的替换会导致轻微性能下降。
独立分析的弱点
Group3D存在几个值得关注的弱点。首先，语义兼容性分组完全依赖MLLM的判断，缺乏可解释性和可控性：当MLLM错误地将不兼容的类别分到同一组（或将兼容的类别分到不同组）时，会导致错误的融合决策，但目前没有机制来检测或纠正这种错误。改进方向可以是引入人类反馈或多模型投票机制来提高分组的可靠性。其次，体素化重叠检验使用固定的5cm体素大小和阈值，缺乏对不同场景尺度和物体大小的自适应能力。对于大型家具和小型物品使用相同的体素大小可能不是最优的，可以考虑多尺度体素或自适应阈值。第三，方法假设每个视角独立查询MLLM，没有建模跨视角的上下文依赖关系，可能导致同一物体在不同视角下获得不一致的类别预测。改进方向可以是引入跨视角注意力机制或在分组阶段考虑视角间的类别共现模式。
未来方向
作者在结论中提出了几个未来研究方向。首先是扩展框架以支持更丰富的语言描述，不仅仅是简单的物体类别标签，而是能够理解复杂的属性描述（如红色的塑料椅子）和关系描述（如桌子上的杯子）。其次是探索更复杂的场景级推理，例如理解物体之间的功能关系和空间布局约束。基于现有成果，还可以延伸到：将语义兼容性分组扩展到开放词汇的3D场景图生成，不仅检测物体实例，还推理物体间的关系；探索在线学习机制，让系统能够从用户反馈中动态调整语义分组策略；将方法扩展到室外场景或大规模环境，测试MLLM在更复杂场景下的语义理解能力；结合神经辐射场（NeRF）或3D高斯溅射（3DGS）等新型3D表示，探索语义约束在连续3D表示中的应用。
复现评估
从复现角度来看，Group3D的复现存在一定挑战。首先，方法使用GPT-5.1作为MLLM，这是一个商业闭源模型，需要API访问和相应费用，这限制了学术界的复现能力。虽然作者提供了Qwen3-VL-8B的替代方案（性能略有下降），但完整的最佳配置无法完全开源复现。其次，方法依赖多个预训练模型组件（SAM 3、Depth Anything 3、VGGT），需要分别下载和配置。第三，实验在单张NVIDIA A6000 GPU上进行，但每个场景需要处理128帧并进行多次MLLM查询，实际计算成本可能较高。数据方面，ScanNet和ARKitScenes都是公开数据集，评估协议清晰。作者提供了项目页面（https://ubin108.github.io/Group3D/），但论文中未明确说明是否开源代码。总体而言，核心算法逻辑清晰，如果获得MLLM API访问权限，复现难度中等。
论文图表
