ProFuse：用于开放词汇3D高斯泼溅的高效跨视图上下文融合 ProFuse: Efficient Cross-View Context Fusion for Open-Vocabulary 3D Gaussian Splatting
通过密集对应关系引导的跨视图上下文融合，实现无需渲染监督的开放词汇3D场景理解
前置知识
3D Gaussian Splatting (3DGS)
3D高斯泼溅是一种将3D场景表示为一组各向异性高斯函数的显式表示方法。每个高斯函数具有位置、尺度、方向、不透明度和颜色等属性。通过可微分的基于瓦片的光栅化器，将这些高斯函数投影到2D图像平面上，使用alpha混合进行前向后合成，实现照片级真实的实时渲染。与神经辐射场（NeRF）相比，3DGS具有更快的渲染速度和更直接的空间局部性。
本文的核心是将开放词汇语义直接附加到3DGS表示上，理解3DGS的基本原理对于理解本文的方法至关重要。
开放词汇3D场景理解
开放词汇理解是指系统能够使用自由形式的自然语言查询来理解物理场景，而不是仅限于预定义的固定标签集合。在3D场景中，这通常涉及将CLIP等视觉-语言模型的嵌入空间与3D表示对齐，使得可以用任意文本描述来查询和选择3D场景中的对象。这种方法在机器人导航、增强现实等应用中具有重要价值。
本文的目标就是实现高效且准确的开放词汇3D场景理解，这是理解本文研究动机和应用场景的基础。
密集对应关系匹配
密集对应关系匹配是在一对图像之间建立像素级对应关系的技术。给定两张图像，匹配网络会输出一个密集的扭曲场（warp field），将一张图像中的每个像素映射到另一张图像中的亚像素位置，以及一个置信度图来衡量匹配的可靠性。这种方法能够在大视角变化下保持稳定的匹配，广泛应用于3D重建、运动估计等领域。
本文的核心创新之一就是利用密集对应关系来引导3D高斯场景的初始化和跨视图上下文关联，这是理解方法的关键。
CLIP (Contrastive Language-Image Pre-training)
CLIP是由OpenAI开发的视觉-语言模型，通过对比学习在大量图像-文本对上进行训练。它将图像和文本映射到同一个嵌入空间，使得匹配的图像-文本对具有相似的嵌入表示。CLIP的视觉编码器（如ViT-H/14）可以提取图像区域的512维语言特征向量，这些向量与文本嵌入具有语义一致性，是实现开放词汇理解的基础。
本文使用CLIP来提取图像区域的语言特征，这些特征最终被注册到3D高斯函数上，实现开放词汇查询能力。
Product Quantization (PQ)
乘积量化是一种高效的向量压缩和近似最近邻搜索技术。它将高维向量划分为L个子向量，对每个子空间学习一个码本，然后用码本索引代替原始子向量。这样可以将存储需求大幅降低，同时通过查找表（LUT）快速计算距离或相似度。在搜索时，可以将高维向量的距离计算转换为子空间查找表的求和，显著提高检索效率。
本文使用PQ来存储和检索高斯函数的语言特征，使得大规模3D场景的开放词汇查询能够实时进行。
研究动机
在开放词汇3D场景理解领域，现有方法主要存在两个关键问题。首先是渲染监督的语义蒸馏方法（如LERF、LangSplat等）需要将2D图像渲染后进行监督训练，这个过程通常需要数小时（LERF约24小时，LangSplat约4小时），效率极低。其次，这种渲染监督的信号传递方式会导致语义不匹配问题：监督信号在渲染和合成后才传递，这与原始描述该区域的语言嵌入产生错位。此外，语义通过单个视图获取和查询，使得推理不够直接和稳定。即使是最近的直接注册方法（如Dr. Splat），虽然避免了渲染监督，但仍然缺乏跨视图一致性和掩码内聚性的约束，导致语义质量不够理想。
本文的目标是本文的目标是开发一种高效的开放词汇3D场景理解框架，能够在不进行任何渲染监督语义训练的情况下，实现跨视图语义一致性和掩码内聚性。具体来说，ProFuse旨在将语义附加时间缩短到约5分钟（比现有最快方法快2倍），同时保持或提升在开放词汇3D对象选择和点云理解任务上的性能。此外，方法需要支持直接在3D空间中进行文本查询，无需基于渲染的微调。
与已有工作不同的是，本文的独特切入角度在于抓住了两个被先前工作忽视的关键因素：跨视图一致性和掩码内聚性。先前工作通常通过渲染监督的2D特征图训练或显式特征学习目标来鼓励这些属性，但注册框架缺乏这些约束。ProFuse的创新在于将这些语义一致性约束直接注入注册框架中，通过密集对应关系引导的预注册阶段同时初始化几何和构建跨视图上下文提案，然后利用这些提案的全局特征进行无需梯度的语义融合。这种方法既保留了注册框架的高效性，又解决了其语义质量不足的问题。
核心方法
ProFuse的方法可以类比为一个经验丰富的摄影师在整理照片时的做法。想象你有一同一场景的多张照片（不同视角），传统方法是为每张照片单独标注物体，然后试图在3D空间中对齐这些标注。而ProFuse的做法更聪明：它先通过密集对应关系找到照片间的像素对应关系（就像找到照片中相同物体的对应部分），然后将这些对应关系分组为3D上下文提案（就像把指向同一物体的照片片段归类），最后将每个提案的语言特征一次性分配给对应的3D高斯函数。技术路线分为三个阶段：密集对应关系预注册（初始化几何和关联掩码）、3D上下文提案构建（跨视图掩码聚类）、特征注册（将全局语义附加到高斯函数）。
ProFuse的核心创新在于提出了3D上下文提案（3D Context Proposals）的概念，这是与已有方法最本质的区别。传统方法要么通过渲染监督逐帧优化语义，要么像Dr. Splat那样直接注册但缺乏跨视图一致性。ProFuse的关键洞察是：同一场景内容在不同视图中应该有一致的语义表示，而密集对应关系提供了建立这种一致性的可靠信号。通过将跨视图掩码聚类为提案，每个提案携带一个通过质量加权聚合成员嵌入得到的全局特征，这个特征在注册时一次性分配给所有相关高斯函数。这种方法不需要梯度下降或反向传播，完全避免了渲染监督，同时实现了跨视图语义一致性和掩码内聚性。
方法步骤详情
ProFuse的方法分为三个主要步骤。第一步是密集对应关系预注册：对于每个参考视图，通过K-means在姿态空间中选择180个参考视图，并为每个参考附加3个姿态最近邻。使用预训练的密集匹配网络（如RoMa）计算每对图像间的密集扭曲场和置信度图。对于高置信度的对应关系，通过三角化生成3D种子点来初始化高斯函数，同时使用SAM获取每个视图的非重叠区域掩码和CLIP提取的语言特征。第二步是3D上下文提案构建：通过跨视图掩码聚类算法，将不同视图中指向同一场景内容的掩码连接起来。具体来说，将掩码通过扭曲场投影到参考视图，计算扭曲IoU和边界框IoU，只有当双向一致性都超过阈值时才建立连接。然后提取连通分量作为原始提案，并通过最小成员数和最小视图支持进行过滤。第三步是特征注册：对于每个提案，计算其全局特征作为成员掩码嵌入的质量加权池化。然后对于每个高斯函数，通过渲染器返回的Top-K高斯函数及其贡献权重，将提案特征累积到高斯函数上，最后进行L2归一化得到最终的语言描述符。
技术新颖性
ProFuse的技术新颖性体现在多个方面。首先，它提出了密集对应关系引导的高斯初始化方法，与传统SfM加迭代致密化的流程不同，这种方法直接从密集对应关系三角化生成3D种子点，使得初始化的高斯场景已经具有广泛且近均匀的空间覆盖，无需后续大量创建新高斯函数。其次，3D上下文提案的构建完全基于几何对应关系而非语义监督，通过扭曲IoU和边界框IoU的双向一致性检验来建立跨视图关联，这种纯几何的聚类方式比基于语义损失的监督更直接高效。第三，特征注册阶段完全避免了梯度下降，而是通过渲染器提供的透明度和透射率权重来加权聚合提案特征，实现了无需优化的语义融合。最后，整个流程的效率显著提升，语义附加仅需约5分钟，比现有最快方法快2倍。
实验结果
ProFuse在多个基准测试中取得了显著成果。在LERF-OVS数据集的3D对象选择任务上，ProFuse的平均mIoU达到46.00%，相比Dr. Splat的40.74%提升了5.26个百分点，mAcc@0.25达到68.25%，相比基线的63.16%提升了5.09个百分点。具体到各个场景，Waldo Kitchen场景的mIoU从29.37%提升到36.91%，Figurines场景从51.73%提升到56.13%，Ramen场景从26.32%提升到28.16%，Teatime场景从55.53%提升到62.78%。在ScanNet数据集的开放词汇点云理解任务中，ProFuse在19类、15类和10类设置下都优于Dr. Splat。以10类设置为例，ProFuse的mIoU为39.74%，相比Dr. Splat的36.81%提升了2.93个百分点，mAcc为69.38%，相比66.41%提升了2.97个百分点。在效率方面，ProFuse的语义附加时间仅需约5分钟，而OpenGaussian需要约1小时，Dr. Splat需要约30分钟。消融研究表明，Top-K=10时ProFuse就达到饱和性能，而Dr. Splat需要K=40，这表明提案特征将语义质量集中在前几个高斯函数上。在推理效率方面，ProFuse在ScanNet上的平均推理时间为59秒，而Dr. Splat需要99秒，同时ProFuse仅使用47万个高斯函数，而Dr. Splat使用127万个。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LERF-OVS 3D对象选择 | mIoU | 46.00% | 40.74% (Dr. Splat) | +5.26个百分点 |
| LERF-OVS 3D对象选择 | mAcc@0.25 | 68.25% | 63.16% (Dr. Splat) | +5.09个百分点 |
| ScanNet 10类点云理解 | mIoU | 39.74% | 36.81% (Dr. Splat) | +2.93个百分点 |
| ScanNet 10类点云理解 | mAcc | 69.38% | 66.41% (Dr. Splat) | +2.97个百分点 |
| ScanNet 19类点云理解 | mIoU | 30.52% | 28.40% (Dr. Splat) | +2.12个百分点 |
| ScanNet 19类点云理解 | mAcc | 55.32% | 52.77% (Dr. Splat) | +2.55个百分点 |
局限与改进
尽管ProFuse取得了显著成果，但仍存在一些局限性。首先，方法仍然受限于SAM和CLIP的质量。掩码嵌入仍然反映底层分割质量，即使分割准确，CLIP嵌入误差也会直接影响3D场景理解，特别是对于相似物体和不常见的文本提示。其次，虽然预注册是基于对应关系驱动的，但即使有扭曲，当掩码不完美时，错配仍然可能发生。例如，在IoU阈值为0.5时，一个80%是大物体、20%是小物体的掩码可能与大物体的其他掩码分组，导致池化的全局特征受到小物体的污染。这涉及到过粗分组问题，即不干净、不高度准确的掩码分组会模糊细节，不准确的全局特征会污染所有掩码成员。第三，消融研究表明，邻居数量超过3后，某些场景（如Figurines）的性能变得略微不稳定，表明非常大的邻域可能为杂乱布局引入噪声跨视图链接。
独立分析的弱点
从独立分析的角度来看，ProFuse存在几个值得关注的弱点。首先，密集对应关系匹配的计算成本较高，虽然论文提到预注册阶段仅需约2分钟，但这依赖于预训练的RoMa网络和H100 GPU的并行计算。在实际部署中，密集匹配可能成为瓶颈，特别是对于实时应用。改进方向可以探索更轻量级的对应关系网络或基于稀疏匹配的替代方案。其次，跨视图掩码聚类依赖于固定的阈值（如IoU=0.2、边界框IoU=0.08），这些阈值对不同场景的泛化能力有限。在杂乱场景或遮挡严重的情况下，固定阈值可能导致错误分组或遗漏。改进方向可以探索自适应阈值学习或基于图神经网络的聚类方法。第三，特征注册阶段使用Top-K=10的高斯函数，虽然实验表明这已足够，但对于复杂几何或透明物体，可能需要更精细的权重分配机制。改进方向可以探索基于注意力机制的权重分配或可学习的聚合函数。
未来方向
基于本文的成果，未来研究可以在多个方向展开。首先，作者提到方法受限于SAM和CLIP，未来可以探索更鲁棒的分割和嵌入方法，如使用SAM 2或DINOv2等更新的基础模型。其次，当前方法假设相机位姿已知，未来可以探索与SLAM或视觉定位系统的集成，实现在线增量式语义建图。第三，3D上下文提案的构建目前基于几何对应关系，未来可以探索结合语义信息的混合聚类方法，提高对语义相似但几何分离的物体的处理能力。第四，当前方法处理静态场景，未来可以扩展到动态场景的语义理解，如结合4D高斯泼溅技术。最后，ProFuse的高效性使其适合应用于机器人导航和增强现实，未来可以探索这些实际应用场景的优化和部署。
复现评估
ProFuse的复现条件相对友好。代码将在GitHub上开源（https://github.com/chiou1203/ProFuse），包括密集对应关系引导的高斯初始化、跨视图掩码聚类和特征注册阶段的训练代码。数据集方面，实验在LERF-OVS和ScanNet这两个广泛使用的基准上进行，这些数据集都是公开可用的。算力需求方面，SAM分割和掩码嵌入预处理在8块NVIDIA H100 GPU上进行，但所有其他实验在单块A100 GPU上运行，这使得大多数研究实验室都能复现。复现难度中等，主要挑战在于密集对应关系匹配的实现和超参数调优。论文提供了详细的实现细节，包括参考视图数量（180个）、邻居数量（3个）、最大匹配数（15000个）等关键参数，这大大降低了复现难度。
论文图表
