EmbodiedSplat：面向开放词汇3D场景理解的在线前馈式语义3D高斯溅射

首个支持在线、实时、开放词汇3D感知的前馈式3DGS框架

前置知识

3D Gaussian Splatting (3DGS)

本文基于3DGS构建语义3D表示，理解3DGS的基本原理是理解本文方法的基础

CLIP (Contrastive Language-Image Pre-training)

本文使用CLIP作为开放词汇语义的基础，通过将CLIP特征绑定到3D高斯来实现场景的语言理解

前馈式3D重建 (Feed-Forward 3D Reconstruction)

前馈式设计是本文实现在线重建和场景泛化能力的关键，理解这一概念有助于理解本文与现有方法的本质区别

稀疏系数场 (Sparse Coefficient Field)

这是本文在内存效率上的核心贡献，实现了67倍的压缩比同时保持完整的CLIP语义能力

置信度加权融合 (Confidence-Weighted Fusion)

这是在线融合策略的核心，决定了如何将新观测与已有信息结合，直接影响重建质量

研究动机

具身任务（如机器人导航和操作）要求智能体在探索过程中即时理解和感知3D场景。理想的3D感知模型需要满足五个条件：(1) 在线处理流式图像；(2) 近实时推理速度；(3) 对新场景高度泛化；(4) 整场景理解；(5) 开放词汇理解。然而，现有语义3DGS方法无法同时满足这些需求。具体来说，以LangSplat、Occam's LGS、Dr. Splat为代表的方法需要逐场景优化，单个场景需要2-6小时的优化时间，且无法泛化到新场景。Online-LangSplat和EA3D虽然支持在线重建，但仍需要逐场景优化，无法实现实时语义重建（<2 FPS）。LSM和SIU3R等前馈式方法虽然可泛化，但仅支持少量输入视角，无法进行整场景重建。

本文的目标是本文的目标是开发一个能够同时满足上述五个条件的具身感知模型：(1) 在线处理超过300张流式图像；(2) 实现5-6 FPS的近实时推理速度；(3) 无需逐场景优化即可泛化到新场景；(4) 支持整场景语义3DGS重建；(5) 保持CLIP的完整开放词汇能力。

与已有工作不同的是，本文的独特切入角度是将前馈式3DGS（如FreeSplat++）与在线开放词汇能力相结合。不同于现有方法从3D到2D（通过渲染2D特征图来理解3D场景），本文采用2D到3D的路线：在在线重建过程中，将像素级2D特征直接反投影到3D空间。更重要的是，本文提出了稀疏系数场和CLIP全局码本的设计，在不需要任何预训练或逐场景优化的情况下，实现了内存高效的语义表示，同时保留了CLIP的完整语义能力。

核心方法

EmbodiedSplat的整体思路是：在在线重建3D高斯的同时，将2D语义特征高效地绑定到每个3D高斯上。技术路线分为两个层次：(1) 2D语义特征：通过稀疏系数场和CLIP全局码本，将当前帧的像素级CLIP特征高效地存储到每个高斯中；(2) 3D几何感知特征：通过3D U-Net和记忆适配器，聚合3DGS的特征点云，补偿2D特征缺乏的几何先验。推理时，两类特征通过几何均值集成，实现语义和几何的互补。

本文的核心创新是在线稀疏系数场（Online Sparse Coefficient Field）配合CLIP全局码本。关键观察是：场景中唯一语义数量远少于高斯数量（3.2M高斯 vs 8.7K实例特征）。因此，本文将像素级CLIP特征聚合为实例级特征，存入全局码本；每个高斯只需存储码本索引和稀疏权重（固定长度L=6），而非完整的CLIP向量（512或768维）。这实现了67倍的内存压缩，同时通过线性组合完全保留了CLIP的原始语义能力。与现有方法的本质区别是：不需要预训练自编码器（如LangSplat）、不需要乘积量化（如Dr. Splat）、不需要逐场景优化码本（如InstanceGaussian），且支持在线实时更新。

方法步骤详情

方法的具体步骤如下：(1) 输入选择：给定当前帧 I_t，选择过去N=30帧作为参考视角。(2) 逐帧编码：CNN编码器 E 预测像素级局部高斯三元组 Θ_l^t = {μ_l^t, ω_l^t, f_l^t} 和深度图 d_t，其中 ω_l^t 是置信度分数，f_l^t 是高斯潜在特征，μ_l^t 通过深度反投影获得。(3) 稀疏系数场初始化：使用FastSAM提取实例级掩码，计算实例级CLIP特征并加入全局码本 C_t；为每个高斯初始化索引缓存 I_l^t 和权重缓存 Ω_l^t，记录其所属实例的码本索引和置信度。(4) 在线配对融合：根据3D空间重叠将局部高斯与全局高斯配对；通过置信度加权融合更新位置、置信度和潜在特征（通过GRU）；同时更新稀疏系数场的索引和权重缓存，保留置信度最高的L-1=5个条目。(5) 3D几何特征：语义感知潜在特征 g_l^t = f_l^t + proj(s_l^t) 与3D坐标一起送入3D U-Net和记忆适配器，输出紧凑的3D特征 ĝ_l^t。(6) 语义推理：通过预计算码本向量与文本查询的余弦相似度，利用稀疏线性组合高效计算每个高斯的分类概率。

技术新颖性

本文的技术新颖性体现在三个方面：(1) 在线稀疏系数场设计：首次在不依赖预训练或逐场景优化的情况下，实现CLIP特征的内存高效存储和在线更新。通过码本索引和稀疏权重的固定长度缓存，每个高斯仅需10个数值（2(L-1)=10）即可表示完整的CLIP语义，相比原始768维特征大幅压缩。(2) 码本加速推理：利用稀疏线性组合的线性性质，将余弦相似度计算从 O(MD) 降低到 O(KD + M(L-1))，其中K是码本大小（远小于M），实现14倍加速。(3) 2D-3D特征集成：将语义丰富的2D CLIP特征与具有几何先验的3D特征结合，通过几何均值实现互补，在ScanNet 19类上比单独使用2D或3D特征分别提升1.13和0.83 mIoU。

**Figure 2**: Overall framework of EmbodiedSplat

**Figure 7**: Toy example of sparse coefficient field initialization

**Figure 9**: Toy example of online fusion algorithm with sparse coefficient field

实验结果

本文在ScanNet、ScanNet200和ScanNet++三个真实室内数据集以及Replica合成数据集上进行了全面实验。核心发现包括：(1) 3D语义分割性能：在ScanNet 10类上，EmbodiedSplat（RGB）达到49.81 mIoU，显著超过Occam's LGS的42.14 mIoU和Dr. Splat的39.21 mIoU；使用RGB-D输入进一步提升至57.41 mIoU。(2) 细粒度类别：在ScanNet200的70类上，EmbodiedSplat达到31.16 mIoU，超过所有基线方法；在ScanNet++的20类上达到41.93 mIoU。(3) 重建效率：EmbodiedSplat重建363张图像的场景仅需8分钟（0.75 FPS），而基线方法需要2-6小时；EmbodiedSplat-fast进一步将速度提升至1分10秒（5.18 FPS）。(4) 跨域泛化：在ScanNet++→ScanNet的跨域设置中，性能下降小于1 mIoU，展示了良好的泛化能力。(5) 内存效率：稀疏系数场实现平均67倍的内存压缩，单场景仅需23-148MB存储语义特征。

**Table 1**: Quantitative comparisons on 3D Semantic Segmentation across ScanNet, ScanNet200 and ScanNet++

**Table 2**: Quantitative comparisons on cross-domain 3D semantic segmentation

**Table 3**: Ablations on 3D CLIP features

**Table 4**: Ablations on codebook-based cosine similarity

**Table 5**: Comparisons on memory size for semantic features

**Table 14**: Ablations on memory efficiency of sparse coefficient field

**Figure 3**: Quantitative comparisons on 3D semantic segmentation

**Figure 5**: Online 3D reasoning for class 'Bed'

查看结构化数据

任务	指标	本文	基线	提升
ScanNet 10类 3D语义分割	mIoU	49.81 (RGB) / 57.41 (RGB-D)	42.14 (Occam's LGS)	+7.67 / +15.27 mIoU
ScanNet 15类 3D语义分割	mIoU	49.23 (RGB) / 55.18 (RGB-D)	35.04 (Occam's LGS)	+14.19 / +20.14 mIoU
ScanNet 19类 3D语义分割	mIoU	46.22 (RGB) / 52.12 (RGB-D)	30.49 (Occam's LGS)	+15.73 / +21.63 mIoU
ScanNet200 70类 3D语义分割	mIoU	31.16 (RGB) / 34.75 (RGB-D)	23.20 (InstanceGaussian)	+7.96 / +11.55 mIoU
ScanNet++ 20类 3D语义分割	mIoU	41.93 (RGB) / 44.03 (RGB-D)	34.08 (Occam's LGS)	+7.85 / +9.95 mIoU
场景重建时间（363张图像）	时间	8分钟 (EmbodiedSplat) / 1分10秒 (fast)	2-6小时	15-45倍加速
内存效率（ScanNet平均）	压缩比	148 MB / 67倍压缩	2295 MB (Occam's LGS)	15.5倍内存节省

局限与改进

本文的局限性包括：(1) 依赖基础3DGS质量：EmbodiedSplat建立在FreeSplat++之上，当前馈式3DGS重建失败时（如深度估计不准确），语义高斯场也会相应变差。在ScanNet++→Replica的跨域设置中（真实→合成），由于域差距过大，性能明显下降。(2) 深度估计瓶颈：在ScanNet→ScanNet++的跨域实验中，由于ScanNet缺乏天花板区域的训练样本，模型在ScanNet++的天花板区域产生噪声深度预测，导致11.28 mIoU的性能下降。(3) FastSAM掩码不一致：EmbodiedSplat-fast使用的FastSAM在不同视角下对同一物体可能产生不同粒度的掩码（物体级vs部件级），导致CLIP特征提取不准确。(4) 3D U-Net推理开销：完整版本的3D U-Net和记忆适配器虽然提升了分割精度，但也限制了推理速度（0.75 FPS vs 5.18 FPS）。

独立分析的弱点

独立分析的弱点包括：(1) 码本大小固定为L=6可能不是最优：虽然Tab.6显示L=4,6,11性能相近，但在复杂场景中可能需要更多基向量来表示多样化语义。改进方向是设计自适应的缓存大小策略，根据场景复杂度动态调整L。(2) 2D-3D特征集成使用简单的几何均值：当前集成策略 P = P_2D^τ · P_3D^(1-τ) 相对简单，可能无法充分利用两类特征的互补性。改进方向是设计学习型集成模块，如注意力机制或门控网络。(3) 实例级特征提取依赖SAM：SAM的分割质量直接影响码本质量，且FastSAM的不一致性已被证明会影响性能。改进方向是探索更稳定的实例分割方法或直接在像素级构建码本。(4) 缺乏动态场景处理：当前方法假设静态场景，未考虑运动物体的影响。改进方向是引入运动分割或4D表示。

未来方向

作者提出的未来方向包括：(1) 将框架扩展到机器人实际部署，与SLAM系统集成实现闭环感知。(2) 探索2D视觉语言模型（VLM）的更多配置，如结合大语言模型进行更复杂的场景推理。基于当前成果可延伸的方向包括：(1) 将稀疏系数场思想扩展到其他3D表示（如点云、mesh），实现更广泛的语义3D理解。(2) 引入主动探索策略，让智能体根据语义不确定性选择下一步观测位置。(3) 支持增量学习，当遇到新物体类别时动态扩展码本而无需重新训练。(4) 结合扩散模型进行语义引导的3D场景编辑和生成。

复现评估

复现评估：(1) 开源情况：作者承诺代码将在项目网站公开（EmbodiedSplat.io），这将大大促进复现。(2) 数据：使用公开数据集ScanNet、ScanNet200、ScanNet++和Replica，数据获取无门槛。(3) 算力要求：实验在单张NVIDIA RTX 6000 Ada GPU上完成，该GPU约8000美元，对研究机构可接受；完整训练需要100K+300K迭代，估计需要数天GPU时间。(4) 依赖组件：基于FreeSplat++（需预训练权重）、FastSAM、OpenSeg/Mask-Adapter等公开模型，复现链条完整。(5) 复现难度：中等偏高，需要理解复杂的在线融合算法和稀疏系数场设计，但详细的算法描述（Algorithm 1）和补充材料中的toy example（Fig. 7, 9）有助于理解。

EmbodiedSplat：面向开放词汇3D场景理解的在线前馈式语义3D高斯溅射 EmbodiedSplat: Online Feed-Forward Semantic 3DGS for Open-Vocabulary 3D Scene Understanding