NoPA：非参数化在线 3D 场景图生成

用非参数粒子集替代高斯分布，实时生成高质量3D场景图

前置知识

3D场景图

3D场景图是一种结构化表示，编码场景中的对象及其相互关系。每个对象节点包含类别标签，每条边表示对象间的关系（如'支撑'、'连接'、'依附'等）。这种抽象表示对于具身智能和机器人任务至关重要，因为它支持导航、场景生成和操作等下游任务。3D场景图从多视角RGB-D图像中提取，需要在3D空间中建立对象的几何表示和语义关系。

本文核心任务就是在线生成3D场景图，理解其定义和应用场景是读懂论文的基础

非参数分布

非参数分布是不预先假设特定参数形式（如高斯分布的均值和协方差）的概率分布。本文用固定大小的粒子集来表示对象的3D几何，每个粒子是3D空间中的一个点。通过核密度估计（KDE）从粒子集构建连续分布，这种方法可以保留多模态几何结构，不像单一高斯那样强制椭球形假设。粒子集通过从2D边界框内均匀采样像素，然后用深度图反投影到3D空间获得。

这是本文的核心创新，理解非参数表示如何优于高斯表示是关键

最大均值差异（MMD）

MMD是一种衡量两个概率分布相似性的统计量，它在再生核希尔伯特空间（RKHS）中计算两个分布的嵌入距离。给定两个粒子集X和Y，MMD通过计算核函数在集合内和集合间的期望差来衡量分布差异。本文使用RBF核函数，核带宽通过中位数启发式确定。MMD的优势是它直接比较整个分布，而不仅是一阶和二阶矩。

MMD是本文合并决策的核心技术，理解它如何解决高斯合并的脆弱性很重要

在线场景图生成

在线场景图生成是指在处理图像流时增量式更新3D场景图，而不需要访问完整图像集。系统接收连续的RGB-D帧和相机位姿，每帧预测局部2D场景图，将其提升到3D并融合到全局场景图中。这要求恒定的内存使用和实时的计算延迟，与离线方法可以聚合所有帧后进行全局关联不同。在线设置的关键挑战是在部分观测和视角变化下保持对象一致性。

本文针对在线设置，理解其约束和挑战才能评价方法的有效性

研究动机

现有在线3D场景图生成方法面临两个根本性问题。基于SLAM的方法（如SceneGraphFusion和MonoSSG）需要重建环境的密集3D几何表示，计算开销巨大，难以达到实时性能。FROSS方法避免了SLAM，将每个对象表示为单个3D高斯分布，这虽然实现了实时推理，但引入了严重的几何限制。具体来说，单一高斯强制椭球形假设，导致精细几何结构丢失。如图1所示，薄型或平面结构（如窗户、图片）产生的协方差矩阵接近奇异，导致合并失败。不同视角的同一对象往往产生不一致的协方差和空间偏移，造成错误合并。这些错误的合并和合并不足随时间累积，逐步退化全局3D场景图的质量。在3DSSG数据集上，FROSS的关系召回率仅为25.7%，对象召回率60.6%，存在显著的性能瓶颈。

本文的目标是本文旨在克服SLAM-based管道的计算负担和高斯建模的几何限制，开发一种非参数在线3D场景图生成方法。具体目标包括四个方面：第一，消除高斯假设的椭球形限制，同时保持恒定的内存使用和实时计算复杂度；第二，设计比协方差相似性更鲁棒的合并准则，以处理视角变化和噪声预测；第三，在保持实时效率的同时，在多个在线3D场景图基准上实现最先进的性能；第四，通过关系传播机制提高全局场景图的一致性，恢复缺失的关系边。这些目标共同指向解决现有方法在实时性和准确性之间的根本矛盾。

与已有工作不同的是，本文的独特切入角度是从根本上质疑参数化表示（高斯）的适用性。现有工作要么接受高斯的限制（FROSS），要么承担昂贵的几何重建（SLAM方法）。NoPA探索了一个新的中间地带：用固定大小的非参数粒子集替代高斯，保留了更多几何细节，同时通过重采样维持恒定内存。更本质的区别在于合并策略：FROSS依赖Hellinger距离比较高斯协方差，而NoPA引入分布级别的合并准则（MMD），直接在特征空间比较粒子集。这种转变从矩匹配上升到分布匹配，显著提高了在部分观测和噪声下的鲁棒性。这是首次将非参数表示应用于在线3D场景图生成，为该领域提供了新的技术路径。

核心方法

NoPA的整体框架遵循增量式在线场景图生成流程，但用非参数表示替代了高斯模型，并重新设计了合并策略。对于每个RGB帧，预训练的RT-DETR-EGTR模型预测局部2D场景图，包含对象节点和关系边。每个2D对象通过在其边界框内均匀采样n=256个像素，用深度图反投影到3D空间，并用相机位姿变换到世界坐标系，获得3D粒子集。粒子集通过核密度估计（KDE）构建连续分布，使用RBF核函数。在合并阶段，采用两阶段关联规则：第一阶段用常数时间的Hellinger距离预过滤处理明确情况；第二阶段对边界情况用MMD检验进行更精确的分布比较。合并后，对粒子集的并集拟合KDE并重采样固定大小，防止粒子增长。最后，在亲和性集群内传播关系，通过多数投票恢复缺失的关系边。

NoPA的核心创新是用固定大小的非参数粒子集替代单一高斯表示对象，这从根本上消除了椭球形几何假设。粒子集可以自然表示多模态几何结构，在部分观测下保留更多细节。另一个本质区别是合并策略：从比较协方差矩上升到比较整个分布。MMD直接在特征空间衡量粒子集相似性，即使在不同视角或2D预测噪声下也能提供稳定信号。此外，关系传播机制利用合并时计算的MMD分数构建亲和性矩阵，在高相似性对象间传播关系，缓解了2D预测器在单视角中的关系丢失问题。这些创新共同作用，在不牺牲实时效率的前提下显著提升了性能。实验表明，仅用128个粒子的NoPA就超越了所有基线方法，证明了非参数表示的优越性。

方法步骤详情

方法分为四个主要步骤。步骤1：从2D边界框到3D粒子。对于每个检测到的2D对象，在其边界框内均匀采样n个像素，用深度图反投影到相机坐标系3D点，用相机位姿变换到世界坐标，获得粒子集。步骤2：两阶段在线关联。为每个粒子集拟合单峰高斯，计算Hellinger距离。引入边界带宽度，若距离小于阈值减epsilon则合并，若大于阈值加epsilon则创建新对象。对于边界带内的候选对，计算MMD：若$d_{MMD} \leq \delta_{MMD}$则合并，否则创建新对象。步骤3：常数内存合并更新。合并后取粒子集并集，拟合KDE并重采样固定大小：$\mathcal{X}(o) \leftarrow \text{Resample}_n(\mathcal{X}(o) \cup \mathcal{X}(\hat{o}))$。步骤4：基于亲和性集群的关系传播。利用MMD分数构建亲和性矩阵，低MMD表示高几何相似性，定义亲和性集群。对于新合并或创建的节点，先复制观测到的2D关系到3D节点，然后在亲和性集群内传播候选关系，通过多数投票确定最终关系类型。

技术新颖性

NoPA的技术新颖性体现在三个方面。首先，非参数对象表示是首次应用于在线3D场景图生成，它保留了高斯方法的恒定内存和实时复杂度，同时避免了椭球形假设的限制。粒子集通过KDE重采样维持固定大小，这是一个巧妙的设计。其次，两阶段合并准则结合了效率（Hellinger预过滤）和鲁棒性（MMD检验）。Hellinger距离处理明确情况，MMD解决边界情况，这种设计既保持实时性又提高精度。最后，关系传播机制是一个轻量级但有效的后处理步骤，它复用MMD分数构建亲和性集群，不需要额外计算。相比需要昂贵全局关联的离线方法，NoPA的增量式设计更适合在线设置。实验表明，仅用128个粒子的NoPA就超越了所有基线方法，证明了非参数表示的优越性。MMD的应用也是一个重要的技术创新，它从矩匹配上升到分布匹配，显著提高了在部分观测和噪声下的鲁棒性。

**Fig. 2**: Overview of our online 3D scene graph generation pipeline

**Fig. 3**: The visualization of objects in Scene 41385849 from the 3DSSG dataset

**Fig. 4**: Visualization of the merging process for an object in Scene 7272e16c from the 3DSSG dataset

实验结果

在3DSSG数据集上，NoPA显著超越了所有基线方法。使用256粒子时，NoPA在关系召回率上达到53.2%，相比FROSS的25.7%提升了107%；对象召回率69.0%，谓词召回率61.4%。更令人印象深刻的是，仅用128粒子，NoPA已经超越了所有基线。在延迟方面，NoPA仅27毫秒，与FROSS的22毫秒相当，远快于JointSSG的191毫秒。VRAM使用为1206MB。在ReplicaSSG数据集上，NoPA的关系召回率36.9%，相比FROSS的22.3%提升了65.5%。消融研究验证了每个组件的贡献：仅用非参数表示使对象召回率提升，但关系和谓词召回率下降；加入定制合并策略后，所有指标全面超越FROSS；进一步加入关系传播将关系召回率大幅提升到53.2%。

**Table 1**: Comparison with state-of-the-art online 3D SSG generation approaches on the 3DSSG dataset

**Table 2**: Comparison with FROSS on the ReplicaSSG dataset

**Table 3**: Ablation study on the test split of the 3DSSG dataset

**Table 4**: Comparison between different values of MMD threshold on the validation split of the 3DSSG dataset

**Fig. 5**: Qualitative results comparison between FROSS and our proposed approach

查看结构化数据

任务	指标	本文	基线	提升
在线3D场景图生成（3DSSG）	关系召回率	53.2%	FROSS: 25.7%	+107%
在线3D场景图生成（3DSSG）	对象召回率	69.0%	FROSS: 60.6%	+13.9%
在线3D场景图生成（3DSSG）	谓词召回率	61.4%	FROSS: 30.7%	+100%
在线3D场景图生成（3DSSG）	推理延迟	27ms	FROSS: 22ms	+23%（仍保持实时性）
在线3D场景图生成（ReplicaSSG）	关系召回率	36.9%	FROSS: 22.3%	+65.5%

局限与改进

作者承认的主要局限性与所有将2D场景图提升到3D的方法相同：NoPA严重依赖预训练模型的2D场景图预测准确性，尤其是对象预测。2D检测和关系的质量直接决定了NoPA性能的上限。本文没有讨论动态场景的处理，方法假设静态环境，这在实际应用中可能受限。另外，对于极端视角变化（如从完全相反方向观察同一对象），即使MMD也可能难以建立正确的关联。方法还依赖准确的深度图和相机位姿，如果这些输入有显著误差，会影响粒子集的质量和合并决策。

独立分析的弱点

NoPA的一个潜在弱点是对初始视角的敏感性。如果在早期视角中2D预测器产生了严重的错误分类（如将counter误分类为cabinet），错误的粒子集可能与正确对象产生足够的几何相似性，导致错误的合并。这种错误可能随时间累积，难以在后续视角中纠正。另一个弱点是粒子数量的选择需要权衡：较少粒子（如128）虽然更快但可能损失几何细节，较多粒子（如256）保留更多细节但增加计算成本。作者没有提供粒子数量的理论指导，主要依赖实验调优。对于非常小或非常薄的对象（如远处的图片），固定粒子数可能导致采样不足或采样噪声。改进方向包括引入自适应粒子数量机制，根据对象大小和置信度动态调整；开发错误检测和纠正机制，识别可能错误合并的对象；探索多尺度粒子表示，在不同分辨率上捕获几何细节。

未来方向

作者提出的未来工作方向包括扩展方法以处理动态对象，这对于真实世界应用很重要。另一个方向是探索与SLAM系统的集成，在保持实时性能的同时利用更精确的几何信息。基于成果可延伸的研究包括：端到端学习框架，将2D场景图预测、3D提升和合并优化为联合训练的pipeline；更复杂的关系推理机制，利用大语言模型（LLM）或视觉语言模型（VLM）增强关系预测；大规模场景的扩展性研究，测试方法在更大环境中的内存和计算效率；跨模态融合，结合其他传感器（如LiDAR）提高鲁棒性。探索理论界限也很重要，例如确定粒子数与表示能力之间的关系，以及MMD阈值的选择原则。另一个有前景的方向是研究粒子集的质量控制机制，自动检测和处理异常粒子或噪声观测。

复现评估

论文声称将在GitHub上开源代码，基于PyTorch框架实现。实验在单个RTX 3090 GPU上进行，这对大多数研究实验室来说是可访问的。数据集3DSSG（1482场景）和ReplicaSSG（18场景）都是公开可用的。超参数设置明确：粒子数n=256，MMD阈值delta_MMD=0.7（3DSSG）和0.6（ReplicaSSG），边界带宽度epsilon=0.05。基线方法的复现基于各自公开的GitHub仓库，这增加了结果的可信度。论文提供了详细的评估协议：匹配预测对象与真实对象时要求（1）粒子集中超过50%点的最近真实点映射到同一真实对象；（2）第二最大匹配对象的重叠计数不超过最大匹配对象的75%。这些严格标准确保了一对一对应关系。总体来说，复现难度中等，主要挑战在于2D场景图预测器（RT-DETR-EGTR）的训练和正确的数据预处理流程。

NoPA：非参数化在线 3D 场景图生成 NoPA: Non-Parametric Online 3D Scene Graph Generation