基于可变形对象先验的相机空间类别级3D对应关系

通过学习可变形3D模板，从单张RGB-D图像建立类别级语义一致的3D对应关系

前置知识

3D对应关系

3D对应关系是指在3D空间中找到不同对象或对象实例之间语义相同点对的映射关系。在类别级3D对应关系中，给定同一类别的两个不同对象实例，需要找到第一个对象上的某个3D点在第二个对象上对应的语义相同的3D点。例如，对于两个不同形状的杯子，杯口边缘的中心点应该对应，把手上的相同功能位置也应该对应。这个问题的挑战在于形状变化、遮挡和对称性带来的歧义性。

本文的核心任务就是建立类别级3D对应关系，理解这个概念对于掌握论文的问题定义和评估指标至关重要。

可变形模型

可变形模型是一种3D形状表示方法，它使用一个共享的模板网格来表示一个类别中的所有对象实例。每个实例都被建模为模板网格的变形，通过学习实例特定的变形参数来适应形状变化。这种方法的核心思想是模板顶点在变形过程中保持恒定的身份标识，因此映射到同一模板顶点的点在不同实例中对应相同的语义部分。可变形模型在人脸和人体建模中已经有广泛应用（如3D Morphable Models和SMPL），本文将其扩展到更多样的日常物体类别。

Morpheus方法的核心就是基于可变形模型，理解其工作原理对于掌握方法的技术细节和创新点至关重要。

相机空间与物体空间

相机空间是指以相机为原点的3D坐标系，物体的位置和姿态是相对于相机定义的。物体空间是指以物体自身为原点的3D坐标系，通常是归一化的以消除尺度和平移差异。传统的类别级姿态估计方法通常在归一化的物体空间工作，但这引入了歧义性，因为物体的中心和尺度在真实场景中并不明确定义。在相机空间工作则消除了这种歧义，直接预测物体在世界中的3D位置，但同时也要求模型能够处理更复杂的形状和姿态变化。

本文的一个关键创新是在相机空间而非传统的物体空间定义和解决对应关系问题，理解这个区别对于把握论文的动机和贡献至关重要。

Amodal对应关系

Amodal对应关系是指对物体被遮挡部分也能建立的对应关系。人类具有这种能力，我们能够推断出物体被遮挡部分的完整3D结构。例如，即使只能看到杯子的前面，我们也能理解杯子的背面存在并且知道它的大致位置和形状。Amodal对应关系在机器人操作中特别重要，因为抓取和交互规划需要理解物体的完整空间范围，而不仅仅是可见表面。实现Amodal对应关系需要模型能够推理不可见区域，这对模型能力提出了更高要求。

HouseCorr3D数据集的一个关键特点就是提供Amodal对应关系标签，这是与之前数据集的重要区别，理解这个概念对于评估论文的贡献和创新性至关重要。

研究动机

现有的3D对象理解方法主要集中在姿态估计、物体检测或3D重建，这些方法无法捕捉推理对象部件、功能以及如何操纵或交互所需的细粒度语义信息。在2D对应关系方面虽然有大量研究，但2D对应关系本质上受限于视角依赖性、遮挡和对称性歧义。现有数据集如NOCS-Real275、Wild6D、OmniNOCS和Omni6DPose只提供姿态标注、分割和深度信息，但缺乏类别级3D对应关系。这些专注于姿态的数据集无法满足对于细粒度对象理解和机器人操作的需求，因为机器人需要理解物体的完整3D结构，包括被遮挡的部分。

本文的目标是本文的目标是从单张RGB-D图像预测同一类别不同实例之间语义一致的3D对应关系。具体来说，给定两个来自同一类别的RGB-D图像Iq和It，以及Iq相机空间中的一个查询3D点xq，任务是预测It相机空间中对应同一语义点的3D点xt。这个问题要求模型能够在存在形状变化、遮挡和对称性的情况下，建立跨实例的语义对应关系，为更丰富的3D对象理解和机器人操作应用奠定基础。

与已有工作不同的是，本文的独特切入角度是从2D相机空间和3D物体空间转向3D相机空间的对应关系。与之前在2D相机空间工作的方法相比，3D相机空间能够评估Amodal对应关系、显式建模物体对称性、并强制方法执行3D而非2D推理。与在3D物体空间工作的方法相比，在3D相机空间工作消除了模糊的以物体为中心的空间，其中的中心和尺度都没有明确定义。此外，本文提出通过学习共享的可变形对象先验让单眼类别级3D对应关系在没有显式对应关系监督的情况下涌现出来，这是一个新颖的视角。

核心方法

Morpheus方法的核心思想是将类别中的所有对象表示为共享模板网格的身份保持变形。因为模板顶点在变形过程中保持持久身份，语义对应关系自然地产生：映射到同一模板顶点的观察结果对应于不同实例中的同一语义部分。给定RGB-D图像I，模型预测实例特定的模板网格变形和6D姿态ω（从预训练的姿态扩散模型估计）。变形后的网格随后被转换为相机空间为Mdef(ω)。给定查询-目标图像对，我们获得它们的姿态网格，通过查询网格表面的点，用重心坐标表示其位置，然后将相同的标识符转移到目标网格，从而在目标相机空间中产生预测的对应关系。

Morpheus的核心创新点在于利用持久模板顶点身份作为实现单眼类别级3D对应关系的基本机制。与传统为重建设计的可变形模型方法不同，本文的表述利用持久模板顶点身份使对应关系在设计中得以保留，无需显式的对应关系监督。另一个关键创新是显式地解耦姿态、形状和规范化训练，而之前的方法如MagicPony将规范空间和相机空间纠缠在一起学习，导致在2D中看似合理但在3D中不可靠的对应关系。此外，Morpheus采用混合体积网格表示，结合隐式和显式3D模型的优势，通过有符号距离场和可微四面体行进高效地将SDF转换为网格。

方法步骤详情

Morpheus的方法步骤如下：第一步，从输入图像I计算实例特定潜码l = ψl(I)，使用基于DINOv2主干网络的轻量卷积头的变形编码器ψl。第二步，使用仿射变形场ϕa(v, l)将模板网格变形到实例形状，其中每个顶点v根据潜码l单独移动，仿射映射ϕa由MLP产生，它同时接受顶点坐标v和潜码l作为输入。第三步，将变形后的网格转换为相机空间，使用6D姿态π（从预训练姿态扩散模型估计）得到Mdef(π)。第四步，对于3D对应关系预测，查询3D点xq首先被投影到查询网格表面，产生表面点x̂q，然后用底层网格面的重心坐标表示这个点，由于两个实例共享相同的网格拓扑，这些重心坐标定义了类别级表面标识符。第五步，训练阶段使用几何监督鼓励所有对象实例通过共享的可变形类别级先验解释观察，联合优化编码器、解码器和可变形先验。

技术新颖性

Morpheus的技术新颖性体现在多个方面：首先，它是第一个在没有显式对应关系监督的情况下学习单眼类别级3D对应关系的方法，语义对齐是隐含地涌现的，因为每个实例必须变形相同的规范模板同时与观察数据保持一致。其次，Morpheus采用混合体积网格表示，结合SDF的灵活性和网格的先验和正则化优势，避免传统网格表示的脆弱性和直接优化的困难。第三，训练使用2D和3D几何监督，包括6D姿态监督、Amodal 2D监督和3D几何损失，这些在遮挡情况下提高鲁棒性。最后，Morpheus显式处理物体对称性，确保对称物体有多个有效对应关系，避免对称等效预测的不公平惩罚。

**Fig. 3**: Monocular category-level 3D correspondence and Pipeline

实验结果

在HouseCorr3D数据集上的实验结果显示，Morpheus在2D和3D对应关系指标上都达到了新的最先进水平。对于2D对应关系，Morpheus在mug、bottle、remote三个类别上的平均PCK@0.1为36.5%，而最强的基线GenPose++只有30.0%，DINOv2只有22.9%。对于3D模态对应关系，Morpheus的平均PCK@0.1为38.8%，远高于GenPose++的27.9%和MagicPony+GP++的4.1%。对于更具挑战性的3D Amodal对应关系，Morpheus的平均PCK@0.1为39.2%，而GenPose++为27.5%，MagicPony+GP++仅为10.8%。在真实世界子集ROPE上的评估也验证了泛化能力，Morpheus在2D@0.1上达到44.7%，在3D@0.1上达到34.8%，与合成数据上的结果一致，确认模型能够迁移到真实世界数据。遮挡分析显示，Morpheus在模态和Amodal对应关系之间平均仅下降2.9% PCK@0.1，确认遮挡确实带来更大挑战，但性能仍然有竞争力。与SPair71k的比较显示，本文的数据集更有挑战性，DINOv2在SPair71k上达到52.7%，但在HouseCorr3D上只有22.9%。

**Table 1**: Comparison to existing correspondence datasets

**Table 2**: PCK@0.1 results for 2D, 3D modal, and 3D amodal correspondences

查看结构化数据

任务	指标	本文	基线	提升
2D对应关系	PCK@0.1	36.5%	GenPose++ (30.0%), DINOv2 (22.9%)	相比GenPose++提升21.7%
3D模态对应关系	PCK@0.1	38.8%	GenPose++ (27.9%), MagicPony+GP++ (4.1%)	相比GenPose++提升39.1%
3D Amodal对应关系	PCK@0.1	39.2%	GenPose++ (27.5%), MagicPony+GP++ (10.8%)	相比GenPose++提升42.5%
真实世界泛化（ROPE）	2D PCK@0.1	44.7%	GP++ (37.0%), MagicPony+GP++ (12.6%)	相比GP++提升20.8%
真实世界泛化（ROPE）	3D PCK@0.1	34.8%	GP++ (25.1%), MagicPony+GP++ (7.3%)	相比GP++提升38.6%

局限与改进

作者承认的局限性包括：第一，具有固定连接性的共享模板无法处理大的拓扑变化（例如缺失部分）。第二，由于相机空间中的对应关系依赖于准确的姿态估计，大的姿态误差会导致全局错位，即使形状变形是正确的。第三，变形被正则化以鼓励平滑几何和稳定训练，这可能过度平滑细薄结构。此外，从我的观察来看，Morpheus依赖于预训练的姿态扩散模型，这限制了姿态估计的灵活性。方法在训练时使用两阶段优化，这增加了训练复杂性和时间。真实世界数据上的3D性能相比合成数据下降约7%，表明模型对深度噪声和3D标注质量仍然敏感。

独立分析的弱点

首先，固定连接性模板的限制可以改进，可以考虑采用可变拓扑的模板表示或者多模板混合方法来处理大的形状变化和缺失部分。其次，姿态估计的敏感性可以通过联合优化姿态和变形来改进，而不是依赖外部姿态估计器，这可能需要设计更复杂的联合优化策略。第三，过度平滑细薄结构的问题可以通过调整变形正则化权重或引入细粒度细节损失来改进。第四，真实世界数据上的性能下降可以通过域适应技术或使用更多真实世界数据进行预训练来改善。最后，两阶段训练增加了复杂性，可以考虑端到端的单阶段训练方法。

未来方向

作者提出的未来方向包括扩展对应关系学习到体现式机器人应用，其中推理完整3D对象几何包括遮挡部分是必不可少的。基于论文成果的可延伸方向包括：将方法扩展到更多样化的物体类别，特别是那些具有复杂拓扑结构的物体；探索更灵活的模板表示，如学习拓扑变化的模板或层次化多模板；研究在没有姿态监督的情况下联合学习姿态和变形；将方法与其他3D理解任务结合，如功能推理和操作规划；探索跨类别对应关系，建立更广泛的语义映射；以及将Amodal推理扩展到更复杂的场景，如多物体交互和部分遮挡。

复现评估

论文声称数据和代码将在GitHub上开源（github.com/GenIntel/HouseCorr3D），这有利于复现。HouseCorr3D数据集基于Omni6DPose的合成子集构建，包含178k测试图像和2.6M训练图像，跨越50个类别和280个唯一实例。训练使用NVIDIA RTX 2080 GPU，每类约需12小时，这是相对可及的算力需求。方法使用预训练的DINOv2图像编码器和预训练的6D姿态扩散网络，这些预训练模型提供了良好的初始化。训练过程分为两个阶段，第一阶段20轮，第二阶段10轮，使用Adam优化器，学习率为10^-4，批次大小为30。虽然依赖外部数据集Omni6DPose可能带来一定的依赖性，但整体而言，论文提供了足够的技术细节和即将开源的资源，使得复现难度为中等。

基于可变形对象先验的相机空间类别级3D对应关系 Category-Level 3D Correspondence in Camera Space via Morphable Object Priors