基于潜空间-空间一致性的零样本三维补全 LaS-Comp: Zero-shot 3D Completion with Latent-Spatial Consistency
利用3D基础模型的几何先验实现零样本、类别无关的3D形状补全
前置知识
3D基础模型
在大规模3D数据集(如Objaverse-XL,包含1000万+3D对象)上预训练的大规模生成模型,采用VAE编码器将形状映射到紧凑的潜在空间,再在潜在空间训练扩散或流匹配模型。这类模型具有强大的跨类别生成能力,能够在未见过的物体类别上生成合理的3D形状。本文使用的两个基础模型是Direct3D-S2和TRELLIS,它们都基于稀疏注意力机制和整流流模型。
本文的核心思想是利用这些模型中编码的丰富几何先验来进行形状补全,理解其潜在空间生成机制是理解本文方法的基础。
Latent Gap(潜在空间差距)
论文发现的关键现象:即使完整形状和其部分输入在重叠区域的几何完全相同,它们在VAE编码器得到的潜在空间中的编码却存在显著差异。作者在Redwood数据集上测量了部分输入与其对应GT形状在重叠区域的余弦相似度,平均值仅为0.4593,远低于通常认为表示强相关性的阈值0.80。这意味着直接在潜在空间中使用部分潜在代码来引导补全是不可靠的。
这是本文方法需要解决的核心问题,也是LaS-Comp设计ERS和IAS两阶段架构的根本原因。如果不理解这个差距,就无法理解为什么不能简单地在潜在空间进行补全。
Classifier-Free Guidance(无分类器引导)
扩散模型中的一种条件采样技术,通过同时计算无条件模型预测(不带条件)和条件模型预测(带条件),然后按比例组合来增强条件对生成过程的影响。在3D生成模型中,CFG支持文本引导生成,也允许无条件自动完成。本文利用3D基础模型的CFG机制实现了灵活的用户控制。
本文利用3D基础模型的CFG机制实现了灵活的用户控制,既支持自动补全(无条件)也支持文本引导补全(条件)。
整流流模型
一种新兴的生成模型,通过学习从噪声分布到数据分布的概率路径,比传统扩散模型采样更快。给定前向路径和速度场预测,模型通过ODE采样。本文中TRELLIS和Direct3D-S2都采用整流流架构,理解其采样过程有助于理解本文的迭代去噪框架和ERS、IAS操作的时序安排。
TRELLIS和Direct3D-S2都采用整流流架构,理解其采样过程有助于理解本文的迭代去噪框架和ERS、IAS操作的时序安排。
研究动机
现有的3D形状补全方法存在多方面局限性。监督学习方法(如PCN、AdaPoinTr、SVDFormer)依赖成对的部分-完整数据集进行训练,在未见过的物体类别上泛化能力差,且收集大规模成对数据成本高昂。无监督学习方法(如Shape-Inv、P2C)虽然在ShapeNet上训练,但由于ShapeNet类别有限,在真实世界数据或未见类别上性能显著下降。基于生成先验的零样本方法(如SDS-Comp、ComPC、GenPC)利用2D图像扩散模型或3D生成模型,但这些方法都基于一个关键假设:部分输入可以被渲染成至少一个合理的完整图像,即物体在某个视角下看起来是完整的。然而当这个假设失效时,例如缺少语义部分,物体核心部分缺失导致任何视角都无法看到完整物体轮廓,不完整的渲染会导致补全结果退化。此外,现有方法在处理多样化部分模式(从单视角扫描到不规则遮挡)时存在困难,且计算效率较低(现有零样本方法需要60秒以上完成一个形状)。
本文的目标是本文的目标是开发一个零样本、类别无关的3D形状补全框架,能够处理多样化的部分输入模式(包括单视角扫描、随机裁剪、缺少语义部件等),在广泛物体类别上良好泛化,不依赖特定类别的训练数据,不依赖成对数据集(完全训练自由),支持文本引导和自动补全两种模式,保持高计算效率。核心是充分利用3D基础模型中编码的丰富几何先验,同时解决这些模型采用的潜在生成架构带来的挑战。
与已有工作不同的是,本文的独特切入角度是首次深入揭示了3D基础模型中潜在空间与物理空间之间的不一致性问题,并提出了系统性的解决方案。与之前工作直接在潜在空间使用部分输入的潜在代码作为条件不同,本文发现这种方法由于latent gap现象而不可靠。本文的创新在于发现并量化了latent gap(余弦相似度仅0.4593),提出了ERS和IAS两阶段架构,将部分输入的几何信息在空间域明确注入,同时通过隐式对齐保证边界连贯性,提出了PNS处理观察区域和缺失区域的不对称性,方法完全训练自由且兼容多种3D基础模型。与ComPC、GenPC等基于2D渲染假设的方法不同,LaS-Comp直接在3D空间工作,不依赖任何渲染假设,因此能够处理更广泛的部分模式。
核心方法
LaS-Comp框架的核心思想是通过显式空间替换和隐式潜在对齐两个互补阶段,桥接3D基础模型的潜在空间和物理空间,实现高保真度的形状补全。方法从高斯噪声开始,在部分输入的引导下,通过多次去噪迭代逐步恢复完整几何。在每个时间步,框架接收当前潜在特征和部分形状,执行两个互补操作:显式替换阶段ERS将部分输入的已知几何明确注入到潜在中,产生更新的潜在,严格保证对部分输入的忠实度;隐式对齐阶段IAS通过几何对齐损失指导的单步优化细化潜在,鼓励合成区域和观察区域之间的平滑性,产生连贯的潜在用于下一步迭代。最终将细化后的潜在特征通过解码器解码得到补全形状。整个过程充分利用3D基础模型的强大生成先验,同时通过显式几何注入和隐式对齐确保结果的高保真度和全局几何连贯性。
LaS-Comp的核心创新点是显式和隐式两阶段设计,解决了latent space与spatial domain之间的根本差异。与现有方法直接在潜在空间使用部分潜在代码作为条件不同,LaS-Comp认识到这种做法由于latent gap而不可靠,因此采用显式空间替换将部分输入的几何信息直接在解码后的物理空间注入,然后重新编码回潜在空间。ERS阶段包含两个并行分支:Clean分支利用生成器预测无噪潜在,解码到空间域后通过空间掩码将部分输入的几何明确替换进去,得到混合形状后编码回潜在空间;Noisy分支估计含噪潜在,并通过部分感知噪声调度根据空间掩码对观察区域和缺失区域应用不同的噪声策略。最后通过前向流插值得到最终对齐的潜在。IAS阶段则通过计算几何对齐损失并对其关于潜在特征求梯度,执行单步梯度更新细化潜在特征以减少观察区域与合成区域的边界不连续性。这种显式和隐式的组合设计确保了既有严格的部分输入忠实度,又有全局的几何连贯性。
方法步骤详情
LaS-Comp的完整补全流程包含以下步骤。输入是部分3D形状,输出是补全形状。步骤1是初始化,从标准高斯分布采样初始潜在特征。步骤2是迭代去噪,对于每个时间步从1递减到0,执行以下操作。显式替换阶段首先利用生成器预测速度场,然后计算Clean分支的无噪潜在和Noisy分支的含噪潜在。将无噪潜在通过解码器解码到空间域得到完整形状预测,将部分形状体素化为占据栅格并构建二值空间掩码,其中掩码值1表示部分形状中观察到的体素。执行空间替换,用部分形状的几何替换生成预测在掩码区域的内容,缺失区域保持生成预测,然后通过编码器编码回潜在空间。对于Noisy分支,应用部分感知噪声调度:对于观察区域,将模型预测的含噪潜在与高斯噪声混合,应用时间相关的扰动幅度;对于缺失区域,用纯高斯噪声替换模型预测,以促进补全区域的多样性。最后通过前向流插值得到当前时间步的更新潜在。隐式对齐阶段从更新潜在再次预测无噪潜在并解码,计算几何对齐损失,使用二元交叉熵损失在掩码区域内比较预测占据率和部分输入体素,计算梯度并执行单步更新细化潜在,使其更好地匹配可靠的掩码区域。计算下一步的潜在状态。步骤3是解码输出,当时间递减到0时,最终潜在通过解码器得到补全形状。整个过程使用100个去噪时间步,学习率为0.00001,在单个RTX3090 GPU上约需36秒,显存占用约10GB。
技术新颖性
LaS-Comp的技术新颖性体现在多个方面。首先,本文首次系统性地揭示了3D基础模型中潜在空间与物理空间之间的latent gap现象,并通过实验量化证明了直接在潜在空间进行补全的不可靠性(余弦相似度仅0.4593)。这个发现不仅解释了为什么现有基于潜在条件的方法效果有限,也为后续研究指明了新方向。其次,ERS和IAS两阶段架构的设计是创新的,它巧妙地结合了显式和隐式两种策略:显式空间替换保证了严格的部分输入忠实度,隐式对齐优化确保了全局几何连贯性。这种互补设计避免了单一策略的局限性。第三,部分感知噪声调度是针对形状补全任务特定需求设计的创新组件,它认识到形状补全的不对称性(观察区域应稳定,缺失区域应允许高随机性),并通过根据空间掩码调制不同区域的噪声调度来处理这种不对称性。第四,方法完全训练自由且模型无关,兼容Direct3D-S2和TRELLIS两种不同的3D基础模型,展示了框架的通用性和可扩展性。最后,本文提出的Omni-Comp基准填补了现有评估的空白,通过包含真实扫描和合成数据、三种不同部分模式的180个挑战性样本,为更全面、更现实的评估提供了平台,这本身就是对领域的重要贡献。
实验结果
LaS-Comp在多个基准上实现了最先进的性能,显著优于现有方法。在Redwood真实扫描数据集上,使用TRELLIS backbone的LaS-Comp在平均CD和EMD上分别达到1.42和1.84,相比最新的零样本方法ComPC分别提升27.2%和29.0%,相比GenPC分别提升18.4%和36.1%。在synthetic数据集上,LaS-Comp在平均CD和EMD上分别达到1.11和1.41,相比ComPC分别提升31.1%和32.5%,相比GenPC在EMD上提升36.1%。在ScanNet和KITTI等更具挑战性的真实数据集上,LaS-Comp在UCD和UHD上也显著优于ComPC,证明了其对稀疏和噪声输入的鲁棒性。在提出的Omni-Comp基准上,LaS-Comp在三种部分模式(单视角扫描、随机裁剪、语义部件缺失)上都展现了最佳性能,平均相比ComPC在CD和EMD上分别提升49.6%和39.4%。定性结果显示LaS-Comp能够精确恢复细粒度几何细节(如植物的叶状结构、垃圾桶的轮缘和轮子),同时保持对观察区域的高保真度。在完成多样性评估中,LaS-Comp在MMD和TMD上优于PCDreamer和ComPC,表明能够生成多样化的合理补全。消融实验验证了每个组件的必要性:去除ERS导致最严重的性能下降,因为它失去了对输入结构的保真度;去除PNS导致表面出现条纹状伪影;去除IAS导致小孔洞和边界不一致;而使用10步优化相比1步没有显著性能增益,说明单步优化已足够。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 完成正确性(Redwood) | CD/EMD(越低越好) | 1.42/1.84 | ComPC | CD提升27.2%,EMD提升29.0% |
| 完成正确性(Synthetic) | CD/EMD(越低越好) | 1.11/1.41 | ComPC | CD提升31.1%,EMD提升32.5% |
| 完成保真度(ScanNet-Chair) | UCD/UHD(越低越好) | 0.8/2.0 | ComPC | UCD提升60%,UHD提升62% |
| 完成保真度(ScanNet-Table) | UCD/UHD(越低越好) | 0.9/2.0 | ComPC | UCD提升70%,UHD提升71% |
| 完成保真度(KITTI-Car) | UCD/UHD(越低越好) | 1.4/4.5 | ComPC | UCD提升27%,UHD提升21% |
| Omni-Comp综合评估 | 平均CD/EMD(越低越好) | 2.21/3.15(单视角扫描) | ComPC | CD提升47.9%,EMD提升31.7% |
| 完成多样性(Redwood) | MMD/TMD(MMD越低越好,TMD越高越好) | 1.62/0.99 | ComPC | MMD提升19.4%,TMD提升37.5% |
| 完成多样性(Synthetic) | MMD/TMD(MMD越低越好,TMD越高越好) | 1.20/0.94 | ComPC | MMD提升27.3%,TMD提升51.6% |
局限与改进
LaS-Comp虽然取得了最先进的性能,但仍存在一些局限性。作者在论文中承认,对于极端噪声的输入,模型仍然面临挑战,可能导致不完美的补全。在这种情况下,模型仍然可以恢复粗略的物体结构,如椅子的整体轮廓,但细粒度细节和薄结构可能会被过度平滑或扭曲,因为底层几何被噪声严重破坏。当输入仅包含微弱或模糊的线索时,生成先验只有有限的可靠信息可以作为条件。除了作者提到的局限性,我观察到LaS-Comp的另一个潜在限制是它依赖于基于真值的归一化。虽然这对评估是合理的,但在实际应用中,我们通常只能获得部分扫描而没有完整形状,因此如何自动估计归一化参数是一个开放问题。此外,方法目前使用固定的去噪时间步数(100步)和固定的学习率,对于不同复杂度的输入可能不是最优的。虽然消融实验显示10步优化相比1步没有显著性能增益,这意味着单步优化已经足够,但也可能暗示了进一步优化的空间有限。最后,虽然方法支持文本引导补全,但论文中对文本引导效果的展示相对有限,主要展示了无条件的自动补全结果。
独立分析的弱点
首先,对于极端噪声的输入,LaS-Comp在细粒度细节恢复上仍然存在困难。这主要是因为当观察点被严重噪声污染时,模型难以区分噪声信号和真实几何。改进方向包括设计更强的去噪预处理模块,在补全前显式检测和去除噪声模式(如远离主形状的散乱点或局部几何不一致的簇),从而为形状补全提供更干净的部分输入;开发置信度感知的细化策略,根据模型在每个区域估计的可靠性自适应调整去噪强度,对置信区域进行保护性更新,对模糊或噪声区域应用更谨慎的更新。其次,LaS-Comp依赖基于真值的归一化,这在真实场景中不切实际。改进方向是开发更鲁棒的野外归一化方法,例如从部分扫描自动估计包围盒和尺度,使用预训练的3D感知模型来预测合理的归一化参数,设计尺度不变的特征表示,使补全过程对输入尺度变化鲁棒。第三,方法目前对所有输入使用固定的超参数(时间步数、学习率、引导尺度等),这可能不是对所有情况最优的。改进方向包括开发自适应超参数调整策略,根据输入的稀疏程度、噪声水平、几何复杂度等动态调整超参数;使用元学习在少量样本上学习最优超参数配置。第四,虽然方法支持文本引导补全,但对文本条件的利用可能不够充分。改进方向包括增强文本条件在潜在空间的影响,例如通过更强的引导或专门设计的文本-几何对齐损失;支持更细粒度的文本控制,例如指定缺失部分的位置、形状、语义等。
未来方向
作者提出的未来工作方向包括设计更强的去噪预处理模块,显式检测和去除噪声模式;开发置信度感知的细化策略,根据模型估计的可靠性自适应调整去噪强度。基于论文成果,我认为可以延伸以下研究方向:扩展到动态3D形状补全,即对时序变化的3D数据(如视频捕获的动态物体)进行补全,这需要考虑时间一致性和运动先验;支持多模态输入和引导,除了文本,还可以支持草图、2D图像、语言描述等多种模态的联合引导,提供更灵活的用户交互;探索在潜在空间进行语义分解,例如将补全任务分解为结构补全和细节填充两个子任务,分别在不同层次的特征空间进行;研究更高效的采样策略,虽然LaS-Comp已经比现有零样本方法快3倍以上,但进一步加速可以支持实时应用;探索在更极端的部分模式下的鲁棒性,例如仅保留几个稀疏点或仅保留语义属性(如一把四条腿的椅子)而不保留任何几何数据;研究补全结果的验证和质量评估方法,特别是在没有真值的真实场景下,如何自动评估补全的合理性;扩展到场景级别的补全,即对包含多个物体的3D场景进行补全,这需要考虑物体间的语义和几何关系。
复现评估
LaS-Comp的复现难度中等,论文提供了足够的实现细节和参数设置。论文声明代码和数据将在项目页面公开,这将有助于复现。方法的实现基于两个预训练的3D基础模型:Direct3D-S2和TRELLIS,这两个模型都是开源的,可以从各自的官方仓库获取。论文详细说明了如何将这两个模型适配到LaS-Comp框架,指出对于Direct3D-S2,编码器是其VAE编码器,生成器是条件扩散transformer,解码器是VAE解码器;对于TRELLIS,编码器是VAE编码器,生成器是其第一阶段的整流流transformer生成器,解码器是VAE解码器。论文提供了详细的pipeline参数设置:去噪时间步数100,引导尺度1.0,时间重缩放因子3.0,每个时间步执行一步latent优化更新,学习率0.00001,占据阈值0.5,部分感知噪声调度仅在时间大于等于0.5时应用,显式替换阶段和隐式对齐阶段应用于所有时间步。论文提供了不同数据集的参数设置:Redwood和synthetic数据集使用16384点分辨率,KITTI和ScanNet使用2048点分辨率。论文报告了在单个RTX3090 GPU上的实际性能:FP16,batch size 1,峰值显存10.29 GB,运行时间35.92秒,这表明方法可以在消费级GPU上部署,实用性较强。提出的Omni-Comp基准包含30个物体(来自Redwood、YCB、Synthetic三个来源,各10个,每个来自不同类别),三种部分模式(单视角扫描、随机裁剪、语义部件缺失),每种模式每物体2个样本,共180个部分样本及其真值。基准的构建细节在论文中详细描述,包括如何使用SAM2和OWL-ViT提取真实RGB-D数据的物体掩码、如何进行ICP对齐、如何生成随机裁剪和语义部件缺失样本等。总的来说,LaS-Comp的复现需要访问预训练的Direct3D-S2或TRELLIS模型,实现显式替换阶段、隐式对齐阶段和部分感知噪声调度三个组件,配置正确的超参数,准备或下载数据集。论文提供了足够的信息,但如果没有开源代码,复现可能需要一些努力。
论文图表
Figure 1展示了LaS-Comp框架的多样性和灵活性。它包含四个子图:展示了随机裁剪部分模式下的补全结果,物体被随机裁剪掉一部分后,框架能够补全缺失区域;展示了单视角扫描的补全结果,从单个视角的深度扫描恢复完整3D形状;展示了缺少语义部件的情况,如椅子缺少腿部,框架能够补全缺失的语义部件;展示了文本引导补全的能力,通过文本描述控制补全结果。这个图直观地展示了LaS-Comp的核心优势:能够处理不同类型的部分输入,并且支持灵活的用户控制。
这张图对理解论文至关重要,因为它直观地展示了LaS-Comp解决的问题(多样化部分模式)和提供的功能(无条件和文本引导补全)。它帮助读者快速把握论文的贡献和框架的适用范围。
Figure 9展示了部分输入和真值之间的潜在差距的示意图。虽然部分输入和真值在观察区域共享相同的表面几何,但它们通过VAE编码器在对应区域获得的潜在表示显示出明显差异。图中分别展示了部分输入和真值的3D形状以及它们在潜在空间的可视化,重叠区域的潜在编码差异明显。作者通过计算余弦相似度量化了这种差异,平均值为0.4593,远低于通常认为表示强相关性的阈值0.80。
这张图是理解论文核心贡献的关键,它直观地展示了潜在差距现象的存在。这个发现是LaS-Comp设计显式替换阶段和隐式对齐阶段两阶段架构的根本原因,也是与现有方法的关键区别。
Figure 10展示了在极端噪声部分输入下的补全结果可视化。尽管严重噪声严重污染了观察点,LaS-Comp仍然能够恢复合理的全局结构和整体物体轮廓(如椅子的整体轮廓),但许多细粒度细节和薄结构被退化或缺失。图中展示了多个例子,每个例子包含极端噪声的部分输入和LaS-Comp的补全结果。这些例子揭示了当强噪声压倒底层几何时模型的局限性。
这张图展示了LaS-Comp的局限性,这对完整理解论文的贡献很重要。它帮助读者认识到方法的能力边界,以及作者提出的未来工作方向的动机。
Table 7展示了Omni-Comp基准中的类别列表,包含了来自三个数据源的代表性物体类别。Redwood类别包括:Bicycle、Plant、Trash Bin、Car、Motorcycle、Sign、Bench、Couch、Desk、Rocking Chair;YCB类别包括:Cracker Box、Mustard Bottle、Banana、Bleach Cleanser、Skillet、Power Drill、Extra Large Clamp、Tennis Ball、Wood Block、Timer;Synthetic类别包括:Dinosaur、Glass、Guitar、Headphone、Laptop、Robot、Shoe、Statue、Toilet、Torch。总共30个物体,每个来自不同类别,确保了类别多样性。
这个表格提供了Omni-Comp基准的详细信息,帮助读者理解基准的构成和多样性。它证明了Omni-Comp是一个全面的基准,涵盖了广泛的物体类别和数据源。