几何感知多视图扩散外补用于稀疏视图3D重建 GaMO: Geometry-aware Multi-view Diffusion Outpainting for Sparse-View 3D Reconstruction

GaMO方法包含三个主要步骤。步骤一：粗糙3D初始化。给定稀疏输入RGB图像$\{I_i\}_{i=1}^N$和相机参数$\{\Pi_i\}_{i=1}^N$，首先使用DUSt3R生成初始点云并训练粗糙3DGS模型。然后通过缩放焦距渲染扩展FOV的不透明度图$O$，通过阈值化获得不透明度掩码$M = \mathbb{I}(O < \eta_{\text{mask}})$，其中$M = 1$的区域表示需要外补的低不透明度区域。同时渲染扩展FOV的粗糙颜色图像$I_{\text{coarse}}$作为外观先验。步骤二：几何感知多视图外补。使用多视图扩散模型MVGenMaster生成外补视图。多视图条件包括Plücker射线嵌入$P_r$和$P^*_t$、规范坐标图$C_{\text{warp}}^{r \to t}$和$I_{\text{warp}}^{r \to t}$以及增强的RGB特征$I_{\text{aug}}^{r \to t}$和$C_{\text{aug}}^{r \to t}$。去噪过程中在选定的去噪时间步$\{t_1, t_2, ..., t_N\}$执行掩码潜在混合：$z^{\text{blend}}_{t_k} = \mathcal{M}^{(k)}_{\text{latent}} \odot z^{\text{coarse}}_{t_k} + (1 - \mathcal{M}^{(k)}_{\text{latent}}) \odot z_{t_k}$，其中$z^{\text{coarse}}_{t_k}$是通过向粗糙潜在添加噪声获得的。每次混合后执行噪声重采样：$z^{\text{resamp}}_{t_k} = \sqrt{\alpha_{t_k}}\hat{z}_0 + \sqrt{1-\alpha_{t_k}}\epsilon$，以消除边界伪影。步骤三：3DGS精细化。使用原始输入视图$\{I^{\text{gt}}_i\}_{i=1}^N$和生成的外补视图$\{S^{\text{out}}_j\}_{j=1}^M$联合优化3DGS模型。对于输入视图，使用标准3DGS重建损失：$\mathcal{L}_{\text{input}} = (1-\lambda_s)\mathcal{L}_1(I_i, I^{\text{gt}}_i) + \lambda_s\mathcal{L}_{\text{D-SSIM}}(I_i, I^{\text{gt}}_i)$。对于外补视图，结合感知损失$\mathcal{L}_{\text{LPIPS}}$：$\mathcal{L}_{\text{outpainted}} = \mathcal{L}_{\text{recon}}(S_j, S^{\text{out}}_j) + \mathcal{L}_{\text{perc}}\mathcal{L}_{\text{LPIPS}}(S_j, S^{\text{out}}_j)$，其中$\mathcal{L}_{\text{recon}} = (1-\lambda_s)\mathcal{L}_1(S_j, S^{\text{out}}_j) + \lambda_s\mathcal{L}_{\text{D-SSIM}}(S_j, S^{\text{out}}_j)$。

GaMO的技术新颖性体现在三个方面：1）外补范式的提出：首次将稀疏视图3D重建表述为多视图外补问题而非新视角生成问题，通过扩展FOV而非生成新视角来保持几何一致性；2）几何感知的外补策略：开发了多视图条件和几何感知去噪策略，包括Plücker射线嵌入、CCM翘曲、掩码潜在混合和迭代掩码调度，所有这些都在零样本方式下工作而无需训练；3）高效的pipeline：通过单次外补传递实现快速重建，避免新视角生成所需的复杂轨迹规划，相比视频扩散方法实现数十倍加速。这种几何感知的外补方法在保持强几何一致性的同时，提供了更完整的场景覆盖。

基于对论文的深入分析，我识别出以下具体弱点。第一，对完全遮挡区域的处理能力有限。GaMO无法恢复在所有输入视图中都被完全遮挡的内容，这在具有复杂遮挡关系的室内场景中是一个显著限制。改进方向可以结合语义先验或场景补全方法来推断遮挡区域的内容。第二，对输入视图分布的敏感性。聚类或错位的视图会降低几何先验的质量，影响外补结果。改进方向可以开发自适应外补缩放策略，根据输入视图的分布动态调整FOV扩展比例。第三，零样本方法的泛化限制。GaMO不针对特定场景类型进行微调，这可能在某些专门场景（如工业环境、医疗影像）中限制性能。改进方向可以探索少样本微调策略，在保持效率的同时提高特定场景的性能。第四，长距离一致性的挑战。在大尺度场景中，扩散模型在生成跨越多个视图的一致内容时可能面临困难。改进方向可以引入全局一致性约束或分层生成策略，先生成粗略布局再细化细节，提高大尺度场景的一致性。

作者提出的未来工作方向包括探索自适应外补缩放策略和混合方法以应对更具挑战性的情况。基于GaMO的成果，可以延伸多个研究方向。一是动态FOV扩展策略，根据场景复杂性和输入视图分布自适应调整FOV扩展比例，在简单场景中保守扩展，在复杂场景中大胆扩展。二是分层外补框架，先进行全局布局外补建立粗略场景结构，再进行局部细节外补填充精细内容，提高大尺度场景的一致性。三是语义引导外补，结合大型视觉-语言模型的语义理解能力，在外补过程中引入语义约束，生成语义一致的场景内容。四是时序外补扩展，将GaMO框架扩展到动态场景的4D重建，通过时序一致性约束实现动态场景的外补和重建。五是轻量级扩散模型，针对外补任务设计专用的轻量级扩散模型，进一步减少计算开销，使方法能够在消费级GPU上实时运行。

GaMO提供了项目页面https://yichuanh.github.io/GaMO/，但论文中未明确说明代码开源情况。方法使用了预训练的MVGenMaster [4]作为扩散backbone，这是公开可用的模型。数据集方面，Replica、ScanNet++和Mip-NeRF 360都是标准公开数据集，易于获取。算力要求方面，GaMO在单个RTX 4090 GPU上运行，重建时间约8分钟，这是相对合理的算力需求。实现细节方面，论文提供了关键的超参数设置，但一些具体实现细节（如掩码阈值的具体值、迭代掩码调度的具体时间步的选择策略）可能在补充材料中提供。复现难度中等，主要挑战在于正确实现多视图条件和掩码潜在混合的细节，以及与预训练MVGenMaster模型的集成。