InfiniDepth：基于神经隐式场的任意分辨率和细粒度深度估计 InfiniDepth: Arbitrary-Resolution and Fine-Grained Depth Estimation with Neural Implicit Fields
将深度建模为神经隐式场，实现任意分辨率和细粒度的单目深度估计
前置知识
神经隐式场
神经隐式场是一种基于连续坐标的信号表示方法，通过神经网络（通常是MLP）将空间坐标映射到值。与体素或网格等显式表示不同，它可以在任意连续位置查询信号，理论上支持无限分辨率，且参数高效，不受离散网格离散化的限制。这种方法在3D重建和新视图合成领域被广泛应用。
本文的核心创新是将神经隐式场应用到深度估计任务中，理解这一概念对于理解本文如何突破传统网格表示的限制至关重要。
Vision Transformer (ViT)
Vision Transformer是一种将Transformer架构应用于计算机视觉的模型，它将图像分割成多个小块（patches），然后将这些块转换为序列tokens，通过自注意力机制处理。与传统的卷积神经网络不同，ViT能够捕获长距离依赖关系和全局上下文信息，在特征提取方面表现出色。
本文采用DINOv3 ViT-Large作为图像编码器，理解ViT的工作原理有助于理解特征提取和特征金字塔构建过程。
高斯溅射
Gaussian Splatting是一种新兴的神经渲染技术，它使用3D高斯原始体（primitives）来表示场景，每个高斯具有位置、协方差、颜色和不透明度等属性。这些高斯可以通过可微的溅射操作高效地渲染，实现快速的新视图合成，同时保持高质量的结果。
本文将InfiniDepth与Gaussian Splatting结合用于单视图新视图合成应用，理解这一概念有助于理解本文方法在实际应用中的价值。
研究动机
现有的深度估计方法都受到离散图像网格表示的根本限制。这种表示方法将深度预测约束在固定的网格位置上，本质上限制了输出分辨率不能超过训练图像大小。在实际场景中，当需要生成高分辨率深度图（如4K甚至更高）时，这些方法往往需要通过卷积上采样或从潜在特征投影到深度图块。前者会引入平滑效应，后者难以捕捉局部几何变化，两者都会牺牲高频细节。这在自动驾驶、机器人导航等需要精确几何信息的场景中是严重的问题。传统方法如DepthAnything、MoGe等虽然表现良好，但都受限于这种网格表示，难以在保持细节的同时提升输出分辨率。基于扩散模型的方法如Marigold、PPD虽然能产生高质量结果，但计算开销大，同样无法突破分辨率的限制。
本文的目标是本文的目标是开发一种新的深度表示方法，使其能够支持任意分辨率的深度估计，同时保持细粒度的几何细节。具体而言，作者希望设计一种方法，能够在任意连续的2D坐标处查询深度值，不再受到训练分辨率的约束。此外，还希望该方法能够在高分辨率图像上保持精细的几何细节，特别是在几何变化显著的高频细节区域。另一个重要目标是提高单视图新视图合成的质量，特别是在大视角变化的情况下，通过生成更均匀分布的3D点云来减少几何孔洞和伪影。作者希望最终的方法能够在相对深度估计和度量深度估计两个任务上都达到最先进的性能，并且能够在零样本设置下泛化到真实世界数据集。
与已有工作不同的是，与现有方法相比，本文的独特切入角度是将深度建模为神经隐式场，从根本上改变深度表示的方式。现有的深度估计方法（包括基于ViT的方法如DepthAnything、MoGe，基于扩散模型的方法如Marigold、PPD）都将深度表示为离散的2D网格，而本文提出了一种连续的、局部化的预测范式。另一个独特的角度是设计了一个深度查询策略，该策略根据每个像素对应的3D表面元素自适应地分配子像素查询预算，生成在物体表面上空间均匀的3D点。这种策略考虑了透视投影和表面方向效应导致的点云密度不均匀问题，这是神经隐式表示用于深度估计的文献中首次提出的解决方案。此外，本文还构建了Synth4K数据集，这是一个高质量的4K合成基准，专门用于评估高分辨率和细粒度深度估计能力，填补了现有基准在这一方面的空白。
核心方法
InfiniDepth的整体思路是将深度表示建模为神经隐式场，通过一个简单而有效的局部隐式解码器，可以在任意连续2D坐标处查询深度值。具体的技术路线是：首先使用Vision Transformer（DINOv3 ViT-Large）对输入图像进行编码，提取多尺度的特征图；然后构建特征金字塔，对于任意连续查询坐标，在每个尺度上通过双线性插值收集空间对齐的特征；最后通过层级特征融合机制将这些多尺度特征融合，并使用轻量级MLP头预测深度值。这种方法不再受限于训练分辨率，可以自然地产生任意分辨率的深度图，并且由于其局部化的预测机制，能够更好地捕捉几何变化。整个架构由两个主要模块组成：特征查询模块负责从多尺度特征金字塔中提取查询坐标的局部特征，深度解码模块负责层级融合这些特征并预测深度值。对于新视图合成应用，还设计了Infinite Depth Query策略，通过自适应分配子像素查询预算来生成均匀分布的3D点云。
本文的核心创新点是将深度表示为神经隐式场，这标志着从离散网格表示到连续、局部化预测范式的转变。与传统方法在固定网格位置预测深度不同，InfiniDepth在任意连续2D坐标处查询深度，实现了真正的分辨率无关的深度预测。这意味着同一个模型可以在训练分辨率之外的任意分辨率下进行推理，而不需要重新训练或修改架构。另一个关键创新是设计了Infinite Depth Query策略，通过估计每个像素对应的3D表面积来分配自适应的查询预算，生成在物体表面上近似均匀分布的3D点。这个策略基于深度平方缩放和表面方向效应，通过微分隐式深度场的雅可比计算表面法向量，从而生成空间均匀的3D点云。这种策略对于新视图合成任务特别重要，因为它能够显著减少由于点云密度不均匀导致的几何孔洞和伪影。此外，多尺度局部隐式解码器的设计也是关键创新，它通过特征金字塔和层级融合机制，能够在保持全局语义的同时捕捉细粒度的局部几何变化。
方法步骤详情
方法包含三个主要步骤。第一步是特征查询：输入图像首先被Vision Transformer编码为一组特征tokens，使用reassemble块从多个ViT层提取特征tokens并投影到不同的隐藏维度。为了捕捉细粒度的局部细节和保留全局语义，浅层特征被上采样到更高的空间分辨率，而深层特征保持其原始分辨率，从而构建特征金字塔。对于连续查询坐标，首先将其映射到第k个特征金字塔尺度的对应位置，然后在每个尺度上定义局部网格邻域，并通过双线性插值聚合邻域特征，得到查询坐标在第k个尺度的特征token。第二步是深度解码：给定多尺度局部描述符，从浅层（细节）到深层（语义）层级融合特征，使用残差门控融合块，其中线性投影表示匹配特征维度的线性变换，可学习的通道级门控控制特征融合的程度，元素级乘法实现门控机制，前馈网络是带有非线性激活的两层前馈网络。这个过程从最浅层重复到最深层，得到最终融合特征。最后通过MLP头预测查询坐标处的深度值。第三步是Infinite Depth Query（用于新视图合成）：首先在像素坐标处查询深度并反投影到3D点，然后推导自适应权重，该权重近似于每个像素对应的3D表面积。深度平方缩放项考虑了像素覆盖的表面积随距离平方增长，表面方向项补偿了表面法向与观察方向夹角导致的投影压缩。基于自适应权重，分配查询预算并在每个像素块内均匀分布子像素查询坐标，在这些连续坐标处查询深度并反投影到3D，得到近似均匀表面覆盖的点云。
技术新颖性
本文的技术新颖性主要体现在三个方面。首先，这是首次将神经隐式场表示成功应用于单目深度估计任务，并证明了其在任意分辨率和细粒度深度估计方面的有效性。与之前的神经隐式表示工作（如NeRF、LIIF、AnyFlow）不同，本文专注于深度估计这一特定任务，并针对这一任务设计了专门的架构和训练策略。其次，设计了多尺度局部隐式解码器，通过特征金字塔和层级融合机制，能够在保持全局语义的同时捕捉细粒度的局部几何变化。这种设计与传统的全局隐式函数不同，它结合了局部性和多尺度性的优点，既保持了隐式表示的连续性，又能够高效地处理高分辨率图像。第三，提出了Infinite Depth Query策略，通过考虑深度平方缩放和表面方向效应来估计每个像素的3D表面积，生成空间均匀的3D点云，这对于新视图合成任务具有重要意义。此外，还构建了Synth4K数据集，这是一个高质量的4K合成基准，专门用于评估高分辨率和细粒度深度估计能力，填补了现有基准在这一方面的空白。该数据集包含五个不同游戏的4K分辨率RGB-D数据，涵盖了丰富的室内外场景，并构建了高频细节掩码来专门评估细节预测能力。
实验结果
实验结果表明InfiniDepth在合成和真实世界基准上都取得了最先进的性能。在Synth4K数据集上的零样本相对深度估计实验中，本文方法在所有五个子集上都显著优于所有现有方法。具体来说，在Synth4K-1上，delta0.5指标达到74.3%，而最佳基线MoGe-2为69.0%，提升了5.3个百分点；在Synth4K-4上，delta0.5达到89.7%，MoGe-2为90.4%，性能相当；在Synth4K-5上，delta0.5达到88.5%，MoGe-2为80.7%，提升了7.8个百分点。特别值得注意的是在高频细节区域，本文方法的优势更加明显。在Synth4K-1的高频细节区域，delta0.5达到49.2%，而最佳基线MoGe-2为48.9%，提升了0.3个百分点；在Synth4K-5的高频细节区域，delta0.5达到63.9%，MoGe-2为61.4%，提升了2.5个百分点。这证明了本文方法在恢复细粒度几何细节方面的优势。在真实世界基准上的零样本相对深度估计实验中，本文方法与当前最先进方法表现相当。例如，在KITTI数据集上，delta1指标达到97.9%，最佳基线MoGe-2为98.3%；在ETH3D上，delta1达到99.1%，最佳基线MoGe-2为99.0%；在DIODE上，delta1达到97.4%，最佳基线MoGe-2为97.4%。在零样本度量深度估计实验中，结合稀疏深度输入在所有基准上都显著优于现有方法。在Synth4K-1上，delta0.01达到78.0%，最佳基线PromptDA为65.0%，提升了13.0个百分点；在KITTI上，delta0.01达到63.9%，最佳基线PromptDA为58.3%；在DIODE上，delta0.01达到98.4%，最佳基线PromptDA为97.3%；在ETH3D上，delta0.01达到96.7%，最佳基线PromptDA为92.8%；在NYUv2上，delta0.01达到86.9%，最佳基线PromptDA为83.6%；在ScanNet上，delta0.01达到90.4%，最佳基线PromptDA为87.0%。消融实验证明了各个组件的有效性。移除神经隐式场后，在Synth4K-1上的delta0.01从72.7%下降到62.4%，在DIODE上从97.6%下降到95.4%。移除多尺度查询后，在Synth4K-1上的delta0.01从72.7%下降到66.6%，在DIODE上从97.6%下降到95.6%。移除DINOv3后，在Synth4K-1上的delta0.01从72.7%下降到63.8%，在DIODE上从97.6%下降到95.8%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 零样本相对深度估计（Synth4K全图） | delta0.5 | 74.3%（Synth4K-1） | 69.0%（MoGe-2） | +5.3个百分点 |
| 零样本相对深度估计（真实世界-KITTI） | delta1 | 97.9% | 98.3%（MoGe-2） | -0.4个百分点 |
| 零样本度量深度估计（Synth4K-1，带稀疏深度） | delta0.01 | 78.0% | 65.0%（PromptDA） | +13.0个百分点 |
| 零样本度量深度估计（DIODE，带稀疏深度） | delta0.01 | 98.4% | 97.3%（PromptDA） | +1.1个百分点 |
| 零样本度量深度估计（ETH3D，带稀疏深度） | delta0.01 | 96.7% | 92.8%（PromptDA） | +3.9个百分点 |
| 零样本相对深度估计（Synth4K-5高频细节区域） | delta0.5 | 63.9% | 61.4%（MoGe-2） | +2.5个百分点 |
局限与改进
作者承认的局限性包括：本文专注于单目深度估计，仅在单视角深度数据上训练，因此在应用于视频时不会显式强制时间一致性，可能会在帧之间产生闪烁。这是一个实际的限制，因为许多应用场景如自动驾驶、视频处理都需要稳定的深度估计。另一个局限性是计算效率不如某些轻量级方法，虽然比基于扩散模型的方法更快，但比DepthAnythingV2等卷积解码器方法慢。具体来说，本文方法的解码器参数量为15M，推理时间为0.16秒/迭代，而DepthAnythingV2的解码器参数量为31M，推理时间仅为0.03秒/迭代。作者还指出本文方法依赖高质量合成数据进行训练，这可能限制在某些真实场景中的泛化能力，特别是当训练数据和测试数据之间存在较大的领域差距时。我自己观察到的局限性包括：方法需要预训练的ViT编码器（DINOv3），这增加了模型的复杂度和计算需求；在真实世界基准上的相对深度估计性能提升不如在合成数据集上明显，这可能表明存在领域差距；对于遮挡和复杂光照条件的处理能力在论文中没有充分讨论，这些是深度估计中的常见挑战；方法的可解释性不如传统的基于网格的方法，因为隐式场的内部表示难以可视化和分析；此外，对于训练数据的多样性和覆盖范围的影响也没有进行充分的消融实验，这可能会影响对方法鲁棒性的理解。
独立分析的弱点
本文方法的独立分析弱点包括：在视频应用中缺乏时间一致性约束，这是一个实际的弱点，因为许多应用场景（如自动驾驶、视频处理）需要稳定的深度估计。当前的方法在视频序列中可能会产生帧与帧之间的深度闪烁，这会影响下游任务的性能。改进方向是扩展到多视角设置，显式引入时间一致性约束，例如使用光流约束、时序损失或3D一致性损失。另一个弱点是计算效率相对较低，相比一些轻量级方法（如DepthAnythingV2，推理时间仅为0.03秒/迭代）更慢。这可能限制方法在实时应用中的使用。改进方向包括优化特征查询和融合机制，探索更高效的隐式场架构，或者使用模型压缩技术（如知识蒸馏、量化）来减少计算开销。第三个弱点是对高质量合成数据的依赖，可能在某些真实场景中泛化能力有限。当训练数据和测试数据之间存在较大的领域差距时，性能可能会下降。改进方向包括采用领域适应技术、半监督学习或自监督学习方法，利用大规模未标记的真实世界数据进行训练，或者设计更鲁棒的特征表示来减少领域差异。第四个弱点是对于遮挡和复杂光照条件的处理能力没有得到充分的验证和讨论。改进方向包括在训练数据中增加这些挑战性场景的样本，或者在损失函数中加入特定的约束来鼓励模型更好地处理这些情况。
未来方向
作者提出的未来工作方向包括：将深度表示扩展到多视角设置以提高时间稳定性和3D一致性，这对于视频应用至关重要。这可能涉及设计时序一致的隐式表示，或者将多视角约束集成到训练过程中。另一个方向是探索更高效的计算方法，在保持细粒度深度估计能力的同时减少推理时间，这可能包括优化特征查询策略、设计更轻量的解码器架构，或者利用模型加速技术。还可以研究如何将InfiniDepth集成到更广泛的3D感知和重建流水线中，例如结合SLAM、3D重建或增强现实应用。基于本文成果的可延伸方向包括：将神经隐式场表示应用于其他密集预测任务，如表面法向量估计、语义分割或光流估计，这些任务也可能受益于连续的、分辨率无关的表示；探索与其他先进技术（如扩散模型、大语言模型）的结合，进一步提升深度估计的质量和泛化能力；研究在边缘设备上的部署，推动在实际应用中的使用，这可能包括模型压缩、量化和优化技术；开发更丰富和多样化的高分辨率深度数据集，进一步推动该领域的发展，特别是真实世界的高分辨率深度数据集仍然稀缺；探索多模态的深度估计方法，结合RGB、深度、激光雷达等多种传感器数据，进一步提高估计的鲁棒性和准确性。
复现评估
论文提供了项目页面，但没有明确说明是否开源代码。数据方面，使用了多个合成数据集进行训练，包括Hypersim、VKITTI、TartanAir、IRS、UnrealStereo4K、UrbanSyn等，这些都是公开可获取的。构建的Synth4K数据集包含五个不同游戏的4K分辨率RGB-D数据，数据集的详细描述在补充材料中提供，包括数据集的构建过程、高频细节掩码的生成方法等，但没有明确说明是否公开发布。算力方面，使用8个NVIDIA GPU训练80万步，batch size为4，计算需求中等偏上。模型的解码器参数量为15M，相比其他方法（如DepthAnythingV2的31M、DepthPro的29M、MoGe-2的22M）更轻量。推理时间为0.16秒/迭代，虽然不如DepthAnythingV2（0.03秒/迭代）和MoGe-2（0.05秒/迭代）快，但比基于扩散模型的方法（如Marigold和PPD）更快。难度评估：基于提供的详细方法和实现细节，复现难度为中等。方法的核心思想清晰，但需要实现多尺度特征金字塔、层级融合机制和自适应深度查询策略，这些细节可能需要一定的工程经验。如果作者发布代码，复现难度会显著降低。建议作者在未来提供完整的代码实现、预训练模型权重和Synth4K数据集，以促进研究的可复现性和进一步发展。此外，建议提供更详细的超参数设置、训练策略和实现细节，以降低复现的门槛。
论文图表
Figure 1展示了InfiniDepth方法的核心优势。左图展示了任意分辨率深度图的能力，显示了4K、8K和16K分辨率的深度预测结果，说明方法不受训练分辨率限制。中图展示了细粒度点云，显示了从深度估计生成的高质量3D点云，体现了方法在几何细节恢复方面的优势。右图展示了应用场景：新视图合成，对比了InfiniDepth和MoGe-2在大视角变化下的新视图合成效果，可以看到InfiniDepth的结果更完整、孔洞更少。这张图通过三个子图直观地展示了方法的三大优势，帮助读者快速理解本文的创新点和实际价值。
Figure 1是整篇论文的核心可视化，它直观地展示了InfiniDepth的三大优势：任意分辨率深度估计、细粒度几何恢复、以及在大视角变化下改善新视图合成。这张图帮助读者快速理解本文的创新点和实际价值，是论文最重要的可视化之一。