← 返回 2026-01-27

面向空间感知的掩码深度建模 Masked Depth Modeling for Spatial Perception

Bin Tan, Changjiang Sun, Xiage Qin, Hanat Adai, Zelin Fu, Tianxiang Zhou, Han Zhang, Yinghao Xu, Xing Zhu, Yujun Shen, Nan Xue 📅 2026-01-25 👍 30 2026-07-13 08:35
RGB-D感知 机器人操控 深度估计 深度补全 自监督学习 视觉Transformer
arXiv HuggingFace PDF

将RGB-D相机缺失深度视为自然掩码，通过掩码建模学习联合几何-外观表征

前置知识

掩码自编码器（MAE）

掩码自编码器是一种自监督视觉预训练方法，核心思想是将输入图像分割为若干patch，随机遮盖其中大部分（如75%），然后训练一个编码器-解码器网络来重建被遮盖的像素。编码器仅处理可见patch，解码器负责从潜在表示恢复完整图像。通过这种'损坏-重建'的范式，模型被迫学习到丰富的视觉语义表征。MAE由He等人在2022年提出，已成为视觉Transformer预训练的主流范式之一。本文的关键创新在于将MAE的随机掩码替换为深度传感器自然产生的缺失掩码，使学习目标从RGB像素重建转变为深度图重建。

本文方法直接建立在MAE框架之上，理解MAE的编码器-解码器结构、掩码策略和重建目标是理解本文技术路线的基础。

RGB-D相机与深度传感器

RGB-D相机是一种能同时获取彩色图像（RGB）和逐像素深度信息（D）的传感器设备。常见的深度传感技术包括结构光（如Intel RealSense、Orbbec Gemini系列）、飞行时间（ToF）和被动立体视觉（如ZED相机）。这些传感器通过发射红外光或分析立体图像对来计算场景深度。然而，由于硬件限制和成像条件的挑战，RGB-D相机在镜面反射、低纹理表面、透明物体和复杂光照等场景下会产生大量缺失或不准确的深度测量值。

本文的核心洞察正是源于RGB-D相机深度缺失的固有缺陷——将这些缺失值视为有意义的学习信号而非单纯的噪声，因此理解深度传感器的工作原理和失败模式是理解本文动机的关键。

Vision Transformer（ViT）

Vision Transformer是将Transformer架构应用于计算机视觉任务的模型。它将输入图像分割为固定大小的patch（如14×14像素），将每个patch线性投影为一个token，然后通过多层自注意力（Self-Attention）机制处理这些token序列。自注意力允许每个token与其他所有token交互，从而捕获全局上下文信息。ViT-Large是ViT的一个较大变体，包含24层注意力块和约3亿参数。本文采用ViT-Large/14作为编码器骨干网络，并在此基础上设计了分离式patch嵌入和联合RGB-D token处理机制。

本文的整个框架建立在ViT架构之上，理解ViT的patch嵌入、位置编码和自注意力机制对于理解本文如何将RGB和深度token联合编码至关重要。

深度补全（Depth Completion）

深度补全是指从稀疏或不完整的深度观测中恢复完整、密集深度图的任务。输入通常是一张RGB图像配合稀疏/含噪声的深度图（如来自LiDAR、SfM或缺陷传感器），输出是逐像素的完整深度预测。这是一个极具挑战性的任务，因为需要同时利用RGB图像的语义/外观信息和稀疏深度的几何先验来填补缺失区域。本文将深度补全和单目深度估计统一在同一个掩码建模框架下，通过不同的掩码策略在两个任务间无缝切换。

深度补全是本文最直接的评估任务，理解该任务的输入输出形式和评估协议对于理解本文实验结果至关重要。

立体匹配与SGM算法

立体匹配是从一对校正后的左右立体图像中估计视差（进而计算深度）的经典计算机视觉任务。半全局匹配（SGM）是一种广泛使用的立体匹配算法，它通过沿多个方向进行能量最小化来估计逐像素视差。SGM在工业界被广泛采用，因为它在精度和效率之间取得了良好平衡。本文在合成数据管线中使用SGM来处理渲染的立体图像对，生成具有真实传感器特性的模拟深度图，从而模拟真实RGB-D相机的成像过程和缺陷。

理解立体匹配和SGM算法有助于理解本文合成数据管线如何生成逼真的模拟深度数据，这是本文训练数据的重要组成部分。

FoundationStereo

FoundationStereo是一个用于立体匹配的基础模型，它利用强大的单目深度先验（如DepthAnythingV2）来提升立体匹配的精度和泛化能力。其核心思想是将预训练的单目深度估计模型作为特征提取骨干，为立体匹配网络提供丰富的几何先验，从而在各种场景下实现更准确的视差估计。本文展示了使用MDM预训练的LingBot-Depth作为替代深度先验，能够在多个基准上超越原始的DepthAnythingV2先验。

FoundationStereo是本文的重要下游应用之一，理解其架构有助于理解本文预训练模型如何作为深度先验提升立体匹配性能。

研究动机

RGB-D相机是唯一能够实时满足绝对度量尺度、逐像素密集几何和实时获取这三个关键要求的模态，在自动驾驶、机器人操控等物理世界应用中至关重要。然而，现有RGB-D相机的深度传感器面临严重的硬件局限性挑战。即使是业界最先进的商用传感器（如Intel RealSense、Orbbec Gemini系列），在低纹理表面、镜面反射和复杂光照条件下也会产生严重的数据损坏和缺失值。这些失败直接违反了密集、逐像素对齐几何的要求。现有数据集要么刻意避开这些挑战性成像条件以减少缺失深度测量，要么使用高质量3D资产和渲染引擎生成近乎完美的深度图，从而缺乏掩码深度建模所需的自然缺失模式。同时，现有的RGB-D数据集规模有限，例如HSSD-IsaacSIM-STD仅渲染约1万对立体红外图像对，DREDS仅生成约13万对立体图像对，远不足以支撑大规模Vision Transformer的训练。

本文的目标是本文的目标是提出一种新的预训练范式——掩码深度建模（Masked Depth Modeling, MDM），将RGB-D相机中天然存在的深度缺失模式作为自监督信号，训练一个能够从任意RGB-D输入中生成度量尺度、逐像素对齐、密集深度图的通用深度估计模型。该模型不仅需要在深度补全和单目深度估计任务上达到最先进水平，还需为下游任务（如立体匹配、视频深度估计、3D点跟踪和机器人抓取）提供强大的深度先验和跨模态联合表征。同时，作者构建了可扩展的数据整理管线，包含合成和真实两个并行流，总计提供约1000万训练样本。

与已有工作不同的是，本文的独特切入角度在于将深度传感器的缺失值重新诠释为有意义的'自然掩码'，而非需要丢弃的噪声。与标准MAE依赖随机掩码不同，自然掩码源于几何和外观模糊性（如镜面反射），提出了显著更难的重建挑战。通过统一单目深度估计和深度补全的目标，MDM框架成为一个多功能的通用模型：在极端情况下所有深度token被掩码时，模型作为纯单目深度估计器；当仅掩码无效token时，模型执行深度补全。这种范式转变使得不完美的深度传感器数据反而成为最有价值的训练资源，因为它们提供了最困难的重建挑战。

核心方法

本文提出掩码深度建模（MDM）框架，整体思路可以概括为：首先将RGB-D输入通过分离式patch嵌入层分别编码为RGB token和深度token，然后通过精心设计的掩码策略遮盖深度token中对应于传感器缺失测量的部分，最后训练一个编码器-解码器网络来从可见的RGB token和未掩码的深度token联合重建完整深度图。直觉上，这就像让模型做一道'填空题'：给定完整的RGB图像和部分深度观测，推理出缺失区域的深度值。由于缺失区域往往对应于传感器最困难的成像条件（镜面、透明、低纹理），模型被迫学习RGB外观与几何结构之间的深层关联。技术路线上，编码器采用ViT-Large/14架构处理拼接后的RGB-D token序列，解码器采用来自MoGe的ConvStack卷积解码器进行密集几何重建，这种设计将高层语义建模与密集几何预测解耦。

本文的核心创新点在于将深度传感器的自然缺失模式作为掩码信号，这与已有方法存在本质区别。标准MAE方法（如MAE、VideoMAE）依赖随机掩码策略，被掩码的token是随机选择的，不包含任何关于场景结构的信息。而本文观察到，深度传感器的缺失值并非随机分布——它们恰恰出现在传感器最难以处理的区域，如镜面反射表面、透明物体、低纹理区域等。这些'自然掩码'反映了场景中的几何和外观模糊性，比随机掩码提出了更具挑战性的重建任务。此外，本文采用分离式patch嵌入设计，为RGB和深度模态使用独立的嵌入层和模态嵌入，使自注意力层能够学习融合来自两个互补源的联合表征。另一个关键区别是解码器选择：不同于vanilla MAE使用浅层Transformer解码器进行像素级RGB重建，本文采用ConvStack卷积解码器，更适合密集几何预测任务。

方法步骤详情

MDM框架的具体步骤如下：第一步，分离式Patch嵌入。将RGB图像和深度图分别通过独立的patch embedding层（patch size = 14）投影为token序列，每个token维度为 $n$，总token数 $N = HW/14^2$。每个token添加共享的2D空间位置嵌入和独立的模态嵌入（RGB为1，深度为2）。第二步，深度掩码策略。对深度patch执行基于有效性的掩码：完全缺失的patch始终被掩码；混合有效/无效值的patch以0.75的概率被掩码；若掩码数量不足目标比例（60%-90%），随机采样额外的完全有效深度token补齐。第三步，联合编码。将完整RGB token和未掩码深度token拼接为RGB-D token序列，与[cls] token一起送入24层ViT-Large编码器进行处理。第四步，ConvStack解码。编码后丢弃深度token，保留潜在上下文token；将[cls] token广播并逐元素加到每个上下文token上注入全局语境；通过金字塔式卷积解码器（共享卷积颈部+任务特定头）从低分辨率特征图逐步上采样到原始分辨率（每级分辨率翻倍，使用残差块和转置卷积），最终双线性插值到输入分辨率。第五步，监督训练。使用L1损失直接监督预测深度图与真值深度图，仅对真值中有效深度像素计算损失。

技术新颖性

本文的技术新颖性体现在多个层面。首先，将深度传感器的缺失值重新定义为'自然掩码'这一范式转变是概念上的重大创新，它将传感器的固有缺陷转化为有价值的自监督信号，颠覆了传统方法将缺失值视为噪声需要丢弃或插补的思路。其次，在架构设计上，分离式patch嵌入配合模态嵌入使得模型能够在统一的自注意力空间中学习RGB外观和深度几何的联合表征，这与传统方法将RGB和深度分别处理再融合的策略截然不同。第三，掩码策略的分层设计（完全缺失>混合>随机）巧妙地平衡了训练难度和数据利用率，确保模型在最具挑战性的缺失模式上学习的同时，也利用完整的深度观测来丰富训练信号。第四，统一的任务框架——通过调整掩码策略在深度补全和单目深度估计之间无缝切换——提供了一种简洁而优雅的多任务学习范式。最后，大规模数据整理管线（合成+真实双流并行）的构建为MDM预训练提供了前所未有的数据支持，总计约1000万样本，其中自建数据320万，远超此前任何深度学习预训练数据集的规模。

Illustration of the proposed Masked Depth Modeling framework
Figure 2: Illustration of the proposed Masked Depth Modeling framework
Multi-query depth-to-RGB attention visualization
Figure 3: Multi-query depth-to-RGB attention visualization
Our data curation pipelines
Figure 4: Our data curation pipelines
Mask ratio distributions for our curated synthetic and real-world RGB-D datasets
Figure 5: Mask ratio distributions for our curated synthetic and real-world RGB-D datasets
A synthetic data sample from our pipeline
Figure 6: A synthetic data sample from our pipeline
Our scalable RGB-D capture system
Figure 7: Our scalable RGB-D capture system
Data composition for MDM pretraining (~10M samples total)
Figure 8: Data composition for MDM pretraining (~10M samples total)

实验结果

本文在多个任务和基准上进行了全面的实验验证。在深度补全任务中，LingBot-Depth在所有难度级别和所有数据集上一致超越了OMNI-DC、PromptDA和PriorDA等最先进方法。具体而言，在Protocol 1（Block-wise深度掩码）下，iBims数据集的极端难度级别中，本文方法RMSE为0.345，相比最佳竞争者PromptDA的0.607降低了43%；NYUv2数据集极端难度下RMSE为0.181，相比PromptDA的0.324降低了44%。在更挑战的Protocol 2（稀疏SfM深度输入，ETH3D数据集）下，室内场景RMSE为0.192，相比最佳基线PriorDA的0.360降低了47%；室外场景RMSE为0.664，相比最佳基线OMNI-DC的1.069降低了38%。在单目深度估计任务中，使用MDM预训练权重初始化的MoGe模型在所有10个基准上一致超越DINOv2初始化的版本，例如NYUv2数据集的仿射不变REL从0.056降至0.044，ETH3D数据集的尺度不变REL从0.137降至0.091。在FoundationStereo实验中，MDM预训练的骨干相比DepthAnythingV2提供了更有效的深度先验，在epoch 5时已展现出强大的性能且训练更稳定。在下游应用中，视频深度补全展示了出色的时空一致性，3D点跟踪得到显著改善，机器人抓取实验中透明存储盒的成功率从不可操作提升至50%。

Distribution of our real-world RGB-D captures by scene category
Table 1: Distribution of our real-world RGB-D captures by scene category
Depth completion results
Table 2: Depth completion results
Monocular depth estimation results using MoGe with different pretrained backbones
Table 3: Monocular depth estimation results using MoGe with different pretrained backbones
Qualitative comparison of depth completion results across four benchmarks
Figure 9: Qualitative comparison of depth completion results across four benchmarks
Epoch-wise comparison of FoundationStereo trained with different depth priors
Figure 10: Epoch-wise comparison of FoundationStereo trained with different depth priors
Video depth completion results under challenging scenarios
Figure 11: Video depth completion results under challenging scenarios
Video depth completion results compared with ZED stereo depth
Figure 12: Video depth completion results compared with ZED stereo depth
Online 3D point tracking results using SpatialTrackerV2 with our refined depth
Figure 13: Online 3D point tracking results using SpatialTrackerV2 with our refined depth
查看结构化数据
任务指标本文基线提升
深度补全（iBims, 极端难度） RMSE↓ 0.345 PromptDA: 0.607 43%降低
深度补全（NYUv2, 极端难度） RMSE↓ 0.181 PromptDA: 0.324 44%降低
深度补全（DIODE-Indoor, 极端难度） RMSE↓ 0.221 OMNI-DC: 1.775 87.6%降低
深度补全（ETH3D Indoor, 稀疏SfM） RMSE↓ 0.192 PriorDA: 0.360 47%降低
深度补全（ETH3D Outdoor, 稀疏SfM） RMSE↓ 0.664 OMNI-DC: 1.069 38%降低
单目深度估计（NYUv2） Aff-inv REL↓ 0.044 DINOv2: 0.056 21%降低
单目深度估计（ETH3D） Scl-inv REL↓ 0.091 DINOv2: 0.137 33.6%降低
单目深度估计（iBims-1） Dsp-inv REL↓ 0.060 DINOv2: 0.071 15.5%降低
机器人抓取（不锈钢杯） 成功率 17/20 (85%) 原始深度: 13/20 (65%) +20%绝对提升
机器人抓取（透明存储盒） 成功率 10/20 (50%) 原始深度: N/A（完全不可操作） 从不可操作到50%成功

局限与改进

尽管本文取得了令人印象深刻的结果，但仍存在若干局限性。首先，MDM预训练仅在静态图像上进行，虽然展示了出色的零样本视频深度估计泛化能力，但未利用视频中的时序信息进行训练，这可能限制了在极端动态场景下的性能。其次，训练资源需求巨大——整个训练过程需要128块GPU运行约7.5天，全球批次大小为1024，这对大多数研究团队来说是难以承受的计算开销。第三，虽然论文展示了在镜面反射和低纹理表面上的改进，但对于高度透明的物体（如玻璃杯），精度仍有显著下降——透明存储盒的抓取成功率仅为50%，表明在极端透明场景下模型的能力边界。第四，模型评估主要集中在室内场景，虽然包含了室外场景的基准（如DIODE-Outdoor、KITTI），但对大规模室外场景（如自动驾驶）的系统性评估不够充分。第五，ConvStack解码器的计算成本相比浅层Transformer解码器更高，可能影响实时推理的速度，尽管论文未详细报告推理延迟数据。第六，论文未提供与其他大规模深度预训练方法（如DepthAnythingV2的预训练过程）的直接计算成本对比。

独立分析的弱点

本文存在几个值得深入分析的弱点。首先，掩码策略虽然巧妙，但60%-90%的掩码比例范围较宽泛，论文未提供充分的消融实验来分析不同掩码比例对最终性能的影响，以及在不同任务上最优掩码比例是否存在差异。改进方向：可以设计自适应掩码策略，根据场景复杂度和深度缺失模式动态调整掩码比例。其次，分离式patch嵌入使用固定的模态嵌入（1和2）来区分RGB和深度token，这种简单的二值区分可能不足以表达两种模态之间的丰富关联。改进方向：可以探索更精细的跨模态注意力机制，如交叉注意力或多层模态融合。第三，数据整理管线虽然规模庞大，但合成数据使用SGM算法生成的模拟深度可能与真实传感器的噪声模式存在分布差异，这可能影响从合成到真实场景的迁移效果。改进方向：可以引入域适应技术或更精细的传感器仿真模型。第四，论文缺乏对模型推理效率的详细分析，ConvStack解码器的金字塔结构虽然在精度上表现优异，但其计算成本和延迟未被量化。改进方向：可以设计轻量化解码器或采用知识蒸馏来平衡精度和效率。

未来方向

本文作者提出了几个有前景的未来研究方向。首先，将MDM预训练扩展到视频数据是一个自然的延伸——虽然当前模型展示了出色的零样本视频深度泛化，但显式地利用时序信息（如视频MAE的方式）可能进一步提升时空一致性。其次，将MDM框架应用于更多传感器类型（如LiDAR、雷达）的缺失模式建模，可以构建更通用的多模态3D感知系统。第三，作者展示了MDM预训练的ViT-Large在3D点跟踪和机器人抓取中的应用，这暗示了将MDM表征迁移到更广泛的具身智能任务（如导航、操作、场景重建）的可能性。基于本文成果，还可以探索以下方向：(1) 将MDM与大规模语言模型结合，实现语言引导的深度补全；(2) 在自动驾驶场景中部署MDM模型，用于激光雷达-相机融合中的深度补全；(3) 设计MDM的在线学习版本，使模型能够根据新的传感器特性自适应调整；(4) 将MDM的联合表征应用于3D场景理解和语义分割任务。

复现评估

本文在可复现性方面做出了突出的贡献。作者承诺开源代码（GitHub: https://github.com/robbyant/lingbot-depth）、模型检查点（HuggingFace: https://huggingface.co/robbyant/lingbot-depth）以及300万RGB-深度配对数据（包括200万真实数据和100万模拟数据）。这种全面的开源策略极大地降低了复现门槛。然而，完整的MDM预训练需要128块GPU运行约7.5天，这对大多数研究团队来说仍然是巨大的计算挑战。合成数据管线依赖于Blender渲染引擎和自托管的3D资产（442个室内场景），虽然SGM算法本身是开源的，但完整的3D资产集合可能难以获取。真实数据采集使用定制的3D打印安装支架和多种商用RGB-D相机（Intel RealSense、Orbbec Gemini、ZED），硬件成本相对可控但需要手工组装。总体而言，微调和评估相对容易复现，但完整的预训练流程需要大量计算资源和定制硬件。

论文图表

Enhanced sensor depth powered by our proposed MDM pretraining
Figure 1: Enhanced sensor depth powered by our proposed MDM pretraining

展示了MDM预训练增强传感器深度的整体概念图。左侧说明了RGB-D传感器在镜面、透明和低纹理场景下的深度失败案例；右侧展示了经过MDM处理后的深度改善效果。图中还展示了LingBot-Depth模型作为空间感知先验在3D点跟踪和灵巧抓取等下游应用中的作用。

这是论文的核心概念图，直观地展示了本文的中心思想——将传感器缺失深度视为自然掩码并用于学习，并概述了模型的下游应用价值。

Figure 14: Qualitative results of the grasping experiment

左侧展示了机器人臂、灵巧手和深度相机的硬件设置；右侧展示了四个目标物体（不锈钢杯、玻璃杯、存储盒、玩具车）的RGB图像、原始传感器深度和本文精炼深度。原始深度在反射和透明物体上严重损坏，而本文方法产生了完整的几何准确深度图。

该图直观展示了MDM模型在真实机器人应用中的价值，证明了深度补全质量直接影响机器人操控的可靠性。

Figure 15: Grasp pose generation and real-world execution

上方展示了预测的抓取姿态渲染为灵巧手叠加在从精炼深度重建的点云上；下方展示了机器人系统在每个目标物体上成功执行抓取的真实照片。

该图展示了从深度预测到抓取姿态生成再到真实执行的完整管线，是论文最具说服力的下游应用验证。

Table 4: Grasping success rates using our refined depth vs. raw sensor depth

报告了四个挑战性物体（不锈钢杯、透明杯、玩具车、透明存储盒）上各20次抓取试验的成功率。LingBot-Depth在所有物体上一致提升了抓取成功率，透明存储盒从完全不可操作提升至50%成功率。

该表是论文最具实际意义的定量结果，直接证明了深度补全质量对机器人操控成功率的关键影响。