MetricAnything：利用噪声异构源扩展度量深度预训练 MetricAnything: Scaling Metric Depth Pretraining with Noisy Heterogeneous Sources

方法分为以下关键步骤：（1）数据收集与标准化：从三类来源（重建、捕获、渲染）收集数据，将所有深度图标准化为统一格式 {G, M}，其中G是沿相机z轴的度量深度，M是有效掩码。对于原始点云，使用已知标定参数投影到相机平面获得像素级深度。（2）提示准备：从每个深度图随机采样N个有效像素（$N \in [2000, 40000]$）构建稀疏提示 $P = \{(x_i, y_i, d_i)\}$。为解决不同来源的分布差异，应用预训练深度模型获取先验深度图 $P_d$，然后进行像素级深度尺度对齐（PDSA）和全局度量深度恢复（GMDR），最终输入为 $H \times W \times 3$ 的拼接张量。（3）提示注入：使用条件DPT头注入提示，仅增加约5%额外参数。主要参数分配给基础深度骨干网络，使主网络能够纠正噪声提示。（4）预训练目标：对合成数据使用MAE和SSI-MAGE损失，对真实数据使用鲁棒MAE损失（丢弃每张图像中损失最大的20%区域），总损失为 $\mathcal{L}_{total} = \alpha\mathcal{L}_{MAE} + \beta\mathcal{L}_{SSI-MAGE}$。（5）蒸馏训练：教师模型为所有真实图像生成伪标签，学生模型在此监督下训练。学生模型采用逆向跳跃连接和距离平衡反深度损失 $D_{log} = 1 - \ln(D)/\ln(C)$，其中 $C=400$。

本文的技术新颖性体现在多个方面。首先，稀疏提示的设计理念是少即是多——通过随机采样而非精心设计的模拟来生成提示，这种极简策略反而带来了更好的泛化能力。其次，逆向跳跃连接的设计：传统ViT-DPT架构使用浅层到深层的U-Net风格跳跃连接，将浅层特征注入深层；本文反转这一设计，将深层高层语义特征注入靠近输出的深层解码层，浅层低层特征注入浅层解码层。这种设计的理由是：当伪标签质量高、噪声小时，不需要浅层特征来稳定训练，而可以充分利用深层语义信息。第三，距离平衡反深度损失的设计解决了标准反深度损失在远距离区域衰减过快的问题，通过对数空间变换 $D_{log} = 1 - \ln(D)/\ln(C)$ 实现近远距离的平衡监督。最后，本文首次系统性地展示了度量深度估计的scaling趋势，这是一个重要的实证发现。

从独立分析来看，本文存在以下弱点及改进方向：（1）提示注入方式较为简单——当前使用条件DPT头仅增加5%参数，但这种轻量级设计可能限制了提示信息的有效传递。改进方向可以探索更灵活的注意力机制，如交叉注意力或自适应层归一化，让模型更好地利用稀疏提示中的度量信息。（2）伪标签生成依赖单一教师模型——所有伪标签由同一个教师生成，存在系统性偏差。可以考虑集成多个不同架构或训练策略的教师模型，通过投票或加权平均生成更鲁棒的伪标签。（3）距离平衡损失的设计虽然有效，但对数变换在极近距离（<1米）可能导致数值不稳定。可以探索更平滑的分段函数或自适应权重方案。（4）数据平衡策略不够精细——论文未详细讨论不同数据源的采样比例，可能存在某些高质量数据源被低估的问题。改进方向包括基于数据质量的加权采样或课程学习策略。（5）学生模型的逆向跳跃连接虽然在高质量伪标签下有效，但在伪标签质量不均匀的区域（如深度不连续处）可能表现不佳。可以引入自适应机制，根据局部伪标签质量动态调整特征融合方式。

基于本文成果，未来研究可以向多个方向延伸：（1）架构scaling——本文仅探索了数据scaling，未来可以系统性地研究模型规模scaling，例如从ViT-L/16扩展到ViT-G甚至ViT-22B，探索是否遵循类似NLP领域的scaling law。（2）更多传感器模态——本文已展示毫米波雷达的迁移能力，未来可以扩展到声纳、超声波、事件相机等更多模态，构建真正的多模态度量感知基础模型。（3）视频深度估计——当前模型处理单帧图像，可以扩展到视频序列，利用时序一致性提升深度估计的平滑性和准确性。（4）自监督预训练——本文仍需要有深度标注的数据，未来可以探索仅使用视频或立体图像的自监督预训练方法，进一步扩大数据规模。（5）端到端机器人系统——将预训练的深度模型与机器人控制更紧密地集成，探索深度感知在导航、抓取、操作等任务中的具体应用。（6）3D场景理解——将度量深度估计扩展到完整的3D场景理解，包括语义分割、实例分割、场景流估计等任务。（7）模型压缩与部署——研究知识蒸馏、量化、剪枝等技术，将大模型压缩到边缘设备可部署的规模。

论文的复现性评估如下：（1）开源情况：作者在论文末尾提供了项目主页链接 https://metric-anything.github.io/metric-anything-io/，承诺开源代码和模型。但截至目前，具体的开源程度（是否包含预训练权重、训练代码、数据处理脚本）尚不明确。（2）数据方面：论文使用的数据来自多个公开数据集，包括重建数据（ScanNet、ETH3D等）、捕获数据（KITTI、nuScenes等）和渲染数据（Hypersim、Replica等）。数据收集过程有详细描述，但完整的20M数据集的构建细节和预处理流程可能需要大量工程工作。（3）算力需求：预训练需要144张H200 GPU训练100K步，蒸馏训练需要80-144张H200 GPU，VLM微调需要80张GPU。这是相当高的计算成本，普通实验室可能难以复现完整的训练流程。不过，论文提供了多个不同规模的模型变体（Student-DepthMap 877M参数、Student-PointMap 326M参数），可能降低了推理和微调的成本。（4）难度评估：数据收集和预处理是主要难点，需要处理来自不同来源、不同格式、不同质量的数据。模型架构本身（ViT-DPT）是成熟的开源架构，训练流程相对标准。建议复现时先从公开数据集的子集开始，逐步扩大数据规模。