Any to Full：通过尺度提示引导 Depth Anything 实现单阶段深度补全 Any to Full: Prompting Depth Anything for Depth Completion in One Stage

步骤一：归一化稀疏深度。把稀疏度量深度 $D_s$ 通过去除全局尺度和偏置得到 $\tilde{D}_s$，只保留'点间尺度比'作为尺度线索，遵循 Supp. C.1 的归一化规则。步骤二：patch 嵌入。SAPE 用 ViT 风格的编码器将 $\tilde{D}_s$ 编码为 patch 级深度特征 $F_{\text{dep}}\in\mathbb{R}^{N\times C}$，伴随一个二值 mask 标记有效位置。步骤三：Local Enrichment。对每个 patch，拼接 $f_{\text{dep},i}$ 和对应 MDE patch 特征 $f_{\text{mde},i}$，经轻量 MLP 生成 $\gamma_i$、$\beta_i$，按公式 $f_{\text{loc},i}=\gamma_i\odot f_{\text{mde},i}+\beta_i$ 输出局部尺度感知特征 $F_{\text{loc}}$。这一步使尺度线索对稀疏程度不敏感。步骤四：Global Propagation。初始 $F^0_{\text{glo}}=F_{\text{loc}}$，经过 $L$ 个 Transformer block 更新，block 中 Query 与 Key 都来自 MDE 几何特征 $F^{\phi(l)-1}_{\text{mde}}$，Value 是 $F^{l-1}_{\text{glo}}$。这种 cross-attention 让尺度信息沿 MDE 几何结构扩散，绕开稀疏采样的空间不规则性。第一个 block 还使用了 masked attention，限制尺度线索从有效深度点向几何一致区域扩散，防止早期传播丢失稀疏信息。步骤五：Scale Prompt Fusion。$L$ 个尺度的提示 $\{F^1_{\text{glo}},\dots,F^L_{\text{glo}}\}$ 分别经专属 MLP 得到 $\gamma_l,\beta_l$，对 MDE 解码器各层特征做 FiLM，得到尺度一致的相对深度 $\hat{\tilde{D}}_f$。步骤六：度量对齐。对 $\hat{\tilde{D}}_f$ 与 $D_s$ 做非参数最小二乘，求得全局 $(s,t)$，输出 $\hat{D}_f=s\cdot\hat{\tilde{D}}_f+t$。训练时冻结 MDE，仅更新 SAPE 的几千万参数，使用 SSI、$\mathcal{L}_{\text{gm}}$、$\mathcal{L}_{\text{anchor}}$、$\mathcal{L}_{\text{r-ssim}}$ 四种损失加权和，4 个 NPU、batch 16、Adam、学习率 5e-5、224K 步训练。

技术新颖性体现在三方面。其一是'问题重构'层面的贡献：把深度补全从生成式回归转为提示式适应，这一思路与 Marigold-DC/TestPromptDC 等测试时适应方法完全不同——那些方法在'推理阶段'优化提示，Any2Full 则是'训练阶段'学习提示，推理时单次前向。其二是 SAPE 内部的几何引导注意力设计：Query/Key 用 MDE、Value 用稀疏深度的非对称 cross-attention，使得尺度扩散路径完全由 RGB 几何决定，模式无关性来自这里而不是来自提示本身。其三是 SAPE 与 MDE 解码器的层级对齐设计：把传播步数与 MDE 编码器分组绑定、跳过最低层纹理级特征，在精度（IBims-1 Hole 上 AbsREL 从 0.010 进一步降到 0.008）和效率之间找到平衡。相比 PriorDA 需要的 96.4M 额外参数，Any2Full 仅需 60.6M（在 DA-L 上），但快 1.4 倍。

独立分析可识别出三个主要弱点。第一个弱点是全局对齐假设过强：单次最小二乘只能给一个全局 $(s,t)$，但实际上深度传感器在不同距离的尺度因子可能不同（近处与远处 LiDAR 误差结构不同），导致 Range 模式下虽然已有传播机制，绝对误差仍受稀疏点覆盖范围限制。改进方向是学一个轻量的 per-region 或 per-distance 残差校正网络。第二个弱点是 SAPE 的几何引导传播依赖 MDE 的 RGB 几何正确，但 MDE 在低纹理、运动模糊（如 VOID 的部分样本）、强反光（如 KITTI Range 受限区域）下几何本身就不稳，提示扩散路径会带偏；改进方向是加入深度一致性正则或在 SAPE 内显式建模不确定性。第三个弱点是训练数据来源单一（仅合成集），面对真实仓库 ToF 数据时需要解决 sim-to-real gap；Logistic-Black 上视觉质量更好但 AbsREL 与 OMNI-DC 持平，提示真实场景下可能需要少量目标域微调或风格化数据增广。第四个弱点是论文未讨论不同稀疏输入的最低密度下限；VOID-150 仅 150 个点已经接近几何退化边界，再稀疏时（如 30 点）性能未经验证。

作者在结论部分暗示了若干方向：(1) 探索更大规模 MDE 骨干（Depth Anything v2-Giant 或未来更强的 MDE）以验证'几何先验是否还有冗余空间'；(2) 把 Scale-Aware Prompt 思路推广到其他稀疏到稠密的预测任务（如光流补全、法线估计、SDF 重建）。基于论文成果，自然延伸的方向还包括：(a) 与时序/多视角融合结合，把 SAPE 从单帧扩展为时序一致性框架，提升动态场景鲁棒性；(b) 把 SAPE 蒸馏到更小骨干或量化到 INT8，目标延迟压到 20ms 以内用于自动驾驶；(c) 研究如何自动适配任意 MDE 骨干，即'提示编码器与 MDE 解耦'，让用户能即插即用替换 Depth Anything；(d) 与 3D Gaussian Splatting 等新表征结合，把补全出的稠密深度直接作为几何监督用于神经重建；(e) 探索在提示空间中引入语义信息（例如 SAM 分割 token），让尺度传播进一步遵循语义边界，可能在小物体和细结构上取得突破。

复现友好度较高。代码与检查点已在 https://github.com/zhiyuandaily/Any2Full 公开。方法本身依赖的 MDE 骨干 Depth Anything v2 也开源，且 SAPE 只在冻结骨干上训练，不需要海量算力。作者报告 4 个 NPU（论文未明确型号，文中称为 NPU，但 Table 2 用的推理设备是 NVIDIA RTX P40，意味着 NPU 应等价于高端 GPU 集群）训练 batch 16、224K 步，对个人研究者而言仍偏重，但相对 Marigold-DC（1.29B 参数、迭代推理）已显著轻量。训练数据全部公开（Hypersim、VKITTI2、TartanAir），不需要私有数据。评测协议在论文中描述清楚，六个数据集的 split、稀疏采样协议都给了数字（如 NYU 用 500 点、DIODE 用 0.1%、KITTI 用 64L LiDAR）。消融实验表 4 数据完整，便于复现。潜在复现难点：(1) SAPE 的局部富化与全局传播细节在主文公式中已给，但具体 LayerNorm、激活函数、MLP 宽度在 Supp. C.2 才能确认；(2) 训练时四类损失的权重未在主文给出；(3) Logistic-Black 数据集是新采集的，可能需要向作者申请；(4) 不同 NPU/GPU 之间的数值差异可能导致结果有轻微漂移。整体复现难度中等。