解锁视觉语言模型中的稠密度量深度估计能力 Unlocking Dense Metric Depth Estimation in VLMs

步骤一，特征抽取：对输入图像 $I$，让视觉编码器 $\mathcal{E}_v$ 产生 $L_v$ 层 hidden states $\{h^{(\ell)}\}$，同时让 $\mathcal{F}_{LLM}$ 产生最终 hidden state $H_{LLM}\in\mathbb{R}^{(N_v+N_t)\times d}$。深度头从 ViT 的三个中间层（4B 取层 5/11/17，8B 取层 8/16/24）与 LLM 最终层中筛出图像 token 位置，得到 4 路特征图 $F_1,F_2,F_3,F_4$，前 3 路是纯视觉在不同抽象级别上的特征，$F_4=H_{LLM}\mathcal{M}_v$ 则是经过跨模态交互后的最终表征。步骤二，多尺度金字塔构建：因 VLM 已自带 patch merger 下采样，传统 DPT 的再下采样会丢失信息，作者改为 bottom-up 上采样——每一路 $F_k$ 经 1×1 卷积投影到统一通道，再插值到 layer-specific 分辨率（浅层高分，深层低分），然后通过 4 个 RefineNet 块逐步融合并解码，最终 Softplus 激活输出严格正的度量深度 $\hat{D}=\text{DPT}(F_1,F_2,F_3,F_4)\in\mathbb{R}^{H\times W}$。步骤三，Stage-1 深度头预热：冻结 ViT+LLM，只训练深度头，用 $\mathcal{L}_{depth}=\mathcal{L}_{SILog}(\hat{D},D^*,\lambda=0.5)$ 建立初步度量深度能力（约 3.5×10^-4 学习率，warmup 0.04）。步骤四，Stage-2 端到端微调：解冻 LLM 主干但视觉编码器仍冻结，联合优化 $\mathcal{L}_{joint}=\mathcal{L}_{text}+\alpha\mathcal{L}_{depth}$（$\alpha=1.0$、学习率 2×10^-5、warmup 0.05），把几何精度与语言回复同时拉满。步骤五，焦距归一化：对每张训练图按 $s=f_c/f$ 等比缩放图像与深度，$\tilde{I}=R_s(I),\tilde{D}=R_s(D)$，$f_c$ 在 {800,1000,1200} 中通过实验取 1000。步骤六，推理时模型接收任意分辨率图像，一次前向同时输出 $\hat{D}$ 与 $\hat{T}$，无需 post-processing 或额外几何模块。

技术新颖性主要体现在三方面。其一，深度头输入并非单一 ViT 输出，而是把 ViT 中间 3 层 + LLM 最终层 共 4 路特征联合送入 DPT-style 解码器，作者发现 ViT Inter. + LLM Final 的组合在 Waymo/NuScenes/sunRGBD/IBims-1 上分别取得 0.879/0.821/0.882/0.912 的 $\delta_1$，显著优于 ViT-Only 或 LLM-Only 方案。Tab. 5 表明这是把低层几何细节与高层语义融合的最佳点。其二，bottom-up 上采样金字塔是对 DPT 的对偶改造——DPT 默认 ViT 已是高分辨率而下采样累积分辨率，VLM 中视觉 token 已被 patch merger 下采样，再下采样会丢高频，所以反过来把浅层 ViT（高分）放在金字塔顶、深层（低分）放在底部。其三，两阶段微调 + 冻结视觉编码器的策略，是论文的关键经验发现：Stage-1 Only 保留 VQA 但深度仅 0.737-0.753；Stage-2 Only 提升深度却让 MMB-EN 从 83.23 掉到 81.44；完整 Stage-1+Stage-2 冻结 ViT 在二者之间取得 0.879-0.912 的 $\delta_1$ 同时维持 82.93 MMB-EN；只有当 Stage-2 同步解冻 ViT 时深度才会进一步涨到 0.900，但 MMB-EN 跌到 82.13、MMStar 跌到 54.60，说明对 VLM 加入几何任务时 ViT 必须保持冻结以保护通用能力，这是文章重要的设计哲学。

独立审视后我们看出几个潜在弱点。其一，深度头输入固定为 ViT 三层 + LLM 最后一层，对不同任务的最优层组合缺乏自适应性，论文 Table 5 显示 LLM Final 加入比 ViT Final 加入更佳，但中间层数选择仍是手工，且只尝试了 3 层，未对比 2 层/4 层。其二，焦距归一化只在训练阶段统一到 $f_c=1000$，但真实部署场景中用户输入图片的焦距往往未知，没有显式的 focal length estimation 网络，模型在 meta-data 缺失的开放域图像上可能退化为相对深度。其三，两阶段训练中 Stage-1 与 Stage-2 的 loss 比例 $\alpha=1.0$ 是硬编码超参，没有可学习的不确定性加权（如 uncertainty weighting），可能在不同数据集批次下训练轨迹欠稳定。其四，每个 VLM 视觉 token 都要进入深度头，显存占用与 batch × N_v × 4 成正比，训练 batch 受限于 LLM，长序列/高分辨率输入仍会受限，作者没有报告高分辨率（>1024）的鲁棒性。其五，论文没有与最新开源 VLM（如 InternVL3.5-38B）联合 fine-tune 的报告，所有 VLM 蒸馏几何信号（如 SpatialRGPT）的方案没有被同等比较，显得对比对象略偏向早期工作。改进方向上可以引入 dynamic layer selection、可学习 $\alpha$、以及显式 focal length conditioning 通道。

作者给出的未来方向是\"把框架扩展到 detection、pose estimation 等更广义的 3D 感知任务，最终做 holistic 3D perception and reasoning 统一模型\"。基于本文已建立的 native dense geometry + LLM final hidden state 接口，最自然的下一步是把 DPT-style head 替换为统一 3D 任务头（box/pose/mesh），或者直接扩展到视频时序输入，借由 ViT 的 temporal patch position 给出 4D 时空稠密预测；另一个方向是探索 self-distillation——把 DepthVLM 学到的高质量稠密几何反哺成下一轮 VLM 微调的几何 teacher，进一步消除对 SILog ground-truth 的依赖；还可以将本文 dual-task（depth + text）的成功模式泛化到 RGB-D 视觉问答、embodied navigation、AR/VR 内容生成等任务，让\"几何 token 既能被人类读懂（深度图）又能被 VLM 消费\"真正成为统一接口；最后，融合 NeRF/3DGS 先验做 geometry-aware VLM 也是值得探索的方向。

复现方面，本文给出较为完整的实现细节：基座选用 Qwen3-VL-4B/8B，深度头参数 34M（<1% LLM），训练样本 4.4M、AdamW + cosine schedule、Stage-1 学习率 3.5×10^-4（warmup 0.04），Stage-2 学习率 2×10^-5（warmup 0.05），$\lambda=0.5$、$\alpha=1.0$、焦距 $f_c=1000$；ViT 中间层取 5/11/17（4B）与 8/16/24（8B）；评估用统一的 DepthVLM-Bench 9 数据集 / 1k 图 / 10 像素/图。但是代码与训练/评估代码、DepthVLM 权重暂未给出官方仓库链接，仅在论文中提到\"Project Page: https://depthvlm.github.io/\"——复现难度中等偏上，需要自建 4.4M 多源训练流水线与焦距归一化工具链；评估协议（1k 图/10 像素采样）若想与论文严格对齐也需要复现数据集划分；最关键的 DPT-style 头本身权重未开源，所以复现工作量大。最简复现路径是先在 Qwen3-VL-4B 公开权重基础上加载 34M 头的随机初始化（需复现原架构），按两阶段 schedule 重训。