一个场景，两种深度：探究单目基础模型中的几何歧义 One Scene, Two Depths: Probing Geometric Ambiguity in Monocular Foundation Models
通过Laplacian视觉提示探索透明场景深度模型的层偏好，揭示冻结模型可表达互补几何假设
前置知识
单目深度估计
从单张RGB图像推断每个像素的深度值的技术，是连接2D图像和3D理解的关键接口。现代方法使用基础模型在大规模混合数据上预训练，能够实现零样本泛化。传统方法假设每条视线只有一个可见表面，输出单个标量深度值。
本文的核心研究对象是单目深度基础模型，理解它们在几何模糊场景下的行为是读懂本文的基础
几何模糊性
指同一2D图像可以对应多个有效的3D几何解释的现象。在透明场景中特别明显：一条视线可以穿过前景玻璃，同时看到背景物体，因此沿该射线存在两个几何上可见且有效的深度值。传统的单深度监督将这种多层结构坍缩为一个数据集依赖的标量目标。
本文研究的核心问题，透明场景中的几何模糊性使深度标签从场景固有属性变为数据集和标注约定的产物
Laplacian算子
二阶微分算子，定义为$\Delta I = \nabla^2 I$，用于检测图像中的高频边缘和细节。离散形式使用有限差分近似，常用3x3核。Laplacian视觉提示对RGB图像进行通道卷积，得到高频强调的变换图像，然后将结果映射回原始值域作为模型输入。
本文提出的技术核心，通过这种高频输入变换来调制冻结模型输出的深度层偏好，无需重新训练模型
研究动机
现有单目深度估计模型在透明场景中面临根本性困境。当一条视线穿过前景透明物体（如玻璃门）时，可以同时观察到前景透明表面和背景场景，因此沿该射线存在多个几何上可见且有效的深度值。然而，传统单输出深度模型被架构约束为每像素输出一个标量深度值，必须在多个有效解释中选择一个。这种选择并非场景固有属性，而是数据集、标注约定和训练过程的产物。例如，超声波传感器可能返回近处的玻璃层，而LiDAR可能穿透或强调远处背景，合成数据则编码了渲染器的射线终止选择。当这些异质监督源混合用于单深度训练时，多层几何被坍缩为一个数据集塑造的标量目标。MD-3k数据集包含3161张真实世界透明场景图像，其中1378张图像的前景和背景层施加冲突的序数关系，使得单输出模型无法同时满足两者。
本文的目标是本文的核心目标是系统性量化单目深度基础模型在透明场景中的深度层偏好，并探索是否可以通过仅改变输入表示来调制冻结模型的输出层偏好。具体而言，作者希望回答两个问题：第一，不同深度基础模型在标准RGB输入下默认报告哪个有效深度层？第二，相同的冻结模型是否能在不同的输入表示下表达不同的有效深度层？为此，作者引入MultiDepth-3k（MD-3k）基准，提供透明前景和可见背景的配对序数空间关系标签，使得可以在没有密集度量真值的情况下测量层选择和多层级空间关系准确性。
与已有工作不同的是，本文的独特切入角度是首次系统性地将透明场景的几何模糊性作为诊断工具来分析单目深度基础模型的行为。现有工作大多关注如何从透明或镜面场景恢复3D几何，要么将其作为补全问题使用专门层推断缺失深度值，要么通过透明感知损失回归背景深度，或者通过多层数据集微调模型预测分离的几何层。这些方法询问重新训练的模型能多准确地预测多个层，而本文问的是冻结单输出模型的深度层偏好如何在受控输入调制下变化。本文的目标是诊断性的：探测冻结模型中频率调制的层偏好，而非最大化多层预测准确性。此外，本文首次揭示了训练free的输入变换可以让某些冻结模型表达互补的序数行为，这是对传统冻结模型等于固定行为认知的挑战。
核心方法
本文方法框架包含三个核心部分。首先，定义单输出设置和模糊场景使用的两层序数表示。对于每个图像，采样一对点对，手动标注其在透明前景层和可见背景层的序数关系。第k层的真实序数为y的k_m等于sign(D的k(u_m)减去D的k(v_m))。预测深度图D帽对层k有效当且仅当其相对深度序数匹配对应序数标签。其次，将深度层偏好定义为冻结模型在背景和前景层的期望稀疏序数正确性差异：alpha(f_theta)等于背景层正确概率减去前景层正确概率。alpha大于0表示背景偏好，alpha小于0表示前景偏好。第三，应用Laplacian视觉提示作为训练free输入变换，比较其在相同序数评估下的输出与标准RGB输出。LVP通过通道卷积计算离散Laplacian响应，然后归一化到模型输入值域a到b之间，使用最小最大映射加数值稳定性常数epsilon。
本文的核心创新在于提出了Laplacian视觉提示（LVP）这一训练free的频谱输入变换方法，能够在不修改冻结模型权重的情况下改变其输出的深度层偏好。这与传统视觉提示方法有本质区别：现有VP大多关注可学习提示如优化像素块或输入token，而LVP属于输入空间提示的子类别，通过确定性频谱变换引导模型行为而无需任何参数优化。LVP的关键洞察是高频成分在透明场景中携带不同的层信息：前景透明表面通常产生锐利边缘，而背景场景包含更丰富的低频结构。通过Laplacian算子强调高频，模型可能被引导关注不同的层线索。实验表明，LVP对模型敏感性是架构和训练体制共同塑造的，DAv2、DPT、ZoeDepth和Depth Pro等模型表现出强烈调制，而DAv1和基于扩散的估计器响应较弱。这种模型特异性表明LVP不是通用层切换，而是频谱敏感性的探针。最强烈的案例是DAv2-L，其RGB/LVP对在MD-3k上达到75.5%的ML-SRA，高于严格的56.4%单假设折叠上限。
方法步骤详情
Laplacian视觉提示的实现包含四个具体步骤。首先，从连续Laplacian算子推导离散算子，使用二阶有限差分近似得到离散Laplacian核。其次，对输入RGB图像进行通道卷积，每个颜色通道计算符号残差。第三，将原始Laplacian响应归一化到模型图像输入表示的值域，使用最小最大映射加epsilon稳定性常数。此步骤是图像空间值域映射，不替换或修改模型特定的调整、缩放或标准化。第四，对冻结模型获得LVP条件深度假设。对于ML-SRA评估，RGB深度和LVP深度被处理为无序候选对，基准标签为每个模型的输出对选择一个全局排列，该分配在所有图像中固定。因此ML-SRA测量数据集级标签匹配后的对互补性，而非自动层控制。
技术新颖性
本文的技术新颖性体现在多个层面。首先，首次系统性地量化了单目深度基础模型的深度层偏好，引入MD-3k基准提供稀疏序数标签用于两个有效射线深度层（透明前景表面和可见背景），支持每层和多层级评估。MD-3k包含3161张源自GDD数据集的RGB图像，划分为Same子集（1783对）和Reverse子集（1378对），前者两层序数关系一致，后者冲突。其次，发现了输入依赖的深度层偏好调制这一令人惊讶的现象。Laplacian视觉提示作为简单的确定性高频输入空间变换，可以显著改变某些冻结模型的预测层，揭示候选互补序数行为而无需重新训练。实验表明这种调制是模型依赖的：DAv2-L、DPT、ZoeDepth和Depth Pro等模型在Reverse子集上从RGB偏好转变到LVP偏好，而DAv1和Marigold等生成估计器响应较弱。第三，提出了多层级空间关系准确性（ML-SRA）评估指标，测量两个深度图对同时正确预测两层的点对分数。DAv2-L的RGB/LVP对达到75.5% ML-SRA，相比56.4%的理想折叠上限提升19.1个百分点，建立了核心经验主张。
实验结果
实验结果揭示了三个核心发现。第一，深度基础模型在标准RGB输入下表现出强烈但不一致的层偏好。如表1所示，在MD-3k Reverse子集上，Depth Anything家族显示分化：通用DAv2和室内调优DAv2-I变体偏好第一层（透明前景），而室外调优DAv2-O变体和DAv1偏好第二层（背景），类似于Marigold等生成模型。第二，Laplacian视觉提示的调制效果是模型特异性的。DAv2-L在Reverse子集上从前景偏好的RGB行为转变为背景偏好的LVP行为：SRA(1)从65.3%降至15.9%，而SRA(2)从34.7%升至84.1%。第三，RGB/LVP对的互补性显著超越单假设上限。DAv2-L达到75.5%总体ML-SRA和52.2% Reverse ML-SRA，代表从理想折叠基线0%到52.2%的跳跃。消融研究证实高频强调是偏好调度的操作因素：在Reverse子集上，高斯提示在所有模型上失败，而LVP成功。
![Per-layer Spatial Relationship Accuracy (SRA) [%] on MD-3k and reference SRA on DA-2K](/papers/2606.29600/images/table_1.jpg)
![Laplacian (LVP) vs. Gaussian (GAU) prompts via ML-SRA [%]](/papers/2606.29600/images/table_4.jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 深度层偏好测量 | 深度层偏好alpha = SRA(2) - SRA(1) | DAv2-L RGB: -30.6%, LVP: +68.2% | Random: 0% | 从前景偏好到背景偏好的大幅逆转 |
| 多层级空间关系准确性 | ML-SRA | DAv2-L RGB/LVP: 75.5% (Overall), 52.2% (Reverse) | 理想折叠基线: 56.4% (Overall), 0% (Reverse) | +19.1个百分点总体，+52.2个百分点Reverse |
| 与语义先验对比 | ML-SRA | LVP (DAv2-L): 75.5% | 预测掩码插值 (DAv1-L): 75.8% | 相当性能，无需辅助语义分割模型 |
| 序数关系准确性 | SRA(1/2) on DA-2K | DAv2-L RGB: 96.9% | Random: 50% | 在非透明参考基准上保持高性能 |
局限与改进
作者明确承认了几个局限性。首先，LVP在曲面玻璃场景中可以保持可分离线索并产生有用的前景转移，但在半透明表面中前景和背景线索在频率上纠缠时可能失败。如图11所示，纹理化透明表面可能导致层频率纠缠，使得LVP无法有效分离。其次，LVP是模型依赖的，不应被视为可靠的层提取器。实验表明其对模型敏感性是架构和训练体制共同塑造的，某些模型（如DAv1和Marigold）响应较弱。第三，MD-3k是稀疏标注的，专注于透明场景，缺乏密集验证、自动层选择和更广泛的模糊场景基准。作者指出所有图像都来自GDD数据集，在更广泛的捕获域、透明材料和物体类别上验证之前，不应将基准视为通用透明场景覆盖。此外，部署需要标注校准或外部语义或不确定性选择器，因为基准标签为每个候选对选择一个全局排列，不使用每实例预言机。
独立分析的弱点
独立分析 reveals 本文存在几个潜在弱点。首先，LVP缺乏理论保证其为何能调制某些模型的层偏好。虽然特征可视化显示LVP输入下激活更强调背景高频边缘，但这是定性观察而非因果机制。未来工作应直接分析LVP效果的因果根源，是否由模型训练中的频谱偏差或架构设计决定。其次，MD-3k基准的稀疏序数标注限制了评估粒度。虽然避免了传感器中性问题，但无法评估密集度量性能。改进方向可以结合合成多层深度数据进行密集验证，或开发半监督方法利用稀疏标注引导密集预测。第三，ML-SRA评估使用数据集级排列而非每实例预测，实际应用需要自动层选择器。改进方向可以是开发不确定性引导的选择器，对RGB和LVP输出的置信度建模，或训练轻量级分类器预测哪个层假设更适合局部区域。第四，LVP的模型依赖性限制了实际部署。改进方向可以是学习自适应频谱变换，而非固定Laplacian核，或通过小规模调优使模型对LVP更敏感。
未来方向
作者提出的未来工作方向包括：第一，对LVP效果的因果分析，研究模型训练分布、架构设计和频率内容之间的相互作用。第二，开发密集多层深度基准，扩展MD-3k的稀疏序数框架到密集度量评估，可能结合合成数据和传感器融合。第三，研究自动层选择机制，基于模型不确定性、语义线索或局部频谱分析选择合适的深度假设。第四，将模糊感知框架扩展到其他几何歧义场景，如镜面反射、遮挡和运动模糊。基于本文成果的可延伸方向包括：将LVP思想应用于其他几何估计任务，如表面法线、3D重建或运动估计；探索其他频谱变换作为视觉提示；开发端到端可训练的多层深度模型，显式建模几何模糊性而非坍缩为单输出；研究LVP在下游任务中的应用，如3D感知图像编辑、增强现实和自动驾驶。
复现评估
本文的复现性评估显示中等偏上的可复现性。作者开源了GitHub仓库，但论文未明确说明具体实现细节。MD-3k基准源自GDD数据集，包含3161张RGB图像和每张图像一个标注点对。掩码和标签在评估前经过多位标注员多轮交叉检查，确保质量。评估需要预训练的单目深度模型，包括Depth Anything系列、域专用DAv2 Indoor/Outdoor变体、判别架构（DPT、ZoeDepth）、生成模型（Marigold、GeoWizard）和度量估计器（Depth Pro、UniK3D、UniDepth-v2）。所有模型以严格训练free方式评估，无需重新训练。Laplacian视觉提示的实现相对简单，只需图像卷积和归一化，无需特殊硬件。实验主要在MD-3k上进行，计算需求主要来自深度模型推理而非训练。相比需要重新训练的工作，本文的复现难度较低。潜在挑战包括获取所有评估模型和重建MD-3k的标注过程。总体而言，在开源代码和基准数据可访问的前提下，复现本文的实验是可行的。
论文图表
该图展示了本文的核心概念。图a显示通过物理传感器的有偏空间理解：超声波传感器返回近处玻璃层，LiDAR可能穿透或强调远处场景。图b说明单目深度模型的有偏理解：域专用专家模型（不可泛化）或单预测基础模型（模糊）都必须报告一个层。图c展示透明场景中的深度模糊：单条视线相交多个表面。图d说明通过视觉提示探测深度层偏好：原始RGB输入和Laplacian变换RGB输入产生不同的深度假设，通过序数对评估。
这张图是理解论文动机和整体框架的关键，直观展示了透明场景的几何模糊性问题以及LVP方法的基本思想
该图展示了LVP的泛化和失败案例。图a显示具有弯曲透明表面的场景，LVP可以调制深度层偏好。图b显示具有半透明表面的场景，LVP可能失败，因为前景和背景线索在频率上纠缠。这表明LVP在曲面玻璃中保持可分离线索并产生有用的前景转移，但在半透明表面中前景和背景线索在频率上纠缠时可能失败。
这张图诚实地展示了方法的局限性和适用场景，对理解方法的边界条件至关重要
该表展示了在MD-3k上的多层级空间关系准确性（ML-SRA）。星号标记显示严格的56.4%上限适用于ML-SRA下重复的单图对，来自基准划分比例（1783除以1783加1378）。方法包括理想折叠基线（56.4% Overall, 0% Reverse, 100%星号Same）、Marigold、GeoWizard、ZoeDepth、DPT、Depth Pro、UniDepth-v2-L、UniK3D-L、DAv1系列、DAv2-Outdoor系列、DAv2-Indoor系列和DAv2系列的不同变体。DAv2-L达到75.5% Overall和52.2% Reverse，代表从0%到52.2%在重复单输出无法满足两者案例中的跳跃。
这张表展示了本文的核心指标ML-SRA，证明了RGB/LVP对的互补性超越单假设上限