StereoAdapter-2:全局结构一致的水下立体深度估计 StereoAdapter-2: Globally Structure-Consistent Underwater Stereo Depth Estimation
用选择性状态空间模型替代GRU,实现高效水下立体深度估计
前置知识
立体深度估计
立体深度估计是通过一对已标定的双目相机图像,计算视差(disparity)来恢复场景的三维深度信息。核心原理基于三角测量:同一空间点在左右图像上的水平位置差(视差)与深度成反比关系 $d = f \cdot B / disparity$,其中 $f$ 是焦距,$B$ 是基线长度。传统方法包括基于匹配成本聚合的 CNN 方法、基于迭代优化的 RAFT 类方法等。在水下场景中,由于光散射、吸收和折射,左右图像的光度一致性假设被严重破坏,使得立体匹配变得更加困难。
本文的核心问题就是在水下这种极端域偏移场景下进行立体深度估计,理解立体匹配的基本原理和光度一致性假设被破坏的后果,才能理解为什么需要引入新的模型架构和数据合成方法。
选择性状态空间模型
选择性状态空间模型(Selective State Space Model, SSM)是 Mamba 等新型架构的核心组件。SSM 定义了从输入序列 $u(t)$ 到输出 $y(t)$ 的映射,通过隐状态 $h(t)$ 传递信息:$h'(t) = Ah(t) + Bu(t)$,$y(t) = Ch(t) + Du(t)$,其中 $A, B, C, D$ 是学习参数。与传统的 RNN 不同,SSM 通过结构化的状态演化和全局卷积计算,可以在 $O(L)$ 时间复杂度内建模长序列依赖。Mamba 的创新在于引入了输入依赖的选择性:参数 $\Delta, B, C$ 动态地从输入 $x_t$ 生成,实现自适应信息流控制。ConvSS2D 将一维 SSM 扩展到二维图像,采用多方向扫描策略捕获空间依赖。
本文的核心创新就是用基于选择性 SSM 的 ConvSS2D 替代传统的 ConvGRU,理解 SSM 的工作原理和优势,才能理解为什么这种方法能够在水下场景中实现更高效的长距离空间传播。
LoRA适配
低秩自适应(LoRA, Low-Rank Adaptation)是参数高效微调方法的核心技术,通过向预训练模型的权重矩阵中注入低秩分解矩阵来适配新领域。具体实现为:对于预训练权重 $W \in \mathbb{R}^{d \times d}$,LoRA 引入两个低秩矩阵 $A \in \mathbb{R}^{d \times r}$ 和 $B \in \mathbb{R}^{r \times d}$,其中 $r \ll d$,实际使用的权重为 $W' = W + BA$。在训练时,冻结原始权重 $W$,只优化 $A$ 和 $B$,参数量从 $O(d^2)$ 降低到 $O(2dr)$。这种方法在保留预训练模型丰富表示的同时,实现高效的领域适配。StereoAdapter 中使用动态 LoRA,通过稀疏阈值 $\kappa_{max}$ 控制激活的 LoRA 模块数量,进一步减少参数开销。
本文继承了 StereoAdapter 的 LoRA 适配策略,理解 LoRA 的工作原理和参数效率优势,才能理解为什么这种方法能够在保持性能的同时实现快速部署到嵌入式平台。
研究动机
水下立体深度估计面临严重的域偏移问题。波长依赖的光衰减导致不同颜色成分以不同速率衰减(红光最快被吸收),前向散射和后向散射引入显著的雾化效应,水-玻璃界面的折射导致图像几何畸变。这些因素共同破坏了陆地立体管道所依赖的光度一致性假设。具体而言,在像 SQUID 这样的真实水下数据集上,基于陆地数据(如 Scene Flow)训练的传统方法性能显著下降:LEAStereo 的 REL 高达 $0.5574$,RMSE 为 $5.4659$;即使是较新的 FoundationStereo,REL 也达到 $0.1095$。更关键的是,现有的适配方法(如原始的 StereoAdapter)使用基于 GRU 的迭代细化,GRU 的序贯门控机制和局部卷积核需要在多个迭代步骤中才能实现长距离视差传播。在水下的大视差区域和无纹理区域(如均匀的海水背景),这种局部聚合方式导致视差估计不准确,需要更多的迭代次数才能收敛。
本文的目标是本文的目标是推进水下立体深度估计在架构和数据两个维度的进步,同时保持参数高效的适配范式。架构维度上,探索能够更有效捕获长距离空间依赖的更新机制,替代传统的 GRU,以在大视差和无纹理水下区域提高效率和精度。数据维度上,构建大规模合成水下立体数据集,更好地覆盖真实水下条件的多样性,包括变化的光学参数和相机配置。具体而言,作者希望在水下基准测试上实现零样本性能突破,并在真实世界平台上验证实际适用性。
与已有工作不同的是,本文的独特切入角度是同时从架构创新和数据扩展两方面解决水下立体深度估计问题。与现有工作不同,作者不是简单地应用已有的视觉基础模型,而是重新审视迭代细化模块的设计,引入基于选择性状态空间模型的 ConvSS2D 算子。这个新算子通过四方向扫描策略,自然地对齐立体匹配的极线几何约束(水平扫描)和垂直结构一致性(垂直扫描),在单次更新步骤中实现长距离空间传播,突破了 GRU 局部卷积核的限制。同时,作者不是依赖稀缺的真实水下数据,而是通过两阶段生成流水线构建大规模合成数据集,系统性地变化基线、衰减系数和散射参数,模拟多样化的 ROV 配置。这种架构与数据协同创新的方法,使得模型能够从合成数据中学习到可泛化到真实场景的水下视觉特征,实现了显著的零样本性能提升。
核心方法
StereoAdapter-2 的整体思路是基于迭代立体深度估计框架,用预训练的单目深度基础模型引导立体视差估计。直觉上,立体匹配需要在水平方向(极线约束)和垂直方向(结构一致性)上聚合空间上下文,传统的 GRU 使用局部卷积核,需要多个迭代步骤才能传播长距离信息。作者提出的 ConvSS2D 算子基于选择性状态空间模型,通过四方向扫描策略在单次更新中实现长距离空间传播,大大提高了迭代细化效率。技术路线上,框架采用统一的架构,集成 Depth Anything 3 作为特征编码器和单目深度估计器,使用 LoRA 进行高效参数微调,用单目深度估计初始化视差以加速收敛,用基于选择性 SSM 的 ConvSS2D 替代传统 GRU 更新模块,在保持自适应记忆控制的同时利用 SSM 的长距离空间建模能力。数据方面,通过两阶段生成流水线构建 UW-StereoDepth-80K 数据集,为数据密集型的立体匹配网络提供严格的训练基础。
核心创新是 ConvSS2D 算子,它基于选择性状态空间模型构建,采用四方向扫描策略捕获空间依赖。与现有方法的本质区别在于:传统 GRU 的更新通过局部卷积核实现,信息聚合主要在局部和各向同性范围内,每个细化步骤的传播范围有限;ConvSS2D 通过输入依赖的选择性机制动态生成参数 $\Delta, B, C$,实现内容自适应处理,通过四方向扫描(水平两个方向、垂直两个方向)自然对齐立体匹配的极线几何约束(水平扫描)和垂直结构一致性(垂直扫描),在单次更新步骤中通过线性递归和全局卷积实现长距离空间传播,计算复杂度为线性。这种设计使得模型能够在无纹理和大视差水下区域更准确地估计视差,同时保持高计算效率。
方法步骤详情
方法步骤完整描述如下:第一步是特征提取,使用 Depth Anything 3 编码器从左右图像 $F_L$ 和 $F_R$ 中提取多尺度表示,从四个中间 Transformer 层 $T_1, T_2, T_3, T_4$ 捕获不同级别的细节和语义信息。对于水下场景域适配,使用 LoRA 微调编码器。第二步是相关性金字塔构建,通过计算左右特征的内积构建相关性体积,公式为 $C_{ijk} = \sum_d f^l_{i,j,d} \cdot f^r_{i,k,d}$,其中 $i$ 是左图像的行索引,$j$ 是左图像的列索引,$k$ 是右图像的列索引。通过反复应用核大小为 $2$ 的平均池化构建四层相关性金字塔 $C^{(l)}_{l=1}^4$,第 $l$ 层的维度为 $H \times W \times W/2^{l-1}$,提供逐渐更大的感受野。第三步是迭代视差估计,给定初始视差估计 $D_0$,通过 $L$ 次迭代更新:$D_0, D_1, ..., D_L$。在每次迭代中,给定当前视差估计 $d$,通过线性插值查找操作从每个金字塔层检索整数偏移 $d-r, ..., d+r$ 处的相关值,拼接所有层的检索值形成相关特征输入到 ConvSS2D 更新算子。ConvSS2D 的状态更新通过公式 $h_t = \bar{A}h_{t-1} + \bar{B}x_t$ 实现,其中 $h_t$ 是给定扫描方向上空间位置 $t$ 处的隐状态,$h_{t-1}$ 是从前一位置传播的状态,$x_t$ 是当前位置的输入特征。输入依赖的选择性通过公式 $\Delta = \text{softplus}(W_\Delta x_t), B = W_B x_t, C = W_C x_t$ 实现,其中 $W_\Delta, W_B, W_C$ 是可学习的投影矩阵。四方向扫描的输出聚合形成满足立体视觉固有几何约束的综合特征表示。第四步是数据合成(训练数据准备),通过两阶段生成流水线构建 UW-StereoDepth-80K 数据集。第一阶段使用 Atlantis 进行语义感知的水下风格转换,给定陆地源图像 $I_{src}$ 和对应的源深度图 $D_{src}$,Atlantis 作为风格转换模块,产生逼真的水下光学效果(波长依赖的衰减、散射和浑浊),同时保持原始场景的语义内容和几何结构。第二阶段使用 NVS-Solver 进行几何一致的新视图合成,以 Atlantis 阶段的输出为参考视图,通过条件化到特定基线位移合成目标右视图。系统性地生成四种不同基线的立体对:$20\text{cm}, 30\text{cm}, 40\text{cm}, 50\text{cm}$,模拟真实世界水下机器人的多样化相机配置。最终数据集包含 $80,000$ 个高质量的立体图像对,通过合并新生成的扩散模型样本和现有的 UW-StereoDepth-40K 数据集构建。
技术新颖性
技术新颖性体现在多个方面:首先,ConvSS2D 算子将一维选择性 SSM 扩展到二维图像处理,采用四方向扫描策略,这种设计专门针对立体匹配任务的几何特性,水平扫描对齐极线约束,垂直扫描捕获跨扫描线的一致性。其次,输入依赖的选择性机制通过动态参数生成实现内容自适应处理,使得模型能够根据局部图像特征(如纹理、边缘、遮挡边界)动态调整行为。第三,单次更新步骤中的长距离传播能力通过线性递归和全局卷积实现,突破了传统 GRU 局部卷积核的限制。第四,两阶段数据生成流水线结合了语义感知的风格转换和几何一致的新视图合成,系统性地变化基线、衰减系数和散射参数,覆盖了多样化的水下条件。第五,参数高效的适配范式结合了预训练模型的丰富表示和 LoRA 的微调效率,使得模型能够在保持性能的同时实现快速部署到嵌入式平台。
实验结果
论文在 TartanAir 水下子集和 SQUID 数据集上进行了全面的零样本评估,并在 BlueROV2 平台上进行了真实世界验证。在 TartanAir 水下子集上,StereoAdapter-2 取得了最优性能:REL 为 $0.0440$,RMSE 为 $2.4038$,A1 准确率为 $96.76\%$。与之前的 StereoAdapter(训练于 UW-StereoDepth-40K)相比,REL 降低了 $16.5\%$,RMSE 降低了 $17.0\%$,验证了 ConvSS2D 架构的有效性和训练数据规模扩展的好处。在 SQUID 真实世界数据集上,StereoAdapter-2 的 RMSE 为 $1.7481$,REL 为 $0.0705$,与之前的 StereoAdapter 相比 RMSE 降低了 $7.2\%$,在所有 $\delta$ 阈值上都达到了领先的准确率(A1: $94.25\%$,A2: $97.65\%$,A3: $98.62\%$)。这些结果突出了 StereoAdapter-2 从合成训练数据到真实水下场景的强零样本泛化能力。在 BlueROV2 真实世界平台上,作者在水池环境中进行了系统性评估,通过 AprilTag 检测和 3D 参考模型对齐获取每像素深度参考。StereoAdapter-2 达到了 REL $0.1023$、RMSE $1.7164$、A1 准确率 $92.56\%$ 的性能,相对于其他基线在精度和稳定性上都有一致提升。消融实验(Table IV)验证了各个设计组件的贡献:使用 Depth Anything 3 编码器、单目视差初始化和 ConvSS2D 更新模块的组合达到了最优性能(REL $0.0440$,RMSE $2.40$)。移除单目初始化导致性能下降到 REL $0.0449$,RMSE $2.46$;移除上下文编码器对性能影响较小(REL $0.0463$,RMSE $2.54$),验证了 ConvSS2D 的长距离传播能力确实可以替代传统的上下文编码器。Table V 的超参数消融表明,批次大小 $8$、学习率 $1 \times 10^{-4}$、训练迭代 $22$ 次是最佳配置。Table VI 分析了 ConvSS2D 中关键 SSM 超参数的影响:状态维度 $d_{state}=16$ 达到最佳的 REL 和 RMSE 分数,但计算开销增加;SSM 扩展比超过 $1.0$ 导致性能显著下降。最终选择 $d_{state}=16$、SSM 比为 $1.0$ 作为默认配置。Table VII 表明交叉扫描策略相比单向和双向扫描在保持相似参数量和 FLOPs 的情况下实现了更好的模型性能,验证了可靠匹配仍然受益于二维空间上下文的聚合。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 水下立体深度估计(零样本) | REL | 0.0440 | StereoAdapter (0.0527) | 16.5% |
| 水下立体深度估计(零样本) | RMSE | 2.4038 | StereoAdapter (2.8947) | 17.0% |
| 水下立体深度估计(零样本) | A1 | 96.76% | StereoAdapter (94.67%) | 2.09% |
| SQUID真实世界数据集 | RMSE | 1.7481 | StereoAdapter (1.8843) | 7.2% |
| SQUID真实世界数据集 | REL | 0.0705 | StereoAdapter (0.0806) | 12.5% |
| BlueROV2真实平台 | A1 | 92.56% | StereoAdapter (86.94%) | 5.62% |
局限与改进
作者承认合成到真实的域间隙在极端水下条件下仍然存在,如严重浑浊、强后向散射或快速变化的照明场景,训练数据的多样性可能无法完全捕捉真实世界的复杂性。此外,虽然方法在单帧准确度上表现强劲,但连续部署中的时间一致性仍然具有挑战性——连续的深度预测可能出现闪烁或不稳定性。观察到的另一个潜在局限是模型在非常低对比度区域的性能,虽然 ConvSS2D 通过垂直扫描提高了结构一致性,但在几乎没有任何纹理线索的场景中,视差估计仍然可能不准确。此外,模型依赖单目深度估计进行初始化,如果单目估计在水下极端条件下失效,可能会影响整体性能。最后,虽然推理延迟在嵌入式平台上已经优化到 $1102$ 毫秒,但对于需要高频反馈的实时控制应用来说,这仍然可能是一个瓶颈。
独立分析的弱点
首先,模型的泛化能力在极端水下条件下仍然有限。对于严重的浑浊、强后向散射或快速变化的照明场景,合成数据的多样性可能无法完全覆盖,这限制了模型在更广泛真实世界应用中的鲁棒性。改进方向可以是扩展数据生成流程,模拟更多样化的极端水下条件,或者引入域自适应技术进一步缩小合成到真实的间隙。其次,时间一致性的缺失是一个关键弱点。连续帧之间的预测可能出现闪烁,这对于需要稳定视觉反馈的机器人任务(如自主导航和抓取)是有问题的。改进方向是引入时间建模模块,如时间 SSM 或循环网络,在保持计算效率的同时确保跨帧的预测稳定性。第三,对单目深度初始化的依赖可能在某些场景中成为瓶颈。如果单目估计在水下极端条件下失效(例如在非常浑浊的水中),可能会影响整体性能。改进方向可以是开发更鲁棒的多模态初始化策略,结合红外、声纳等其他传感器的信息。第四,推理延迟虽然在嵌入式平台上已经优化,但对于高频实时控制仍然可能不够快。改进方向可以是进一步优化模型架构,例如探索更轻量的编码器或更高效的 SSM 实现,或者利用 TensorRT 等推理引擎进行更深度的优化。最后,模型在几乎无纹理区域的性能仍然有限。虽然垂直扫描提高了结构一致性,但在完全没有纹理线索的场景中,视差估计仍然不准确。改进方向可以是引入几何先验或语义引导的匹配策略,利用场景的结构信息辅助匹配。
未来方向
作者提出的未来工作方向包括:引入时间建模以确保连续部署中跨帧的预测稳定性,以及探索与下游机器人任务的更紧密集成,如水下抓取点预测。基于当前成果,可以延伸的研究方向包括:扩展数据生成流程以覆盖更多样化的极端水下条件,包括动态浑浊、强后向散射和复杂照明场景;开发更高效的 SSM 变体,进一步降低计算复杂度和内存占用,使模型能够在资源更受限的嵌入式平台上实时运行;探索多模态融合方法,结合声纳、红外等其他水下传感器的信息,提高在极端条件下的鲁棒性;研究自适应推理策略,根据场景复杂度动态调整模型计算量,在保证精度的同时提高效率;开发端到端的机器人感知框架,将深度估计与其他视觉任务(如目标检测、语义分割)联合优化,为自主水下机器人提供更全面的环境理解能力。
复现评估
论文提供了开源代码和项目页面,代码链接为 https://github.com/AIGeeksGroup/StereoAdapter-2,项目页面为 https://aigeeksgroup.github.io/StereoAdapter-2。模型训练使用了 NVIDIA H100 NVL GPU,输入图像分辨率为 $480 \times 640$ 并归一化到 $[0, 1]$。特征编码器使用预训练的 Depth Anything 3 (ViT-B) 权重初始化,训练时进行 $22$ 次迭代,推理时进行 $32$ 次迭代。LoRA 设置遵循 StereoAdapter:秩 $r = 16$,稀疏阈值 $\kappa_{max} = 0.005$,正则化权重 $\lambda = 1 \times 10^{-4}$,稀疏阶段在训练的 $50\%$ 时激活。模型使用 AdamW 优化器,学习率为 $1 \times 10^{-4}$,权重衰减为 $1 \times 10^{-5}$,使用 OneCycleLR 调度器训练 $100$K 次迭代。数据增强策略与 RAFT-Stereo 一致,包括饱和度增强和随机缩放。真实世界评估在 BlueROV2 平台上进行,配备 NVIDIA Jetson Orin NX (32GB),使用 TensorRT 在 MaxN 模式下评估,批次大小为 $1$,输入分辨率为 $640 \times 320$。评估协议包括在水池环境中布置 $5$ 个不同的空间布局,每个布局进行 $3$ 次独立导航,总共 $15$ 次时间对齐的双目记录。通过检测 AprilTag 并求解位姿估计问题恢复相机位姿,与预扫描的 3D 参考模型对齐以获取每像素深度参考。复现难度为中等,主要挑战在于获取合适的真实水下数据进行验证,以及计算资源需求(H100 GPU 用于训练)。
论文图表
这个表格展示了在 TartanAir 水下子集上的零样本立体深度估计定量比较。所有方法使用相同的标准深度度量协议进行评估。表格列出了不同方法的训练集、REL、SqRel、RMSE、Log RMSE、A1、A2、A3 等指标。StereoAdapter-2 在 UW-StereoDepth-80K 上训练,取得了 REL $0.0440$、RMSE $2.4038$、A1 $96.76\%$ 的最优性能,相比 StereoAdapter 在 REL 上降低了 $16.5\%$,在 RMSE 上降低了 $17.0\%$。
这个表格对理解论文的实验结果至关重要,它提供了与基线方法的定量比较,验证了 StereoAdapter-2 的优越性。通过对比不同方法的性能指标,读者可以直观地看到本文方法在零样本设置下的显著提升,特别是在 REL 和 RMSE 等关键指标上的改进。
这个表格展示了在 SQUID 真实世界数据集上的零样本评估结果。表格列出了不同方法的训练集、REL、SqRel、RMSE、Log RMSE、A1、A2、A3 等指标。StereoAdapter-2 在 UW-StereoDepth-80K 上训练,取得了 RMSE $1.7481$、REL $0.0705$、A1 $94.25\%$、A2 $97.65\%$、A3 $98.62\%$ 的最优性能,相比 StereoAdapter 在 RMSE 上降低了 $7.2\%$。
这个表格对验证论文方法的实际泛化能力至关重要。SQUID 是真实世界的水下数据集,能够更好地反映模型在实际应用中的性能。通过展示在真实数据上的零样本评估结果,这个表格证明了 StereoAdapter-2 从合成数据到真实场景的强泛化能力。
这个表格展示了在 BlueROV2 真实世界平台上的评估结果。表格列出了 Stereo Anywhere、FoundationStereo、StereoAdapter 和 StereoAdapter-2 的 REL、SqRel、RMSE、Log RMSE、A1 等指标。StereoAdapter-2 取得了 REL $0.1023$、RMSE $1.7164$、A1 $92.56\%$ 的最优性能,相对于其他基线在精度和稳定性上都有一致提升。
这个表格对验证论文方法的实际适用性至关重要。在真实水下机器人平台上的评估证明了方法在实际应用环境中的鲁棒性和实用性。通过与其他基线的比较,读者可以看到 StereoAdapter-2 在真实世界场景中的性能优势。
这个表格展示了 StereoAdapter-2 的模型消融实验,评估不同设计组件的影响。表格列出了不同配置下的 REL 和 RMSE。完整配置(使用 Depth Anything 3 编码器、单目视差初始化、ConvSS2D 更新模块)取得了最优性能 REL $0.0440$、RMSE $2.40$。移除单目初始化导致性能下降到 REL $0.0449$,RMSE $2.46$;移除上下文编码器对性能影响较小 REL $0.0463$,RMSE $2.54$。
这个表格对理解论文方法的各个组件的贡献至关重要。通过消融实验,读者可以了解每个设计选择对最终性能的影响,验证了 Depth Anything 3 编码器、单目视差初始化和 ConvSS2D 更新模块的有效性。
这个表格展示了训练超参数的消融实验。表格列出了不同批次大小、学习率和训练迭代次数下的 REL 和 RMSE。批次大小 $8$、学习率 $1 \times 10^{-4}$、训练迭代 $22$ 次是最佳配置,取得 REL $0.0440$、RMSE $2.40$。
这个表格对理解论文的训练设置和超参数选择至关重要。它展示了不同超参数配置对性能的影响,帮助读者理解为什么作者选择特定的训练设置。
这个表格展示了 ConvSS2D 中 SSM 超参数的消融实验。表格列出了不同状态维度 $d_{state}$ 和 SSM 扩展比下的参数量、FLOPs、吞吐量、REL 和 RMSE。$d_{state}=16$ 达到最佳的 REL 和 RMSE 分数,但计算开销增加;SSM 扩展比超过 $1.0$ 导致性能显著下降。最终选择 $d_{state}=16$、SSM 比为 $1.0$ 作为默认配置。
这个表格对理解 ConvSS2D 的设计和权衡至关重要。它分析了关键超参数对模型精度和效率的影响,帮助读者理解作者的设计选择和性能权衡。
这个表格展示了 SS2D 扫描模式的消融实验。表格列出了不同扫描模式(单向扫描、双向扫描、交叉扫描)下的参数量、FLOPs、吞吐量、REL 和 RMSE。交叉扫描策略相比单向和双向扫描在保持相似参数量和 FLOPs 的情况下实现了更好的模型性能 REL $0.0440$、RMSE $2.40$。
这个表格对理解 ConvSS2D 的四方向扫描策略至关重要。它验证了交叉扫描策略相比单向和双向扫描的优势,支持了作者关于可靠匹配受益于二维空间上下文聚合的论点。
这个表格展示了在 Jetson Orin NX 32GB 上的平均每帧推理延迟。表格列出了不同方法的参数量和板载延迟。StereoAdapter-2 取得了最低的延迟 $1102$ 毫秒,相比 FoundationStereo 的 $1933$ 毫秒和 StereoAdapter 的 $1285$ 毫秒有显著改进,参数量也从 $375$M 减少到 $103$M。
这个表格对理解论文方法的实际部署能力至关重要。它展示了模型在嵌入式平台上的推理性能,验证了参数高效的适配策略和 ConvSS2D 的计算效率优势。