CylinderDepth:面向多视图一致自监督环视深度估计的圆柱空间注意力 CylinderDepth: Cylindrical Spatial Attention for Multi-View Consistent Self-Supervised Surround Depth Estimation

完整方法可以拆成六个步骤。第一步:输入与编码。$\mathbf{I}_t\in\mathbb{R}^{N\times H\times W\times 3}$ 共 $N$ 张同步图像,经过 ImageNet 预训练的 ResNet-18 编码器得到多尺度特征 $\mathbf{F}^{s}_{I_t}\in\mathbb{R}^{N\times H_s\times W_s\times F_s}$,$s\in\{1,\dots,S\}$,最粗尺度 $S$ 的特征图高度宽度为 $H_S$、$W_S$。然后把 $F^{S}_{I_t}$ 单独送入一次初步解码,得到每张图像的初步深度 $\hat D$。第二步:3D back-projection 与圆柱投影。给定第 $i$ 张图像的内参 $K_{I_t,i}$、外参 $^{ref}T_{I_t,i}$、初始深度 $\hat D$,按 $P^{S}_{I_t,i}=\Pi(F^{S}_{I_t,i},K_{I_t,i},^{ref}T_{I_t,i},\hat D)$ 把像素反投影到 3D 位置图 $P^{S}_{I_t,i}\in\mathbb{R}^{H_S\times W_S\times 3}$;再以中心 $c$ 为投影中心、$r_c=1$ 为半径做中心投影 $p'=c+\tfrac{r_c}{r}p_o$,得到圆柱坐标 $(\theta_{p'},h_{p'})$ 即 $O^{S}_{I_t,i}\in\mathbb{R}^{H_S\times W_S\times 2}$。第三步:非学习空间注意力。像素 $u,v$ 在圆柱上的注意力权重按 $a_{uv}^p=\exp(-\tfrac12 d_{uv}^\top\Sigma^{-1}d_{uv})\,\mathbb{1}_{\{d_{uv}^2\le\tau^2\}}$,其中 $d_{uv}$ 是测地距离;然后按 $f'_u=\sum_v a_{uv}^p W_V f_v$ 聚合得到调制特征 $\mathbf{F}'^{S}_{I_t}$。第四步:解码输出深度。把 $\mathbf{F}'^{S}_{I_t}$ 与高分辨率特征 $\mathbf{F}^{s}_{I_t}(s\ne S)$ 用 skip connection 送入解码器,得到最终逐像素 metric 深度 $\hat{\mathbf{D}}_t\in\mathbb{R}^{N\times H\times W}$。第五步:训练损失。训练目标 $L=L_\text{photo,temp}+\lambda_\text{sp}\,L_\text{photo,sp}+\lambda_\text{spt}\,L_\text{photo,spt}+\lambda_\text{sm}\,L_\text{sm}+\lambda_\text{DCCL}\,L_\text{DCCL}+\lambda_\text{MV RCL}\,L_\text{MV RCL}$ 中三个 photometric loss 分别用相邻帧、相邻相机、邻帧+邻相机作为源,辅以 edge-aware smoothing、dense depth consistency loss、multi-view reconstruction consistency loss;权重取 $\lambda_\text{sp}=0.03$、$\lambda_\text{spt}=0.1$、$\lambda_\text{sm}=0.1$、$\lambda_\text{DCCL}=10^{-3}$、$\lambda_\text{MV RCL}=0.2$。Spatial loss 用 inverse warping 把目标像素 $\hat p_{I_t,j}=K_{I_t,j}\cdot\,^{I_t,j}T_{I_t,i}\,\hat D_{I_t,i}\,K^{-1}_{I_t,i}\,p_{I_t,i}$ 投到相邻相机坐标系后采样得到重建图像。第六步:实现细节。$8\times$ RTX 3060,每 GPU batch size $=1$($6$ 张环绕图),Adam $\beta_1=0.9$、$\beta_2=0.999$,初始学习率 $10^{-4}$,StepLR 在 $4/20$ epoch 后乘以 $0.1$;$\Sigma=\text{diag}(0.02,0.02)$,$\tau=1.2$。

技术新颖性可分四点。第一,几何先验式注意力用截断高斯核+测地距离替代 softmax,使 attention 在 inference 时仍受几何约束,是 SfM/MVS 几何与 Transformer 注意力的一次成功"嫁接";它和 [31] Ruhkamp 等基于预测深度算欧氏距离的 spatial attention 不同——本文用 back-projected 3D→圆柱→测地距离,层级化几何距离避免了笛卡尔空间"近像素→远圆柱点"的噪声。第二,圆柱代替球面有明确几何理由:多相机环视下相机水平绕轴分布,圆柱面贴合此结构,球面两极会产生剧烈畸变。第三,只在最低尺度施加注意力的设计平衡了粗尺度感受野与细尺度高频细节(对比实验显示所有尺度都加 attention 反而把 AbsRel 从 $0.207$ 推到 $0.212$)。第四,提出的 Depth Consistency 指标首次把"多视图一致"从定性观察推进到量化对比,填补了领域长期空白。

从独立分析视角,本文至少存在四个可改进之处。第一,几何先验超参 $\Sigma=\text{diag}(0.02,0.02)$ 与 $\tau=1.2$ 是按 DDAD $384\!\times\!640$ 与特征图最低尺度手工选择的,迁移到极端不同分辨率或不同 FoV 相机(如鱼眼)时需重新 tune;可尝试自适应截断(以相邻相机间像素对齐残差为输入)或对 $\Sigma$ 做方差归一化。第二,只对最粗尺度做 attention 牺牲了细尺度几何强约束,若能在中间尺度插入轻量化圆柱交叉注意力,或许能同时拿到粗尺度全局一致与细尺度边界精度——作者也承认是 future work。第三,基于测地距离的注意力对初始 $\hat D$ 依赖较强,第一次 forward pass 用随机初始解码预测 $\hat D$、误差较大时 back-projection 也会偏差,把跨视图像素错误对齐;可用光度一致性的 robust depth(如最小重投影中位数)替代初始 $\hat D$。第四,Depth Consistency 指标假设同一 3D 点至少被两相机看到,动态目标上不存在跨相机对应,需补充诊断。

论文自陈未来方向有二:一是把注意力推进到细尺度,目标是把像素级一致性也提升到 submeter,文中提示"通过适配距离计算"实现但未给出具体方案;二是用连续时间的相机轨迹替代离散 $t-1/t+1$ 的姿态预测,以适配 nuScenes 多相机非同步曝光带来的刚体运动破缺。基于本文成果可延伸的方向还包括:(a) 把圆柱表征延伸到 $360\degree$ 全景输入的统一框架,与 VR/AR omnidirectional depth 工作结合;(b) 用 CylinderDepth 提供的几何上一致的深度 $\hat D$ 作为下游感知(BEV 占用、3D 检测)的中间表征,以替代当前 BEVDepth、LSS 等单视图深度生成器;(c) Depth Consistency 指标反过来可作为无 LiDAR 的一致性自检工具,在测试阶段仅凭重叠区域多相机图像给出"系统是否失准"告警;(d) 把非学习的几何高斯注意力推广到点云补全、跨模态融合等场景,在那里"几何距离-注意力权重"的耦合也常比纯学习更高效。

论文在可复现性上整体表现良好。代码仓库已公开(https://abualhanud.github.io/CylinderDepthPage/),论文正文与 supp. material 提供了关键超参 $\Sigma=\text{diag}(0.02,0.02)$、$\tau=1.2$、5 个 loss 权重 $\lambda_\text{sp},\lambda_\text{spt},\lambda_\text{sm},\lambda_\text{DCCL},\lambda_\text{MV RCL}$、Adam $\beta_1=0.9/\beta_2=0.999$、初始学习率 $10^{-4}$、StepLR 在 $4/20$ epoch 后 $\times 0.1$、输入分辨率(DDAD $384\times 640$、nuScenes $352\times 640$)、评估上限(DDAD $200$ m、nuScenes $80$ m)、backbone(ResNet-18 ImageNet pretrained,decoder 来自 Monodepth2 [10] 随机初始化)。训练资源是 $8$ 块 NVIDIA RTX 3060,批大小 $1$/GPU,即每步 batch $=6\times 8=48$ 张环绕图;硬件门槛对一般实验室可承受。DDAD 与 nuScenes 都需单独下载申请。复现难度中等:几何投影与截断高斯的实现是机械工作,但需小心坐标系(camera vs reference)与 back-projection 顺序;Depth Consistency 指标需要严格按 supp. 公式把每对像素通过 $K$、$T$、$\hat D$ 转换到 common reference 后求 RMSE,论文未提供伪代码,实现时容易出错。