WAFT-Stereo：基于扭曲的场变换用于立体匹配 WAFT-Stereo: Warping-Alone Field Transforms for Stereo Matching

WAFT-Stereo的完整流程包含以下步骤。步骤1：输入编码。给定已校正的立体图像对 $I_L, I_R \in \mathbb{R}^{H \times W \times 3}$，输入编码器 $F$ 提取特征图 $F(I_L), F(I_R) \in \mathbb{R}^{h \times w \times c}$，其中 $(h, w) = (H/2, W/2)$ 是半分辨率。编码器使用预训练的DepthAnythingV2骨干网络，通过LoRA微调。步骤2：分类步骤。分类模块将视差离散化到 $B=40$ 个箱子，箱子范围为 $[0, D_{max}]$，其中 $D_{max}=800$。对于每个像素 $p$，定义软目标分布 $(P_{gt})_p = \text{Softmax}(|(d_{gt})_p / (D_{max} / (B-1))|)$，其中 $d_{gt}$ 是真实视差。模型预测分布 $P$ 并用软交叉熵损失监督：$\mathcal{L}_{cls} = -\sum_{p}\sum_{i=0}^{B-1}(P_{gt})_{p,i}\log P_{p,i}$。初始视差估计通过soft-argmax计算：$d_0 = \sum_{i=0}^{B-1}(i \cdot D_{max}/(B-1))P_i$。步骤3：循环更新。对于迭代 $t=1$ 到 $T-1$（$T=5$），循环更新器接收左图特征 $F(I_L)$、扭曲右图特征 $\texttt{Warp}(d_{t-1})$ 和隐藏状态 $h_{t-1}$，输出下一个隐藏状态 $h_t$。循环更新器使用ViT-small架构，之前应用 $8 \times 8$ patchify。扭曲操作通过双线性采样实现。步骤4：预测与损失。从隐藏状态 $h_t$ 预测Mixture-of-Laplace参数，并通过凸上采样上采样到输入分辨率。回归迭代使用MoL损失，总损失为 $\mathcal{L}_{total} = \mathcal{L}_{cls} + \sum_{i=1}^{T-1}\gamma^{T-i}\mathcal{L}_{MoL}^i$，其中 $\gamma$ 是衰减因子。

WAFT-Stereo的技术新颖性体现在多个方面。首先，在立体匹配中首次证明了分类可以在无代价体积的情况下实现有效。通过消融实验，作者发现基于代价体积的分类并不比基于扭曲的分类更好，这表明性能提升来自分类公式本身，而非代价体积。其次，分类+回归的混合设计是新颖的。纯回归方法难以处理大位移，而纯分类方法难以细化估计，混合设计结合了两者的优势。第三，架构简化具有新颖性。原始WAFT使用一个小型U-Net作为预训练编码器的轻量级适配层，WAFT-Stereo改用LoRA微调，减少了延迟。第四，高分辨率处理的新颖性。循环更新器中的高分辨率skip连接被替换为4个ResNet块，这显著提升了精度。作者通过消融实验发现，高分辨率ResNet块在ETH3D上将BP-1-all从1.99降至1.48。最后，损失函数的新颖性。立体匹配中常用L1损失，但WAFT-Stereo引入光流中常用的Mixture-of-Laplace损失，消融实验显示MoL损失在ETH3D上将BP-1-all从2.44降至1.48，显著优于L1损失。

WAFT-Stereo存在几个可以改进的弱点。第一个弱点是对大照度变化的鲁棒性不足。在Middlebury的Classroom2E场景中，显著照明差异导致性能大幅下降，这表明扭曲操作对光照变化敏感。改进方向可以是在特征提取阶段引入光照不变特征，或在损失函数中加入光照鲁棒性正则项。第二个弱点是迭代更新的并行度受限。随着迭代次数增加，延迟几乎线性增长，这不利于实时应用。改进方向可以探索并行化迭代更新策略，或设计更高效的迭代收敛方案（如自适应早停）。第三个弱点是缺乏对边缘和纹理缺失区域的专门处理。论文没有报告在这些困难区域的表现，而这是立体匹配的关键挑战。改进方向可以引入边缘感知损失或纹理增强模块。第四个弱点是分类步骤的箱子数量选择是固定的（B=40）。不同场景可能需要不同的箱子分辨率，固定选择可能不是最优。改进方向可以是自适应箱子选择或多尺度分类。第五个弱点是零样本性能仍然有提升空间。虽然WAFT-Stereo在零样本设置下表现优异，但与有监督微调结果相比仍有差距（如ETH3D上零样本0.89% vs 微调结果未明确报告）。改进方向可以是更好的域适应技术或合成数据增强。

基于本文成果，多个未来研究方向值得探索。首先，作者提到可以探索更多骨干网络选择。论文只测试了DAv2系列，但WAFT-Stereo的架构可以轻松集成各种预训练骨干网络（如DINOv2、SAM等）。未来工作可以系统评估不同骨干网络的影响，并探索专门针对立体匹配预训练的骨干网络。其次，可以研究更高效的迭代策略。论文观察到迭代次数与延迟的线性关系，未来可以设计更少的迭代次数达到相同精度，或并行化迭代更新。第三，可以探索更复杂的损失函数。虽然MoL损失优于L1损失，但可以尝试其他分布假设（如Mixture-of-Gaussian）或引入边缘感知、结构感知的损失项。第四，可以研究跨任务的泛化。WAFT-Stereo基于光流的WAFT框架，未来可以探索统一的光流和立体匹配架构，实现任务间的知识共享。第五，可以研究更好的零样本泛化技术。虽然仅使用合成数据训练已经很强，但可以引入域适应、无监督领域适应等技术进一步提升零样本性能。最后，可以研究在极端场景下的鲁棒性。大光照变化、严重遮挡、纹理缺失等场景需要专门的设计，这是实际应用中的重要挑战。

WAFT-Stereo的复现性评估较为积极。作者提供了代码和模型权重，公开在GitHub（https://github.com/princeton-vl/WAFT-Stereo），这为复现提供了基础。论文详细描述了实现细节：warping在半分辨率进行，ViT blocks之前应用 $8 \times 8$ patchify，循环更新器使用4个ResNet块进行高分辨率处理，LoRA rank设为8，分类箱子数B=40，最大视差Dmax=800。这些具体的超参数设置有助于复现。训练细节也很详细：合成数据集混合包含约330万立体对，在480p随机裁剪上训练，批大小32，学习率 $5 \times 10^{-4}$，使用AdamW优化器和OneCycle调度器，训练400k步。这些具体设置使复现可行。论文还提供了消融实验，使用较小的合成子集（约160万立体对）训练100k次迭代，这为快速验证提供了参考。论文在L40 GPU上报告了540p BF16精度的性能数据，这提供了明确的硬件要求参考。然而，论文没有报告训练所需的GPU小时数，也没有详细说明合成数据集的具体组成比例，这可能影响完全复现。总体而言，WAFT-Stereo的复现难度中等，需要较强的计算资源（多个L40 GPU），但详细的实现描述和公开代码降低了复现门槛。