Prithvi-互补自适应融合编码器（CAFE）：释放洪水淹没制图的全部潜力 Prithvi-Complimentary Adaptive Fusion Encoder (CAFE): unlocking full-potential for flood inundation mapping
双分支融合Prithvi与CNN，仅45.5M参数实现洪水制图SOTA
前置知识
Geo-Foundation Model (GFM)
地球观测基础模型是基于自监督学习（主要是掩码自编码器MAE和对比学习）在大规模无标注遥感数据上预训练的通用视觉模型。与传统的任务专用模型不同，GFM通过大规模预训练获得通用的地球观测表征能力，可以在下游任务（如语义分割、分类、回归）中通过少量标注数据微调获得可靠结果。目前已提出超过58个遥感视觉基础模型，包括Prithvi、TerraMind、DOFA、Clay、SpectralGPT等。这些模型在GeoBench和PANGEA等基准数据集上进行评估，覆盖林业、洪水、土地利用等多个领域。
本文的核心问题就是GFM在洪水制图任务上无法超越简单的U-Net基线，理解GFM的定义和现状是理解论文动机的前提
Prithvi GFM
Prithvi是由IBM和NASA联合开发的地球观测基础模型，基于ViT（Vision Transformer）架构，采用掩码自编码器（MAE）在420万个Harmonized Landsat和Sentinel-2（HLS）训练样本上预训练。Prithvi 2.0有600M和300M两个版本，仅支持6个HLS光谱波段作为输入。该模型通过TerraTorch工具包易于访问和微调，是目前最广泛使用的遥感基础模型之一，已在冰川湖制图、碎屑覆盖冰川制图、土地覆盖制图等多个领域得到应用。
本文以Prithvi为骨干网络，其6通道输入限制是本文要解决的核心问题之一
Parameter-Efficient Fine-Tuning (PEFT)
参数高效微调是一种在不更新模型全部参数的情况下，通过添加轻量级可学习模块（如Adapter、LoRA、Prompt等）来适配预训练模型到新任务的技术。在Adapter方法中，小型瓶颈网络被插入到Transformer块之间，仅训练这些新增参数（通常不到原模型参数的10%），同时冻结预训练权重。这种方法可以减少50-80%的GPU内存使用，同时保持模型捕捉长程依赖的能力。
本文采用的Adapter微调方法将可训练参数从650M降至45.5M，是实现高效训练的关键技术
Convolutional Attention Module (CAM)
卷积注意力模块是一种结合通道注意力和空间注意力的双重注意力机制。通道注意力通过全局平均池化和最大池化生成权重，强调重要的特征通道；空间注意力则通过组合池化空间图并应用卷积来突出重要区域。这种双重注意力机制能够自适应地聚焦于特征图中'什么'和'哪里'需要关注，增强特征判别力和表征能力，同时参数开销极小。CAM特别有助于减少噪声（如大气伪影）并提升分割任务的整体性能。
CAM是本文CNN分支的核心增强组件，负责提升CNN特征的空间和通道表征质量
UperNet Decoder
UperNet是一种基于特征金字塔的语义分割解码器，通过金字塔池化模块（PPM）和横向连接整合多尺度特征。PPM在最小尺度特征上进行多尺度池化以捕获全局上下文，然后通过横向连接逐步将高层语义信息与精细空间细节融合。这种从最小到最大的渐进式特征融合策略能够生成精确且具有上下文感知的分割输出。UperNet最初用于全景分割任务，现已成为语义分割的标准解码器之一。
本文使用UperNet作为解码器来整合Transformer和CNN分支的融合特征，生成最终分割掩码
Intersection over Union (IoU)
交并比是语义分割中最常用的评估指标，计算预测分割区域与真实标注区域的交集面积除以它们的并集面积。IoU值范围从0到1，值越高表示预测与真实标注的重叠越好。在洪水制图中，IoU-水体（IoU-Water）专门衡量水体类别的分割精度。mIoU则是所有类别IoU的平均值。IoU相比精确率和召回率更能全面反映分割质量，因为它同时惩罚了漏检和误检。
本文所有实验结果都以IoU和mIoU为主要评价指标，理解这一指标才能理解实验结果的意义
研究动机
当前地球观测基础模型（GFMs）在洪水淹没制图这一关键下游任务上面临严重的性能瓶颈。具体而言，使用Sen1Floods11基准数据集评估时，所有主流GFMs——包括Prithvi 2.0 600M（IoU 82.50）、TerraMind（IoU 82.90）、DOFA（IoU 81.54）、SpectralGPT（IoU 81.02）——都无法超越仅有31M参数的基线U-Net（IoU 84.03）。这一现象在数据受限场景下更加突出：即使仅使用10%、50%或100%的训练数据，U-Net始终优于所有GFMs。问题的根源在于两个方面：第一，Prithvi等大模型虽然拥有数亿参数，但在捕捉关键局部细节（如洪水边界的精细空间结构）方面能力不足，过于依赖全局语义信息而忽略了局部空间线索；第二，Prithvi原始架构仅支持6个HLS光谱波段输入，无法处理多光谱和多模态数据，这严重限制了其在需要多通道互补信息的地球观测应用中的泛化能力。例如，在实际洪水制图中，SAR数据、多光谱数据等不同模态提供了互补的洪水信息，但Prithvi无法直接利用这些额外通道。
本文的目标是本文的核心目标是设计一种既保留预训练GFM的长程语义表征能力、又能有效捕捉关键局部空间细节的洪水制图模型。具体而言，作者希望：（1）扩展Prithvi GFM的能力边界，使其能够处理任意数量的输入通道，而不仅限于原始的6个HLS波段；（2）通过高效的Adapter微调策略，在大幅减少可训练参数（从650M降至45.5M）的同时保持模型性能；（3）设计一种有效的多尺度、多层次特征融合机制，将Transformer的全局语义信息与CNN的局部空间信息有机结合；（4）在Sen1Floods11和FloodPlanet两个高质量洪水数据集上达到最先进的分割精度，验证该方法在地理泛化能力和异构条件下的鲁棒性。
与已有工作不同的是，本文的独特切入角度在于'互补通道融合'的设计理念。与此前试图直接修改GFM架构或简单堆叠不同模型的方法不同，作者观察到一个关键洞察：Transformer和CNN在处理不同类型的光谱信息时具有天然的互补性。Transformer（经过预训练的Prithvi）擅长从其预训练的6个波段中提取丰富的光谱语义特征和长程依赖关系，而CNN则在捕捉精细空间模式和处理额外通道信息方面更具优势。因此，本文提出将输入通道显式分割为两个互补子集——原始预训练波段送入Transformer，其余通道送入CNN——并通过注意力驱动的融合模块学习两者的联合表征。这种方法不仅解决了Prithvi的通道限制问题，更重要的是通过架构层面的设计让两种架构各自发挥所长，实现了'1+1>2'的效果。此外，与U-Prithvi等同样结合U-Net和Prithvi的方法相比，本文的M2FAF融合机制能够在多尺度、多层次上进行自适应特征融合，而不是简单的特征拼接。
核心方法
Prithvi-CAFE的整体架构设计遵循'分而治之、优势互补'的直觉。对于输入的多通道遥感图像，模型首先通过光谱选择模块将通道分为两组：一组是Prithvi预训练时使用的6个HLS波段（波段1、2、3、7、11、12），另一组是剩余的所有其他通道。前者送入经过Adapter改造的Prithvi Transformer编码器，利用其预训练获得的长程语义理解能力；后者送入包含残差块和卷积注意力模块（CNN+CAM）的CNN分支，提取精细的空间细节。两条路径各自生成多尺度特征图后，通过多尺度多层次特征注意力融合模块（M2FAF）进行自适应加权融合——该模块学习一个注意力掩码来决定在每个尺度上应该更多依赖Transformer的语义特征还是CNN的空间特征。最终，融合后的特征通过UperNet解码器生成精确的语义分割掩码。整个技术路线可以概括为：输入分通道、双分支编码、多尺度特征提取、注意力融合、解码输出。
本文的核心创新在于三个紧密关联的技术贡献。第一个创新是'互补通道分离'策略，数学上表示为 $X = [X_{AP} | X_{CNN}]$，其中 $I_{AP} = \{1, 2, 3, 7, 11, 12\}$ 是送入Adapted Prithvi的波段索引集合，$I_{CNN} = \{1, \ldots, C\} \setminus I_{AP}$ 是送入CNN的剩余波段集合。这种显式分离确保了Transformer处理光谱丰富的特征，而CNN分支捕获精细的空间模式。第二个创新是动态提示适配器（Dynamic Prompt Adapter），它在每个ViT块的起始位置插入轻量级瓶颈网络，将适配器公式化为 $f_{adapter}(x) = \sigma(W_2 \cdot \sigma(W_1 \cdot x + b_1) + b_2)$，其中 $W_1 \in \mathbb{R}^{d \times 32}$，$W_2 \in \mathbb{R}^{32 \times d}$，通过32维的低秩瓶颈实现参数高效适配，将可训练参数从650M大幅降至45.5M。第三个创新是M2FAF融合模块，它通过学习注意力掩码 $A_i = \sigma(\text{Conv}_{1\times1}([F_{AP}^i; F_{CNN}^i]))$ 和偏置因子 $\beta$ 来自适应地融合两种特征，公式为 $F_{fuse}^i = \text{attn}'_i \odot F_{AP}^i + (1-\text{attn}'_i) \odot \hat{F}_{CNN}^i$，其中 $\text{attn}'_i = \text{attn}_i(1-\beta) + \beta$。与已有方法的本质区别在于：U-Prithvi等方法只是简单拼接U-Net和Prithvi的特征，而本文通过注意力机制在多尺度上进行自适应融合，让模型自动学习何时依赖语义信息、何时依赖空间细节。
方法步骤详情
方法的具体执行步骤如下。第一步，输入张量 $X \in \mathbb{R}^{B \times C \times H \times W}$ 通过光谱选择模块被分割为两个互补子集：$X_{AP} = X[:, I_{AP}, :, :]$（6个HLS波段）和 $X_{CNN} = X[:, I_{CNN}, :, :]$（其余通道）。第二步，$X_{AP}$ 送入Adapted Prithvi Transformer编码器。该编码器在每个ViT块中插入动态提示适配器，适配器操作定义为 $y = \text{blk}(x + f_{adapter}(x))$，其中 $\text{blk}(\cdot)$ 是Prithvi Transformer块，$f_{adapter}(\cdot)$ 是瓶颈维度为32的轻量级适配器。编码器输出在第7、15、23、31层提取特征，得到 $f_i^{AP} \in \mathbb{R}^{B \times N_i \times C_i}$（$C_i=1280$为Prithvi的token嵌入维度），然后通过token-to-image变换重塑为2D空间张量。第三步，这些多层特征通过特征金字塔网络（FPN）进行上采样和通道调整：FPN1执行8倍上采样（1280到640到320到160），FPN2执行4倍上采样（1280到640到320），FPN3执行2倍上采样（1280到640），FPN4保持空间尺寸（1280通道1x1卷积），生成多尺度Transformer特征集合。第四步，$X_{CNN}$ 通过四个包含CAM的残差块处理。每个残差块学习 $y = \sigma(x) + F(x; W)$，其中 $F(x; W)$ 包含两个3x3卷积层加批归一化和ReLU激活。CAM依次应用通道注意力和空间注意力，生成多尺度CNN特征集合。第五步，M2FAF融合模块将CNN特征上采样并投影到与对应Transformer特征匹配的分辨率，然后计算注意力掩码，应用偏置因子 $\beta$ 进行稳定化，最终得到融合特征。第六步，UperNet解码器通过金字塔池化模块（PPM）和横向连接（L4-L1）整合四个尺度的融合特征，从最小特征逐步融合到最大特征，最终通过卷积层生成精确的分割掩码。
技术新颖性
本文的技术新颖性体现在多个层面。在架构设计层面，Prithvi-CAFE提出了一种全新的双分支互补融合范式，与此前的单流GFM微调或简单模型拼接方法有本质区别。通过显式的通道分离策略，模型能够根据通道的物理特性（光谱vs空间信息）将其路由到最合适的处理路径，这是一种'按需分配计算资源'的设计哲学。在参数效率层面，动态提示适配器通过低秩瓶颈（d到32到d的投影）实现参数高效微调，仅训练7%的编码器参数就能获得接近全量微调的性能，这对于资源受限的遥感应用具有重要实践意义。在融合机制层面，M2FAF模块引入的偏置因子 $\beta$ 是一个简单但有效的设计，实验表明 $\beta = 0.8$ 时效果最佳，意味着给Transformer特征略多的权重同时保留CNN细节是最优策略。在可扩展性层面，本文方法首次实现了Prithvi GFM对任意数量输入通道的支持，打破了原始架构仅限6通道的限制，这对需要多光谱、SAR、高光谱等多模态数据融合的地球观测应用具有重要价值。此外，本文的方法具有良好的通用性，其双分支融合思想可以推广到其他GFM和下游任务。
实验结果
本文在两个高质量洪水制图数据集上进行了全面的实验评估，结果一致表明Prithvi-CAFE在分割精度、地理泛化能力和参数效率方面均优于现有方法。在Sen1Floods11测试集上，Prithvi-CAFE取得了IoU-Water 83.41、mIoU 90.50、m-F1 97.80的成绩，超越了原始Prithvi 600M（IoU 82.50、mIoU 90.30）、Prithvi 300M（IoU 82.20、mIoU 89.70）、TerraMind（IoU 82.90、mIoU 90.60）、DOFA（IoU 81.54、mIoU 89.37）和SpectralGPT（IoU 81.02、mIoU 89.07）。在地理上留出的玻利维亚测试站点，Prithvi-CAFE的优势更加显著，取得IoU 81.37，大幅超越U-Net基线（70.57，提升10.80点）和原始Prithvi（72.42，提升8.95点），也优于同样结合U-Net和Prithvi的U-Prithvi（79.68，提升1.69点）。在FloodPlanet数据集上的4折交叉验证中，Prithvi-CAFE同样表现最佳，取得IoU-Water 64.70（标准差0.02）、mIoU 68.74（标准差0.03）、m-F1 81.45（标准差0.02），超越U-Net（IoU 60.14）、TerraMind（IoU 62.33）、DOFA（IoU 59.15）和Prithvi 2.0 300M（IoU 62.03）。消融实验表明，所有组件（Adapter、残差块、CAM、M2FAF）的集成产生了最佳性能，单独使用任何组件都会导致性能下降。偏置因子 $\beta$ 的分析显示，$\beta = 0.8$ 在Sen1Floods11上效果最佳，表明略微偏向Transformer特征的融合策略最优。CNN通道配置的消融实验表明，更大的通道配置（[128, 256, 512, 1024]）能够充分挖掘模型潜力，达到最佳性能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Sen1Floods11 洪水制图（测试集） | IoU-Water | 83.41 | U-Net Base 84.03 / Prithvi 2.0 600M 82.50 / TerraMind 82.90 | 超越Prithvi 0.91，超越TerraMind 0.51，超越DOFA 1.87 |
| Sen1Floods11 玻利维亚留出站点 | IoU-Water | 81.37 | U-Net 70.57 / Prithvi 1.0 72.42 / U-Prithvi 79.68 | 超越U-Net 10.80，超越Prithvi 1.0 8.95，超越U-Prithvi 1.69 |
| Sen1Floods11 洪水制图（测试集） | mIoU | 90.50 | Prithvi 2.0 600M 90.30 / TerraMind 90.60 / U-Net 88.84 | 超越Prithvi 600M 0.20，超越U-Net 1.66 |
| FloodPlanet 洪水制图（4折交叉验证） | IoU-Water | 64.70 (±0.02) | U-Net 60.14 / TerraMind 62.33 / Prithvi 2.0 600M 61.91 / DOFA 59.15 | 超越U-Net 4.56，超越TerraMind 2.37，超越Prithvi 600M 2.79 |
| FloodPlanet 洪水制图（4折交叉验证） | mIoU | 68.74 (±0.03) | U-Net 64.56 / TerraMind 66.19 / Prithvi 2.0 600M 65.05 | 超越U-Net 4.18，超越TerraMind 2.55，超越Prithvi 600M 3.69 |
| FloodPlanet 洪水制图（4折交叉验证） | m-F1 | 81.45 (±0.02) | U-Net 75.09 / TerraMind 79.53 / Prithvi 2.0 600M 76.07 | 超越U-Net 6.36，超越TerraMind 1.92，超越Prithvi 600M 5.38 |
局限与改进
尽管Prithvi-CAFE取得了优异的性能，但论文明确指出了模型的局限性。首先，密集云覆盖是模型的主要失效模式。在附录的Figure A.6中，作者展示了多个密集云覆盖场景下所有模型的误分类情况，包括Prithvi-CAFE。云及其阴影会严重干扰光学遥感影像的光谱信息，导致模型无法正确识别洪水区域。即使Prithvi-CAFE在这些挑战性条件下表现相对较好（优于其他GFMs和U-Net），但仍有显著的误分类。其次，本文仅使用了光学遥感数据（Sentinel-1和Sentinel-2），未充分利用SAR（合成孔径雷达）数据的全天候、全天时成像能力。SAR数据不受云层影响，是洪水监测的重要数据源，但Prithvi的6通道限制（虽已被本文方法突破）使得SAR数据的整合并非直接。第三，FloodPlanet数据集没有预定义的训练/测试划分，作者采用的4折交叉验证虽然提供了可靠的评估，但与标准化基准数据集的结果对比存在一定局限性。第四，模型的计算复杂度相对较高，虽然可训练参数仅45.5M，但完整的模型（包括冻结的Prithvi 600M编码器）在推理时仍需要大量计算资源，这可能限制其在资源受限环境下的部署。第五，论文未探讨模型在时间序列数据上的表现，而实际洪水监测通常需要结合多时相影像来追踪洪水演进过程。
独立分析的弱点
从独立分析的角度，Prithvi-CAFE存在以下几个值得改进的弱点。第一，通道分离策略采用的是硬编码的固定索引（$I_{AP} = \{1, 2, 3, 7, 11, 12\}$），这种静态分配无法根据不同数据集或应用场景自动优化通道分配。理想的做法是设计一种可学习的通道选择机制，让模型自动决定哪些通道更适合送入Transformer、哪些更适合送入CNN。第二，融合模块中的偏置因子 $\beta$ 是一个全局标量，对所有尺度和所有样本使用相同的值。更精细的设计应该是 $\beta$ 在不同尺度上取不同值，甚至对每个像素位置自适应调整，以更好地处理不同空间分辨率下的特征融合需求。第三，CNN分支的通道配置（[128, 256, 512, 1024]）通过消融实验确定，但这种固定配置可能不是最优的。可以探索动态通道配置或神经架构搜索（NAS）来自动确定最优的CNN结构。第四，模型未考虑时间维度的信息，而洪水是一个动态过程，多时相数据的融合对于准确的洪水演进监测至关重要。可以将时间序列建模模块（如Temporal Attention或LSTM）集成到架构中。
未来方向
基于本文的研究成果，可以延伸出多个有价值的未来研究方向。首先，作者明确建议将SAR数据作为额外输入整合到Prithvi-CAFE中，因为SAR具有全天候成像能力，不受云层影响，与光学数据形成天然互补。本文的方法已经支持任意数量的输入通道，因此SAR数据的整合在技术上是直接可行的。其次，可以将Prithvi-CAFE的双分支融合思想推广到其他遥感基础模型（如DOFA、Clay）和其他下游任务（如土地覆盖分类、变化检测、目标检测），验证该融合范式的通用性。第三，探索多时相数据融合，结合时间序列建模模块处理动态洪水演进过程，这对于实际的洪水预警和监测系统具有重要应用价值。第四，引入弱监督或半监督学习策略，进一步减少对标注数据的依赖，这在遥感领域尤为重要，因为高质量的像素级标注成本极高。第五，可以探索知识蒸馏方法，将Prithvi-CAFE的知识压缩到更小的模型中，以便在边缘设备或资源受限环境中部署。第六，结合视觉语言模型（VLM）的能力，实现基于自然语言的洪水制图查询和解释，提升模型的可交互性和可解释性。
复现评估
从复现评估的角度，本文具有较好的可复现性。作者已将代码发布在Prithvi-CAFE Github上，提供了完整的模型实现。数据方面，Sen1Floods11是公开可获取的标准基准数据集，作者使用了原始论文提供的标准训练/测试/验证划分，确保了结果的可比性。FloodPlanet数据集也是公开的，作者采用了4折交叉验证并详细说明了划分策略（70%训练、10%验证、20%测试）。在算力方面，所有实验在单块NVIDIA RTX A6000 GPU上完成，这对于学术研究环境来说是可接受的。作者使用了AdamW优化器、StepLR学习率调度器，并通过20次超参数搜索试验（每次60个epoch，早停patience 10）确定最优配置，随机种子固定为42，批大小为8。Adapter微调策略大幅降低了GPU内存需求（减少50-80%），使得复现更加可行。Prithvi模型通过TerraTorch工具包易于获取和使用。总体而言，论文在方法描述、超参数设置、数据划分和代码开源方面都做得较为完善，复现难度为中等偏低。
论文图表
该附录图展示了密集云覆盖场景下Prithvi-CAFE的局限性。图中包含多个带有密集云层的Sentinel-2影像及其对应的模型预测结果和真实标注。云及其阴影区域导致所有模型（包括Prithvi-CAFE）出现误分类，但Prithvi-CAFE在这些挑战性条件下表现相对优于其他模型。图中可以观察到云阴影区域被误判为洪水的典型错误模式。
该图诚实地展示了模型的失效模式，是理解模型局限性和未来改进方向的重要参考，也体现了论文的科学严谨性