← 返回 2026-03-03

Cryo-Bench:面向冰冻圈应用的地理基础模型基准评测 Cryo-Bench: Benchmarking Foundation Models for Cryosphere Applications

Saurabh Kaushik, Lalit Maurya, Beth Tellman 📅 2026-03-02 👍 1 2026-07-13 08:35
冰冻圈 地理基础模型 基准评测 深度学习 语义分割 遥感

Cryo-Bench:首个冰冻圈语义分割基准,评测14个地理基础模型。

前置知识

Geo-Foundation Model (GFM)

地理基础模型是指在大规模无标注遥感数据上通过自监督学习(如掩码自编码器 MAE、对比学习 DINO/MoCo)预训练得到的 ViT 视觉骨干,可处理多传感器(光学/SAR)、多光谱输入并迁移到下游土地覆盖、灾害等分割任务。代表性模型包括 Prithvi、DOFA、TerraMind、RemoteCLIP 等。

论文核心即系统评测 GFMs 在冰冻圈任务上的能力,若不熟悉 GFM 的预训练范式与冻结/微调用法,就无法理解为什么 UNet 有时反而优于 GFM。

冰冻圈(Cryosphere)

冰冻圈指地球系统中所有冻结成分的总和,包含冰川、冰盖、海冰、冰川湖、冰前缘(calving front)、冻土等。它们对气候变化高度敏感且具有高度动态特性,光谱响应与其他地物差异较大,且标注数据稀疏、采集困难(极地与高山环境)。

论文论证的关键是:现有 GFM 预训练数据(TerraMesh、SSL4EO、FLAIR、MMEarth)几乎不包含极地与高山地区,因此 Cryo-Bench 是验证 GFM 域适应能力的关键测试平台。

语义分割(Semantic Segmentation)与 mIoU

语义分割任务为每个像素分配一个类别标签,评估指标 mIoU(mean Intersection over Union)= 各类别预测与真实掩码交集/并集比的平均值,值越高越好。Cryo-Bench 采用 mIoU 作为统一评测指标,并固定输入尺寸为 512×512。

全文所有模型对比均建立在 mIoU 数字之上,理解 mIoU 才能解读为何 UNet 平均 66.38 高于 TerraMind 的 64.02 这种看似反直觉的结果。

冻结编码器与全量微调(Frozen vs Full Fine-tuning)

冻结编码器指只训练轻量解码器(如 UperNet)而保持 GFM 主干权重不变;全量微调则解锁所有参数端到端训练。两种策略在数据稀缺场景下表现差异巨大,本文还加入了第三种——结合学习率搜索的微调。

论文最反直觉的发现即:在冻结编码器下 GFM 输给 UNet,但全量微调+学习率调优后 GFM 反超,这一现象必须从这两种范式差异理解。

Few-shot 学习与小样本评测

Few-shot 学习指只用极少量标注样本(如训练集的 10%)训练模型。论文采用分层采样(stratified sampling)从 Cryo-Bench 抽取 10% 子集,衡量模型在标签稀缺场景下的可用性,对应冰冻圈标注成本极高的现实。

Few-shot 是 GFM 相对传统 CNN 的主要卖点之一,论文用此实验验证 GFM 是否真正适合数据稀缺的极地监测。

研究动机

近年 Geo-Foundation Models(GFM)在土地覆盖、农作物分类、洪水与野火等任务上已被 Pangaea 等基准广泛评测,但在冰冻圈(Cryosphere)——即冰川、海冰、冰川湖、冰前缘、冻土等地球冻结成分——上几乎没有系统性评测。冰冻圈具有强气候敏感性、动态变化快、光谱与一般地物差异显著、样本极度不均衡且类间相似度高等特点,是遥感领域最具挑战的方向之一。更关键的是,当前主流 GFM 预训练数据集(TerraMesh、SSL4EO-L、FLAIR、MMEarth)几乎完全排除格陵兰、南极、北极(加拿大/俄罗斯)以及高海拔山地,导致 Cryo-Bench 在 GFM 训练阶段属于完全未见或严重欠采样区域。即便部分数据集(如 TerraMesh)含约 8% 雪/冰像素,也无法区分冰川冰与季节性海冰。因此,冰冻圈监测迫切需要一个跨传感器、跨地理的统一评测平台来回答:当前 GFM 究竟能在多大程度上域适应到冰冻圈?微调与超参优化能否释放其全部潜力?

本文的目标是本文的核心目标是构建并发布 Cryo-Bench——首个面向冰冻圈语义分割的综合基准,覆盖 debris-covered glaciers、glacial lakes、sea ice、calving fronts 四大关键组件,跨越 5 个独立数据集、3 类传感器(多光谱、SAR、RGB),并采用 Pangaea 评测协议对 14 个开源 GFM 配合 UNet/ViT 基线进行系统的冻结编码器、少样本(10% 数据)、全量微调、以及学习率调优四组对比实验,最终给出 GFM 在冰冻圈任务上的能力边界、计算-性能权衡以及实用选型建议。

与已有工作不同的是,现有 Pangaea、GEO-Bench、FoMOBench、SustainBench、EarthNets、PhilEO Bench 等基准要么聚焦城市/农业/森林,要么覆盖海洋或灾害场景,地理分布严重偏向欧洲和北美(亚洲约 10%、非洲约 5%),完全缺失极地与高山冰冻圈组件。本文切入角度独特之处在于:1)首次把冰冻圈作为独立基准类别;2)同时覆盖 RGB、多光谱、SAR 三种传感器,专门设计用 RGB 代理 SAR 输入的跨传感器泛化实验;3)系统对比冻结 vs 微调 vs 学习率调优三种训练策略,明确指出冻结结果无法预测微调表现($r^2 = 0.06$, $p = 0.34$)这一对实践者极具指导意义的反直觉发现。

核心方法

方法上分为基准构建和模型评测两大部分。直觉上,研究者先回答冰冻圈缺什么样的数据问题,于是从已发表且开放获取的 5 个数据集(GSDD、GLID、GLD、SICD、CaFFe)中精选样本,覆盖 4 类冰冻圈组件与多种传感器与地理位置;接着遵循 Pangaea 的统一评测协议——固定输入尺寸 512×512、AdamW 优化器、学习率 $1e-4$、权重衰减 $0.05$、batch size 8、所有 GFM 共享 UperNet 解码器——以保证公平对比。技术路线上,作者设计了 4 组递进实验:①冻结编码器(frozen encoder)+ UperNet 解码器;②少样本(10% 训练数据,分层采样);③全量微调所有参数;④微调 + 学习率调优($1e-2$、$1e-3$、$1e-5$ 与默认 $1e-4$)。为应对传感器异构,对 SAR-only 数据集 CaFFe 单通道输入,作者对 SAR 预训练模型(DOFA、TerraMind、RAMEN、CROMA)直接馈送单通道 SAR 振幅,对仅 RGB 预训练的模型(RemoteCLIP、Prithvi、SpectralGPT、SatlasNet)将单通道复制三次作为 RGB 代理输入,以测试跨传感器泛化能力。

核心创新点有三:1)构建首个冰冻圈专属 GFM 基准 Cryo-Bench,在地域分布(格陵兰、南极、阿拉斯加、喜马拉雅)和传感器多样性(Sentinel-1 SAR、Sentinel-2 多光谱、WorldView-2 RGB、ALOS PALSAR L 波段等)上填补空白;2)首次系统量化冻结编码器结果与微调结果几乎无关这一现象,证明只用冻结评测无法筛选出真正适合下游微调的 GFM;3)发现学习率调优 + 微调是释放 GFM 潜力的关键开关——在 CaFFe 上仅通过学习率调优就让 RemoteCLIP 提升 138.30%、Scale-MAE 提升 61.32%。与已有 Pangaea 评测相比,Cryo-Bench 不只是数据集扩展,而是把评测重心从哪个 GFM 跑分高转向 GFM 在哪些条件下值得用、应该怎么用的实践指南。

方法步骤详情

具体执行分为三步。Step 1 基准构建:从 5 个开源数据集收集样本:GSDD(全球冰川碎屑覆盖,Sentinel-2,二分类,附加坡度/高程/速度辅助数据);GLID(喜马拉雅冰川湖,WorldView-2/Sentinel-2/Landsat-8/高分二号,RGB 二分类);GLD(喜马拉雅冰川湖,Sentinel-2 多光谱,二分类,附加 SAR 相干性/坡度/高程);SICD(加拿大与格陵兰海冰,Sentinel-1,多分类);CaFFe(格陵兰/阿拉斯加/南极半岛冰前缘,ERS-1/2、Envisat、RADARSAT-1、ALOS PALSAR、TSX、TDX、Sentinel-1 多波段 SAR,多分类)。所有图像统一 resize 到 $512 \times 512$,做通道均值归一化 $\hat{x} = (x - \mu)/\sigma$。Step 2 模型选型:评估 14 个开源 GFM(CROMA、DOFA、GFM-Swin、Prithvi、RemoteCLIP、SatlasNet、Scale-MAE、SpectralGPT、S12-MoCo、S12-DINO、S12-MAE、S12-Data2Vec、TerraMind、RAMEN)加 UNet 与 ViT 基线。冻结编码器场景下所有 GFM 共享 UperNet 解码器,UNet/ViT 从零训练。Step 3 四组实验:冻结编码器实验(训练 100% 数据,更新解码器);少样本实验(仅 10% 训练数据,分层采样);全量微调实验(默认学习率 $1e-4$ 解冻全部参数);学习率调优实验(在 GLID 与 CaFFe 上扫 $1e-2, 1e-3, 1e-5$)。每组记录 mIoU 并计算 GFLOPs/延迟以分析计算-性能权衡。

技术新颖性

技术新颖性主要体现在评测协议设计而非模型架构创新。具体来说:1)跨传感器代理输入策略——对 SAR 单通道输入复制为 RGB 通道喂给仅光学预训练模型,从而在没有专门适配器的情况下也能评估其跨传感器能力,这是 Pangaea 协议未涉及的;2)补偿比(compensation ratio)指标——定义为最弱冻结模型的平均增益除以最强冻结模型的平均损失(文中为 1.29×),用来量化微调对不同基础模型的不对称影响;3)相关性分析——明确给出冻结排序与微调排序 Pearson $r^2 = 0.06$, $p = 0.34$ 这一统计证据,反驳了在冻结评测里表现好就一定适合下游微调的常见假设;4)学习率扫描作为 GFM 选型工具——通过对比 4 个学习率下 GLID/CaFFe 的 mIoU 分布,给出 RemoteCLIP(轻量、SAR-代理友好)、DOFA(多光谱性能-效率最佳)、TerraMind(多模态最强但 GFLOPs 翻倍)的明确选型建议。

实验结果

**冻结编码器(100% 数据)**:UNet 基线反常地击败所有 GFM,平均 mIoU 达 66.38,第二名 TerraMind 仅 64.02,GFM 整体表现与其参数量级不匹配。各模型在 GLID/GLD 上表现最好(DOFA 分别 92.61/80.44),但 SICD 海冰任务所有模型均低于 32 mIoU(最高 TerraMind 31.48),证明海冰对当前 GFM 极难。值得注意的是,Scale-MAE 和 RemoteCLIP(仅 RGB 预训练)在 CaFFe SAR 任务上达到 58.19/56.64,反而优于 SAR 预训练的 DOFA(50.71)和 TerraMind(46.64),说明跨传感器泛化并非想象中困难。**少样本(10% 数据)**:GFM 优势显现,DOFA 平均 59.53 mIoU、TerraMind 56.62、U-Net 仅 56.60,且 DOFA 相对全量数据只掉 3.65 pp,远优于 UNet 的 9.78 pp 跌幅;GFM 在少样本下能保留 94.2% 全量性能,UNet 仅 85.3%。**全量微调**:表现高度不稳定,9/14 GFM 提升 0.69%–11.61%,但 CROMA、DOFA、Scale-MAE、RAMEN、RemoteCLIP 5 个模型反退步 2.3%–25.19%;最强冻结模型微调后平均掉 8.74%,最弱冻结模型微调后平均涨 11.27%,补偿比 1.29×。统计上冻结排名与微调排名相关性极弱($r^2 = 0.06$, $p = 0.34$)。**学习率调优**:这是最大亮点,GLID 上 13/14 GFM 提升(均值 +7.08%,最高 S12-MAE +1.59% 到 CROMA +21.90%);CaFFe 上 9/14 GFM 提升,RemoteCLIP 暴涨 138.30%、Scale-MAE +61.32%、CROMA +45.90%。**性能-效率权衡**:DOFA 在 GLID 上以 61.42 GFLOPs 拿到 93.58 mIoU,TerraMind 几乎相同 mIoU 但需 108.9 GFLOPs(≈2×);RemoteCLIP 仅 14.02 GFLOPs 即达 91.03 mIoU,是最高性价比选择。GFM 因 ViT patch 处理对分辨率不敏感,而 UNet GFLOPs 随输入分辨率线性增长。

Comparison of Cryo-Bench with existing benchmark dataset for evaluation of GFMs, adapted from [17].
Table 1: Comparison of Cryo-Bench with existing benchmark dataset for evaluation of GFMs, adapted from [17].
Dataset included in Cryo-Bench, illustrating their application (component), modality, classes and location.
Table 2: Dataset included in Cryo-Bench, illustrating their application (component), modality, classes and location.
Evaluation of GFMs on Cryo-Bench using 100% of the training data with frozen encoders. mIoU is reported as the evaluation metric. Rank indicates model ordering from best to worst.
Table 3: Evaluation of GFMs on Cryo-Bench using 100% of the training data with frozen encoders. mIoU is reported as the evaluation metric. Rank indicates model ordering from best to worst.
Evaluation of GFMs over Cryo-Bench using 10% input data and frozen encoder. We report mIoU↑ as an evaluation metric. Rank↓ shows better performance.
Table 4: Evaluation of GFMs over Cryo-Bench using 10% input data and frozen encoder. We report mIoU↑ as an evaluation metric. Rank↓ shows better performance.
Impact of fine-tuning encoder on the best and worst performing GFM on Cryo-Bench dataset. Here we show results without (w/o) and with (w/) fine-tuning and report relative percentage difference (% diff).
Table 5: Impact of fine-tuning encoder on the best and worst performing GFM on Cryo-Bench dataset. Here we show results without (w/o) and with (w/) fine-tuning and report relative percentage difference (% diff).
Impact of learning rate tuning in fine-tuning GFMs on GLID and CaFFe dataset. Here we use fine-tuning results obtained at default 1e-4 learning rate and best results among 1e-2, 1e-3 and 1e-5 learning rate. We report relative percentage difference (% diff).
Table 6: Impact of learning rate tuning in fine-tuning GFMs on GLID and CaFFe dataset. Here we use fine-tuning results obtained at default 1e-4 learning rate and best results among 1e-2, 1e-3 and 1e-5 learning rate. We report relative percentage difference (% diff).
Performance of the top eight GFMs on the Cryo-Bench dataset. (a) TerraMind achieves the highest performance among all GFMs when the encoder is kept frozen. (b) In the few-shot setting, using 10% of the training data, DOFA outperforms all other GFM. Performance is reported in mIoU.
Figure 2: Performance of the top eight GFMs on the Cryo-Bench dataset. (a) TerraMind achieves the highest performance among all GFMs when the encoder is kept frozen. (b) In the few-shot setting, using 10% of the training data, DOFA outperforms all other GFM. Performance is reported in mIoU.
Model's computation and performance tradeoff using (a) GLID and (b) CaFFe dataset. We chose the best mIoU obtained from either frozen encoder or fine-tuned encoder including learning rate tuning.
Figure 3: Model's computation and performance tradeoff using (a) GLID and (b) CaFFe dataset. We chose the best mIoU obtained from either frozen encoder or fine-tuned encoder including learning rate tuning.
(a) Comparison of model performance in the few-shot experiment, showing the percentage of full-data performance retained when using only 10% of the labels. (b) Model-specific gains or losses under full fine tuning relative to the frozen-encoder setting, aggregated across all five evaluation datasets.
Figure 4: (a) Comparison of model performance in the few-shot experiment, showing the percentage of full-data performance retained when using only 10% of the labels. (b) Model-specific gains or losses under full fine tuning relative to the frozen-encoder setting, aggregated across all five evaluation datasets.
Net gain in model performance from learning-rate optimization during fine tuning of the encoder, reported relative to the frozen-encoder setting.
Figure 5: Net gain in model performance from learning-rate optimization during fine tuning of the encoder, reported relative to the frozen-encoder setting.
Comparison of GFM performance across pretraining strategies, using the average mIoU over GLID and CaFFe. Error bars denote the standard deviation across models within each category. Models are grouped into five categories: MAE family, contrastive, Data2Vec, multimodal/LM, and SatlasNet (supervised pretraining).
Figure 6: Comparison of GFM performance across pretraining strategies, using the average mIoU over GLID and CaFFe. Error bars denote the standard deviation across models within each category. Models are grouped into five categories: MAE family, contrastive, Data2Vec, multimodal/LM, and SatlasNet (supervised pretraining).
查看结构化数据
任务指标本文基线提升
Cryo-Bench 冻结编码器平均(5 个数据集) mIoU (%) TerraMind 64.02 / DOFA 63.18 / RemoteCLIP 62.63 UNet 基线 66.38(从零训练,无冻结) UNet 反超 TerraMind +2.36 pp;RemoteCLIP 在 CaFFe SAR 任务上 56.64 vs DOFA 50.71
Cryo-Bench 少样本(10% 训练数据)平均 mIoU (%) DOFA 59.53 / TerraMind 56.62 / RemoteCLIP 56.07 UNet 56.60 / ViT 47.74 DOFA 比 UNet 高 +2.93 pp,跌幅仅 3.65 pp vs UNet 9.78 pp
GLID 全量微调 + 学习率调优 mIoU (%) DOFA 93.58 / TerraMind 93.24 / GFM-Swin 91.74 / RemoteCLIP 91.03 UNet 默认 LR 91.58(微调后 90.44,-1.25%) DOFA 比 UNet 高 +2.00 pp;CROMA 通过学习率调优从 72.07 涨到 87.85(+21.90%)
CaFFe 微调 + 学习率调优(单通道 SAR) mIoU (%) GFM-Swin 63.52 / Scale-MAE 63.53 / DOFA 61.76 / TerraMind 61.76 / RemoteCLIP 60.31 UNet 默认 LR 59.82(调优后 57.60) RemoteCLIP 从 25.30 暴涨至 60.31(+138.30%),Scale-MAE +61.32%
全量微调下最弱 vs 最强冻结模型增益 mIoU 变化 (pp) 最弱模型组平均 +11.27%(Prithvi 85.58 vs 70.52 = +21.36% on GSDD) 最强模型组平均 -8.74%(RemoteCLIP 平均 -15.8 pp) 补偿比 1.29×,即微调让弱者提升幅度大于强者损失

局限与改进

作者明确指出的局限包括:1)所有数据集均来自已发表工作,规模相对有限(特别是 SICD 海冰),mIoU 上限被数据集本身复杂度封顶;2)SICD 海冰数据集上所有模型均低于 32 mIoU,说明多分类海冰语义分割仍是开放难题;3)CaFFe 单通道 SAR 在所有 RGB 预训练模型上需要复制为 RGB 代理——这种简单复制并未真正学习 SAR 散射特性,严格意义上不能算真正 SAR 域适应;4)学习率调优仅在 GLID 和 CaFFe 两个数据集上做,其他 3 个数据集未覆盖;5)评测协议固定 batch size=8、image size=512×512,与实际部署场景可能差异较大。我个人额外观察到的局限:①论文未报告推理延迟在不同硬件上的稳定性,ViT 比 UNet 更快的结论对 GPU 显存敏感场景可能不成立(GFM 加载成本更高);②所有对比都在单次训练-测试划分下进行,未给出多次随机种子的方差条带,对 mIoU 差异 <1 pp 的场景鲁棒性存疑;③Cryo-Bench 缺少冻土(permafrost)、热融湖(thermokarst)、冰裂隙(crevasse)等组件,作者在第 6.3 节已主动承认并列为未来工作;④GFM 训练数据版权与可商用性差异未讨论,限制实际落地。

独立分析的弱点

独立审视论文我认为有以下可改进之处:**Weakness 1:评测协议对小样本场景过于乐观**。10% 分层采样仍可能保留较多代表性样本,与现场仅几十张标注的真实极地部署差距巨大。建议未来引入 N-way K-shot($N$ 类每类 $K$ 张)的更严格少样本协议。**Weakness 2:跨传感器泛化结论缺乏消融**。把单通道 SAR 复制为 RGB 喂给光学模型是粗暴代理,作者未尝试更精细的传感器适配(如通过 DOFA 的动态 patch embedding 或 1×1 卷积投影)来对比,因此无法判断 RemoteCLIP 的 +138.30% 究竟来自 GFM 表征能力还是单纯来自调学习率。**Weakness 3:缺少不确定性估计**。极地任务对假阳性(误报海冰)极为敏感,论文只报告单点 mIoU,没有提供置信区间或多次种子方差,关键数字 1–2 pp 的差异很难判断是否统计显著。**Weakness 4:计算成本对比不完整**。GFLOPs 与 latency 是推理时数字,但 GFM 加载权重需数百 MB 显存,对边缘部署(卫星端、UAV)不可行;论文未讨论模型压缩或蒸馏方案。**Weakness 5:SICD 数据集性能天花板过低**。所有模型在 SICD 上 mIoU < 32,可能源于类别极度不平衡或标注噪声,作者未做错误分析(confusion matrix)。**改进方向**:每个 weakness 都可对应到具体改进——引入更严格少样本协议、为 SAR 增加适配器层、报告 5 个随机种子的标准差、增加模型大小-精度 Pareto 表、对 SICD 做错误案例可视化。

未来方向

作者在第 6.3 节明确给出的未来方向:1)构建冰冻圈专用 GFM 而非通用地球 GFM,因为 Cryosphere 的视觉与动力学模式与其他地物差异显著;2)扩充预训练数据至冷区(高纬度极地与高山)时间序列影像,让模型学到时空演化;3)开发保持细节的新型 encoder 预训练策略,因为冰裂隙、冰前缘等需要细粒度空间信息;4)扩展 Cryo-Bench 纳入冻土、热融湖、冰裂隙等组件;5)引入时间序列 DEM 让模型学习厚度变化(不仅仅是面积变化)。基于成果可延伸的方向还包括:6)将 Cryo-Bench 与大语言模型结合做冰冻圈变化问答系统;7)探索 GFM 在 Cryo-Bench 上的不确定性量化与主动学习(减少标注成本);8)把评测扩展到云遮挡下的 SAR-光学融合任务,对应极地多云现实;9)开发专门的 Cryosphere Foundation Model 并在 Cryo-Bench 上做自我测试作为闭环验证;10)将学习率调优自动化(如 Population Based Training),避免人工扫描 4 个 LR。

复现评估

**复现评估**:作者在论文末尾给出了完整的开源链接——代码仓库 `github.com/Sk-2103/Cryo-Bench` 与 HuggingFace 数据集 `huggingface.co/datasets/Sk-21/Cryo-Bench`,5 个源数据集均来自已发表工作(GSDD 引用 [12]、GLID [16]、GLD [13]、SICD [24]、CaFFe [6]),原始数据均可获取。所有 14 个 GFM 均来自 Pangaea benchmark 选用的开源版本,新增 RAMEN 模型也给出了开源仓库引用,权重下载链接可在 Pangaea 仓库找到。**算力需求**:单次完整实验需训练 14 个 GFM × 5 个数据集 × 3 种训练策略 ≈ 210 次训练,加上 2 个基线 × 5 数据集 × 3 策略 = 30 次,合计约 240 次分割训练,按 batch size=8、512×512 输入、单卡 A100 (80GB) 估计,单次训练 12–24 小时,总计需要 1–2 张 A100 连续运行 1–2 个月。**复现难度**:中—高。难点在于:1)GFM 权重版本迭代快,可能与论文报告时点不一致;2)学习率扫描需额外 3 倍训练预算;3)CaFFe 多源 SAR 预处理需要 SAR 专业知识;4)GLID 原始 CRS 信息缺失,无法复现地理分布图(作者已在脚注承认)。**加分项**:作者在补充材料中提供 Table S.1–S.4 详细记录每个模型在每个数据集上的 mIoU,以及参数/GFLOPs/latency 数值,便于做消融对比。整体而言复现门槛适中,主流研究组可在 1–2 个月内重现主要结论。