无人知晓地理空间基础模型的当前最优水平

审计152篇GFM论文,揭示领域评测乱象并提出六项改进建议

前置知识

基础模型 (Foundation Model)

Bommasani 等人在 2021 年提出的概念,指在大规模数据上自监督预训练、可适配到多种下游任务的通用模型,如 BERT、GPT、CLIP、SAM 等。其核心特征是单一预训练骨干可迁移到不同领域任务。

本文讨论的地理空间基础模型(GFM)就是该概念在遥感领域的迁移,理解 FM 的'通用可复用'承诺是判断 GFM 是否兑现承诺的前提。

线性探针 (Linear Probe)

评估预训练表征质量的常用协议——冻结骨干网络权重,只在其特征上训练一个线性分类器。若线性探针准确率高,说明表征本身已捕获语义,无需微调。协议细节(优化器、学习率、评估裁剪)会显著影响结果。

论文中最极端的 56.6 分分歧(Scale-MAE 在 NWPU-RESISC45 上 33.0 vs 89.6)就出现在线性探针协议下,是理解'同名协议不同结果'的关键。

基准测试彩票 (Benchmark Lottery)

Dehghani 等人提出的概念,指当社区缺乏共享评测协议时,基准的选择会主导'看起来的进步',使方法对比变得不可靠。同一模型在两个基准上的相对排名可能完全不同。

论文把 GFM 领域的乱象明确定位为'基准彩票'问题,Gini 系数 0.51、401 个基准、35% 论文零重叠等数字都在量化这一现象。

Gini 系数

经济学中衡量收入不平等的指标,在 $[0, 1]$ 区间取值:0 表示完全均匀分布,1 表示单个对象独占全部。本文用来衡量 152 篇论文在 401 个基准上的分布均匀度。

Gini = 0.51 是论文量化'基准不收敛'的核心统计量,理解这个数字的含义是把握论文主旨的关键。

研究动机

地理空间基础模型(GFM)被寄望为灾害响应、土地覆盖制图、粮食安全监测等高风险地球观测任务的通用骨干,但当前文献让审稿人和用户根本无法判断哪个模型真正适合某个任务。具体而言:在审计的 152 篇自称为'基础模型'的论文(2019–2025)中,39% 不发布模型权重,19% 只给代码而不给权重,意味着 58% 的论文无法被第三方复用或重跑对比;401 个独立基准上仅有 1046 个评测实验,平均每个基准仅 2.6 次使用,前三常用基准(EuroSAT、NWPU-RESISC45、AID)加起来只占 10.6% 的评测量;Gini 系数高达 0.51(95% bootstrap CI [0.45, 0.57]),且 35% 的论文与领域 top-10 基准零重叠。

本文的目标是本文的核心目标不是提出新模型,而是通过对 152 篇 GFM 论文的透明、可复现审计,系统揭示该领域的可比性危机,并把它转化为六项可操作的社区共识(标记为 R1–R6),让作者、审稿人、会议和基准维护者有共同的'质量基线'。具体目标包括:(1) 构建可复现的论文语料库(已开源);(2) 量化三个'令人担忧的趋势'(权重缺失、基准分散、报告数值发散);(3) 给出对应六条建议和一份审稿人检查清单 C1–C5。

与已有工作不同的是，已有 GFM 综述(Marsocci et al. 2024、Tseng et al. 2025)隐含假设'领域年轻、会自我修正',但本文通过 56.6 分的极端分歧(Scale-MAE 在 NWPU-RESISC45 线性探针下被一篇论文报告为 33.0、被原作者报告为 89.6,使用相同 ViT-L checkpoint 和同名协议)、75% 论文的预训练配置独此一家(94/126 篇论文使用无人用过的预训练组合)等硬数据,论证'自我修正'假设不成立。本文的独特切入角度是借鉴 LLM 社区 lm-evaluation-harness、HELM 的'评测 harness'思路,提出 GFM 领域需要的不是更多数据集而是统一的第三方评测工具。

核心方法

本文采用的是系统化文献审计加立场论证的研究范式,而非提出新算法。整体思路分三层:第一层是构建透明可复现的 152 篇 GFM 论文语料库;第二层是对语料进行结构化元数据抽取,得到模型架构、预训练方法/数据、下游任务、代码/权重发布、关键声明等字段;第三层是基于这份结构化数据做三组定量分析(权重发布率、基准集中度、跨论文数值一致性),每组分析配对一个具体建议 R1–R6。方法学上的关键决策是尽量用 LLM 自动化抽取(降低主观偏差)+ 人工校验,所有脚本和中间结果开源,确保审计本身可被复现。

本文的核心创新不在算法,而在把'领域元科学(meta-science)'的研究范式系统化引入 GFM 社区。区别于既有 GFM 综述的定性归纳,本文用三个具体且可反驳的量化声明来支撑'无人知晓 SOTA'的立场:声明一是 '46 个跨论文 ≥10 分分歧',声明二是 '94/126 篇论文使用独此一家的预训练配置',声明三是 '39% 论文不发布权重'。这三组数字共同构成'协调失败(coordination failure)'的证据,而非任何单一实验室的过错。

方法步骤详情

论文的工作流分四步。步骤一是语料构建:从既有 GFM 综述 [48, 73] 出发种子集,叠加 OpenAlex 与 Semantic Scholar 的引文图扩展(补 2024–2025 论文),再对 2019–2023 的'基础模型'术语流行前的自监督遥感论文做关键词扫描,最终得 152 篇。步骤二是元数据抽取:对 arXiv 上有 LaTeX 源的 140 篇用 Claude Opus 4.7 + GPT 5.5 Codex 抽字段,剩下 12 篇 PDF 用 Docling 转 markdown 后接入同一管线,产出结构化 JSON,再经一轮 LLM 标记分歧 + 人工校验(附录 B 详述提示词与校验流程)。步骤三是三组定量分析:权重发布率统计、基准使用频次直方图 + Gini 系数 + 逐年趋势、跨论文 (模型, 基准, 指标, 协议, 训练方案) 五元组数值发散度(共 10817 个结果,过滤后剩 301 个 ≥2 论文报告的元组)。步骤四是建议提炼:把每组分析映射到 R1–R6 的具体行动项,并给出审稿人检查清单 C1–C5,每条对应 R1–R6 的一个失败模式。

技术新颖性

技术新颖性不在算法设计,而在审计方法学本身的严谨度:首次把 LLM 抽取 + 人工校验 + 协议分桶(精细到 finetune/linear probe/kNN probe/zero-shot/few-shot)的范式系统化用到 GFM 文献,并显式承认 LLM 抽取的局限(在 Limitations 中承认可能存在人工错误)。新颖性之二在于把 LLM 社区的'评测 harness'概念(Gao et al. 2021 的 lm-evaluation-harness、Liang et al. 2022 的 HELM、Srivastava et al. 2022 的 BIG-bench)显式移植到 GFM,提出 R5 这一社区基建目标。新颖性之三在于把'协调失败'与'个别人过错'做明确区分,降低论文的对抗性,提升被社区接受的可能。

实验结果

论文用三组分析支撑立场,每一组都伴随具体数字。第一组(权重缺失):152 篇中 39% 不发布模型权重,加 19% 只发代码不发权重,即 58% 不可直接复用,这是 R1 的依据。第二组(基准分散):401 个独立基准上仅 1046 个评测,前三常用基准只占 10.6%,Gini 系数 0.51(95% CI [0.45, 0.57]),35%(50/143)论文与 top-10 零重叠,'单论文单基准'从 2022 年 13 个涨到 2025 年 98 个,2023 后无改善,这是 R2 的依据。第三组(数值发散):301 个多论文元组中 76 个差 ≥5 分、46 个 ≥10 分、20 个 ≥20 分;最极端 Scale-MAE 在 NWPU-RESISC45 线性探针下被报告 33.0 vs 89.6,Δ=56.6 分(同 ViT-L checkpoint + 同名协议);90 分位差 12.7 分远超约 1 分的种子方差,支撑 R3 与 R4。第四组(预训练):126 篇命名预训练数据的论文分布在 87 个数据集上,75%(94/126)使用独此一家的配置,这是 R6 的依据。

**Table 1**: 附录 D:top-10 最发散的 (模型, 基准) 元组

查看结构化数据

任务	指标	本文	基线	提升
审计 152 篇 GFM 论文的权重发布率	不发布权重的论文比例	39% 不发布权重 + 19% 只发代码不发权重 = 58% 不可直接复用	既有 GFM 综述 [48, 73] 未量化此项	首次给出量化基线,支持 R1 建议
基准使用集中度	Gini 系数 (0=均匀, 1=单一基准独占)	401 个基准上的 Gini = 0.51 (95% CI [0.45, 0.57])	理想收敛社区 (例如 LLM 在 MMLU 上高度集中) 接近 Gini ≈ 0.1–0.2	量化 GFM 领域的'基准彩票'程度,支持 R2 建议
论文与 top-10 基准的重叠率	单篇论文 overlap / field-wide top-10	均值 0.27, 50/143 (35%) 论文 = 0 重叠	理想收敛社区应接近 1.0	量化单论文层面的分散度,补充 Gini 只反映总体分布的不足
跨论文同协议数值一致性	(max - min) 跨论文报告的同一元组	301 元组中 76 个 ≥5 分, 46 个 ≥10 分, 20 个 ≥20 分; 90 分位 = 12.7 分	固定协议下分类头种子方差约 1 分 [7, 6]	12.7 分远超 1 分基线,证明同名协议下结果仍不可比,支持 R3 + R4
Scale-MAE / NWPU-RESISC45 / 线性探针	准确率 (%)	两篇论文分别报告 33.0 [43] 与 89.6 [56], 差 Δ=56.6 分	同一 ViT-L checkpoint, 同名协议	极端案例,直接证伪'同 checkpoint = 同结果'的隐含假设
GPT-4o / UCMerced / 零样本	准确率 (%)	两篇论文分别报告 43.5 [32] 与 88.8 [62], 差 Δ=45.3 分 (n=2)	GPT-4o 作为闭源 API 模型, prompt 与温度都是隐藏变量	揭示 VLM 类模型在 GFM 评测中新增 prompt 这一未公开维度
预训练配置可比性	使用独此一家配置的论文比例	94/126 篇 (75%) 使用无人用过的完整预训练组合	理想情况应大量共享, 如 LLM 社区普遍在 The Pile / RedPajama 上预训练	量化预训练数据 vs 架构 vs 算法三者完全纠缠的程度,支持 R6

局限与改进

本文的局限性分四方面。L1(作者承认):元数据抽取依赖 Claude Opus 4.7 + GPT 5.5 Codex(LaTeX 源)与 Docling + 同一管线(PDF),虽做人工校验所有字段,作者仍承认可能存在人错,这是 LLM 辅助审计的共性边界。L2(作者承认):语料只覆盖学术开源文献,排除付费墙、元数据稀薄的会议与 2026 年(投稿时该年未完整),并主动排除未发权重/代码的明显不可复用论文——作者承认若纳入这些,核心数字会进一步恶化。L3(笔者观察):协议分桶粒度仍可能掩盖差异——把 linear probe 当作单 bucket,但实际训练 head 的优化器、LR、评估裁剪仍可独立变化,可能高估了一致性程度,未来若获取更细的协议信息 Δ 可能进一步扩大。L4(笔者观察):对地图级精度与运行稳健性的覆盖不足——作者承认 patch-level 准确率与最终地图质量未必相关,且空间自相关会虚高估计 [36, 37],但文中未量化此差距,读者宜把论文当作'论文-论文可比性'审计,而非'模型-应用可比性'审计。

独立分析的弱点

独立观察到的几个弱点。弱点一:R1–R6 是'社区应做什么',但论文缺乏对'如何激励社区遵守'的机制设计——历史经验表明 GFM 这种多学科交叉社区(NLP、CV、RS)很难自发收敛到单一 harness,可能需要会议硬性要求(作者在 §4 末尾做了补充建议但未量化效果)。弱点二:对检测任务(mAP 跨 DOTA-style 与 COCO-style 含义混淆)只在 §3.3 一句话提及,未给出统一报告格式的草案,使得 R2 在检测任务上仍难以落地。弱点三:对私有/受控权重(AlphaEarth 等)只给'显式说明约束'的弱建议,缺少对'如何在不公开权重的前提下支持独立复算'(如承诺提交可执行评测 artifact)的可操作方案。弱点四:对'哪些基准该进 shared core'没有给出初稿——只说'由社区共同约定',但共识的形成路径未明示,容易陷入另一个协调失败。

未来方向

作者明示的未来方向包括:(1) 推动会议级(ICML、ICLR、NeurIPS、CVPR、ICCV、ECCV 以及 EarthVision、IGARSS、ISPRS)把 R1–R6 设为默认期望,把权重/代码/可执行评测 artifact 在双盲审稿阶段就纳入检查;(2) 建立 GEO-Bench / PANGAEA 之外的、类似 lm-evaluation-harness 的 GFM 评测 harness,带 CI 门禁与版本化任务定义。基于成果可延伸的方向至少有三:一是把'复制 vs 重跑'标注机制纳入会议 LaTeX 模板(类似 \credit 宏包),让协议元数据成为论文一作部分;二是开发 patch-level 与 map-level 之间的'部署相关性'评测维度,使 R2 不仅比较 patch 准确率还比较地图效用;三是把审计方法学本身标准化,使每年都有一份'GFM 领域年报',跟踪 R1–R6 落地进度。

复现评估

本文是罕见的'论文审计论文且本身高度可复现'的工作。语料库(152 篇论文清单)、抽取 schema、归一化表、所有报告数字的脚本均发布在补充仓库;同时作者发布了一个 GFM leaderboard(gfm-leaderboard)持续跟踪六项建议的落地程度。审计的算力开销主要在 LLM 抽取阶段(140 篇 LaTeX + 12 篇 PDF),本地复算门槛低,任何研究者重跑脚本即可再现数字。复现难度估计为'低-中':结构化抽取的提示词在附录 B 完整给出,但 LLM 版本的更迭会让抽取结果存在轻微漂移,作者建议同时锁定模型版本以确保数值稳定。唯一受限的是人工校验环节——这部分不可完全自动化,需要人工逐字段核对原文。

无人知晓地理空间基础模型的当前最优水平 No One Knows the State of the Art in Geospatial Foundation Models