基于 OpenStreetMap 的遥感视觉-语言模型域适应方法

利用 OSM 地图数据实现自包含的遥感 VLM 域适应，无需外部教师模型

前置知识

Vision-Language Models (VLMs)

视觉-语言模型是一种多模态深度学习架构，通常由视觉编码器（如 ViT）、连接器（如 MLP 或 Q-Former）和大型语言模型组成。视觉编码器将图像编码为 patch 级别的嵌入向量，连接器将这些向量映射到语言模型的 token 空间，LLM 则基于视觉和语言 token 生成自由文本。典型模型包括 LLaVA、InstructBLIP、InternVL 等。模型通过在大规模图像-文本对上进行指令调优来学习多模态理解和生成能力。

本文构建在 VLM 架构之上，直接利用现有 VLM（InternVL3.5-8B）的 OCR 和图表理解能力来实现自标注。理解 VLM 的工作原理对于理解 OSMDA 如何让模型自己标注自己至关重要。

Domain Adaptation

域适应是指将一个模型从一个源领域迁移到一个目标领域，使其在目标领域上表现良好。在深度学习中，由于标注数据稀缺，域适应是一个重要问题。对于视觉-语言模型，域适应通常包括两个阶段：继续预训练在领域特定的图像-文本对上更新视觉-语言对齐，然后指令调优在特定的问答数据集上教导模型遵循多样化的查询格式。当目标领域的标注数据稀缺时，需要依赖人工标注或自动生成的伪标签。

本文的核心贡献就是提出了一种新的域适应范式 OSMDA，解决了遥感领域标注数据稀缺的问题。理解域适应的传统范式和挑战有助于理解 OSMDA 的创新之处。

Knowledge Distillation / Pseudo-labeling

知识蒸馏和伪标签是两种自监督学习方法。伪标签是指用强模型（教师）对未标注数据生成标签，然后用这些标签训练弱模型（学生）。知识蒸馏更进一步，让学生模型不仅模仿教师的输出，还模仿其中间表示或概率分布。这两种方法在 NLP 和计算机视觉中被广泛使用，但存在根本局限：学生会继承教师的错误，且学生性能存在渐近上限，无法超越教师模型。在遥感 VLM 领域，GeoChat、GeoPix、VHM 等方法都依赖 GPT-4V、Gemini-Vision 等强教师模型生成伪标签。

OSMDA 的核心动机就是避免依赖外部教师模型，从而突破知识蒸馏的性能上限并降低成本。理解伪标签方法的问题有助于理解 OSMDA 的价值主张。

LoRA (Low-Rank Adaptation)

LoRA 是一种参数高效的微调方法，通过向预训练模型的权重矩阵添加可训练的低秩矩阵来实现微调。具体来说，对于预训练权重矩阵 W ∈ R^(d×k)，LoRA 引入两个低秩矩阵 A ∈ R^(r×k) 和 B ∈ R^(d×r)（r ≪ min(d,k)），使得更新后的权重为 W' = W + BA。训练时只更新 A 和 B，而冻结原始权重 W。这种方法大大减少了可训练参数数量，降低了存储和计算开销。本文在所有训练中都使用 LoRA，设置秩为 16，dropout 概率为 0.05。

本文使用 LoRA 进行模型微调，这是使得在 16 张 H200 GPU 上训练 8B 参数模型可行的关键技术。理解 LoRA 有助于理解本文的实验设置和成本优势。

研究动机

现有遥感视觉-语言模型依赖高质量的图像-文本监督，但卫星和航空图像的标注既稀缺又昂贵。以 GeoChat 为例，使用 Vicuna-v1.5 生成了 320k 个训练样本，成本约 200 美元；GeoPix 使用 GPT-4o 生成 140k 样本，成本约 600 美元；VHM 使用 Gemini-Vision 生成 1.4M 样本，成本高达 2500 美元；EarthDial 更是使用 InternLM-XComposer2 生成了 11.8M 个指令对，成本约 3330 美元。这种对强大教师模型的依赖不仅成本高昂，还带来了根本性限制：学生模型无法超越教师模型对领域的理解上限，教师的任何错误或幻觉都会被忠实地吸收。随着基础模型快速进步，任何特定的蒸馏流水线都可能仅仅因为升级基础模型就被超越，而不是通过更好的工程。例如，通用的 Intern-S1 模型在 XLRS-Bench 上就达到了 SOTA 性能，甚至超过了专门化的遥感模型。这表明在专家标注语料库扩展或基础模型选择上的努力，可能比精心设计的数据合成机制带来更多收益。

本文的目标是本文的具体目标是提出一种自包含的域适应框架 OSMDA（OpenStreetMap-based Domain Adaptation），消除对外部教师模型的依赖，显著降低标注成本，同时实现竞争性的域适应性能。方法的核心思想是让一个强大的基础 VLM 充当自己的标注引擎：通过将航空图像与渲染的 OpenStreetMap 地图瓦片配对，利用模型的光学字符识别（OCR）和图表理解能力生成由 OSM 丰富元数据增强的描述。然后仅在卫星图像上对模型进行微调，产生 OSMDA-VLM，一个无需人工标注且无需更强外部模型的域适应 VLM。作者希望通过大量评估（跨越 10 个基准测试，与 9 个竞争基线比较）来证明，给定一个强大的基础模型，与众包地理数据的对齐是实现遥感域适应的实用且可扩展的路径。

与已有工作不同的是，本文的独特切入角度是利用 OpenStreetMap 这个全球众包地理数据库作为监督源，而不是依赖强大的外部教师模型或人工标注。与现有的基于 OSM 的数据集（如 SkyScript、ChatEarthNet、RSTeller）不同，这些方法只是将 OSM 数据解析为离散的键值标签和简化几何形状，然后用 LLM 转换为文本，完全丢失了拓扑信息、布局和对象的相邻关系。OSMDA 则将 OSM 渲染为 OSM-carto 风格的地图瓦片，与卫星图像地理配准，然后将卫星图像和渲染地图同时呈现给基础 VLM。模型可以直接从渲染的图像中读取地名、道路标签、土地覆盖类别及其空间排列，并基于该视觉地理上下文构建详细的区域描述。这保留了基于标签的流水线丢弃的地形信息，且关键是，不需要比基础 VLM 本身更强的外部模型。这是一个完全自包含的流水线，不需要 API 访问、专有数据或专家级的人工标注。

核心方法

OSMDA 方法的整体思路是将地图理解转化为 VLM 微调的地理监督。直觉上，人类在解读卫星图像时常常会参考地图——地图提供了地名、道路网络、土地利用类型、边界等丰富的语义信息，这些信息往往很难直接从卫星图像中推断。OSMDA 让 VLM 也采用同样的策略：同时看到卫星图像和对应的地图，学习从地图中提取地理信息，然后将其与卫星图像的视觉特征关联。技术路线上，方法分为三个阶段：数据筛选、地图渲染和描述生成。在数据筛选阶段，从 SkyScript 的 150 万张地理参考卫星图像中筛选高质量、地理多样化的子集。在地图渲染阶段，使用 Mapnik 库将 OSM 数据渲染为 OSM-carto 风格的栅格地图瓦片，与每张图像地理配准。在描述生成阶段，提示基础 VLM 生成详细的地理描述，整合来自航空图像的视觉证据和从地图读取的语义结构。最后，混合 OSMDA-Captions 和真实标注数据对模型进行微调，产生 OSMDA-VLM，推理时只需要卫星图像，不需要地图。

OSMDA 的核心创新点在于自我标注——让基础 VLM 自己成为标注器，而不是依赖更强的外部教师模型。这是通过利用现代 VLM 已有的 OCR 和图表理解能力来引导其自身的地理监督。模型首先看到卫星图像和渲染的 OSM 地图，利用 OCR 能力读取地名、道路标签、土地覆盖类别，利用图表理解能力推理空间排列和功能，从而构建详细的区域描述。然后同一个模型被训练为仅从 RGB 卫星图像推断 OSM 派生的信息。这种方法与基于标签的 OSM 流水线（如 SkyScript、ChatEarthNet、RSTeller）有本质区别：这些方法只解析 OSM 为标签，完全丢弃了地图的视觉信息；而 OSMDA 保留了拓扑和布局信息。这也与教师-学生蒸馏范式有本质区别：不需要更强的教师模型，避免了性能上限和成本问题。关键洞察是，给定一个强大的基础模型，与 OpenStreetMap 众包地理数据的对齐足以实现竞争性的域适应，而无需任何外部教师。

方法步骤详情

OSMDA 方法包含四个完整步骤。第一步是图像和 OSM 数据筛选。作者使用 SkyScript 训练集的 30% CLIP-score 过滤子集，包含约 150 万张地理参考卫星图像，每张图像都有地理边界框足迹，允许通过空间查询检索对应的 OSM 对象。OSM 对象过滤阶段移除不可见对象（地下基础设施、行政和法律边界等）并剥离所有携带识别或商业敏感信息的标签（邮政地址、地名、电话号码、企业名称等）。语义标签阶段使用 Qwen2.5-72B-Instruct 将过滤后的标签集处理为简短的（2-3 词）描述性标签，产生 48k 个独特的语义标签。分布平衡阶段采用 Meta-CLIP 概率筛选框架，根据语义标签的逆频率和每张图像中的对象总数分配采样权重，还使用 DINOv3 视觉特征嵌入进行 K-means 聚类以识别视觉相似的样本并选择代表性图像。最终筛选数据集包含 200514 张高质量卫星图像。第二步是地图渲染。对于每张筛选的图像，使用 Mapnik 和 openstreetmap-carto 样式表渲染与像素范围地理配准的栅格地图瓦片。OSM 对象首先被分类为语义层组（土地利用、自然、水域、道路、建筑、设施等），并按缩放级别过滤以抑制几何低于适当可见性阈值的对象。多边形和面积特征使用来自 carto 风格的填充纹理和颜色渲染，线性特征（道路、铁路、水道）使用反映功能类别的宽度和样式描边，点特征（交通节点、设施、公用设施）渲染为来自 carto 图标集的符号图标。对于文本标签，用生成的语义标签替换默认的 openstreetmap-carto 标签源，使渲染的地图信息密集且对 VLM 的 OCR 通路可读。第三步是伪标签生成，产生 OSMDA-Captions 语料库。教师模型生成描述语料库，每个样本作为双图像提示呈现：卫星图像后跟其地理配准的渲染地图。模型被指示生成整合来自航空图像的视觉证据和从地图可读的语义结构的详细地理描述，使用自信的声明语气，避免推测，不提及地图和标签系统。生成是随机的，温度 T=1.0，确保语义上等效的场景在语料库中接收语言上多样化的描述，防止微调阶段的模式崩溃。第四步是域适应 VLM 训练。使用 OSMDA-Captions 和下游基准训练分割的真实标注数据的等权联合混合进行微调，OSMDA-Captions 提供广泛的地理覆盖和语义丰富的监督，而真实基准数据将模型重新锚定到下游任务和评估时预期的输出格式。训练使用 LoRA，秩为 16，dropout 概率为 0.05，在 16 张 NVIDIA H200 GPU 上使用混合精度进行，总批次大小为 32，恒定学习率 1×10^(-4)，使用 AdamW 优化器训练一个 epoch。

技术新颖性

OSMDA 的技术新颖性体现在多个方面。首先，它是第一个完全自包含的遥感 VLM 域适应框架，不需要任何外部教师模型、API 访问或专有数据。这与所有先前的工作形成鲜明对比，这些工作都依赖 GPT-4V、Gemini-Vision、InternLM-XComposer2 等强教师模型。其次，它将 OSM 数据作为地图图像而非标签使用，保留了拓扑和布局信息，这与 SkyScript、ChatEarthNet、RSTeller 等基于标签的流水线有本质区别。第三，它利用现代 VLM 已有的 OCR 和图表理解能力来引导其自身的地理监督，这是一个巧妙的自我标注策略。第四，它提出了一个平衡的数据筛选流程，结合语义标签逆频率权重和 DINOv3 视觉特征聚类，产生高质量、地理多样化的数据集。第五，它进行了最全面的评估之一，跨越 10 个基准测试，与 9 个竞争基线比较，在统一协议下暴露了先前工作中的系统性过拟合问题。实验结果表明，OSMDA 不仅大幅降低成本（生成 200k 样本仅需 400 美元，而 EarthDial 生成 11.8M 样本需要 3330 美元），而且在多数基准上达到 SOTA 性能。特别值得注意的是，OSMDA 改进的幅度甚至超过了蒸馏大教师模型的标准方法，这表明对于强基础模型，与众包地理数据的对齐可能比教师-学生蒸馏更有效。

**Fig. 2**: The creation of OSMDA-Captions and OSMDA-VLM via the OSMDA method.

实验结果

OSMDA-VLM 在 10 个基准测试上进行了全面评估，与 9 个竞争基线比较，在统一协议下。基准测试分为两组：fine-tuning-split（包含单独训练分割用于微调的五个基准：NWPU-Captions、UCM-Captions、VRSBench、RSVQA-HR、RSVQA-LR）和 generalization-split（不考虑训练分割以测量泛化的五个基准：AID、Million-AID、EuroSAT、XLRS-Bench、SkyScript-bench）。任务类型包括短描述、详细描述、视觉问答（VQA）和场景分类。对于多选择标签，测量宏观平均 F1 分数；对于数值标签，测量平均绝对误差（MAE）；对于开放文本答案，测量 G-Eval，使用 Qwen2.5-32B-Instruct 作为判断模型。OSMDA-VLM 在 10 个基准中的 6 个上表现最佳，在除一个外的所有基准上进入前三名。在零样本设置中，OSMDA-VLM 在 XLRS-Bench 和 Million-AID 上以大幅优势优于所有基线，在 EuroSAT 和 SkyScript-bench 上接近最佳表现者排名第三，仅在 AID 上未能进入前三。消融实验表明，OSMDA 方法显著改进了基础模型——甚至比蒸馏大教师模型的标准方法更有效。OSMDA-VLM 产生的模型始终更好地泛化。在 OSMDA-Captions 上训练后在下游任务上微调也产生比直接微调基础模型更好的下游性能，这表明 OSMDA-Captions 作为有效的中间训练阶段，教授可转移的表示和先验。作者还进行了详细的分类和 VQA 类别分析，发现 OSMDA-VLM 在 distinct、良好标记的基础设施方面产生精确描述，在 barns 和 prisons 等对象上产生实质性分类增益，在清晰边界上改进 VQA 准确性。然而，在地图注释固有的稀疏的广泛混合使用区域，性能下降，商业和工业区域的分类退化，重叠语义的 VQA 可靠性降低。

**Table 1**: Remote Sensing VLMs: student model architecture, teacher model used for pseudo-labelling, number of generated samples Ngen., and approximate cost Capr. of generation based on teachers' API cost or measured self-hosting cost.

**Table 2**: Metrics across benchmarks. Purple color marks benchmarks whose training sets were used for fine-tuning of OSMDA-VLM (the fine-tuning-split – first five); teal color marks benchmarks where OSMDA-VLM evaluation is zero-shot (the generalization-split – last five).

**Fig. 3**: A comparison of four captions generated by different methods for the same area.

**Fig. 4**: Effects on performance of the OSMDA method.

**Fig. 5**: Per-category accuracy for classification (left) and VQA (right).

查看结构化数据

任务	指标	本文	基线	提升
NWPU-Captions	G-Eval	0.395	EarthDial 0.362	+9.1%
UCM-Captions	G-Eval	0.500	EarthDial 0.445	+12.4%
RSVQA-LR	Aggregated score	0.806	EarthDial 0.813	-0.9%
RSVQA-HR	Aggregated score	0.725	LRS-VQA 0.687	+5.5%
VRSBench caption	G-Eval	0.429	EarthDial 0.229	+87.3%
VRSBench vqa	G-Eval	0.744	EarthDial 0.448	+66.1%
AID	F1	0.670	LHRS-Bot-nova 0.789	-15.1%
EuroSAT	F1	0.449	LHRS-Bot-nova 0.466	-3.6%
Million-AID	F1	0.507	LHRS-Bot-nova 0.523	-3.1%
XLRS-Bench	F1	0.504	Intern-S1-mini 0.426	+18.3%
SkyScript-bench	F1	0.404	Intern-S1-mini 0.384	+5.2%

局限与改进

作者承认了 OSMDA-VLM 的几个局限性。首先，由于 OSMDA-VLM 直接从 OpenStreetMap 地图学习，它自然继承了地图的表示特征。该方法在 distinct、良好标记的基础设施方面产生精确描述，在 barns、prisons、substations 等对象上产生实质性分类增益，但在地图注释固有的稀疏的广泛混合使用区域，产生的描述缺乏描述性细节。因此，在商业和工业区域等复杂环境中性能下降，重叠语义的 VQA 可靠性降低。其次，OSMDA-VLM 也偏向于 OSM 地图标签中常见的词汇，这些词汇随后被转移到 OSMDA-Captions，有时会对其 VQA 性能产生负面影响。第三，作者强调他们的评估暴露了先前工作中的系统性过拟合问题——几个基线模型对指令格式敏感，当指令被改写时大幅退化，甚至在被训练的基准上也如此。例如，GeoPix 拒绝使用统一的 VRSBench 描述提示产生任何描述，导致 G-Eval 为 0.0。这表明先前的方法可能过度拟合特定的提示格式，而不是学习底层的语义理解。最后，作者的观察表明，随着基础模型快速进步，任何特定的数据合成流水线都可能仅仅因为升级基础模型就被超越，而不是通过更好的工程。这意味着 OSMDA 的长期价值可能不在于特定流水线，而在于证明与自由可用的众包地理数据的对齐是一个实用且可扩展的路径。

独立分析的弱点

OSMDA 方法存在几个可以改进的弱点。首先，地图渲染和配准的质量可能影响标注质量。作者使用 OSM-carto 样式和 Mapnik 库，但不同的地图样式可能编码不同的语义信息，可能有益于某些任务。未来的工作可以探索地图样式选择或自适应渲染策略。其次，数据筛选的平衡策略主要基于语义标签的逆频率和视觉特征聚类，但没有考虑任务的多样性。某些地理场景可能更适合某些任务，这可以纳入数据筛选策略。第三，OSMDA 依赖基础模型的 OCR 和图表理解能力，但不同的基础模型可能在这些能力上有不同的表现。选择和评估基础模型可以成为优化的一部分。第四，描述生成使用固定提示和温度 T=1.0，但自适应提示策略或温度调整可能改善描述质量。第五，混合 OSMDA-Captions 和真实数据的策略使用等权混合，但最优混合比例可能因任务和数据集而异。第六，作者只使用了 G-Eval 作为开放文本答案的评估指标，但其他评估指标或人工评估可能提供互补的见解。第七，作者专注于单个域适应阶段，但多阶段适应可能带来进一步改进。第八，OSMDA 目前仅使用 RGB 图像，但遥感数据通常包含多光谱、多时间、多分辨率信息，整合这些信息可能带来进一步的性能提升。最后，OSMDA 目前专注于遥感领域，但相同的方法可以应用于其他领域，如医学图像、航拍图像等。

未来方向

作者提出了几个未来研究方向。首先，作者计划公开数据集和模型权重，这将使社区能够复现结果并在其上构建，进一步推进遥感 VLM 领域。其次，作者建议探索地图样式选择或自适应渲染策略，不同任务可能从不同地图样式中受益。第三，作者指出可以探索多阶段适应策略，如先预训练再指令调优，可能带来进一步改进。第四，作者建议将 OSMDA 扩展到其他模态，如多光谱、多时间、多分辨率图像。第五，作者建议将 OSMDA 应用于其他领域，如医学图像、航拍图像等，探索与领域特定众包数据的对齐的通用性。第六，作者指出可以探索自适应提示策略，如根据图像难度调整提示，或温度调整，可能改善描述质量。第七，作者建议进一步研究地图密度与性能之间的关系，理解在哪些地理区域和方法最有效，以及在哪些区域需要补充方法。第八，作者指出可以探索与人类标注的混合策略，使用 OSMDA 生成初始标注，然后人工修正关键样本，可能进一步提高质量。第九，作者建议探索更复杂的地图理解能力，如推理动态变化或抽象概念。最后，作者指出可以研究 OSMDA 与其他自监督方法的结合，可能带来进一步改进。

复现评估

作者声称数据集和模型权重将公开，这将使复现成为可能。从论文中可以推断，复现 OSMDA 需要以下资源：SkyScript 数据集的训练分割和 30% CLIP-score 过滤子集；OpenStreetMap 数据的访问；Mapnik 库和 openstreetmap-carto 样式表用于地图渲染；Qwen2.5-72B-Instruct 用于语义标签；InternVL3.5-8B 作为基础模型；16 张 NVIDIA H200 GPU 进行训练。训练设置使用 LoRA，秩为 16，dropout 概率为 0.05，混合精度，总批次大小为 32，恒定学习率 1×10^(-4)，使用 AdamW 优化器训练一个 epoch。评估在 10 个基准测试上进行，使用统一的提示和评估协议。复现难度中等偏高，主要挑战是计算资源（16 张 H200 GPU）和数据获取。然而，由于作者使用 LoRA，参数较少，可能在较少的 GPU 上进行训练，虽然可能需要更长时间。代码的可用性是关键——如果作者公开完整的训练和评估代码，复现将大大简化。数据集的规模也是可控的。总的来说，如果作者公开数据、模型权重和代码，复现应该是可行的，但需要相当的计算资源。

基于 OpenStreetMap 的遥感视觉-语言模型域适应方法 OSM-based Domain Adaptation for Remote Sensing VLMs