TerraScope：面向地球观测的像素级视觉推理框架 TerraScope: Pixel-Grounded Visual Reasoning for Earth Observation
首个在地球观测中实现像素级推理的视觉语言模型
前置知识
视觉语言模型（VLM）
视觉语言模型是能够同时理解和生成视觉内容与自然语言的深度学习模型。它通常由视觉编码器（如 Vision Transformer）提取图像特征，通过投影器将视觉特征映射到语言空间，与大语言模型结合实现跨模态理解。VLM 可以完成图像描述、视觉问答、视觉定位等任务，是当前多模态 AI 的核心架构之一。
本文的核心工作是构建一个专门的地球观测 VLM，理解 VLM 的基本原理（视觉编码器-投影器-LLM 的流水线架构）对于理解 TerraScope 如何在标准 VLM 架构上扩展像素级推理能力至关重要。
链式思维推理
链式思维推理是一种让大语言模型通过生成中间推理步骤来解决复杂问题的方法。不同于直接给出答案，模型会先输出分解的思考过程（如首先...然后...最后...），每一步建立在前一步的基础上。这种方法显著提高了模型在数学、逻辑、多步推理任务上的表现，因为显式的推理路径减少了推理错误和幻觉。
TerraScope 的核心创新是将链式思维从纯文本扩展到像素级视觉空间。理解传统 CoT 的局限性（缺乏视觉证据）对于理解 TerraScope 为什么要引入 [SEG] 令牌和掩码生成的 interleaved 机制至关重要。
分割掩码和 IoU
分割掩码是一种二值图像，其中像素值为1表示属于目标类别，0表示背景。在计算机视觉中，语义分割模型输出每个像素的类别标签，通常以掩码形式表示。IoU（Intersection over Union，交并比）是评估分割质量的常用指标，计算预测掩码与真实掩码的交集面积除以并集面积。
TerraScope 的核心思想是生成像素级分割掩码作为推理的证据。理解掩码表示和 IoU 指标对于理解论文如何评估推理质量（Tab. 1 的覆盖百分比任务、Fig. 5 的 IoU 分析）以及为什么像素级推理比边界框或粗粒度 token 选择更有效至关重要。
光学与 SAR 遥感
光学遥感通过传感器捕获地物反射的太阳光能量，通常形成 RGB 或多光谱图像，能够提供丰富的纹理和颜色信息，但受云层、光照条件影响严重。SAR（Synthetic Aperture Radar，合成孔径雷达）遥感主动发射微波信号并接收地物后向散射，能够全天候工作，穿透云层和烟雾。
TerraScope 的关键能力之一是多模态自适应推理。理解光学和 SAR 的互补性（Eq. 4-5 的文本引导模态选择机制）对于理解为什么 TerraScope 能够在有云区域使用 SAR、晴空区域使用光学，从而提升分割准确性和推理性能（Fig. 7 的可视化示例）至关重要。
研究动机
现有视觉语言模型在地球观测的精细空间推理任务上表现糟糕，无法满足实际应用需求。具体而言，当询问图像中水体的比例是多少这类需要像素级空间分析的问题时，最先进的通用模型如 GPT-4o 错误地回答约 36.3%，具备推理能力的模型如 Qwen3-VL 也只给出模糊的大概占右三分之一的描述，即使专用的地球观测模型如 EarthDial 也只能依赖颜色启发式得到约 50% 的错误答案，而真实答案是 13%。造成这一问题的根本原因是：现有的 VLM 在推理时仅在语言域内操作，没有将推理步骤锚定在像素级视觉证据上。自然图像的链式思维方法如 GRIT 的边界框坐标、Chain-of-Focus 的裁剪机制无法直接迁移到地球观测场景，因为地球观测图像具有连续空间分布特性，地物类型边界逐渐过渡，使用粗粒度的边界框或裁剪会引入大量噪声，严重影响推理精度。此外，实际地球观测往往涉及多传感器（光学、SAR）和多时相数据，现有 VLM 缺乏在统一框架内有效集成这类多源时变数据的能力。
本文的目标是本文的目标是构建 TerraScope，一个统一的视觉语言框架，实现像素级地学视觉推理。具体目标包括：在推理过程中生成分割掩码并将推理步骤锚定在掩码对应的视觉特征上，实现可解释的空间分析；支持模态灵活推理，能够处理单模态输入（光学或 SAR）并在两者都可用时自适应地选择最合适的模态进行融合；支持多时相推理，能够集成多个时间点的观测序列进行变化分析；构建大规模像素级链式思维数据集和专用基准测试，推动该方向的研究发展。
与已有工作不同的是，本文的独特切入角度是提出用像素思考的新范式，将传统的用图像思考范式具体化到像素级粒度。与现有方法的本质区别在于：TerraScope 不是在推理前预先选择视觉区域或使用外部工具，而是通过双解码器协作机制，在推理过程中自主决定何时生成分割掩码（通过 [SEG] 特殊令牌触发），并将掩码的视觉特征实时注入到推理链中，实现真正的像素级锚定推理。这种设计使模型能够像人类专家一样，在每一步推理时都明确指出我现在正在分析图像中的哪个区域，从而确保推理过程的忠实性和可验证性。
核心方法
TerraScope 的整体思路是在标准视觉语言模型架构上增加一个像素级分割模块，形成统一框架同时生成推理文本和分割掩码。直观上，就像人类专家在分析卫星图像时，会先用铅笔圈出感兴趣的区域（生成掩码），然后基于这些标记区域进行空间计算和推理，最后得出结论。技术路线采用 interleaved generation 交错生成范式：语言解码器生成推理文本，当遇到需要视觉证据的时刻，模型会输出 [SEG] 特殊令牌触发掩码解码器生成当前推理步骤相关的分割掩码，然后从掩码对应的视觉 token 中选择特征并注入到后续生成中，实现文本推理和视觉锚定的动态交替。该框架基于 InternVL-3 作为基础模型，动态处理多图像输入，支持多模态（光学-SAR）融合和多时相推理。
核心创新点在于双解码器协作的像素级链式思维机制，与现有方法有本质区别。现有方法如 GRIT 使用边界框坐标，Chain-of-Focus 使用迭代裁剪，Mint-CoT 使用隐式 token 选择，这些都是粗粒度的空间表示，无法捕捉地球观测中连续渐变的地物分布。TerraScope 通过显式生成像素级分割掩码并选择对应的视觉特征注入推理序列，实现了真正的像素级锚定。这种设计使每个推理步骤都有明确的视觉证据支撑，模型不再是黑箱推理，而是可以验证的白箱分析过程。另一个关键创新是多模态自适应选择机制：通过计算文本与光学、SAR 视觉特征之间的交叉注意力相关性分数，在每个 token 位置动态选择最相关的模ality，从而在有云区域优先使用 SAR 数据，在晴空区域使用光学数据，提升推理鲁棒性。
方法步骤详情
方法包含以下完整步骤：训练阶段分为两步，首先在 2M referring expression segmentation 对上进行预训练，建立基础分割能力（仅训练掩码解码器，学习率 2e-5，批大小 8），然后在 1M Terra-CoT 样本上进行指令微调，解冻投影器和掩码解码器，通过 LoRA 微调 LLM（学习率 1e-5，批大小 2）。推理阶段采用自回归生成：输入问题嵌入 q 和视觉特征 v（或 v_opt、v_SAR），LLM 逐步生成下一个 token；当检测到 [SEG] 令牌时，掩码解码器基于该令牌的隐藏状态生成分割掩码 m_i；将掩码调整到 token 网格分辨率（如 448×448 图像分为 4×4 补丁，每个补丁产生 16×16 tokens，共 1,280 个 visual tokens），选择掩码覆盖率超过 50% 的视觉 token；如果选中的 token 数量超过阈值 λ=128，应用空间均匀采样以保留代表性；对于多模态输入，根据文本相关性分数在每个 token 位置选择光学或 SAR 特征；将选中的视觉特征 v_i 展平并与文本嵌入对齐，通过 KV cache 更新注入到生成序列中；LLM 基于文本和视觉上下文继续生成，直到满足停止条件；最终输出包含推理过程（在 thinking 标签内）和最终答案（在 answer 标签内）。训练目标结合语言建模损失（交叉熵）和分割损失（Dice 损失和逐像素交叉熵），总损失 L = L_LM + λL_seg，其中 λ=0.5 平衡两个目标。
技术新颖性
技术新颖性体现在三个方面：像素级推理机制，首次在地球观测领域实现了显式的像素级掩码生成与推理链的交错融合，每个推理步骤都有对应的分割证据，可通过 IoU 指标验证推理质量（Fig. 6 显示正确预测的 IoU 为 0.628，显著高于错误预测的 0.443）；多模态自适应推理，通过文本引导的 token 级模态选择，在推理过程中动态选择光学或 SAR，既提升准确性又减少上下文长度（相比拼接方法节省约 50% 的视觉 token）；大规模像素级数据构建，提出了两阶段自动化流水线生成 Terra-CoT 数据集，首先使用 250K Cap-CoT 训练标注模型，然后用该模型标注未标注图像，最后基于分层合成策略生成 1M 包含 L1（基础空间锚定）和 L2（复杂多步推理）层级的推理样本，突破了现有地球观测数据集缺乏像素级推理链的限制。
实验结果
实验结果揭示了四个核心发现：像素级推理仍然极具挑战性，现有 VLM 在 TerraScope-Bench 上表现接近随机水平，通用模型（GPT-4o: 38.7%、Qwen2.5-VL: 38.5%、InternVL-3: 36.0%）和 EO 专用模型（GeoChat: 33.7%、TeoChat: 31.0%、LHRS-bot: 26.6%、EarthDial: 36.3%）在需要精确空间分析的任务（如覆盖百分比估计）上都表现不佳，表明像素级锚定的必要性；推理模型性能更好但缺乏视觉锚定，具备显式推理能力的模型（GLM-4.1V-Think: 41.4%、Qwen3-VL-Think: 43.3%）在需要外部知识的任务（如绝对面积量化）上表现更强，但其推理仍停留在纯文本域，缺乏像素级视觉证据，导致幻觉和精细空间感知不足；Terra-CoT 有效提升模型性能，在 Terra-CoT 上微调通用 VLM（InternVL-3 从 36.0% 提升到 54.9%，GLM-4.1V-Think 从 41.4% 提升到 59.6）带来显著性能提升，但距离测量（DM: 40.0%）和建筑变化估计（BCE: 31.0%）等挑战性任务仍然困难，表明仅靠数据不够，还需要专门的像素级推理架构设计；TerraScope 实现强性能和泛化能力，在 TerraScope-Bench 上达到 68.9% 的平均准确率，在 Landsat30-AU 上达到 73.9%，在 DisasterM3 上达到 46.5%，显著超越所有基线模型。消融实验验证了像素级锚定的有效性：Textual CoT w/o Seg.（仅文本推理）为 58.7%，Textual CoT w/ Seg.（有分割监督但不注入视觉特征）为 60.6%，Random-Mask CoT（随机选择视觉特征）为 43.2%，Box CoT（使用边界框）为 62.8%，而完整的 TerraScope 为 68.9%，证明精确的像素级分割掩码至关重要。多模态推理消融显示：Optical only 为 73.2%，Concat 为 74.5%，Text-guided (train+test) 为 74.3%，表明自适应选择在保持竞争性能的同时提高了效率。Fig. 6 展示了分割质量与答案正确性的强正相关（Pearson correlation r = 0.607, p < 0.001），正确预测的平均 IoU 为 0.628，错误预测为 0.443，验证了准确像素级视觉锚定对正确地学推理的重要性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| TerraScope-Bench（像素级地学推理） | 平均准确率（6个任务） | 68.9% | Qwen3-VL-Think: 43.3%; EarthDial: 36.3%; InternVL-3: 36.0% | 相比最佳基线提升约 59% |
| Landsat30-AU（地学理解） | 平均准确率（4个子任务） | 73.9% | InternVL-3: 54.8%; Qwen2.5-VL: 58.6%; GLM-4.1V: 58.1% | 相比最佳基线提升约 26% |
| DisasterM3（灾害评估） | 平均准确率（2个子任务） | 46.5% | InternVL-3: 27.2%; Qwen2.5-VL: 31.8%; EarthDial: 25.5% | 相比最佳基线提升约 46% |
| 分割质量验证 | 正确预测的分割 IoU | 0.628 | 错误预测: 0.443 | IoU 提升 42% |
局限与改进
作者承认的局限性包括：像其他多模态大语言模型一样，TerraScope 可能产生幻觉输出，例如生成看似合理但事实不正确的推理链或不对应实际地物特征的错误掩码预测；掩码和推理链的交错生成增加了训练和推理时的上下文长度，增加了计算成本；目前仅支持光学（RGB）和 SAR 数据，对多光谱和高光谱图像的处理能力有限；当前的时相推理能力仅限于双时相分析（比较两个时间点），难以处理实际应用中需要长时序推理的任务（如城市扩张监测、森林砍伐追踪、气候趋势分析）。此外，本文观察到的局限性包括：依赖 RGB 输入忽略了多光谱传感器（如 Sentinel-2 提供 13 个波段）的额外光谱信息，使得在 RGB 中视觉相似但光谱签名不同的地物类型（如某些作物类型或植被健康状态）难以区分；分割误差会传播到推理阶段，对于包含小或低对比度物体的场景（如狭窄道路、稀疏建筑、细小水渠），掩码解码器可能产生不准确的分割，导致空间主张锚定在错误掩码上，即使推理逻辑正确，得出的答案也不可靠。
独立分析的弱点
TerraScope 的独立分析弱点包括：光谱信息受限，当前仅处理 RGB 波段，丢弃了多光谱传感器可用的其他光谱通道（如近红外、红边、短波红外），这在实际应用中严重限制了区分能力。例如，使用 NDVI 或红边指数可以轻松分离的作物类型在 RGB 输入中变得模糊，导致错误分割和推理错误；分割误差传播，对于包含小或低对比度物体的复杂场景（密集城区、细小线性特征），掩码解码器可能因视觉显著性不足产生不准确的分割，这些错误直接传播到推理阶段，使后续空间计算不可靠；上下文长度增长，每个 [SEG] 触发的掩码生成会注入大量视觉特征（最多 128 个 token），当推理步骤多时上下文长度显著增加，可能超出模型的最大上下文窗口；长时序推理限制，当前仅支持双时相分析，难以处理需要长时序推理的任务（如城市扩张监测、森林砍伐追踪、气候趋势分析）。改进方向：扩展视觉编码器以处理完整的多光谱输入而非仅 RGB，使能更好的光谱区分；在分割模块中引入不确定性估计，标记低置信度掩码并触发细化；开发迭代细化机制，允许模型纠正初始分割错误；压缩掩码视觉特征以减少上下文长度同时保留视觉锚定能力；扩展到支持多时序和连续时间序列推理。
未来方向
作者提出的未来工作方向包括：通过改进训练策略、验证机制或检索增强生成来缓解幻觉问题；压缩掩码视觉特征以减少上下文长度同时保留视觉锚定能力；将多光谱和高光谱图像集成到推理框架中；扩展 TerraScope 以支持多时序和连续时间序列推理。基于成果可延伸的未来研究方向包括：引入主动学习机制，让模型在低置信度时主动请求人工标注或使用外部验证工具；探索强化学习方法优化像素级推理策略，类似于 VLM-R1 和 Visual-RFT 的思想；扩展到其他地球观测任务，如土地覆盖变化检测、农作物产量预测、灾害损失评估；与 GIS 数据、气象数据、社会经济数据等多源异构数据融合，实现更全面的地学分析；开发实时推理管道，支持实时监测和预警系统；探索联邦学习方法，在保护数据隐私的前提下利用多源数据训练模型。
复现评估
复现评估：代码和模型权重计划开源，数据集 Terra-CoT（1M 样本）和 TerraScope-Bench（3,837 样本）将公开，便于研究者复现和扩展。实验在 NVIDIA H200-141GB GPU 上运行，训练采用 DeepSpeed ZeRO-2 进行内存高效训练，使用 bf16 混合精度加速计算。基础模型 InternVL-3 是开源模型（8B 参数），SAM-2 也是开源模型，TerraScope 添加的像素级锚定模块仅增加约 0.228B 参数（SAM-2 图像编码器 0.224B + 掩码解码器 0.004B），参数开销仅约 2.8%。推理时间在 A100 80GB GPU 上为每样本 2.48 秒，比 GLM-4.1V-Think（2.6 秒）稍快，内存消耗为 22.4GB（单掩码情况），比 InternVL-3（18.2GB）高约 22%。由于训练数据规模较大（1M 样本）且需要双解码器协作训练，完整的模型训练需要较强的计算资源，但研究者可以使用开源的 Terra-CoT 数据集在其他基座模型上复现像素级推理能力，或使用预训练的 TerraScope 模型进行推理和部署。难度评估为中等：架构设计相对清晰，但双解码器的协调训练和像素级特征注入的实现细节较多，需要一定的工程经验；数据集构建的自动化流水线也需要仔细实现才能保证质量。
论文图表
Figure 1 展示了三类模型在回答图像中水体占多大比例这一问题上的表现：无推理能力的 VLM（GPT-4o & EarthDial）直接输出错误答案（约 36.3% 或 50%）；带有文本链式思维的 VLM（Qwen3-VL）给出模糊描述（大约占右三分之一）；TerraScope 生成精确分割掩码并基于像素计数得出准确答案（13%）；展示了 Terra-CoT 1M 数据集的组成；展示了 TerraScope-Bench 基准的六个子任务和双重评估指标。
这张图对理解论文至关重要，因为它直观地展示了 TerraScope 与现有方法的核心区别：通过在推理过程中生成分割掩码并锚定在像素级视觉证据上，能够准确完成需要精确空间分析的任务，而现有方法要么直接输出错误答案，要么只能给出模糊描述，无法满足实际地球观测应用的精度需求。