TerraDiT-Ω: 使用任意地理空间原语的卫星图像合成的统一空间控制 TerraDiT-Ω: Unified Spatial Control for Satellite Image Synthesis with Any Geospatial Primitive
直接消耗地理空间原语的高保真卫星图像生成统一框架
前置知识
流式生成模型
一种生成式建模框架，模型学习一个连续变换，将高斯噪声 $\epsilon \sim N(0, I)$ 传输到数据分布 $\hat{x} \sim p(x)$。这是通过预测一个与时间相关的速度场 $v(x_t, t)$ 来实现的。噪声状态沿着流动表示为 $x_t = \alpha_t \hat{x} + \sigma_t \epsilon$，其中 $\alpha_t$ 和 $\sigma_t$ 是漂移和扩散调度器。状态的演化由概率流ODE $\dot{x}_t = v(x_t, t)$ 控制，通过从 $t=1$（噪声）到 $t=0$（数据）积分这个ODE来获得样本。这个框架比传统的扩散模型更稳定和高效。
本文使用流式生成模型作为基础，理解这个框架对于理解TerraDiT-Ω的生成过程和训练目标是必需的。
Diffusion Transformer (DiT)
一种基于Transformer架构的扩散模型，使用Transformer块代替传统的U-Net架构作为噪声预测网络。DiT通过位置编码和条件注入（如时间步、类别标签等）来控制生成过程。在TerraDiT系列中，DiT作为主干网络，通过交叉注意力注入文本条件，通过自适应层归一化注入地理位置条件。相比U-Net，DiT能够更好地处理全局依赖关系，适合卫星图像中密集、相互连接的元素。
TerraDiT-Ω采用Latent Diffusion Transformer作为主干网络，理解DiT对于理解整个架构的基础和条件注入方式很重要。
地理空间原语
描述地理空间特征的原生向量格式，包括多边形、折线、边界框和点。多边形用于表示建筑物、土地使用区域等封闭区域，折线用于表示道路、河流等线性特征，边界框用于快速定位，点用于稀疏标注。这些原语是OpenStreetMap等地理数据源的通用格式，保留了精确的几何属性，如多实例重叠（如立体交叉道）。这些原语通常用坐标序列表示：多边形 $p_{poly} \in \mathbb{R}^{V_p \times 2}$ 是顶点数不超过 $V_p$ 的多边形，折线 $p_{line} \in \mathbb{R}^{V_\ell \times 2}$ 是顶点数不超过 $V_\ell$ 的折线，边界框 $p_{box} = (x_{tl}, y_{tl}, x_{br}, y_{br})$ 是轴对齐的边界框。
本文的核心创新就是直接消耗地理空间原语而不是转换后的格式，理解这些原语的格式和特点对于理解方法动机和技术路线至关重要。
研究动机
现有的可控生成模型在自然图像上表现良好，但在遥感领域面临两个根本局限。首先，将原生地理空间原语格式转换为视觉兼容格式会降解其精确的几何属性。例如，单通道像素地图模糊地扁平化复杂重叠，使得立体交叉道与标准交叉路口难以区分。虽然多通道像素地图可以解决重叠问题，但在密集的卫星场景中会产生严重的计算瓶颈，因为实例数量远多于自然图像。其次，格式转换与实际的GeoAI工作流程不一致。密集语义地图需要禁止的标注努力：平均而言，标注单个OpenEarthMap分割瓦片需要2.5小时。相反，虽然点提示等稀疏信号便宜地扩展，但它们未充分指定关键的几何布局。锁定到单一监督粒度迫使从业者部署不同的架构用于不同任务，使得大规模部署不切实际。例如，在城市规划等需要精确几何信息的场景中，点提示提供的约束太弱；而在快速标注等低预算场景中，密集语义地图又过于昂贵。
本文的目标是本文的目标是提出TerraDiT-Ω，一个统一的框架，直接消耗原生地理空间原语（多边形、折线、边界框和点）来引导卫星图像合成，支持不同标注预算下的可控制布局，同时自然兼容端到端GeoAI工作流程。通过联合利用精确标注（多边形、折线）和粗略标注（边界框、点），模型可以在设计任务中扩展适用性，如城市规划，而保持与端到端GeoAI工作流程的自然兼容性。此外，通过单一架构，目标是在四个遥感任务中实现更高的下游性能：土地覆盖分割、目标检测、道路图提取和场景分类。
与已有工作不同的是，本文的独特切入角度是直接操作地理空间原语，而不是将它们转换为视觉兼容格式。这引入了新的技术挑战：地理空间特征表现出多样的几何复杂性和与周围实例的空间相关性。虽然先前的接地框架通过通用可学习令牌编码空间控制，但这种隐式空间学习在包含许多小重叠实例的卫星场景中很困难。此外，通用令牌无法考虑不同输入格式之间不同程度的结构细节。为了解决这个问题，本文提出了一种条件机制，注入针对每个输入原语的复杂性定制的显式几何线索。这与之前的方法形成鲜明对比，GLIGEN和InstanceDiffusion使用相同的编码机制处理不同的条件类型，忽略了地理空间原语之间严重变化的复杂性。
核心方法
TerraDiT-Ω的整体思路是在流式生成模型框架下，通过显式注入几何线索来生成卫星图像。方法分为三个核心组件：统一原语编码器将多边形、折线、边界框和点映射到共享表示；几何感知本地注意力（GALA）通过预测旋转和各向异性高斯先验来注入空间先验；空间几何场调制为复杂原语提供更强的空间约束。在训练时，模型学习预测速度场 $v_\theta$，通过最小化损失函数 $\mathcal{L}_v = \mathbb{E}_{\hat{x},\epsilon,t}[||v_\theta(x_t,t) - \dot{\alpha}_t \hat{x} - \dot{\sigma}_t \epsilon||^2]$。在推理时，通过从 $t=1$ 到 $t=0$ 积分概率流ODE来获得样本。方法遵循Latent Diffusion Transformer作为主干，通过交叉注意力注入全局文本，通过自适应层归一化注入地理位置条件，通过GALA注入地理空间原语条件。
核心创新点是几何感知本地注意力（GALA），它显式保留向量原语中的几何线索，提高密集结构场景中的保真度。与之前使用轴对齐RBF的自适应本地注意力（ALA）不同，GALA学习旋转各向异性高斯先验以适应定向和拉长的几何形状。GALA由两部分组成：MetaRBF+模块预测高斯核参数 $(\sigma_x, \sigma_y, \theta)$，空间几何场调制提供更细的、几何对齐的先验。MetaRBF+使用多头注意力后跟前馈MLP来预测参数，对 $\sigma_x$ 和 $\sigma_y$ 应用softplus以确保正性，保留旋转角度 $\theta$ 不受约束。旋转各向异性高斯先验允许注意力先验拉伸和旋转以更好地对齐实例方向。空间几何场通过计算到边界的有符号距离场（SDF）并对折线应用对比函数来构造，为多边形、折线和边界框提供更强的空间约束。
方法步骤详情
方法的步骤分为四个主要阶段。首先，统一原语编码器将每个实例的地理空间原语 $\{p_{poly}^i, p_{line}^i, p_{box}^i, p_{pt}^i\}$ 和实例标题 $t_i$ 映射到统一表示。每个原语使用傅里叶特征映射 $\gamma(\cdot)$ 编码，与文本嵌入 $e_i$ 连接，并通过格式特定的MLP生成原语特征 $g_{poly}^i, g_{line}^i, g_{box}^i, g_{pt}^i$。当原语缺失时，用学习到的原语特定的空嵌入表示。最后，将特征连接为统一表示 $g_i = [g_{poly}^i, g_{line}^i, g_{box}^i, g_{pt}^i]$。其次，MetaRBF+模块对每个实例令牌 $g_i$ 预测高斯核参数 $(\sigma_x, \sigma_y, \theta)$，使用多头注意力后跟前馈MLP。第三，空间几何场调制计算到边界的有符号距离场，对多边形和边界框应用sigmoid衰减，对折线计算到最近线段的距离并应用对比函数。格式掩码选择活动场，优先考虑多边形和折线而不是边界框。第四，GALA形成归一化的几何感知先验，通过空间几何场归一化高斯先验，然后乘积调制图像和原语令牌之间的注意力logits。训练时应用格式-wise dropout以鼓励对变化的几何监督的鲁棒性。
技术新颖性
技术新颖性体现在三个方面。首先，直接消耗地理空间原语而不是转换后的格式，保持了精确的几何属性，如多实例重叠。这使得模型能够自然地处理复杂的地理空间特征，如立体交叉道，避免了像素地图中模糊扁平化的问题。其次，提出的几何感知本地注意力（GALA）显式注入几何线索，与之前使用通用可学习令牌的隐式方法不同。GALA通过旋转各向异性高斯先验和空间几何场调制，适应不同格式的复杂性，实现格式自适应的接地：点诱导软本地焦点，而折线、多边形和盒子逐渐锐化注意力以尊重完整实例几何。第三，单一架构支持多种条件格式和下游任务，与之前需要为不同任务部署不同架构的方法相比，大大简化了大规模部署。这种统一性也使得通过单一生成模型实现可控的合成数据增强成为可能，在四个遥感任务中实现一致的性能提升。
实验结果
在三个保留的域内数据集上评估TerraDiT-Ω：Git-Rand-15k（全球随机采样）、Git-Spatial-15k（训练期间的空间保留）和Git-Dense-3.5k（Git-Rand-15k的子集，限制为至少15个实例的瓦片）。在Git-Rand-15k上，TerraDiT-Ω的性能在条件格式从点→边界框→组合原语（T + Ω + L）进展时，在FID、sFID和LPIPS上持续扩展。点条件模型（T + P + L）在FID上达到9.91，sFID上4.63，LPIPS上0.3612，优于TerraDiT-Σ点基线的12.01、5.09和0.3779。在更稀疏的Git-Spatial-15k分割上，模型在FID和LPIPS上实现最先进的性能：组合原语条件在FID上达到17.54，sFID上4.15，LPIPS上0.3614。虽然在这个分割上在sFID上略落后于TerraDiT-α的4.10，但三种条件模式仍然排名第二到第四，表明模型对稀疏空间条件具有鲁棒性。在Git-Dense-3.5k上，模型实现了对基线最实质的性能增益，在FID上达到18.20，sFID上16.21，LPIPS上0.3455，突出显示了在挑战性密集环境中方法的有效性。合成数据生成的分类准确率分数（CAS）也显著更高：点条件在Top-1上达到76.66，Top-5上97.05；边界框条件在Top-1上78.33，Top-5上97.13；组合原语条件在Top-1上79.36，Top-5上97.39。CAS随原语复杂性扩展：点级条件已经优于基线，添加更丰富的几何复杂性进一步增强语义准确性。空间保真度评估表明，TerraDiT-Ω不仅在低预算时表现更好，而且随着预算增加显著扩展。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 卫星图像合成 | FID (Git-Dense-3.5k) | 18.20 (T + Ω + L) | TerraDiT-Σ-XL: 27.49, GeoSynth-OSM: 82.32 | 33.8% vs TerraDiT-Σ, 77.9% vs GeoSynth-OSM |
| 空间保真度 | CAS Top-1 (Git-Rand-15k) | 79.36% (Ω) | GLIGEN: 65.21%, InstanceDiffusion: 54.98% | 21.7% vs GLIGEN, 44.4% vs InstanceDiffusion |
| 目标检测 (DIOR) | mAP@50 (×1 合成数据) | 78.69 | 仅真实数据: 77.09 | 2.1% |
| 土地覆盖分割 (OpenEarthMap) | mIoU (×2 合成数据) | 57.46 | 仅真实数据: 55.75 | 3.1% |
| 道路图提取 (City-Scale) | APLS (×2 合成数据) | 63.52 | 仅真实数据: 60.50 | 5.0% |
| 场景分类 (AID) | Acc-1 (×2 合成数据) | 86.53 | 仅真实数据: 72.67 | 19.1% |
局限与改进
作者承认几个局限性。首先，当前可用的地理空间数据将原语与标准OSM标签配对，而不是丰富的视觉描述，因此细粒度的属性如颜色和纹理最好在全局控制。随着描述性实例级标题变得可用，将框架扩展到原语级视觉控制是一个自然的下一步。其次，扩展数据增强演示以包括其他兼容的下游任务，如变化检测，仍然是一个引人注目的未来研究方向。最后，作者承认合成高保真卫星图像的能力带有下游滥用的潜在风险，如生成欺骗性地理数据或无意中增强有害监视系统，强调了负责任部署的必要性。此外，观察到在高密度、大量实例的场景中，由于GALA需要为每个实例计算高斯先验和空间几何场，计算开销可能成为瓶颈。虽然方法声称避免了多通道像素地图的计算瓶颈，但在极端密度场景下，性能权衡仍需要进一步评估。
独立分析的弱点
独立分析的弱点包括：在高密度、实例数量极大的场景（如城市中心的密集建筑群）中，GALA为每个实例计算高斯先验和空间几何场的开销可能成为计算瓶颈，限制了实时应用的可行性。虽然方法声称避免了多通道像素地图的计算瓶颈，但没有提供极端密度场景（如超过100个实例的瓦片）的具体性能比较。其次，方法依赖OpenStreetMap标签作为实例标题，这些标签通常只有基本语义信息（如'building'、'highway'），缺乏细粒度的视觉属性（如建筑风格、道路材料、建筑高度），这限制了在颜色、纹理等细节层面的控制。第三，方法没有显式处理时序变化，无法生成时间序列的卫星图像或模拟变化检测场景，这对于灾害响应等应用很重要。改进方向包括：研究层次化或稀疏化的GALA机制以降低计算开销；集成更丰富的地理空间数据源（如3D建筑模型、道路材料信息）；扩展时序建模能力以支持变化检测和时间预测任务。
未来方向
作者提出的未来研究方向包括：将框架扩展到原语级视觉控制，当描述性实例级标题变得可用时。扩展数据增强演示以包括其他兼容的下游任务，如变化检测。基于成果可延伸的方向包括：探索更高效的条件机制以支持更高密度的场景；集成多模态条件（如天气、时间、季节）以实现更丰富的风格控制；研究零样本跨域生成，如从低分辨率卫星图像生成高分辨率图像；探索与遥感特定任务（如云层去除、超分辨率）的联合训练框架；研究负责任部署的机制，如生成图像的检测和水印技术，以防止恶意使用。
复现评估
复现评估：论文声明代码、数据和权重可在 https://github.com/mvrl/TerraDiT 获得。训练在4个NVIDIA H100 GPU上进行，总批大小为256，从TerraDiT-α初始化并微调200k步，学习率为1e-5。消融研究模型从基础（B）变体从头训练400k步。数据集构建遵循[8, 30, 43]，卫星图像、全局文本和地理位置来自Git-10M [30]，通过Mapbox检索对应的OpenStreetMap向量几何数据，使用关联的语义标签作为实例标题。评估数据集是Git-Rand-15k、Git-Spatial-15k和Git-Dense-3.5k，它们是Git-10M的保留分割。下游数据集包括OpenEarthMap（土地覆盖分割）、DIOR（目标检测）、City-Scale（道路图提取）和AID（场景分类）。复现难度：中等。虽然提供了代码和数据链接，但需要访问OpenStreetMap API和Mapbox服务，以及高性能计算资源（4个H100 GPU）以完全复现训练过程。然而，推理和评估可能需要较少的资源，使得方法对研究社区仍然相对可访问。
论文图表
