基于协同引导和协同融合的稳定半监督遥感图像语义分割 Toward Stable Semi-Supervised Remote Sensing Segmentation via Co-Guidance and Co-Fusion

方法流程分为三个主要步骤。首先是显式-隐式语义协同引导：对于CLIP学生，采用概念基础的提示集成策略，为每个语义类别 $k$ 精心构建一组细粒度概念描述 $C_k = \{c_{k,i}\}_{i=1}^{S_k}$（例如对于道路类别：{highway, main road, street, ...}），通过提示模板函数 $T(\cdot)$ 格式化后由冻结的CLIP文本编码器 $E_{txt}$ 编码，通过平均聚合得到类别原型 $t_k = \frac{1}{S_k}\sum_{i=1}^{S_k} E_{txt}(T(c_{k,i}))$，最终堆叠所有类别的原型得到显式文本查询矩阵 $F_t^{clip} = [t_1, \ldots, t_N]$。对于DINOv3学生，利用可学习查询 $Q = [q_1, \ldots, q_N]$ 提供隐式类别级指导，这些查询是作为可训练的嵌入层实现的，与DINOv3主干和分割解码器一起优化。两个学生都采用同构但参数独立的查询基础解码器，通过点积相似度计算分割logits：$Z_{global} = Sim(F_t^{clip}, F_{global}^{clip})$ 和 $Z_{local} = Sim(Q, F_{local}^{dino})$。其次是全局-局部特征协同融合：给定无标注图像 $x_u$ 的弱增强视图，通过两个学生得到全局logits $Z_{global}$ 和局部logits $Z_{local}$，计算置信度图 $C_{global}^{pred}$ 和 $C_{local}^{pred}$，基于三种置信度场景构建交互掩码：1）两者都高于阈值且相等时对称互学习，2）只有一方高于阈值时低置信度学生向高置信度同伴学习，3）两者都低于阈值时忽略该像素。稳定性损失定义为 $L_{sta}(t) = \lambda(t) \cdot MSE(p_\ell, p_h) \cdot 1(C \geq \tau)$，其中 $p_\ell$ 和 $p_h$ 是低置信度和高置信度学生的类别概率向量，$\tau$ 是置信度阈值，$\lambda(t)$ 是随训练步骤的线性增长权重。最后是总训练目标：对于标注样本 $(x_l, y_l)$，生成弱增强视图 $x_w^l$ 输入两个学生，得到 $Z_{global}$ 和 $Z_{local}$，监督目标为 $L_{global}^{sup} = CE(Z_{global}, y_l)$ 和 $L_{local}^{sup} = CE(Z_{local}, y_l)$。对于无标注样本 $x_u$，严格遵循UniMatch的双流扰动范式，生成弱增强视图 $x_w^u$、两个强增强视图 $x_{s1}^u$ 和 $x_{s2}^u$、以及一个特征扰动视图 $x_{fp}^u$。对于每个像素位置 $(i,j)$，分配伪标签 $\hat{y}_{u,i,j} = \arg\max_n(p_{w,i,j}^n)$ 和置信度 $c_{i,j} = \max_n(p_{w,i,j}^n)$。定义通用掩码交叉熵函数 $H(Z, \hat{y}_u, c) = \sum_{i,j} 1(c_{i,j} \geq \tau) \cdot CE(Z_{:,i,j}, \hat{y}_{u,i,j})$，一致性损失为 $L_{ct} = \frac{1}{2}H(Z_{fp}, \hat{y}_u, c) + \frac{1}{4}H(Z_{s1}, \hat{y}_u, c) + H(Z_{s2}, \hat{y}_u, c)$。每个学生的总训练目标为 $L = \lambda_{sup}L_{sup} + \lambda_{ct}L_{ct} + \lambda_{sta}L_{sta}$，其中 $\lambda_{sup} = \lambda_{ct} = 0.5$，$\lambda_{sta}$ 采用余弦坡度调度。

本文的技术新颖性体现在多个方面。首先，首次在半监督遥感分割框架中系统性地融合了视觉语言模型（CLIP）和自监督模型（DINOv3）的先验知识，开创了异构基础模型协同用于半监督学习的先例。其次，提出了显式-隐式语义协同引导机制，通过文本嵌入提供明确的类别级语义指导，同时通过可学习查询捕获数据特定的视觉特征，这两者的协同作用确保了语义正确性和数据适应性的平衡。第三，设计了全局-局部特征协同融合策略，基于像素级置信度动态仲裁两个学生的预测，这种设计不仅融合了CLIP的全局语义和DINOv3的局部细节，还通过置信度门控机制过滤了低质量监督信号，有效抑制了伪标签漂移。最后，在架构设计上，两个学生采用同构但参数独立的查询基础解码器，这种设计保持了架构统一性的同时允许不同语义源的注入，是一个巧妙的技术选择。与现有工作相比，本文方法的创新性不仅在于组件设计，更在于将这些组件有机整合到一个完整的训练框架中，形成了从初始化、优化到特征融合的全流程创新。

尽管Co2S取得了优异的性能，但仍存在一些可改进的弱点。首先是计算效率问题：采用两个ViT-B/16骨干网络导致推理和训练开销约为单一模型的两倍，这对于实时应用或大规模部署可能是一个瓶颈。改进方向包括引入知识蒸馏将异构双学生的知识压缩到单一模型，或者探索更高效的轻量级基础模型组合。其次是文本提示工程的人工依赖：当前方法需要为每个类别精心设计细粒度概念描述，这需要领域专家知识且对于新数据集可能需要重新设计。改进方向可以引入自动提示学习，通过可学习的提示模板或大语言模型自动生成概念描述。第三是置信度阈值的固定设置：当前方法使用统一的置信度阈值0.95，但不同数据集、不同类别可能需要不同的阈值设置。改进方向可以是类别自适应阈值或动态阈值调度策略。第四是当前方法主要关注2D图像，对于多光谱、高光谱、SAR等遥感数据类型的适用性尚未验证，未来的改进可以扩展到多模态融合。最后是当前实验主要在光学遥感图像上验证，对于极端天气条件（云、雾、阴影）的鲁棒性还需要进一步验证。

作者提出的未来研究方向包括探索更多样化的基础模型组合，如将CLIP与其他自监督模型（如MAE、BEiT、iBOT、SimMIM）配对，以验证协同效应的普遍性。另一个方向是扩展到其他遥感任务，如目标检测、变化检测、实例分割等，验证异构基础模型先验的有效性。基于研究成果的可延伸方向包括：1）将Co2S框架扩展到多模态遥感数据，融合光学图像、SAR、激光雷达等异构数据源；2）研究开放词汇半监督分割，利用CLIP的零样本能力处理训练时未出现的类别；3）探索动态架构搜索，自动寻找最优的基础模型组合；4）引入主动学习，通过不确定性采样选择最有价值的无标注样本进行人工标注，进一步提高半监督效率；5）研究跨域半监督学习，利用源域的基础模型先验辅助目标域的半监督训练；6）探索时空一致性约束，将时间序列信息引入半监督遥感分割，提高时间序列遥感图像的分割稳定性。

论文提供了项目页面（https://xavierjiezou.github.io/Co2S/），这表明作者计划开源代码和模型，有利于复现。实现细节方面，论文明确描述了优化器设置（AdamW，权重衰减0.01，多项式学习率衰减调度，power=0.9）、数据增强协议（严格遵循UniMatch）、训练时长（80个epoch，MER数据集150个epoch）、置信度阈值（0.95）、损失权重（$\lambda_{sup} = \lambda_{ct} = 0.5$，$\lambda_{sta}$ 采用余弦坡度调度）等关键超参数。实验环境为配备NVIDIA RTX 3090 GPU的工作站，这个硬件配置相对常见，研究者可以访问到。评估指标为标准mIoU，这避免了指标选择的主观性。使用的六个数据集（WHDLD、LoveDA、Potsdam、GID-15、MER、MSL）都是公开可用的，且论文提供了详细的数据集划分说明（不同的标注比例如1/24、1/16、1/8、1/4等）。总体来说，复现难度中等，主要挑战在于两个ViT-B/16模型同时训练的计算需求较高，需要较强的GPU资源。如果作者能够提供预训练权重和完整代码，复现应该相对直接。需要注意的是，CLIP和DINOv3的预训练模型需要从官方源获取，这可能导致版本差异影响复现结果。