← 返回 2026-02-16

基于增强型激光雷达伪标签的图像树冠分割学习 Learning Image-based Tree Crown Segmentation from Enhanced Lidar-based Pseudo-labels

Julius Pesonen, Stefan Rua, Josef Taher, Niko Koivumäki, Xiaowei Yu, Eija Honkavaara 📅 2026-02-13 👍 1 2026-07-13 08:35

伪标签学习多模态融合实例分割森林监测遥感

利用SAM 2增强的激光雷达伪标签训练图像树冠分割模型，无需人工标注

前置知识

树冠实例分割 (Tree Crown Instance Segmentation)

树冠实例分割是指从遥感图像中识别并分离出每一棵独立树木的树冠区域，生成像素级别的分割掩码。与语义分割不同，实例分割需要区分同一类别的不同个体（即每棵树都是独立的实例）。这项技术对于城市树木普查、森林健康监测、碳储量估算等应用至关重要。传统方法依赖专家手工标注，成本极高。

这是本文的核心任务，理解实例分割与语义分割的区别，以及在遥感场景下的特殊挑战（树冠重叠、纹理相似），是理解论文研究动机的基础。

冠层高度模型 CHM (Canopy Height Model)

CHM是通过激光雷达（LiDAR）点云数据生成的栅格图像，每个像素值表示该位置植被相对于地面的高度。CHM通常由首次回波点云插值生成，经过高斯滤波平滑后，通过局部最大值检测识别树顶位置，再使用分水岭算法分割出单个树冠边界。CHM的空间分辨率受限于激光雷达点云密度，本文使用的点云密度约为11-13点/平方米。

本文使用CHM生成的粗分割作为伪标签的初始来源，理解CHM的生成过程和分辨率限制是理解为什么需要SAM 2增强的关键。

SAM 2 (Segment Anything Model 2)

SAM 2是Meta开发的零样本实例分割模型，能够根据用户提供的提示（如点、边界框、文本）在任意图像上生成高质量的分割掩码。SAM 2基于Vision Transformer架构，在SA-V数据集上训练，具有强大的泛化能力。本文使用边界框作为提示输入SAM 2，将粗糙的CHM分割增强为更精确的树冠边界。

SAM 2是本文方法的核心创新组件，理解其零样本能力和边界框提示机制是理解论文技术路线的关键。

伪标签学习 (Pseudo-label Learning)

伪标签学习是一种半监督学习方法，使用模型自动生成的标签（伪标签）代替人工标注来训练模型。本文的伪标签来自激光雷达数据的CHM分割，经过SAM 2增强后用于训练图像分割模型。这种方法的优势是可以大规模自动获取训练数据，缺点是标签质量可能不如人工标注。

本文的核心思想就是用自动生成的伪标签训练图像模型，理解伪标签学习的概念和局限性是理解论文贡献的基础。

Mask R-CNN

Mask R-CNN是经典的目标检测和实例分割框架，在Faster R-CNN的基础上增加了掩码预测分支。本文使用改进版Mask R-CNN，骨干网络为ResNet-50-FPN，损失函数为分类损失、边界框损失和掩码损失的简单求和。对于多光谱输入，通过重复第一层卷积参数来适配不同通道数。

Mask R-CNN是本文采用的下游模型架构，理解其工作原理和损失函数设计是理解模型训练过程的基础。

归一化植被指数 NDVI (Normalized Difference Vegetation Index)

NDVI是遥感中常用的植被指数，计算公式为 NDVI = (NIR - Red) / (NIR + Red)，其中NIR是近红外波段反射率，Red是红光波段反射率。NDVI值范围为[-1, 1]，正值通常表示有植被覆盖，值越大表示植被越茂盛。本文使用NDVI阈值0.2过滤掉非植被区域的伪标签。

NDVI用于过滤激光雷达数据采集时间（2016年）与图像采集时间（2023年）之间由于建筑变化导致的假阳性分割，理解其作用是理解数据预处理流程的关键。

研究动机

树冠分割是森林监测和城市树木管理的基础任务，但获取高质量的训练数据极其困难。人工标注树冠边界成本高昂，且不同地理位置、树种、季节、传感器类型都会导致数据差异巨大，需要大量针对性的标注数据。现有方法主要分为两类：基于激光雷达的方法和基于图像的方法。激光雷达数据成本高、获取困难；而基于图像的深度学习方法需要大量人工标注，泛化能力受限。具体而言，本文测试的基线模型（如Detectree2、U-net）在芬兰Espoonlahti数据集上的表现差异很大：Detectree2的F1分数仅为0.556，mIoU为0.324；U-net的F1为0.306但mIoU达到0.497。这种不稳定性说明现有通用模型难以适应特定场景。

本文的目标是本文的目标是开发一种无需人工标注的自动化方法，利用激光雷达数据生成的伪标签来训练图像分割模型。具体目标包括：（1）利用低分辨率激光雷达点云生成CHM分割作为初始伪标签；（2）使用SAM 2增强这些粗糙标签的质量；（3）训练能够直接从RGB或多光谱图像预测树冠分割的Mask R-CNN模型；（4）在手动标注的测试集上验证方法的有效性，目标是超越现有通用模型的性能。

与已有工作不同的是，本文的独特切入角度在于将激光雷达数据和图像数据的优势结合起来，而不是简单地融合传感器数据。此前的研究要么直接使用融合的传感器数据生成树形估计，要么单独使用某一种数据源。本文的创新在于：利用激光雷达数据生成粗分割，再用零样本视觉模型SAM 2结合图像信息增强这些分割，最终训练出仅需图像输入的分割模型。这种方法既避免了人工标注成本，又能够生成针对特定地点的高质量训练数据，解决了激光雷达数据稀缺时无法训练图像模型的问题。

核心方法

本文提出了一种多模态伪标签生成和训练框架。整体思路是：先利用激光雷达点云生成粗糙的树冠分割（CHM方法），然后用图像信息（通过SAM 2）增强这些分割的质量，最后用增强后的伪标签训练图像分割模型。具体技术路线为：（1）从激光雷达点云生成0.5米分辨率的冠层高度模型，使用分水岭算法分割树冠；（2）使用NDVI阈值过滤非植被区域；（3）将粗分割的边界框作为提示输入SAM 2，生成更精确的树冠掩码；（4）使用这些伪标签训练改进版Mask R-CNN模型；（5）在手动标注的测试集上评估性能。整个流程可以自动化执行，无需人工干预。

本文的核心创新是将SAM 2作为激光雷达分割和图像模型之间的桥梁。传统方法要么直接用激光雷达数据，要么用图像数据，两者结合时通常是数据层面的融合。本文的创新在于：利用SAM 2的零样本分割能力，将粗糙的CHM分割增强为高质量的伪标签，然后训练仅需图像输入的模型。这种方法的本质区别在于：（1）不需要高密度激光雷达数据，低分辨率数据即可；（2）不需要人工标注，完全自动化；（3）训练出的模型仅需图像输入，部署成本低；（4）SAM 2利用图像纹理信息弥补了激光雷达分辨率不足的问题。实验表明，SAM 2增强后的伪标签mIoU从0.477提升到0.513，训练出的模型mIoU进一步提升到0.621。

方法步骤详情

方法分为以下几个步骤：（1）数据准备：使用2016年采集的多光谱激光雷达点云（点密度11-13点/平方米）和2023年采集的5厘米分辨率多光谱正射影像。（2）粗分割生成：从激光雷达点云生成0.5米分辨率CHM，使用高斯滤波平滑，通过局部最大值检测树顶，再用分水岭算法分割树冠边界。（3）NDVI过滤：计算每个分割区域的平均NDVI，阈值设为0.2，过滤掉NDVI低于阈值的区域（主要对应建筑等非植被区域）。（4）SAM 2增强：将正射影像裁剪为1024x1024像素的patches（步长512像素），以粗分割的边界框作为提示输入SAM 2，生成更精确的树冠掩码。仅处理中心512x512区域内的树冠以避免边界效应。（5）模型训练：使用改进版Mask R-CNN（ResNet-50-FPN骨干网络），损失函数为分类损失、边界框损失和掩码损失之和，Adam优化器，学习率1e-6，batch size 8，训练400个epoch。数据增强包括水平/垂直翻转、随机旋转（-180度到180度）、随机IoU裁剪。（6）推理：使用掩码阈值0.5、置信度阈值0.3、NMS IoU阈值0.3进行后处理。

技术新颖性

本文的技术新颖性体现在多个方面：（1）首次探索使用SAM增强的激光雷达伪标签训练图像模型，此前研究要么直接用激光雷达数据，要么单独训练图像模型。（2）证明了低分辨率激光雷达数据（约11点/平方米）结合SAM 2可以生成足够高质量的伪标签，降低了对高密度激光雷达的依赖。（3）提出了完整的自动化流水线，从激光雷达点云到图像分割模型，全程无需人工标注。（4）在多光谱数据上验证了方法的有效性，测试了RGB、红边、近红外等不同波段组合的效果。（5）使用测试集bootstrap方法估计95%置信区间，提供了统计上可靠的结果评估。

**Figure 1**: RGB visualisation of the orthophoto spanning the whole dataset region on the left, with the manually annotated test region delineated in light green and shown separately on the right.

**Figure 2**: Visualisation of the different labels on the test set.

**Figure 3**: Overview of the proposed data fusion method for the pseudo-supervised model training.

实验结果

本文在芬兰Espoonlahti数据集上进行了全面的实验评估。最佳模型（RGB+NIR输入）在手动标注的测试集（362棵树）上取得了优异性能：F1分数0.778，精确率0.783，召回率0.772，mIoU 0.621（95%置信区间[0.587, 0.652]）。这一结果显著超越了所有基线模型：Detectree2（最佳flexi检查点）F1=0.556，mIoU=0.324；监督U-net F1=0.306，mIoU=0.497；Grounded SAM F1=0.166，mIoU=0.094；DeepForest+SAM2 F1=0.501，mIoU=0.396；SAM3 F1=0.558，mIoU=0.352。值得注意的是，SAM 2增强后的伪标签本身（mIoU=0.513）已经优于大多数基线模型，而用这些伪标签训练的模型进一步提升了性能。消融实验证明SAM 2增强确实有效：使用粗标签训练的RGB模型mIoU为0.548，而使用伪标签训练的相同模型mIoU提升到0.599，绝对提升5.1个百分点。近红外波段的贡献也很明显：RGB+NIR模型（mIoU=0.621）优于纯RGB模型（mIoU=0.599）。

**Table 1**: Comparison between our proposed methods and the applicable baselines.

**Table 2**: Ablation results of the different trained Mask-RCNN models.

**Table 3**: Results when evaluating models based on full image predictions.

**Figure 4**: Visualisation of the outputs of selected models.

**Figure 5**: Standard quartile box plot showing the prediction quality (mIoU) between different input modalities and coarse vs. pseudo-supervision.

**Figure 6**: Visualisation of the outputs from models using different input modalities and training labels.

查看结构化数据

任务	指标	本文	基线	提升
树冠实例分割	F1	0.778 (RGB+NIR)	0.556 (Detectree2)	+39.9%
树冠实例分割	mIoU	0.621 (RGB+NIR)	0.324 (Detectree2)	+91.7%
树冠实例分割	Precision	0.783 (RGB+NIR)	0.911 (Detectree2)	-14.0%
树冠实例分割	Recall	0.772 (RGB+NIR)	0.400 (Detectree2)	+93.0%

局限与改进

本文承认了几个主要局限性：（1）重叠预测问题：模型倾向于生成一个掩码完全包含在另一个大掩码内的情况，NMS无法有效过滤这种大小差异悬殊的重叠。这反映了数据集中树木大小差异大的挑战。（2）泛化能力不足：最终的RGB模型在某些公开的树冠图像上失败，可能是因为数据集的空间分辨率和颜色分布独特。更强的数据增强可能缓解这个问题，但尚未探索。（3）图像边缘预测质量下降：由于训练标签仅存在于图像中心区域，边缘区域的预测质量较差。实际部署时需要使用重叠1/4图像尺寸的分块策略。（4）测试集较小：仅362棵树的手动标注，虽然使用了bootstrap方法估计置信区间，但统计效力有限。（5）波段组合效果不明确：不同输入模态之间的差异较小，近红外波段的价值未能完全发挥，可能与通道归一化有关。

独立分析的弱点

本文存在几个可以改进的弱点：（1）重叠掩码问题：当前NMS仅基于IoU阈值过滤，对于大小差异悬殊的重叠掩码无效。改进方向：可以增加基于面积比的过滤规则，或者使用更先进的后处理方法如Mask NMS。（2）泛化能力：模型在其他数据集上表现不佳，说明过拟合了特定数据集的特征。改进方向：使用更强的数据增强（如颜色抖动、模糊、对比度调整）、多数据集联合训练、或域自适应技术。（3）图像边缘效应：训练时仅使用中心区域的标签，导致边缘预测质量下降。改进方向：使用更大的重叠区域训练，或在损失函数中对边缘区域降低权重。（4）波段利用不充分：近红外波段单独使用时mIoU为0.586，但与RGB结合后仅提升到0.621，增益有限。改进方向：探索更好的多光谱融合策略，如注意力机制或早期融合。（5）模型架构选择：使用较老的Mask R-CNN架构，可能限制了性能上限。改进方向：尝试更现代的实例分割架构如QueryInst、Mask2Former等。

未来方向

作者提出了几个未来研究方向：（1）扩展数据覆盖：将方法应用于更多地理位置和时间段的数据，训练更具泛化能力的模型。作者建议将数据与来自不同地理区域和时间段的类似数据结合。（2）改进模型架构：从Mask R-CNN转向更适合树冠分割的模型，如StarDist，或使用更大规模预训练的骨干网络。（3）优化波段组合：进一步研究如何更好地利用多光谱数据，特别是近红外和红边波段的价值。（4）基于本文方法可延伸的方向：a) 将伪标签生成方法应用于其他遥感分割任务（如建筑物、道路分割）；b) 探索主动学习策略，选择性地人工标注最有价值的样本；c) 研究伪标签质量与下游模型性能的关系，建立质量评估指标；d) 结合时序数据，利用多季节图像提升分割精度。

复现评估

本文的复现性较好：（1）代码和数据：论文未明确说明是否开源代码和数据，但提供了详细的实验设置和超参数，包括学习率（1e-6）、batch size（8）、训练轮数（400）、掩码阈值（0.5）、置信度阈值（0.3）、NMS IoU（0.3）。（2）算力要求：使用了CSC - IT Center for Science的计算资源，具体GPU型号未提及，但训练400个epoch的Mask R-CNN需要中等算力。（3）数据可获取性：激光雷达数据来自Finnish Geospatial Research Institute，正射影像来自自定义采集，其他研究者可能难以获取完全相同的数据。（4）基线复现：论文使用了多个公开可用的基线模型（Detectree2、U-net、Grounded SAM、SAM3），提供了Zenodo链接，便于复现比较。（5）评估方法：使用测试集bootstrap（1000次重采样）估计95%置信区间，方法规范且可复现。整体而言，方法逻辑清晰，参数明确，但数据获取可能是复现的主要障碍。

论文图表

Figure A.1: The NDVI distribution of initial tree crown segments with the cut-off threshold indicated with the black dashed vertical line.

直方图展示了所有CHM分割区域的NDVI值分布，黑色虚线标注了0.2的阈值。可以看到大部分区域明显高于或低于阈值，说明阈值选择合理。

这张图支持了NDVI过滤步骤的合理性，展示了数据的双峰分布特征。

Figure A.2: Visualisation of the outputs from the Grounded SAM and DeepForest models.

展示了Grounded SAM和DeepForest两个基线模型在5个测试样本上的分割结果。Grounded SAM效果较差，漏检严重；DeepForest表现中等但边界不够精确。

这张图补充了主文中缺失的基线模型可视化，提供完整的对比分析。

Figure A.3: Visualisation of the outputs from models using different input modalities and training labels.

扩展的消融实验可视化，展示了所有输入模态组合（包括RE+NIR、RGB+RE、RGB+NIR、RGB+RE+NIR）和两种监督类型的分割结果。

这张图提供了完整的消融实验定性分析，帮助理解不同配置的细微差异。

Table A.1: Test set metrics from all different Detectree2 model checkpoints.

展示了Detectree2全部7个预训练检查点的F1、Precision、Recall、mIoU及95%置信区间。flexi检查点表现最好（mIoU=0.324），tropical_closed_canopy最差（mIoU=0.039）。

这张表补充了主文中仅展示最佳Detectree2结果的不足，展示了不同训练数据对泛化能力的影响。