← 返回 2026-07-29

基于人在回路的签名引导的无人机高光谱PFM-1地雷检测 Human-in-the-Loop Signature Bootstrapping for UAV Hyperspectral PFM-1 Mine Detection

Sagar Lekhak, Prasanna Reddy Pulakurthi, Emmett J. Ientilucci 📅 2026-07-28 👍 3 2026-08-03 18:30
人在回路 光谱签名匹配 地雷探测 无人机遥感 高光谱目标检测

人在回路迭代引导目标光谱签名,操作员逐轮确认候选,ACE仅需9次检视即找全7处地雷

前置知识

高光谱目标检测器(SAM/MF/ACE/CEM)

SAM(谱角映射)度量像素光谱与目标签名的夹角余弦;MF(匹配滤波)在白化背景下最大化目标响应;ACE(自适应一致性估计器)对MF做方差归一化,对背景能量更鲁棒;CEM(约束能量最小化)设计滤波器使目标响应为1而背景能量最小。它们都只需一个目标签名和背景协方差,无需训练标注。

本文全部实验都基于这四个经典检测器,理解它们(尤其ACE的方差归一化为何在极端不平衡下更优)是解读结果的前提。

目标光谱签名与签名失配

目标签名是目标材料在图像波段上的参考光谱 $d$,可来自地测光谱仪(SVC)或场景内目标像素。签名失配指参考光谱与目标在特定场景中的表观光谱不一致,由光照、观测几何、传感器响应、反射率反演误差、目标-背景混合等引起,会直接拉低检测器的像素排序质量。

整篇论文的核心变量就是签名来源,理解失配为何发生才能理解为什么需要人在回路引导。

ROC-AUC与平均精度(AP)

ROC-AUC是真正例率对假正例率曲线下面积;AP是precision-recall曲线下的平均精度。在极端类别不平衡(本文正例占比约0.0042%)时,ROC-AUC可能虚高,而AP对正类稀有更敏感,更能反映高分预测里虚警占比。

论文用AP对比检测器、并指出ROC-AUC误导性,是结果解读的关键。

非极大值抑制(NMS)

NMS在空间上抑制相邻高分响应,只保留局部极大值,常用于目标检测去重。本文用半径 $\rho$ 的NMS从分数图中选出空间上分开的候选位置供操作员检视,避免对同一簇像素重复检视。

引导协议每轮的候选集 $Q$ 就是用NMS生成的,理解它才能理解候选检视计数这一核心作业指标。

研究动机

无人机高光谱成像(HSI)被用于远距离地雷探测,因为它能提供波长分辨的校准光谱以区分表面材料。本文聚焦的四个经典检测器(SAM谱角映射、MF匹配滤波、ACE自适应一致性估计器、CEM约束能量最小化)在仅有目标光谱签名和背景统计量时即可工作,无需场景内标注训练数据,因此适合标注稀疏的作业场景。然而这些检测器的性能高度依赖目标签名与场景中实际成像目标的匹配程度:光照、观测几何、表面状况、传感器响应、反射率反演、噪声以及目标-背景混合都会使表观签名发生偏移,导致大量虚警。此外,在极度不平衡的场景中(本文248个目标像素对5,900,757个背景像素,目标占比仅约0.0042%),ROC-AUC可能仍然很高,即使最高分的若干预测里夹杂大量虚警,操作员仍需逐一排查才能找到真实目标。传统的像素级可分性指标无法反映'找全每个物理目标位置前需检视多少非目标区域'这一真实作业负担。

本文的目标是本文并不声称提出新检测器或新适配理论,而是聚焦一个具体的UAV PFM-1排雷作业问题:目标签名选择在多大程度上影响检测性能?以及,操作员对检测器提议位置的逐轮确认能在多大程度上恢复使用场景内目标签名所带来的优势?为此作者在受控实验设置下展开回顾性场景内比较:在七个物理目标区域上,固定图像、检测器和背景统计量,只改变签名来源,并用操作员可读的指标(像素级ROC-AUC/AP与目标发现曲线、空间候选检视计数)同时汇报。目标是用'确认全部七个目标区域前累计虚警数'和'每轮候选检视次数'这些作业指标,量化不同检测器在签名质量变化下的真实可用性,而非仅追求聚合检测分数。

与已有工作不同的是,以往工作大多用场景内建模、自适应或操作员反馈策略来缓解签名失配,但很少把'签名来源'作为唯一变量做严格受控对照,也很少报告操作员视角的发现曲线和候选检视计数。本文的独特切入在于三点:第一,构造三种签名设定(外接地测SVC、完全知情的场景内核心签名、人在回路的引导签名),让引导过程从外部SVC出发,仅当检测器提议的位置被验证为目标后才更新签名;第二,把'人'显式建模为基于真值标签的模拟标注函数 $v(q)$,把每轮提议建模为带非极大值抑制的空间候选集合;第三,把核心场景内签名明确定位为完全知情参考上界而非可获得的现场输入,从而把引导结果与这个理论上界直接比较,揭示操作员反馈能恢复多少信息差距。

核心方法

方法整体思路可用一句话概括:检测器只和它的目标签名一样好。直觉上,若一开始只有外接地测光谱(与机载成像存在系统偏差),可先用它跑检测器,让操作员确认少量高分候选,再用确认出的目标中心像素重算签名,逐轮逼近完全知情的场景内签名。技术路线上,作者选用四个经典检测器SAM/MF/ACE/CEM,固定场景均值 $\mu$、协方差 $C$ 及其正则化伪逆,固定一幅1705×3461像素、272波段(约400–1000 nm)的UAV VNIR图像,仅改变签名来源。SAM评估包含经典无中心化版本和均值中心化版本;MF与ACE用中心化像素与目标向量加正则化逆协方差;CEM用波段标准化背景与对应逆相关矩阵。三种签名设定分别为:外接SVC(地测光谱仪谱线插值到272个波段)、场景内核心(七个目标区域中心像素均值,作为完全知情参考)、以及从SVC出发的引导(bootstrap)。

核心创新点不在检测器本身,而在于把'人在回路的签名更新'形式化为一个有界的迭代流程,并与完全知情的场景内参考直接对照。其与已有方法的本质区别是:签名并非预先选定或一次性自适应估计,而是在每轮用当前签名重算分数图 $S(p)=g(x_p;d,\mu,C)$ 后,由检测器用非极大值抑制从尚未检视的区域中提出 $N$ 个空间上分开的候选;操作员(用真值模拟)逐一确认,只有被确认为目标的位置才贡献中心像素到下一轮签名。被检视的邻域会被永久屏蔽,避免同一位置反复提议。这种'提议-确认-屏蔽-平均核心像素'的闭环让签名质量随操作员投入单调改善,同时把作业负担(候选检视次数)作为一等指标直接报告,而非隐含在像素级分数中。

方法步骤详情

初始化 $d^{(1)}$ 为外接SVC签名,$T^{(0)}=\emptyset$,$B^{(0)}=\emptyset$。每轮 $k$ 用当前签名重算分数图 $S^{(k)}(p)=g_a(x_p;d^{(k)},\mu,C)$,再用半径 $\rho$ 的非极大值抑制从 $\Omega\setminus B^{(k-1)}$ 取前 $N$ 个空间分开的候选 $Q^{(k)}=\mathrm{locNMS}_{N,\rho}(S^{(k)},\Omega\setminus B^{(k-1)})$;模拟操作员标注 $v(q)=r$ 当 $q$ 的 $\eta$ 邻域 $I_\eta(q)$ 与区域 $r$ 相交。随后屏蔽已检视邻域 $B^{(k)}=B^{(k-1)}\cup\bigcup_{q\in Q^{(k)}} I_\eta(q)$,更新确认集 $T^{(k)}=T^{(k-1)}\cup\{v(q):q\in Q^{(k)},v(q)>0\}$。若有新确认区域,下一轮签名取核心像素均值 $d^{(k+1)}=\frac{1}{|P(T^{(k)})|}\sum x_p$,核心集 $P(T)$ 取各确认区域 $r$ 掩膜中距质心 $\bar{p}_r$ 最近的 $\lceil f|R_r|\rceil$ 个像素($f=0.5$)。参数 $N=6$、$\rho=25$、$\eta=12$像素;飞行高度约20.62 m、GSD约0.0129 m/pixel,故 $\rho$ 约0.32 m、$\eta$ 约0.16 m,与PFM-1(约120×61×20 mm)相当。终止于确认全部七个目标或2001轮(每检测器至多12006次检视)。

技术新颖性

技术新颖性体现在三处。其一,评估范式:提出目标发现曲线(累计虚警数随发现区域数增长)与空间候选检视计数,把'找全每个物理目标前需排查多少非目标区域'量化为作业指标,弥补ROC-AUC在0.0042%极端不平衡下仍偏高的误导。其二,引导流程的形式化:把操作员建模为标注函数 $v(q)$,把每轮提议建模为带半径 $\rho$ 的非极大值抑制候选集,并用 $\eta$ 邻域永久屏蔽已检视位置,使'人'成为可计算组件而非模糊叙述。其三,受控消融:固定图像、检测器、背景统计,仅改变签名来源(外接SVC/场景内核心/引导),从而把检测性能差异干净地归因于签名质量,而非算法或数据。核心场景内签名被明确定位为完全知情参考而非现场可获得输入,使引导结果与上界的比较具有可解释性——它回答的是'操作员投入能恢复多少信息差距'。

实验结果

像素级结果(Table 1)显示,MF/ACE/CEM的ROC-AUC在三种签名设定下都很高(MF达0.9949、ACE达0.9987、CEM为0.9951),但AP在极端不平衡下更可分辨:外接SVC下ACE的AP为0.1485、CEM最高为0.2136;切换到场景内核心签名后ACE提升最大(0.3138),MF升至0.1546,CEM略升至0.2547;全检视引导与场景内核心完全一致(因最终签名在七个区域全部确认后构建)。SAM中心化版本AP从0.0077升至0.0797。候选检视(Table 2)是论文最具操作价值的发现:ACE在第1轮即确认4个区域(1+2+3+5)、第2轮确认余下3个(4+6+7),仅累计9次检视即找全七个目标;CEM需4轮22次;MF需7轮38次;而无中心化SAM虽前两轮找到3个,却要到第483轮(2897次)才找全;中心化SAM更糟,第760轮(4558次)。这说明签名质量改善后,不同检测器的'尾部排序'差异巨大——ACE的紧凑高分模式使其早期发现效率远超SAM。

Pixel-level performance for target-signature settings.
Table 1: Pixel-level performance for target-signature settings.
Precision-recall curves for the full-review bootstrap score maps.
Fig. 2: Precision-recall curves for the full-review bootstrap score maps.
Cumulative target discovery for the full-review bootstrap score maps.
Fig. 3: Cumulative target discovery for the full-review bootstrap score maps.
查看结构化数据
任务指标本文基线提升
PFM-1目标发现(确认全部7个区域) 累计候选检视次数 ACE 仅 9 次 SAM uncentered 需 2897 次 ACE 比 SAM 减少约 322 倍检视负担
像素级平均精度 AP(场景内核心签名) ACE 达 0.3138 ACE 外接 SVC 仅 0.1485 签名细化使 AP 提升 0.1653(约 2.1 倍)
全部七目标发现 所需引导轮次 ACE 第 2 轮完成 SAM centered 第 760 轮 轮次从 760 缩短至 2
首次发现目标 首次命中轮次/候选数 ACE/SAM-uncentered 第 1 轮 1 次检视 MF 第 3 轮 16 次 ACE 与 SAM 早期命中能力强

局限与改进

作者明确承认:这是回顾性分析而非已部署的自主系统;真值只用于模拟人的确认,而非真实操作员判断;核心场景内签名是完全知情参考而非现场可获得的输入,且平均目标像素可能抑制变异性或偏向某一检测器,因此并非严格的数学上界。作者还观察到大量较大虚警区域与野外布设的标定/地理参考物件(标定板、地面控制点、AeroPoints)重合,提示作业前应先屏蔽这些已知支撑物。我额外观察到两点局限:第一,仅在单一场景、单一传感器(VNIR)和七个目标区域上评估,泛化性证据不足;第二,引导协议的关键参数($N=6$、$\rho=25$、$\eta=12$、$f=0.5$)为启发式设定,缺乏敏感性分析,且模拟操作员是'完美真值标注',未建模操作员疲劳、误判或不确定场景下的现实行为。

独立分析的弱点

独立来看,弱点之一是单场景验证:仅一幅1705×3461图像、248目标像素、七个区域,无法说明结论在其他地物、其他传感器(如SWIR)、其他季节或植被覆盖下是否成立,改进方向是构建多场景基准并报告跨场景方差。之二是启发式超参未做敏感性分析:候选批大小 $N$、抑制半径 $\rho$、检视半径 $\eta$、核心比例 $f$ 以及终止上限2001轮都是经验设定,缺少扫描曲线,改进方向是把这些参数与作业成本(GSD、飞行高度、操作员速率)显式关联并自适应选择。之三是操作员模型过于理想:$v(q)$ 是无噪真值判定,未建模操作员在低对比度或遮挡下的误判与延迟,改进方向是引入标注噪声模型与主动学习式的难例回传。之四是缺乏多检测器融合:论文让各检测器独立引导,但Table 2显示ACE早期极强、SAM偶有早期命中,融合多检测器提议可能进一步降低检视次数。

未来方向

作者明确提出的未来方向包括:自适应候选选择、多样性约束、预算约束下的多检测器提议融合。结合本成果可延伸的方向有:第一,把'候选检视预算'作为约束,研究预算分配策略(如轮间根据AP增益动态调整 $N$);第二,引入场景内目标子空间模型替代单一均值签名,以处理签名变异性;第三,把作业前的已知支撑物(标定板、控制点、AeroPoints)自动掩膜纳入预处理流水线,直接削减虚警;第四,在SWIR或热红外波段扩展验证,因PFM-1的塑料外壳在中长波可能有更具判别性的特征;第五,与轻量化ML检测器(在有多场景标注时)对比,界定经典检测器与学习方法各自的适用边界;第六,把模拟操作员替换为真实人类标注实验,量化人在回路引导在噪声标注下的鲁棒性。

复现评估

复现性较好。作者公开了代码仓库 https://github.com/SagarLekhak/IEEE_WHISPERS_2026_UAV_HSI_PFM1 ,数据来自已发表的UAV VNIR PFM-1基准数据集(参考文献[4,5]),像素级标签与目标掩膜可用。检测器为经典算法,无训练成本,单机CPU/GPU即可复现,算力门槛低。文中报告了所有关键参数($N=6$、$\rho=25$、$\eta=12$、$f=0.5$、正则化伪逆、min-max归一化仅用于可视化)、几何参数(飞行高度20.62 m、GSD约0.0129 m/pixel)和终止条件(2001轮/12006次),足以重建实验。主要复现风险在于:核心场景内签名需要真值掩膜(作业中不可得),但引导流程本身不依赖真值;且协方差正则化伪逆的实现细节若未在仓库中明确,可能影响AP数值的精确复现。