SPK:为实时目标检测中的可解释分布外检测引出结构化先验知识 SPK: Eliciting Structured Prior Knowledge for Interpretable Out-of-Distribution Detection in Real-Time Object Detection
从预训练检测器引出语义/几何/上下文先验,组成5维可解释表示,不动检测器即刷新OoD检测SoTA
前置知识
OoD 幻觉(OoD hallucination)
目标检测器通常在封闭世界假设下训练,只能识别预定义的 ID(in-distribution)类别。当部署到开放世界遇到训练类别之外的物体或纯背景纹理时,检测器仍会以高置信度输出错误的 ID 类别框,这类错误预测被称为 OoD 幻觉。它有两个典型来源:一是与已知类别外观相近的近端 OoD 物体造成语义混淆,二是背景区域的局部纹理意外激活了检测器的 objectness 响应。
本文的全部目标就是检测并拒绝这类幻觉,理解幻觉的两大来源是理解 SPK 为何选择'近端 OoD + 背景样本'作为诊断监督数据的前提。
FPR95 与 AUROC
OoD 检测的标准评测指标。AUROC 是 ROC 曲线下面积,衡量 ID 与 OoD 样本打分的整体可分性,越高越好;FPR95 是在 ID 样本 95% 真阳性率(TPR95)下的假阳性率,即把 95% 的 ID 预测正确保留时,有多大比例的 OoD 幻觉被漏检放行,越低越好。FPR95 比 AUROC 更贴近安全关键场景,因为在高召回约束下的漏检率直接决定系统风险。
论文主结果表(Table 1)以 FPR95 为核心指标,SPK 把 YOLO 在 BDD-100K Far-OoD 上的 FPR95 从基线最好的 45.24 压到 0.70,读懂这些数字需要理解该指标的含义。
概念瓶颈模型与概念激活
概念瓶颈模型(CBM)在深度网络表征与最终决策之间插入一层显式的、人类可理解的概念变量,让模型先预测'翅膀''喙'等概念的存在度,再基于概念做决策,从而获得可解释性。概念激活图(CAM 式表示)进一步把每个概念通道展开为空间映射,指示该概念在图像哪个区域被激活。线性探针、Network Dissection、Net2Vec 等工作证明中间表征里确实编码了这类语义信息。
SPK 的语义先验本质上是一个面向检测器 RoI 特征的类特定概念瓶颈:每个通道对应一个部件级概念,输出空间激活图,这正是它可解释性的来源。
RoI 特征与 RoIAlign
目标检测器对每个候选框会从骨干/颈部特征图中裁剪出对应的区域特征(region of interest, RoI)。RoIAlign 通过双线性插值把任意大小框对应的特征区域精确池化为固定尺寸(如 $7\times7$),避免量化误差。一阶段检测器(如 YOLO)和 DETR 类检测器通常需要手动在多尺度特征图上分别做 RoIAlign 再拼接,Faster R-CNN 则自带 box_pooler 完成 FPN 分配与池化。
SPK 的语义引出头就作用在 RoI 特征上(如 YOLO 的 $896\times7\times7$),理解多尺度 RoI 特征如何提取是复现该方法的关键工程细节(附录 Table 6)。
近端 OoD(Proximal OoD)
指与 ID 类别在语义或视觉上相近、但不属于 ID 类别集合的物体,例如训练里只有'狗'时,'狼''狐狸'就是近端 OoD。它们最容易诱发高置信度幻觉,因为检测器的特征与决策边界就是围绕相近语义建立的。此前工作(Wu et al. 2026 的 Proximal-OoD)用近端数据微调检测器以校准 objectness;SPK 则把它用作引出语义概念的监督信号。
近端 OoD 是 SPK 三类语义概念组之一(另两组是 ID 与背景),也是'幻觉诱导数据'的核心构成,理解它才能理解语义组判别损失的设计动机。
孤立森林(Isolation Forest)与 KNN 异常检测
孤立森林是一种树集成异常检测算法,通过随机递归划分特征空间,异常点因稀少且偏离密集区域会被更早'孤立',平均隔离路径越短越异常。KNN 异常检测则计算样本与其 $k$ 近邻的平均距离作为异常分数。两者都是通用算法,可直接套在任何特征空间上,无需训练或只需轻量拟合。
SPK 不发明新 OoD 算法,而是直接在 5 维 SPK 表示上运行 KNN 和 iForest,并证明这种组合就超过了在原始高维特征上运行的复杂方法——这是论文最有说服力的论据。
开放词汇定位与分割(OWLv2 / SAM 2)
OWLv2 是开放词汇检测模型,能用自然语言短语在图像中定位对应物体并输出框;SAM 2 是可提示分割模型,给定框提示即可输出像素级掩码。两者组合(Grounded SAM 范式)可以把任意文本概念'接地'为像素掩码,是自动生成视觉标注的主流工具链。
SPK 的部件级自动标注工具正是'GPT-5 生成概念词汇 → OWLv2 定位 → SAM 2 细化掩码'的流水线,这解决了部件级监督数据难以人工标注的瓶颈。
研究动机
目标检测器已在自动驾驶、机器人等安全关键场景大规模部署,但它们在封闭世界假设下训练,遇到训练类别之外的输入时会产生所谓 OoD 幻觉:以高置信度把非 ID 物体或纯背景区域预测为某个 ID 类别。论文给出的实测规模相当惊人——在校准基准上,YOLO 在 PASCAL-VOC 上产生 946 个 Near-OoD 幻觉和 440 个 Far-OoD 幻觉,Faster R-CNN 在 BDD-100K 上产生 2576 个 Near-OoD 和 1634 个 Far-OoD,RT-DETR 在 BDD-100K 上更是高达 3145/1220。现有缓解手段分两条路线:反应式方法在预测生成后用置信度估计(MSP/EBO/MLS)、不确定性建模或中间特征(MDS/BAM/SCALE/KNN/iForest)设计打分函数;主动式方法则修改检测器本身,如 Proximal-OoD 结合微调与 KNN 检测。但这两条路线本质上都是在检测器不透明的高维表征空间上操作——要么设计更复杂的打分函数,要么微调整个网络,而'检测器表征中究竟隐含了什么先验、这些先验如何决定一个预测成为有效检测还是幻觉'这一根本问题始终没有被回答。
本文的目标是本文的目标是换一个视角回答上述问题:不设计更精巧的 OoD 算法、也不修改检测器,而是显式引出(elicit)预训练检测器中已经编码的、与幻觉相关的潜在先验,并把它们组织成一个紧凑、结构化、可解释的知识空间,使 OoD 检测在这个空间上进行。具体拆解为四步:其一,构造两类幻觉诱导数据(近端 OoD 物体与背景样本)作为诊断监督,而非传统的 outlier exposure 或微调数据;其二,建立自动化的部件级标注工具,免除了人工部件标注瓶颈;其三,从检测器表征中引出语义(部件级概念)、几何(物体相对尺度)、上下文(图像级与 ID 分布的一致性)三类先验,压缩为五维表示;其四,在该表示上用现成的轻量 OoD 检测器(KNN、孤立森林)完成判定,同时提供可解释的拒绝证据。
与已有工作不同的是，本文的独特切入角度有三层。第一,对幻觉诱导样本的角色重定义:此前工作把近端 OoD 数据用于 outlier exposure 训练或检测器微调,SPK 则把它们当作'诊断探针',通过让轻量引出头在幻觉样本上学习,反向解码检测器内部已经存在的知识——检测器不是没有学过 OoD 的线索,而是这些线索没有被显式读取。第二,概念引出与 OoD 检测的结合:概念瓶颈、Network Dissection 等可解释性工作从未被用于分析目标检测器的 OoD 幻觉,SPK 首次把类特定部件级概念词汇(ID/近端/背景三源)引入检测幻觉分析。第三,知识压缩的反常识发现:作者发现把 $896\times7\times7$ 量级的高维 RoI 特征压缩到仅 5 维、每个维度都对应一个语义可读的量(三类语义组响应、相对面积、上下文距离)之后,OoD 检测性能不降反升,简单孤立森林就能超越需要微调检测器的最强方法——这直接挑战了'在高维表征上堆算法'的主流做法。
核心方法
先说直觉:OoD 幻觉不是随机的预测失败,而是有两个可刻画的来源——外观与已知类别相近的近端 OoD 物体引发语义混淆,以及背景纹理意外激活 objectness。既然检测器'看见'这些东西时内部证据模式不同,那就可以训练小的解码器把证据读出来。技术路线上,SPK 分四个模块。(1)数据构造:对每个 ID 类别,按 Wu et al. (2026) 的 prompt 设计查询 GPT-5 生成语义或视觉相近的非 ID 类别集合,据此从 Objects365 检索每个近端类别 1000 张标注图像;背景样本取自纹理数据集 DTD,先用 YOLOE-11-L 过滤掉含 ID 物体的图像;再用目标检测器跑这两类数据,只保留真正诱导出 ID 幻觉预测的样本。(2)语义先验:对每个预测的 RoI 特征,用按类别训练的轻量四层残差卷积头解码出部件级概念的空间激活图,再聚合为 ID/近端/背景三组响应。(3)几何先验:预测框与整图的相对面积。(4)上下文先验:检测器自身的图像级嵌入与 ID 训练参考库的 KNN 余弦距离。三者拼成 $z^{\mathrm{SPK}}_i = [s^{\mathrm{id}}_i, s^{\mathrm{prox}}_i, s^{\mathrm{bg}}_i, r^{\mathrm{geo}}_i, d^{\mathrm{ctx}}_i] \in \mathbb{R}^5$,交给现成的 KNN 或孤立森林做保留/拒绝的二分类。整个流程中预训练检测器的参数完全不动。
核心创新点是与已有方法的本质区别:已有反应式方法在原始高维检测器特征上设计打分函数,主动式方法(如 Proximal-OoD)微调检测器参数以压制幻觉,而 SPK 既不改算法也不改检测器,只做一件事——把检测器表征中已编码但未被读取的知识显式解码成结构化表示。这里有两个关键设计。其一,幻觉诱导样本被用作'诊断监督'而非训练数据:语义引出头恰恰要在近端 OoD 和背景幻觉样本上学会区分'视觉证据来自哪个语义源',这正是传统用法做不到的。其二,三源概念组设计:每个类别的概念词汇由 ID 部件概念、近端 OoD 概念、背景概念三组构成,通过组级最大池化 $s^k_i = \max_{c:\,\pi_{y_i}(c)=k} a^c_i$(其中 $\pi_{y_i}: C_{y_i} \to K{=}{\{id, prox, bg\}}$ 是概念到组的映射)直接回答'这个预测的视觉证据看起来像已知物体、像近端混淆物、还是像背景'。最终 5 维表示比原始特征(如 YOLO 的 $896\times7\times7\approx43904$ 维)小四个数量级,却带来全面提升,支撑了论文的核心论断:构建更好的表示空间比设计更复杂的 OoD 检测算法更重要。
方法步骤详情
完整流水线如下。第一步,幻觉诱导数据准备:GPT-5 为每个 ID 类生成近端类别集,从 Objects365 检索每类 1000 张图像(评测用 Open Images V7,来源不同避免数据泄漏);DTD 背景图像经 YOLOE-11-L 过滤;用目标检测器推理并只保留诱导出幻觉 ID 预测的样本。第二步,部件级自动标注:GPT-5 按无标签概念瓶颈的 prompt 设计生成可视觉定位的部件词汇(如鸟:喙、眼、翅、躯干、脚)→ OWLv2 在 RoI 内为每个概念定位边界框 → SAM 2 将框细化为像素级掩码 → 仅当部件掩码与 SAM 2 物体掩码重叠率不低于 70% 时保留(抑制背景误标注)→ 投影到检测器 RoI 坐标并光栅化为 $7\times7$ 二值目标;无有效掩码的概念通道给全零监督。第三步,语义先验引出:YOLO/RT-DETR 在三个尺度上分别 RoIAlign 到 $7\times7$ 再沿通道拼接(YOLO 得 $896\times7\times7$,RT-DETR 得 $768\times7\times7$;RT-DETR 用混合编码器特征而非 decoder query,因后者无规范空间网格),Faster R-CNN 直接用 box_pooler 的 $256\times7\times7$;每类训练一个头(1×1 投影 896→256、两个残差卷积块、1×1 输出 $C$ 个概念),损失为 $\mathcal{L}_{SPK} = \mathcal{L}_{concept} + \lambda_g\mathcal{L}_{suppress} + \lambda_s\mathcal{L}_{group}$:Dice 损失重建概念掩码、抑制损失对缺席概念集 $C^-_i$ 施加 $\langle U_i, -\log(1-A_{i,c})\rangle/\lVert U_i\rVert_1$ 惩罚(权重 0.25)、组损失对三组响应做 softmax 交叉熵(权重 0.75);推理时概念图经 log-sum-exp($\tau{=}0.5$)聚合成激活向量再组内取 max。训练配置:每类一个头,最多 80 epoch,早停 patience 10,batch 2000,AdamW 学习率 $2\times10^{-4}$,BDD 10 类全部头约 1 小时(单卡 A100 40GB)。第四步,几何先验:$r_i = \mathrm{Area}(b_i)/\mathrm{Area}(I_{ctx}(p_i))$,尺度归一化的相对面积。第五步,上下文先验:整图当 RoI,各尺度特征做通道维空间均值+标准差并拼接(YOLO 512 维、RT-DETR 4096 维、Faster R-CNN 2048 维),$\ell_2$ 归一化后建类特定参考库,$d^{ctx}(v) = 1 - \frac{1}{k}\sum_{r\in N_k(v,V^{ID}_{\hat{y}})}\cos(v,r)$,$k{=}5$。第六步,在 $z^{SPK}\in\mathbb{R}^5$ 上运行 KNN 或 iForest 输出拒绝决策。
技术新颖性
技术新颖性体现在五个方面。第一,范式新颖:从'为 OoD 设计算法'转向'引出已有知识',作者将其明确定位为主动式路线的新分支——与微调式主动干预不同,它不触碰检测器决策机制,只做知识读取。第二,监督信号新颖:部件级概念监督此前用于提升鲁棒表征或开放词汇部件分割(如 VLPart),从未被用于检测器幻觉分析;SPK 的三源概念组(ID/近端/背景)与幻觉两大来源形成一一对应的因果结构,使每个先验维度都有明确语义。第三,自动化标注工具:GPT-5 词汇生成 + OWLv2 定位 + SAM 2 细化 + 70% 物体掩码覆盖率过滤的组合是新的工程贡献,实证上超过 VLPart(concept-mIoU 40.8 对 37.0)和 Grounded SAM(32.3),解决了部件监督的规模化瓶颈。第四,架构适配:针对三类异构检测器(YOLO 颈部特征、RT-DETR 混合编码器、Faster R-CNN FPN)分别设计 RoI 提取方案,特别是论证了 RT-DETR 必须用编码器特征而非 decoder query。第五,可解释输出:每个拒绝决策都能给出五维证据(附录 Fig. 8 用绿色/红色区间带展示各分量相对 ID 正常范围的偏离),这是黑盒打分函数不具备的。局限性方面,概念引出头是类特定的,尚未探索跨类共享;上下文先验依赖检测器自身嵌入,未与外部视觉语言模型深度融合(仅做了 DINO ViT 变体)。
实验结果
论文从两个互补视角评估。第一,表示空间质量(Table 1,FPR95):在完全相同的下游 OoD 算法下,把原始检测器特征换成 SPK 表示带来压倒性提升。YOLO/VOC 上最强基线是 BAM(45.36/43.72)和 KNN(48.20/39.50),而 SPK-iForest 达到 14.25/11.84;YOLO/BDD 上 KNN 为 41.95/45.24,SPK-KNN 降至 13.47/1.17、SPK-iForest 至 9.86/0.70;Faster R-CNN/BDD 从 KNN 的 50.54/49.76 降至 2.31/1.52;RT-DETR 上同样从 MDS 的 48.65/52.90 降至 15.48/17.32。由于算法本身未变,收益只能来自表示质量。第二,幻觉消除量(Table 2):与需要微调检测器的最强方法 Proximal-OoD 相比,SPK 无需触碰检测器即消除更多幻觉——YOLO/BDD 从 80/47 降至 69/5(Far-OoD 消除率 99.2%),Faster R-CNN/BDD 从 207/167 降至 60/25,RT-DETR/BDD 从 525/240 降至 359/113;YOLO/VOC Near 上两者相当(135 对 134)。第三,消融:三损失缺一不可(Table 3,YOLO 平均 FPR95 从 9.16 退化到去 Dice 20.80、去组损失 17.44、去抑制 15.85);三先验互补(Table 4,语义 21.17 → +几何 12.36 → +上下文 9.16,其中 BDD Far-OoD 从 25.58 → 3.84 → 0.70,说明图像级上下文对复杂驾驶场景至关重要,而 VOC 上上下文增益有限,14.25/11.84 对 13.23/11.50 甚至略负)。语义头质量验证:概念激活图与解剖区域对齐(Fig. 5),三组分类在训练集上准确率 ID 96.5%、近端 81.0%、背景 77.0%(Table 9)。第四,未校准基准横向对比(Table 13/14):12 个场景中 SPK 变体 10 个最优、1 个次优;在 Deformable-DETR/VOC/COCO 上纯检测器内先验的 SPK(52.32/75.84)落后于用外部 DINO ViT 的 UNO-Adapter(32.61/91.68),但 SPK(DINO ViT) 变体(28.55/92.38)反超,说明引出框架与更强外部编码器正交可叠加。第五,推理开销(Table 15):YOLO/VOC 上原始推理 10.15 ms/图,SPK 全流程 12.65 ms,额外 2.72 ms(+26.8%),其中语义头仅 0.17 ms、iForest 仅 0.05 ms,开销主要来自同一次前向中额外提取上下文嵌入与 RoI 特征。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OoD 检测 FPR95(YOLO,PASCAL-VOC,Near/Far-OoD) | FPR95(越低越好) | SPK-iForest:14.25 / 11.84 | 最强基线 BAM:45.36 / 43.72;KNN:48.20 / 39.50 | FPR95 相对最强基线下降约 31 个百分点 |
| OoD 检测 FPR95(YOLO,BDD-100K,Near/Far-OoD) | FPR95(越低越好) | SPK-iForest:9.86 / 0.70;SPK-KNN:13.47 / 1.17 | 最强基线 KNN:41.95 / 45.24 | Far-OoD FPR95 从 45.24 降至 0.70,降低 44.5 个百分点 |
| OoD 检测 FPR95(Faster R-CNN,BDD-100K,Near/Far-OoD) | FPR95(越低越好) | SPK-iForest:2.31 / 1.52 | 最强基线 KNN:50.54 / 49.76 | 约 48 个百分点的下降,接近零漏检 |
| OoD 幻觉消除数量(Faster R-CNN,BDD-100K,Near/Far) | 残余幻觉数(越低越好) | SPK:60 / 25(较原始 2576/1634 消除约 97.7%/98.5%) | Proximal-OoD(检测器微调):207 / 167;原始检测器:2576 / 1634 | 相比最强微调方法再减少约 71%/85%,且完全不修改检测器 |
| 未校准基准 OoD 检测(Deformable-DETR,BDD-100K,MS-COCO/OpenImages) | FPR95 / AUROC | SPK:1.68/99.42 与 0.37/99.93;SPK(DINO ViT):0.00/99.80 与 0.00/99.97 | UNO-Adapter(CVPR 2026,外部 DINO 编码器):9.88/97.61 与 3.80/99.04 | FPR95 降低 3.2~3.8 个百分点,AUROC 提升 1~2 个百分点 |
| 部件级自动标注质量(7 个 VOC 类) | concept-mIoU / Recall@0.5(%) | 本文工具:40.8 / 38.4 | VLPart:37.0 / 36.8;Grounded SAM:32.3 / 30.7 | mIoU +3.8、Recall@0.5 +1.6,7 类中 6 类最优 |
局限与改进
作者承认的局限:研究只覆盖近端 OoD 物体和背景诱导两类幻觉来源,框架虽可扩展但未验证其他来源;上下文先验在 VOC 这类与 ID 分布视觉相似的基准上增益有限(消融中甚至从 13.23/11.50 略升至 14.25/11.84);未来才考虑用引出的知识阻止幻觉生成,当前仍是事后拒绝。我自己的观察还有几点:其一,近端幻觉消除的绝对数量仍可观——RT-DETR/VOC 上 SPK 后仍剩 358/275 个幻觉,YOLO/VOC Near 上与 Proximal-OoD 基本打平(135 对 134),说明语义混淆类幻觉最难根除;其二,每类训练独立引出头,类别数扩展到 COCO 80 类甚至 Objects365 365 类时,头的数量、训练与维护成本线性增长,论文只测了 10~20 类规模;其三,数据管线重度依赖 GPT-5 生成概念词汇与近端类别、OWLv2/SAM 2 自动标注,错误会沿流水线传播,且 GPT-5 输出的非确定性影响严格复现;其四,推理 +26.8%(2.72 ms/图)的开销对边缘端实时部署并非可忽略;其五,校准与未校准两套基准上的相对排名不完全一致,未校准下不引入外部编码器的 SPK 在个别场景明显落后,提示结果对评测协议敏感。
独立分析的弱点
独立分析弱点与改进方向:第一,类特定引出头不可扩展——每个 ID 类一个四层头,类别多时管理成本高且无法利用跨类共享概念(如 eye 同时属于猫狗马)。改进方向是单一共享头加类别嵌入条件化,或按部件超类组织层级概念库。第二,标注流水线误差传播——GPT-5 生成的词汇可能含不可定位概念,OWLv2 定位失败时该通道得到全零监督,长期会把'概念不可见'与'概念不存在'混淆。改进方向是引入标注置信度加权损失,或用多模型投票校验。第三,几何先验过简——只用了相对面积一个标量,忽略了长宽比、宽高位置分布、框纵横比与类别先验的偏离等同样携带幻觉信号的几何量,改进方向是把几何扩展为小的向量并同样做 ID 正常范围建模。第四,上下文先验对分布相似场景失效——VOC 上几乎无增益,因为其图像上下文与 ID 训练数据同分布;可引入场景图、物体共现统计或时序一致性(视频检测)作为补充上下文证据。第五,近端混淆仍是硬骨头——语义组判别在训练集近端样本上准确率仅 81.0%,说明近端与 ID 概念在 RoI 特征空间本身高度纠缠,可考虑在概念层引入层次化分类学(如'犬科 vs 猫科')做更细粒度判别。第六,固定 5 维表示的表达上限——iForest 在其上已近饱和,若要继续提升可能需要 5 维 + 残差特征的混合表示,但这会牺牲部分可解释性,需要权衡。
未来方向
作者明确提出的方向:把先验引出框架扩展到更多幻觉来源与更广的可靠性挑战;引出更丰富的潜在先验;以及用引出的知识主动阻止幻觉产生(从检测走向预防)。基于本文成果可自然延伸的方向:一是跨类别共享的概念头与开放词汇部件概念库,使框架适用 COCO/Objects365 规模;二是把 SPK 表示接入运行时验证/安全认证流程——作者团队背景是 runtime verification,五维可解释证据天然适合构造监控规约(如拒绝条件的形式化阈值);三是与轻量微调互补的混合策略:用 SPK 定位幻觉高发类别,再对这些类别做定向 Proximal-OoD 式微调,兼取两者;四是把上下文先验升级为外部基础模型(文中 DINO ViT 变体已显示大幅收益,Deformable-DETR/VOC/COCO 上 FPR95 从 52.32 降至 28.55),系统研究检测器内生先验与外部视觉语言先验的融合;五是扩展到视频目标检测的时序幻觉(跟踪漂移、闪烁),引入帧间一致性先验作为第六维;六是在开放词汇检测器(YOLOE、OW-DETR)上检验'知识引出'是否随类别空间开放而需要动态概念词汇。
复现评估
复现条件总体良好。代码与数据已在 GitLab 开源(gricad-gitlab.univ-grenoble-alpes.fr/dnn-safety/spk)。依赖的外部资源:GPT-5 API(付费,存在版本漂移风险)、OWLv2 与 SAM 2(开源权重)、YOLOE-11-L(开源)、Objects365/DTD/MS-COCO/OpenImages V7(公开数据集)、YOLOv10/Faster R-CNN(Detectron2)/RT-DETR(公开实现)。算力门槛低:语义引出头每类一个、最多 80 epoch,BDD 10 类全训约 1 小时(单卡 A100 40GB),普通实验室可负担;推理额外开销 2.72 ms/图(A4000 8GB 即可运行)。附录提供了完整工程细节:三类检测器的 RoI 特征来源与维度(Table 6)、引出头架构与全部超参(Table 7,含 AdamW 2e-4、batch 2000、suppress/group 权重 0.25/0.75、log-sum-exp τ=0.5、早停 patience 10)、图像级嵌入维度(Table 8)、随机种子 42 与 10% 验证划分。主要复现难点有三:一是自动标注工具链的质量依赖 GPT-5 输出的稳定性,难以逐字对齐;二是校准评测协议来自 Wu et al. (2026) 的 TPAMI 论文,需按其规程剔除测试污染;三是三类检测器的多尺度特征钩子提取(尤其 RT-DETR 需取混合编码器输出而非 decoder query)需要一定的框架内部知识。综合评估:中上等复现难度,数据管线工程量大于模型本身。
论文图表
总览图,直观展示 SPK 作为主动式 OoD 幻觉缓解框架,在先前最强方法 Proximal-OoD 之上进一步降低幻觉数量,尤其是在高性地区间(残余幻觉已经很低的区域)仍能取得额外改进。
一图概括论文的定位与核心卖点:不修改检测器即可超越需要微调的 SoTA 方法,是快速理解论文贡献的入口。