无提示通用区域建议网络

无需外部提示的通用对象区域建议网络，跨域零样本检测性能显著提升

前置知识

区域建议网络（RPN）

区域建议网络是两阶段目标检测器的关键组件，通过滑动窗口或锚点机制生成稀疏的候选框集合，为后续的分类和精确定位提供候选区域。传统RPN依赖于预设的锚点框和特征金字塔，通过分类和回归分支判断每个位置是否存在对象并预测边界框偏移量。

PF-RPN是对传统RPN的根本性改进，理解RPN的工作原理对于理解PF-RPN如何通过可学习嵌入替代文本提示至关重要。

开放词汇目标检测（OVD）

开放词汇目标检测旨在检测训练集中未见过的类别对象，通过将视觉特征与文本特征对齐，利用类别名称或示例图像作为提示来扩展检测能力。典型方法如GLIP、Grounding DINO等通过对比学习实现视觉-语言对齐，在固定词汇表外进行泛化。

PF-RPN建立OVD方法基础，但消除了其对文本提示的依赖，理解OVD的局限性有助于理解PF-RPN的创新动机和技术路线。

混合专家模型（MoE）

混合专家模型由多个专家网络和一个门控路由器组成，路由器根据输入动态选择激活哪些专家。相比密集模型，MoE可以在保持参数量的同时提高计算效率，通过稀疏激活机制实现不同专家处理不同类型的输入。

PF-RPN中的SIA模块采用MoE架构来选择最相关的特征层级，理解MoE的工作原理有助于理解SIA如何实现稀疏的自适应特征融合。

交叉注意力机制

交叉注意力源自Transformer架构，允许一个序列的元素通过注意力机制查询另一个序列的信息。在计算机视觉中，常用于视觉-语言对齐或多模态特征融合，通过计算查询、键、值之间的相似度权重来聚合相关信息。

PF-RPN使用交叉注意力将可学习嵌入与选定的视觉特征进行交互，理解交叉注意力有助于理解SIA模块如何动态更新查询嵌入。

中心度评分（Centerness）

中心度是衡量预测框中心与真实目标中心重合程度的指标，用于惩罚远离目标中心的预测。通常基于预测框到边界框四条边距离的比值计算，接近目标中心的预测获得更高的中心度分数，帮助抑制低质量边界框。

CG-QS模块利用中心度先验选择高质量查询，理解中心度的计算和作用有助于理解PF-RPN如何提升提案质量。

研究动机

现有目标检测中的区域建议网络在跨域场景下存在严重局限性。传统RPN（如Faster R-CNN中的RPN）在训练数据分布外的未知领域往往无法准确识别潜在对象。开放词汇检测方法（如GLIP、Grounding DINO）虽然通过视觉-语言对齐实现了跨类别泛化，但必须依赖文本类别名称或示例图像作为提示。这种依赖在工业缺陷检测、水下目标检测、遥感图像分析等实际应用场景中造成严重障碍——这些场景往往无法预知目标类别或获取示例图像。例如，在工业生产线上检测新型缺陷时，缺陷类型未知且难以预先定义类别名称；在水下生物调查中，物种种类繁多且难以收集所有物种的样本图像。此外，基于生成式视觉语言模型的提示自由方法（如GenerateU、CapDet）虽然消除了手动标注需求，但引入了巨大的计算开销和延迟，一个大型 captioner 模型的推理时间可能比检测器本身还要长，使得这些方法难以在实际部署中应用。

本文的目标是本文的目标是设计一个无需任何外部提示的通用区域建议网络，能够在未知领域准确识别潜在目标对象。具体而言，该模型应该：（1）完全独立于文本类别名称、示例图像或其他形式的外部提示；（2）仅使用视觉特征进行推理，避免计算昂贵的文本编码器；（3）在有限的训练数据（如COCO数据集的5%）上训练后，能够直接泛化到各种下游应用场景而无需额外微调；（4）保持高效的推理速度，适合实时或准实时应用；（5）在性能上超越需要提示的传统OVD方法和现有的提示自由方法。通过实现这些目标，PF-RPN将极大扩展目标检测技术在开放世界场景下的适用性，使其能够在没有任何先验知识的情况下处理全新的检测任务。

与已有工作不同的是，本文的独特切入角度在于提出用可学习的视觉嵌入替代文本嵌入，作为目标类别的代理表示。与现有方法形成鲜明对比：传统OVD方法将视觉特征与文本类别嵌入对齐，提示自由的生成方法使用大型captioner生成目标名称，而本文的方法完全避免文本模态，通过让模型学习一个通用的目标性表示来自主发现图像中的潜在对象。这个可学习嵌入通过SIA模块与图像特征进行多级交互，通过CSP模块级联自提示迭代优化，最终通过CG-QS模块基于中心度先验选择高质量查询。这种设计从根本上消除了对文本提示的依赖，同时避免了生成方法的计算开销。另一个独特的角度是观察到目标内部特征比可学习嵌入本身具有更强的定位能力，这启发了CSP模块的迭代自提示机制——利用已识别目标区域的视觉特征来发现更多潜在目标。这种从利用已知找未知的思路与现有方法有本质不同，使得模型能够在完全无提示的情况下逐步扩展对潜在目标的覆盖范围。

核心方法

PF-RPN的整体架构遵循特征提取-自适应编码-级联细化-质量筛选的技术路线。首先，图像编码器（如Swin Transformer或ResNet）提取多级特征图 $F^I_i \in \mathbb{R}^{H_i \times W_i \times C}$，其中 $i \in \{1, \cdots, 4\}$ 对应不同的空间分辨率和语义层次。接下来，稀疏图像感知适配器（SIA）模块通过MoE路由器从多级特征中选择信息量最大的k个层级，将可学习嵌入 $F^T$ 与选定的视觉特征通过交叉注意力进行交互，动态更新嵌入表示。随后，级联自提示（CSP）模块从深层到浅层迭代细化更新后的嵌入，通过计算余弦相似度生成掩码并执行掩码平均池化，逐步扩展目标一致的激活区域。最后，中心度引导查询选择（CG-QS）模块使用轻量级MLP预测每个查询的中心度分数，结合分类分数选择高质量的候选查询集合，通过解码器生成最终的边界框提案。整个框架在ImageNet的伪边界框数据和COCO检测数据上联合训练，使用回归损失、对比损失、路由损失和中心度损失进行优化。这种设计使得模型能够仅利用视觉信息自主发现潜在目标，无需任何文本或图像提示。

PF-RPN的核心创新在于提出用可学习的视觉嵌入完全替代文本嵌入作为目标类别的代理表示，并通过三个相互协同的模块实现高效的无提示目标发现。第一个创新点是SIA模块的稀疏自适应机制，它打破了传统方法简单融合所有多级特征的惯例，而是通过MoE路由器选择与当前查询最相关的特征层级，既避免了无关噪声又实现了与目标尺度的自适应匹配。第二个创新点是CSP模块的级联自提示策略，利用目标内部特征定位能力更强的观察，通过迭代的方式让已发现的视觉特征引导嵌入发现更多潜在目标，这种滚雪球式的扩展机制在无需外部提示的情况下逐步覆盖图像中的所有目标区域。第三个创新点是CG-QS模块的中心度先验，该模块基于靠近目标中心的查询生成更准确提案的观察，引入中心度评分网络来优先选择高质量查询，有效抑制边界附近的低质量预测。这三个模块的有机结合使得PF-RPN能够在完全无提示的情况下实现跨域的高质量目标提案，性能超越需要大量计算资源的生成方法。

方法步骤详情

PF-RPN的工作流程包含四个主要步骤，每个步骤都有明确的输入、输出和具体操作。第一步是特征提取，输入为原始图像 $I$，输出为4个不同分辨率的特征图 $\{F^I_1, F^I_2, F^I_3, F^I_4\}$。具体操作是使用预训练的图像编码器（如Swin-B）通过多尺度架构提取多级特征，其中浅层特征具有高空间分辨率适合小目标，深层特征具有高语义层级适合大目标。第二步是稀疏图像感知适配，输入为初始可学习嵌入 $F^T$ 和多级特征图 $F^I_i$，输出为更新后的嵌入 $\tilde{F}^T$。具体操作包括：（1）对每个特征图计算全局平均池化得到紧凑特征 $\bar{F}^I_i$；（2）使用MoE路由器 $Router(\bar{F}^I_i)$ 预测每个层级的重要性权重 $w_i$；（3）选择top-k（k=2）层级并归一化权重；（4）对于每个选定层级，将 $F^T$ 作为查询，拼接的全局和局部特征 $[\bar{F}^I_{\sigma(j)}, F^I_{\sigma(j)}]$ 作为键值对，通过交叉注意力更新嵌入。第三步是级联自提示细化，输入为SIA更新的嵌入 $\tilde{F}^T$ 和多级特征图，输出为精细化的嵌入 $\tilde{F}_4^T$。具体操作从深层到浅层进行迭代（共3次），每次迭代计算当前嵌入与特征图的余弦相似度，生成二值掩码 $M_i = \mathbb{1}\{\cos(\tilde{F}_{i-1}^T, F^I_i) > \delta\}$（阈值 $\delta=0.3$），通过掩码平均池化 $\tilde{F}_i^T = \tilde{F}_{i-1}^T \oplus \text{MAP}(M_i, F^I_i)$ 更新嵌入。第四步是中心度引导查询选择，输入为细化后的嵌入和多级特征图，输出为最终的边界框提案。具体操作包括：（1）将多级特征展平作为记忆库；（2）使用MLP中心度网络预测每个查询的中心度分数 $g_i$；（3）结合分类分数（嵌入与查询的点积）和中心度分数选择top-N查询；（4）通过解码器生成边界框并计算回归、分类和中心度损失进行监督。

技术新颖性

PF-RPN的技术新颖性体现在多个方面。首先，它首次提出完全基于视觉模态的无提示区域建议范式，与现有OVD方法依赖文本提示、生成方法依赖大型captioner形成鲜明对比。这种范式在保持强泛化能力的同时，避免了文本编码器的计算开销（VRAM使用降低96%，推理速度提升约5倍）。其次，SIA模块创新性地将视觉特征路由机制引入RPN，通过MoE实现特征层级的稀疏自适应选择，这与传统方法简单拼接或密集融合所有层级有本质区别。实验表明MoE的引入带来+2.1 AR100的性能提升（58.6 vs 60.7）。第三，CSP模块首次将迭代自提示概念应用于无提示目标检测，利用目标内部特征定位能力更强的观察设计级联细化策略，从可视化结果看3次迭代使目标覆盖率显著提升。第四，CG-QS模块将中心度先验引入查询选择过程，这在传统RPN中从未尝试过，实验显示加入该模块后False Positive在Top-100设置下从18.2降至17.1（DeViT基线），同时AP提升5.0。最后，PF-RPN实现了在仅使用5% COCO和5% ImageNet数据训练的情况下，在19个跨域数据集上实现零样本泛化，这种数据效率在现有方法中是前所未有的，数据消融实验显示从1%增加到5%带来+1.6 AR100的提升，进一步增加至10%仅带来+0.2提升，表明该方法具有良好的数据效率。

**Figure 1**: Existing visual/text prompt based OVD methods typically rely on predefined categories or exemplar images to propose potential objects for the target image. Recent prompt-free OVD methods often leverage VLMs to generate textual descriptions for the target image to localize potential objects which introduce considerable latency costs. In contrast, our PF-RPN doesn't require any external prompts and only utilizes visual features to generate high-quality proposals.

**Figure 2**: Overall architecture of our PF-RPN. It comprises three core components: (1) the Sparse Image-Aware Adapter (SIA) module, which adaptively integrates multi-level feature maps FiI with a learnable embedding F T via a routing mechanism and cross-attention; (2) the Cascade Self-Prompt (CSP) module, which iteratively refines the embedding through masked average pooling across multiple visual levels; (3) the Centerness-Guided Query Selection (CG-QS) module, which decodes the features into final predictions optimized by contrastive, regression, and centerness losses.

**Figure 3**: Effect of iterations in the Cascade Self-Prompt module. Visualization of region selection across different Cascade Self-Prompt iterations. Green points indicate the object regions selected by the model in the current iteration.

**Figure 4**: Effect of the Sparse Image-Aware Adapter. Visualization of similarity heatmaps between the learnable embedding and image features before and after the module update. Each pair of heatmaps (top: before, bottom: after) corresponds to the same image.

**Figure 5**: Effect of the Centerness-Guided Query Selection. Visualization of query selection before and after applying the Centerness-Guided Query Selection (CG-QS) module. Each pair of heatmaps (top: before, bottom: after) corresponds to the same image.

**Figure 7**: Prediction box comparison. The red box corresponds to the query indicated by the red star, while the blue box corresponds to the query indicated by the blue star. It can be observed that the query located near the object center produces a more accurate bounding box than queries near object boundaries.

实验结果

PF-RPN在跨域目标建议任务上取得了显著的性能提升，在CD-FSOD基准上实现了60.7/65.3/68.2的AR100/300/900，相比基线Grounding DINO（使用object作为提示）提升7.8/11.8/13.5，相比传统Cascade RPN提升14.9/13.3/11.3。在ODinW13基准上取得了76.5/78.6/79.8的AR100/300/900，相比Grounding DINO提升7.4/7.7/7.4，相比Cascade RPN提升15.6/13.1/9.6。这些改进在不同候选框数量（100、300、900）上保持一致，表明PF-RPN不仅在提案质量上提升，在整体召回率上也全面超越基线。在尺度分解方面，PF-RPN在小目标（ARs）上表现尤其突出，CD-FSOD上达到38.5相比基线34.1提升4.4，ODinW13上达到45.4相比基线40.8提升4.6，这表明CSP模块的级联细化策略有效改善了小目标的检测能力。模块消融实验显示SIA、CSP、CG-QS三个模块分别贡献了+4.9、+2.4、-0.6的AR100增益（相比基线52.9），全模型达到60.7。MoE消融实验显示移除MoE后性能从60.7降至58.6（-2.1），验证了稀疏自适应选择的有效性。数据消融实验表明仅使用5% COCO数据即可达到58.8 AR100，加入5% ImageNet后提升至60.7，进一步增加数据至10%仅带来0.2提升，证明了方法的数据效率。与基线检测器集成实验显示，将PF-RPN集成到DE-ViT和CD-ViTO中分别带来3.7 AP和5.5 AP的提升，证明了方法的可扩展性。在False Positive分析中，PF-RPN在Top-100提案设置下相比DeViT基线将FP从18.2降至17.1，同时AP从32.3提升至37.3（+5.0），这表明CG-QS模块有效提升了提案质量，优先选择了更接近真实目标的候选框。

**Table 1**: Comparison with OVD models, MLLMs, and RPNs. The best results are highlighted in bold. AR100/300/900 denotes the average recall under 100/300/900 candidate boxes, respectively, and ARs/m/l denotes the average recall for small/medium/large objects.

**Table 2**: Results of module ablation studies. SIA denotes the Sparse Image-Aware Adapter, CSP denotes the Cascade Self-Prompt module and CG-QS denotes the Centerness-Guided Query Selection module.

**Table 3**: Results of data ablation studies. COCO denotes the COCO dataset and IN denotes the ImageNet dataset.

**Table 5**: Ablation study on the effectiveness of the MoE module.

**Table 7**: Ablation study of parameter k in the Sparse Image-Aware Adapter module on the CD-FSOD benchmark.

**Table 8**: Ablation study of parameter lambda in the Objective Loss on CD-FSOD benchmark.

**Table 9**: Latency and performance analysis of different CSP iterations on the CD-FSOD benchmark.

**Table 13**: Comparison with open-source prompt-free methods regarding performance and efficiency.

**Table 11**: Analysis of false positives on different baselines under varying top proposal settings.

**Table 4**: Results with different backbones. The best results for each baseline are highlighted in bold.

**Figure 6**: Qualitative results of PF-RPN on several object detection benchmarks. PF-RPN exhibits strong cross-domain generalization and localization ability, accurately proposing potential object regions without any domain-specific fine-tuning.

**Figure 9**: Detailed performance (AR) trends on all 19 target datasets compared to alternative methods.

查看结构化数据

任务	指标	本文	基线	提升
跨域少样本目标检测（CD-FSOD）- AR100	Average Recall (AR100)	60.7	Grounding DINO (prompt-free)	+7.8
跨域少样本目标检测（CD-FSOD）- AR300	Average Recall (AR300)	65.3	Grounding DINO (prompt-free)	+11.8
跨域少样本目标检测（CD-FSOD）- AR900	Average Recall (AR900)	68.2	Grounding DINO (prompt-free)	+13.5
开放域目标检测（ODinW13）- AR100	Average Recall (AR100)	76.5	Grounding DINO (prompt-free)	+7.4
开放域目标检测（ODinW13）- AR300	Average Recall (AR300)	78.6	Grounding DINO (prompt-free)	+7.7
开放域目标检测（ODinW13）- AR900	Average Recall (AR900)	79.8	Grounding DINO (prompt-free)	+7.4
CD-FSOD小目标（ARs）	Average Recall for small objects	38.5	Grounding DINO (prompt-free)	+4.4
CD-FSOD中目标（ARm）	Average Recall for medium objects	61.9	Grounding DINO (prompt-free)	+12.6
CD-FSOD大目标（ARl）	Average Recall for large objects	80.3	Grounding DINO (prompt-free)	+13.3

局限与改进

作者在论文中明确指出了PF-RPN的一些局限性。首先，虽然PF-RPN在跨域泛化上表现优异，但在极端领域偏移下（如从自然图像到医学图像）性能可能下降，这是因为视觉特征的语义鸿沟依然存在。其次，方法对超参数较为敏感，特别是CSP模块中的相似度阈值delta和迭代次数需要针对不同任务进行调优，虽然论文中通过消融实验确定了默认设置（delta=0.3，迭代3次），但在特定场景下可能需要重新调整。第三，尽管相比生成方法大幅降低了计算开销，PF-RPN的迭代级联机制仍引入了约4.6ms的额外延迟（从214.3ms到218.9ms），在超低延迟要求的边缘设备部署时可能需要进一步优化。作者在False Positive分析中提到，PF-RPN作为RPN设计为检测所有潜在对象，不可避免会提出任务无关区域，产生False Positive，虽然相比基线有所改善但无法完全消除。此外，从我的观察来看，PF-RPN在极高密度场景（如拥挤人群、密集货架）下可能出现误检合并，因为中心度先验可能无法有效处理严重遮挡情况。方法对极小目标（如小于16×16像素）的检测能力也有提升空间，虽然ARs相比基线有提升，但在CD-FSOD上38.5的性能仍有改进余地。最后，PF-RPN主要针对2D图像检测，尚未扩展到3D点云或视频场景，这限制了其在自动驾驶、视频监控等领域的直接应用。

独立分析的弱点

基于对论文的深入分析，PF-RPN存在以下可改进的弱点。首先，在极高密度场景下，多个目标严重重叠时，中心度先验可能导致查询选择偏向目标中心区域密集的位置，忽略边缘或被遮挡的目标，这可以通过引入遮挡感知机制或基于IoU的去重策略来缓解。第二，极小目标检测能力有限，虽然CSP模块通过级联细化改善了小目标召回率，但16×16像素以下的目标仍可能丢失，可以通过引入专门的小目标分支或调整特征金字塔的尺度范围来改进。第三，相似度阈值delta是固定设置（0.3），在不同场景下可能过于严格或宽松，可以设计自适应阈值机制，根据图像复杂度或特征置信度动态调整。第四，CSP模块的迭代策略是固定的从深到浅顺序，但在某些情况下可能需要从浅到深或并行处理，可以探索动态迭代顺序或并行分支架构来提升效率。第五，MoE路由器的选择策略仅基于全局平均池化特征，可能忽略局部空间细节，可以引入空间感知的路由机制，结合局部特征图和全局特征进行更精细的层级选择。第六，中心度评分网络仅考虑几何距离，未利用语义一致性或边界置信度等信息，可以设计多因素融合的质量评估指标来提升查询选择准确性。第七，模型的可解释性有限，虽然提供了可视化分析，但难以理解可学习嵌入学到了什么样的目标性表示，可以引入嵌入空间分析或原型学习来提升可解释性。针对这些弱点，未来的改进方向包括：设计自适应超参数机制、引入遮挡感知的目标分解策略、扩展多尺度特征融合范围、探索动态迭代架构、提升可解释性等。

未来方向

作者在论文中未明确列出未来工作方向，但基于研究成果和技术路线，可以延伸出多个有价值的未来研究方向。首先，将PF-RPN扩展到3D目标检测和视频目标检测，将无提示理念从2D图像推广到三维空间和时序维度，这对于自动驾驶、机器人视觉等应用具有重要意义。第二，探索与多模态大语言模型（MLLMs）的结合，虽然PF-RPN消除了对文本提示的依赖，但在需要细粒度语义理解的场景下，可以将PF-RPN生成的提案输入MLLM进行更高级的推理和解释。第三，研究端到端的训练策略，虽然PF-RPN可以直接集成到现有检测器中，但探索与下游检测器联合训练可能进一步提升整体性能。第四，设计更高效的可学习嵌入学习机制，当前的嵌入是通过对比学习间接优化的，可以探索更直接的学习目标，如基于目标密度的损失函数。第五，扩展到开放集目标检测，不仅发现潜在目标，还能识别未知类别并与已知类别区分，这需要引入不确定性估计和新颖性检测机制。第六，研究在极低数据甚至无监督设置下的预训练策略，虽然PF-RPN已经表现出良好的数据效率，但探索自监督或对比学习预训练可能进一步提升泛化能力。第七，设计更轻量级的架构以适应移动设备部署，虽然PF-RPN已经相比生成方法大幅降低开销，但在资源受限环境下仍需进一步优化。第八，探索与其他计算机视觉任务的结合，如实例分割、关键点检测、姿态估计等，将无提示理念扩展到更广泛的视觉感知任务。这些研究方向不仅有助于改进PF-RPN本身，也能推动无提示、跨域视觉理解领域的整体发展。

复现评估

PF-RPN的复现情况良好，作者已在GitHub上开源代码（https://github.com/tangqh03/PF-RPN），包括模型架构、训练脚本和评估代码。实验使用的训练数据相对易于获取：COCO 2017数据集的5%（约3000张图像）和ImageNet的5%（约50000张图像），数据规模适中便于复现。计算资源方面，论文报告使用4张NVIDIA RTX 4090 GPU进行训练，考虑到模型规模相对较小（基于Swin-B骨干网络），在较高端的GPU配置（如单张RTX 3090或A100）上应该也能完成训练，可能需要适当调整批大小。推理效率方面，PF-RPN的FPS为4.6（基于Swin-B），VRAM占用约0.5G，相比基线GDINO（12.2G）大幅降低，这使得在中等配置GPU上进行推理成为可能。超参数设置在论文中有详细说明：CSP迭代次数为3，相似度阈值delta=0.3，MoE的k=2，中心度损失权重lambda=5，这些都是通过消融实验确定的合理默认值。复现难度主要在于：需要正确实现三个核心模块（SIA、CSP、CG-QS）的复杂交互，特别是MoE路由器和级联迭代机制的实现细节；需要准备带有伪边界框的ImageNet数据，这需要额外的数据预处理步骤；需要仔细调整学习率、批大小等训练超参数以匹配论文报告的性能。总体而言，PF-RPN的复现难度中等，对于熟悉目标检测和PyTorch框架的研究者来说，在1-2周内应该能够成功复现主要实验结果。代码开源程度和数据可获得性使得该方法具有较强的可复现性和可扩展性。

无提示通用区域建议网络 Prompt-Free Universal Region Proposal Network