检索与分割：几个示例能否弥合开放词汇分割中的监督鸿沟？ Retrieve and Segment: Are a Few Examples Enough to Bridge the Supervision Gap in Open-Vocabulary Segmentation?
通过检索增强的测试时适配器，融合文本与视觉支持实现开放词汇语义分割
前置知识
开放词汇分割 (Open-Vocabulary Segmentation, OVS)
开放词汇分割是语义分割的扩展，允许模型在测试时对任意类别进行像素级预测，而不仅限于训练时见过的固定类别集合。传统语义分割模型需要密集的像素级标注，且只能识别训练集中定义的类别。OVS 利用视觉-语言模型（VLM）将图像和文本映射到共享嵌入空间，使得模型可以通过文本提示（如类别名称）来指定要分割的类别，从而实现零样本泛化。但纯文本指导的 OVS 在精度上仍远落后于全监督方法。
本文的核心任务就是在 OVS 框架下提出改进方案，理解 OVS 的基本设定、优势和局限是理解全文研究动机的前提。
视觉-语言模型 (Vision-Language Model, VLM)
VLM 是通过对比学习在大规模图像-文本数据集上训练的模型，如 CLIP、OpenCLIP 等。它学习一个共享的嵌入空间，使得匹配的图像-文本对距离更近，不匹配的则距离更远。VLM 的图像编码器将图像映射为 patch 级特征矩阵，文本编码器将类别名称映射为文本类特征。两者通过点积相似度计算预测概率。本文使用 OpenCLIP ViT-B/16、DINOv3.txt ViT-L/16 和 SigLIP2 ViT-L/16 三种骨干网络。
RNS 的整个方法建立在 VLM 特征之上，理解 VLM 的特征提取机制（patch 特征、文本特征、模态间隙）是理解方法技术细节的基础。
检索增强生成 (Retrieval-Augmented Generation/Adaptation)
检索增强是一种通过动态检索与当前输入相关的外部知识来增强模型预测能力的范式。在语言模型中，检索增强通过查找相关文档来补充模型的知识。在视觉任务中，类似地可以通过检索与测试图像相似的支持集样本来构建更有效的分类器。本文将这一思想引入语义分割：在测试时从视觉支持集中检索与测试图像 patch 最相似的特征，用于训练轻量级线性分类器。
RNS 中的 'Retrieve' 正是这一思想的体现，检索机制是方法的核心组件之一，决定了哪些支持特征被用于测试时适应。
测试时适应 (Test-Time Adaptation, TTA)
测试时适应是在推理阶段对模型进行调整的技术，使其更好地适应当前输入。与传统的离线训练不同，TTA 在每个测试样本上独立进行优化。常见方法包括 TPT（测试时提示调优）和自监督目标优化。本文的 TTA 方式是为每张测试图像训练一个轻量级线性分类器，使用检索到的支持特征作为训练数据，通过交叉熵损失进行优化，仅需 700 步训练，耗时不到 1 秒。
RNS 的核心创新在于其测试时适应策略——为每张图像训练个性化分类器，而非使用全局固定的分类器。理解 TTA 的概念有助于把握这一设计选择的优势。
SAM (Segment Anything Model)
SAM 是 Meta 提出的通用分割模型，能够为图像中的任意对象生成高质量的 mask 提案（region proposals）。本文使用 SAM 2.1 Hiera-L 作为区域提案生成器，通过 32x32 的点网格生成 mask。在 RNS 中，SAM 的 mask 提案用于将 patch 级特征聚合为区域级特征，从而获得更精确的对象边界。实验表明，使用 SAM 区域提案比直接使用 patch 特征能获得更好的分割精度。
SAM 在 RNS 中提供了一个可选的区域提案模块，理解其作用有助于评估方法在不同配置下的性能表现和计算开销权衡。
研究动机
开放词汇分割（OVS）虽然借助视觉-语言模型实现了对任意类别的零样本分割能力，但其性能与全监督方法之间仍存在巨大差距。两个核心问题导致了这一差距：第一，VLM 的训练使用图像级的粗粒度对比监督，而语义分割需要精细的像素级预测，这种粒度不匹配导致 VLM 在密集定位任务上表现不佳。第二，自然语言监督存在语义歧义性——语言虽然赋予了模型开放词汇的能力，但文字描述往往缺乏像素级任务所需的精确性。例如，仅使用文本支持时，模型容易将骑手误分类为摩托车，或在背景区域产生幻觉预测。现有方法如 kNN-CLIP 和 FREEDA 尝试融合文本和视觉信息，但依赖手工设计的融合策略，在支持集增大时性能反而下降，且当部分类别缺少视觉示例时性能急剧下降。
本文的目标是本文的具体目标是：通过引入少样本设置，用少量带像素级标注的视觉示例补充文本提示，显著缩小零样本 OVS 与全监督分割之间的性能差距，同时保持开放词汇的泛化能力。量化目标是使用每类仅 1 张支持图像就能获得显著提升（在 DINOv3.txt 上提升 18.4% mIoU），使用 20 张支持图像时将与全监督方法的差距缩小到 11.5 个百分点以内。
与已有工作不同的是，本文的独特切入角度在于三个方面：首先，与现有方法依赖手工设计的晚期融合不同，RNS 提出学习式的逐图像融合机制，让模型自己学习如何组合文本和视觉信息。其次，RNS 利用检索机制动态选择与当前测试图像最相关的支持特征，而非使用全部支持集，这使得训练集的有效规模保持稳定。第三，RNS 支持动态扩展的支持集，可以在推理过程中持续添加新的视觉示例，这一特性使其天然适合开放世界的动态场景和个性化分割任务。这些设计共同使得 RNS 能够在少样本条件下有效利用视觉支持，同时在视觉支持缺失时优雅退化到零样本能力。
核心方法
RNS 的整体思路可以类比为一个经验丰富的标注员：当面对一张新图像时，他不仅参考类别的文字定义（文本支持），还会翻阅之前标注过的类似图片（视觉支持），然后根据当前图像的具体情况做出判断。技术上，RNS 分为三个阶段：第一，支持集构建——从带标注的支持图像中提取视觉类特征，与文本类特征融合生成融合类特征集；第二，检索——在测试时为每张测试图像检索最相关的支持特征；第三，测试时适应——用检索到的特征训练一个轻量级线性分类器，对测试图像进行像素级预测。整个过程不修改 VLM 骨干网络参数，仅在测试时训练一个简单的线性层，实现了高效且轻量的适应。
RNS 的核心创新是学习式的逐图像模态融合，而非手工设计的融合策略。已有方法如 kNN-CLIP 和 FREEDA 使用固定的权重或启发式规则来组合文本和视觉信息，这种刚性融合在模态冲突或某一模态不可靠时往往失效。RNS 的关键设计是融合类特征，通过混合系数将文本类特征和视觉类特征线性组合。通过使用一组混合系数集合捕捉来自两个模态的多样化互补信息。更重要的是，这种融合是在测试时通过学习完成的——线性分类器在训练过程中自动学习如何利用这些不同融合比例的特征，实现了真正的自适应融合。此外，类相关性权重用于抑制与测试图像无关的检索特征，进一步提升了适应的质量。
方法步骤详情
RNS 的完整流程包括以下步骤：（1）视觉支持特征提取：对每张支持图像提取 patch 特征矩阵，将下采样的真值标签用于池化得到每图像视觉类特征，所有支持图像的特征聚合为视觉类特征。（2）融合类特征构建：通过混合系数将文本类特征和视觉类特征线性组合，对多个 lambda 值生成融合类特征集。（3）测试时检索：对测试图像的每个 patch 特征，从视觉支持特征集中检索 k=4 个最近邻，合并为检索视觉支持特征集。（4）测试时训练：使用视觉支持损失（在检索到的支持特征上计算交叉熵）、融合支持损失（在检索类对应的融合特征上计算交叉熵）和伪标签损失（用 KL 散度对融合特征进行伪标签监督）训练线性分类器。（5）推理：将训练好的分类器应用于测试图像的 patch 特征得到预测图，上采样到原始分辨率得到最终分割结果。整个训练过程仅需 700 步优化，在 A100 GPU 上耗时不到 1 秒。
技术新颖性
RNS 的技术新颖性体现在几个层面：首先，与 kNN-CLIP 使用 k 近邻投票进行非参数分类不同，RNS 使用检索到的特征作为训练数据来学习参数化分类器，这使得模型能够更好地泛化。其次，与 FREEDA 使用扩散模型生成合成视觉原型不同，RNS 直接使用真实的支持图像特征，避免了生成模型引入的噪声和领域偏移。第三，RNS 的伪标签损失是一个创新设计——当部分类别缺少视觉支持时，通过测试图像自身的零样本预测生成伪标签，再用 KL 散度约束分类器输出与伪标签一致，这使得模型能够优雅地处理部分支持场景。第四，RNS 支持持续扩展的动态支持集，新支持图像到达时只需更新特征集而无需重新训练，这在已有方法中是独有的能力。
实验结果
RNS 在六个 OVS 基准数据集（VOC、Context、COCO Object、COCO-Stuff、Cityscapes、ADE20K）上进行了全面实验。在完整文本和视觉支持设置下，RNS 在所有数据集、所有骨干网络和所有输入粒度上都一致性地超越了所有竞争方法。具体而言，使用 OpenCLIP ViT-B/16 骨干网络时，RNS 在每类仅 1 张支持图像（B=1）的情况下比零样本基线提升 7.3% mIoU；使用更强的 DINOv3.txt ViT-L/16 时，B=1 的提升高达 18.4% mIoU。值得注意的是，随着支持图像增加，RNS 的性能持续增长，而 kNN-CLIP 的手工融合策略在 B=5 之后反而开始拖累性能。在 B=20 时，RNS 使用 DINOv3.txt 达到 61.9% 平均 mIoU，将与全监督方法（73.4%）的差距缩小到仅 11.5 个百分点，同时比零样本基线提升了 34 个百分点。RNS 还超越了需要在 COCO 上训练的 CAT-Seg 方法 14.1 个百分点，尽管后者使用了更多的像素级标注（118k 对比 RNS 的 964 张）。在部分支持场景中，RNS 表现出色：当部分类别缺少视觉示例时，RNS 的性能平滑下降，而 kNN-CLIP 和 FREEDA 则迅速退化甚至低于零样本基线。消融实验证明了各组件的重要性：移除类相关性权重导致平均 0.39-0.48 mIoU 的下降，使用单一融合系数 lambda=0.8 在 B=1 时下降 5.19，完全移除文本支持在 B=1 时下降 7.48。检索机制的消融实验证明了其关键作用：用随机子集替换检索特征导致性能大幅下降。在域外支持集实验中，即使使用语义模糊的域外图像（如被雪覆盖的人行道），RNS 仍能超越零样本基线。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 开放词汇语义分割（6个数据集平均，OpenCLIP ViT-B/16） | mIoU (%) | B=1: 40.4, B=20: 51.6 | 零样本: 31.7, kNN-CLIP B=1: 35.0, CAT-Seg: 47.8 | B=1 比零样本 +8.7, B=20 比 CAT-Seg +3.8 |
| 开放词汇语义分割（6个数据集平均，DINOv3.txt ViT-L/16） | mIoU (%) | B=1: 49.9, B=20: 61.9 | 零样本: 27.9, 全监督: 73.4 | B=1 比零样本 +22.0, B=20 与全监督差距仅 11.5 |
| 部分视觉支持（OpenCLIP，30%类无视觉示例） | mIoU (%) | 约 38 | kNN-CLIP: 约 30, FREEDA: 约 28, 零样本: 约 32 | 比零样本 +6, 比 kNN-CLIP +8 |
| 个性化分割 | 定性结果 | 成功区分特定实例（如带翠鸟图案的盘子） | 通用类别分割器无法区分 | 支持动态添加实例级示例 |
局限与改进
RNS 存在以下局限性：首先，测试时适应需要为每张测试图像训练一个线性分类器，虽然在 A100 上不到 1 秒，但仍比纯前馈方法（如 kNN-CLIP）慢，消融实验显示减少训练迭代次数可以在保持大部分性能的同时降低计算开销。其次，当使用 SAM 区域提案时，SAM 并不总是尊重语义粒度——它可能合并不同的语义区域或分割同一对象，导致歧义。第三，RNS 在域外支持集上的表现明显弱于域内支持，尽管仍优于零样本基线，但支持集的领域匹配性对性能有显著影响。第四，个性化分割中存在失败案例——当上下文信息不足时，模型可能依赖颜色线索而非语义理解进行判断，例如将橙色毛巾误分割为泳衣。第五，作者未报告 RNS 在视频分割或多帧场景下的表现，其对时序一致性的支持尚不清楚。
独立分析的弱点
从独立分析的角度看，RNS 有以下可改进的弱点：第一，线性分类器的表达能力有限——它只能学习线性决策边界，对于复杂类别间的非线性关系可能力不从心。改进方向是使用轻量级的两层 MLP 或带有注意力机制的小型分类头，在保持测试时效率的同时增强表达能力。第二，检索机制基于简单的 kNN 在特征空间中的欧氏距离，可能无法捕捉更复杂的相似性关系。可以考虑使用学习式的检索模型，或者引入多尺度、多粒度的检索策略。第三，融合系数是固定的超参数集合，缺乏自适应性。一个改进方向是根据测试图像的特征和检索结果的质量动态调整融合系数的分布。第四，类相关性权重仅基于图像全局特征与文本特征的相似度计算，可能忽略局部区域的信息。可以考虑使用区域级的相关性估计。第五，在面对域外支持集时性能下降明显，说明视觉特征的泛化能力仍有提升空间，可以通过域自适应或特征增强技术来改善。
未来方向
基于 RNS 的成果，未来研究可以从以下几个方向展开：首先，将 RNS 扩展到视频语义分割和时序一致性建模，利用帧间检索来维持时间维度上的一致性。其次，探索更高效的测试时适应策略，例如使用元学习来学习初始化参数，使得分类器能够在更少的优化步骤内收敛。第三，将 RNS 的动态支持集机制与主动学习结合，智能选择最有价值的支持示例以最大化性能提升。第四，研究 RNS 在 3D 场景理解（如点云分割）中的应用，检索增强的范式可以自然地扩展到三维空间。第五，探索 RNS 在医疗影像、遥感等专业领域的应用，这些领域往往文本描述困难但视觉示例可用。作者提到的个性化分割方向也值得深入研究，包括少样本实例分割和目标跟踪任务。
复现评估
RNS 的复现条件较为友好。代码已开源（论文明确声明），使用的主要骨干网络（OpenCLIP ViT-B/16）和区域提案模型（SAM 2.1 Hiera-L）都是公开可用的预训练模型。数据集方面，使用的六个基准数据集（VOC、Context、COCO Object、COCO-Stuff、Cityscapes、ADE20K）均为广泛使用的公开数据集。算力需求方面，测试时适应在单张 NVIDIA A100 GPU 上不到 1 秒即可完成，训练支持特征的提取是一次性的离线操作。论文详细报告了所有超参数设置（k=4, tau=0.1, beta_f=1.5, beta_p=0.2, Lambda={0.9,0.8,0.6,0.4,0.2,0.0}，训练 700 步，学习率 0.02，Adam 优化器），并提供了每个数据集的详细结果。复现难度较低，主要挑战在于正确实现特征提取和 kNN 检索的流水线。
论文图表
