← 返回 2026-04-16

ROSE:面向检索的分割增强框架 ROSE: Retrieval-Oriented Segmentation Enhancement

Song Tang, Guangquan Jie, Henghui Ding, Yu-Gang Jiang 📅 2026-04-15 👍 4 2026-07-13 08:36
SAM 多模态大模型 开放世界分割 新兴实体分割 检索增强生成(RAG) 视觉-语言分割
arXiv HuggingFace PDF

为多模态分割模型外挂实时检索,提升新兴实体分割精度19.2% gIoU

前置知识

检索增强生成 (RAG)

RAG 在推理时从外部知识库检索与用户查询相关的文档或网页,把检索结果附加到 LLM 的 prompt 中以补充其训练截止后缺失的事实,典型流水线包含查询改写、向量检索、重排序与答案合成四个步骤。

ROSE 的核心思想是把 RAG 从纯文本生成任务移植到像素级分割任务,理解标准 RAG 的检索-合成两段式是看懂 IRAG 模块如何选答案、如何找参考图的前提。

多模态大语言模型 (MLLM) 与 [SEG] token

MLLM 把视觉编码器与 LLM 拼接,通过特殊 token (如 LISA 提出的 [SEG]) 让模型在文本输出中触发下游分割头解码像素级 mask;代表工作有 LISA、SESAME、READ 等,具备零样本推理分割能力。

ROSE 是一个 plug-and-play 框架,所有基线 (LISA/SESAME/READ) 都依赖 [SEG] token 机制,理解 [SEG] 的触发逻辑是判断 ROSE 何时需要 VPE 介入纠错的关键。

Segment Anything Model (SAM)

SAM 是 Meta 提出的通用分割基础模型,以 box 或 point prompt 为输入,经 ViT 编码后由轻量 mask decoder 输出高质量二进制 mask,擅长开放类别目标,但需要外部 prompt 才能定位目标。

ROSE 的 VPE 模块最终把来自 YOLOv8 的候选框送入 SAM 重新解码 mask,因此理解 SAM 的 prompt-in-mask-out 接口是看懂 VPE 何时退化为 SAM-only pipeline 的关键。

CLIP 视觉-语言对齐

CLIP 通过对比学习在 4 亿图文对上对齐视觉与文本嵌入空间,使两模态特征可直接用余弦相似度比较;CLIP-ViT-L/32 等变体常被用作开放词汇分类与检索的特征提取器。

VPE 用 CLIP 特征做 prototype 匹配,IRAG 内部也用 CLIP-based clustering 过滤低质量图像;掌握 CLIP 余弦相似度的语义对齐性质是理解 ROSE 怎样判断分割是否正确的前提。

指代/推理分割 (Referring & Reasoning Segmentation)

指代分割根据自然语言描述在图像中输出目标 mask;推理分割则要求模型先做常识或时序推理,再分割;LISA 等 MLLM-based 方法把两类任务统一为文本-视觉对话形式输出 [SEG]。

NEST 任务是上述任务的新增子集,专攻训练截止后出现的新实体;理解传统 RES/ReasonSeg 评测的 gIoU/cIoU 指标定义才能正确解读 NEST 表格里的 +19.2% gIoU 增益。

研究动机

现有基于 MLLM 的分割模型 (LISA、SESAME、READ) 严重依赖预训练时固化在权重里的世界知识,而这些模型的视觉-语言主干 (如 LLaVA-1.5-7B) 截止于 2023 年底,因此面对训练后新出现或新流行的实体时几乎全面失效。论文给出典型场景: LISA-7B 不能分割 2025 年发布的 iPhone 17 Pro Max 与小米 SU7 这类训练中从未见过的新产品,也不能正确指代 2025 年 5 月 9 日为道奇队击出三分全垒打的 MLB 球员。量化上, LISA-7B 在 NEST 基准上的 Overall gIoU 仅 48.7、Novel Entity gIoU 仅 38.4、Emerging Entity gIoU 也只有 56.5,大量样本退化为错误 mask 或空预测,直接表明静态知识驱动的分割方案在开放世界下不可持续。

本文的目标是本文同时提出 (i) 任务定义 Novel Emerging Segmentation Task (NEST),把分割目标细分为 Novel (训练中不存在) 与 Emerging (存在但需实时信息) 两类; (ii) 一个可持续更新的 NEST 基准,包含 1,548 个 (image-question-answer-mask) 四元组,通过对 2025-03-23 至 2025-04-11 区间的网络新闻自动化爬取得到,平均每张图含 2.7 个有效实体和 1.6 个独立问题; (iii) 框架 ROSE,作为可即插即用的增强层,声称在 NEST 上相对强 Gemini-2.0 Flash Search 两阶段基线提升 19.2% gIoU,相对 LISA-7B 原始基线提升超过 30% gIoU,目标是把任何 MLLM-based 分割模型改造成可外挂实时检索的开放世界分割器。

与已有工作不同的是，此前相关工作要么只在文本任务上做 RAG (REALM、Internet-Augmented LM),要么只把视觉检索当作辅助 (SearchLVLMs),在分割任务上既缺任务定义也缺评估基准。另一类做法是把 GPT-4o Search / Gemini-2.0 Flash Search 等商业检索模型直接串到 MLLM 分割模型前面,但如 Table 1 所示该两阶段方法受限于商业模型答案粒度太粗、缺乏视觉参考,只能拿到 53.8 gIoU。ROSE 的独特切入点是设计文本增强 (TPE) 与视觉增强 (VPE) 双通道 + WebSense 自适应触发,把语义答案与原型视觉特征联合送入 MLLM,在不需要修改下游 MLLM 权重的前提下直接拿到 73.0 gIoU,恰好填上既给任务也给方案的空白。

核心方法

ROSE 把一次 NEST 推理拆成四段流水线: 输入 (图像 $x_{img}$、查询 $x_{query}$) 先经过 WebSense 判断是否需要联网; 若需要, IRAG 调用 LangChain 流水线同时召回候选答案集 $\{A_j\}$ 与参考图 $\hat{x}_{img}$; TPE 把 $x_{query}$、答案 $\hat{A}$ 与该实体的外部背景知识 $K_{ext}$ 拼成富含上下文的文本 prompt 喂给 MLLM 分割模型; VPE 则用参考图提取 CLIP prototype 特征 $f_s$,与 MLLM 输出前景的 CLIP 特征比对,若相似度低于阈值则触发基于 YOLOv8 候选框 + SAM 解码器的二次纠错,生成最终 mask $\hat{M}$。直觉上, ROSE 把 MLLM 的静态知识空间 $K$ 扩成 $S = K \cup E$,其中 $E$ 是动态外部数据库,文本侧 (TPE) 补 emerging entity 的语义描述,视觉侧 (VPE) 补 novel entity 的原型外观,WebSense 充当节能开关。

与已有文本 RAG 或两阶段检索-分割流水线相比, ROSE 的核心创新在三个层面: 第一, 它把 RAG 扩展到像素级输出而非仅文本答案, 借助 MLLM 的 [SEG] token 把检索答案直接路由到 mask 解码; 第二, 它引入 CLIP prototype 视觉纠错通路 VPE, 这在传统文本 RAG 中并不存在, 使得面对 MLLM 完全没见过的新实体也能通过外部参考图像恢复分割; 第三, 通过 WebSense 模块实现规则 + LLM 二级判断, 在不损失性能的前提下避免每次推理都做昂贵联网检索, 使得 NEST benchmark 上从基础 LISA-7B 的 48.7 gIoU 提升到 73.0 gIoU 兼具推理效率。本质区别是把 'MLLM 答错谁' 的问题拆成 '回答正确' 与 '定位正确' 两步独立优化。

方法步骤详情

训练无需微调, 推理按四步执行。 Step 1 WebSense: 规则过滤 (时间敏感词、版本号、年份) 剔除无需联网查询, 余下送 Llama-3-8B 做 need retrieval 二分类。 Step 2 IRAG: LangChain 把 $x_{query}$ 改写为多搜索 query, 抓回内容 chunking+嵌入, map-reduce 合成候选答案; Google Cloud Vision 从 $x_{img}$ 检测实体, 与候选答案取交集得 $\hat{A}$, 再以 $\hat{A}$ 检索参考图 $\hat{x}_{img}$。 Step 3 TPE: 用 $\hat{A}$ 查百科得 $K_{ext}$, 把 $P = f(x_{query}, \hat{A}, K_{ext})$ 拼成富语义 prompt 喂入 MLLM。 Step 4 VPE: 聚类 $\hat{x}_{img}$ 提 CLIP prototype $f_s$; 若与 MLLM 前景特征相似度低于 $\tau$, 触发 YOLOv8 候选框+SAM 重解码出 mask。

技术新颖性

技术新颖性体现在三方面。其一, 任务层面提出 NEST 并配套自动化数据引擎, 用 Google Daily Trends + LLM 过滤 + LLM query 增强 + CLIP 聚类 + YOLOv8 单实体过滤 + SAM 自动标注的六段式流水线把数据构建时长压到完全无需人工干预, 是首个把 '实时新闻流' 转化为像素级分割标注的可扩展方案。 其二, 框架层面, VPE 引入 CLIP prototype 与 SAM 重解码, 是少见的把视觉 RAG 显式做分割纠错的设计, Table 3 显示仅添加 VPE 就让 novel entity 的 cIoU 从 30.9 提升到 61.7 (+30.8), 说明视觉参考对未见过的实体尤为关键。 其三, WebSense 把'是否联网'做成可学习的二分类开关, 让 73.0 gIoU 的精度不是用无差别检索堆出来的, 而是在维持召回的同时把不必要调用降到可接受范围, 这种自适应检索思路在分割领域尚未被广泛研究。

NEST Data Engine. We introduce an automated annotation pipeline that efficiently generates high-quality evaluation samples for the novel emerging segmentation task.
Figure 2: NEST Data Engine. We introduce an automated annotation pipeline that efficiently generates high-quality evaluation samples for the novel emerging segmentation task.
Architecture overview of ROSE. Given a user input (image and question), ROSE first employs the WebSense module to determine whether internet retrieval is needed.
Figure 3: Architecture overview of ROSE. Given a user input (image and question), ROSE first employs the WebSense module to determine whether internet retrieval is needed.

实验结果

Table 1 (NEST 1548 样本): LISA/SESAME/READ-7B 无 RAG 时 Overall gIoU 仅 48.7/13.1/22.5; 加 Gemini-2.0 Flash Search 两阶段仅到 53.8/39.2/44.6, 商业模型先答+MLLM 再分天花板有限。 加 ROSE 后 LISA-7B+ROSE 达 Overall gIoU 73.0/cIoU 68.6/Acc 73.4, 相对 Gemini 基线 +19.2 gIoU、相对 LISA 原版 +24.3; SESAME+ROSE 升至 70.6 (+57.5), READ+ROSE 升至 72.2 (+49.7)。 Table 2 (NEST+ 混合): LISA+ROSE 在 NEST 75.3, ReasonSeg 42.2 vs 原版 42.5, RefSeg 54.4 vs 54.9, 不破坏传统能力。 Table 3 消融: LISA 48.7→+IRAG 55.7→+TPE 59.6→+VPE 68.7→+Full 74.7/70.1, 双通道不可缺。

Novel Emerging Segmentation results on NEST dataset. NEST is partitioned into a novel entity split and an emerging entity split based on LLaVA-v1.5-7B's knowledge.
Table 1: Novel Emerging Segmentation results on NEST dataset. NEST is partitioned into a novel entity split and an emerging entity split based on LLaVA-v1.5-7B's knowledge.
Mixed Dataset NEST+ Results. ReasonSeg is sourced from [19], while RefSeg is derived from RefCOCO, RefCOCO+ and RefCOCOg datasets.
Table 2: Mixed Dataset NEST+ Results. ReasonSeg is sourced from [19], while RefSeg is derived from RefCOCO, RefCOCO+ and RefCOCOg datasets.
Ablation Study. Impact of different ROSE components on novel emerging segmentation, conducted on the NEST dataset. The data split follows the same approach as in Tab. 1.
Table 3: Ablation Study. Impact of different ROSE components on novel emerging segmentation, conducted on the NEST dataset. The data split follows the same approach as in Tab. 1.
Qualitative results comparing LISA, READ, and ROSE on novel and emerging entities. ROSE accurately segments unseen and newly emerging targets, while LISA struggles due to a lack of up-to-date knowledge or inability to recognize new entities.
Figure 4: Qualitative results comparing LISA, READ, and ROSE on novel and emerging entities. ROSE accurately segments unseen and newly emerging targets, while LISA struggles due to a lack of up-to-date knowledge or inability to recognize new entities.
查看结构化数据
任务指标本文基线提升
NEST (Novel Emerging Segmentation, 1548 样本, 内部评测) gIoU / cIoU / Acc LISA-7B + ROSE: Overall gIoU 73.0, cIoU 68.6, Acc 73.4; Novel gIoU 67.0/cIoU 65.7; Emerging gIoU 77.5/cIoU 70.7 LISA-7B 原版 48.7/39.3; LISA-7B + Gemini-2.0 Flash Search 53.8/49.3; SESAME-7B + ROSE 70.6/67.2; READ-7B + ROSE 72.2/68.3 相对 Gemini-2.0 Flash Search 强基线 +19.2 gIoU (53.8→73.0); 相对 LISA-7B 原版 +24.3 gIoU (48.7→73.0); 相对 LISA-7B + GPT-4o mini Search +19.5 gIoU (53.5→73.0)
NEST+ (混合 NEST + ReasonSeg + RefCOCO/+/g) gIoU / cIoU (Overall 与各子集) LISA-7B + ROSE: NEST 75.3/67.4, ReasonSeg 42.2/44.1, RefSeg 54.4/52.4, Overall 67.6/60.7 LISA-7B 原版: NEST 51.1/39.0, ReasonSeg 42.5/44.2, RefSeg 54.9/53.7, Overall 50.9/40.6; SESAME-7B + ROSE Overall 65.8/54.2; READ-7B + ROSE Overall 67.9/62.4 NEST 子集 +24.2 gIoU (51.1→75.3); ReasonSeg 与 RefSeg 维持原能力, 损失仅 ~0.5 gIoU; 验证 plug-and-play 不破坏传统能力
消融 (NEST, LISA-7B 基线, 关闭 WebSense) gIoU / cIoU (Overall, Novel, Emerging) +Full ROSE: Overall 74.7/70.1, Novel 68.6/67.2, Emerging 79.4/72.3 LISA-7B 原版: Overall 48.7/39.3, Novel 38.4/28.5, Emerging 56.5/47.5 Overall +26.0 gIoU (48.7→74.7); IRAG 单独贡献 +7.0 gIoU; TPE 主要提升 emerging (+6.2); VPE 主要提升 novel cIoU +30.8; 证明文本+视觉双通道均不可或缺

局限与改进

作者坦诚四点局限: 其一, NEST 仅覆盖 2025-03-23 至 2025-04-11 约三周爬取窗口共 1548 样本, 长期看仍存在数据漂移与覆盖偏置风险; 其二, 自动标注强依赖 YOLOv8 + SAM, 当目标严重遮挡或同类难分 (如 'Lady Gaga 与多位歌手同台') 时标签本身可能错, 影响上限; 其三, VPE 依赖 CLIP 特征与固定阈值 $\tau$, 面对细粒度同类目标 (如 2025 年发布的多个新手机) 容易 prototype 错配, 这是 novel entity cIoU 仅 67.2 仍未饱和的主因; 我个人观察到的额外限制: ROSE 串行调用 LangChain + Google Cloud Vision + CLIP + YOLOv8 + SAM 多模型, 单次推理延迟显著高于原生 MLLM, 论文未报告延迟; WebSense 阈值在新场景需重新调优, 工程部署门槛较高。

独立分析的弱点

独立分析 ROSE 仍有四处可改进。 其一, VPE 严重依赖外部参考图视觉质量, 当 IRAG 检索到低分辨率截图或多视角混合图时 CLIP prototype 代表性下降, 应引入多 prototype ensemble 或 DINOv2 自监督特征补充; 其二, WebSense 两级判断仍使用 Llama-3-8B 做二分类, 多语言或带错别字查询易误判, 可加入 BM25 关键词打分作为第三级 fallback; 其三, NEST 数据集集中在 2025 年春季英文新闻, 对非英文实体 (中文/西班牙语) 与体育/娱乐以外领域 (工业产品) 覆盖不足, 应通过多语种 Google Trends 与本地新闻源扩展; 其四, ROSE 把 MLLM 视为黑盒, 未对 LISA/SESAME/READ 的 [SEG] head 做任何轻量微调, 若能用 LoRA 微调 [SEG] 投影层使其兼容外部 prototype embedding, 性能可再上 3-5 gIoU。

未来方向

作者在结论中提到把 NEST 自动化数据引擎持续爬取以应对 '持续进化的开放世界', 并暗示 ROSE 可与任意 MLLM-based 分割模型组合, 这两个方向均可继续深耕。 我基于本文成果延伸的建议包括: (i) 把 WebSense 改为基于查询与图像联合 embedding 的轻量 MLP, 用强化学习把 '是否检索' 的决策与下游 gIoU 奖励耦合, 进一步压低不必要的检索调用; (ii) 把 VPE 的 prototype 由静态图像扩展为短视频片段或 3D 点云, 用于对动态实体 (运动员动作、特定车型) 做更鲁棒的匹配; (iii) 引入时序一致性约束, 当用户连续问 '上一帧中的球员现在在哪' 时, ROSE 可利用上一次结果作为额外 prototype; (iv) 与 Text-to-Image 扩散模型结合, 在 IRAG 检索失败时让模型先 '想象' 实体外观再 self-correct, 缓解长尾分布下的零样本问题。

复现评估

复现难度评估为中等偏高。 论文在实验部分给出了较为充分的细节: 底层 MLLM 使用 Llama-3-8B (cutoff 2023-12), 检索流水线基于 LangChain, prototype 提取用 CLIP-ViT-L/32, 目标检测用 YOLOv8, mask 解码用 SAM, 所有评估在单卡 NVIDIA A6000 48G GPU 上完成, 这些组件均为公开权重, 复现门槛主要是组合多个模型的网络 API (Google Search、Google Cloud Vision) 与硬件资源; NEST 数据集的具体采集窗口 (2025-03-23 至 2025-04-11) 与 1548 样本细节在论文 3.2 节描述, 但完整爬虫代码与 News source 列表未公开, 数据复现需自行实现 Google Trends → 过滤 → 图像 → VQA → SAM 的六段流水线; prompt 模板在论文 4 节分散给出但未提供完整 prompt library。 总体判断: 方法思想清晰可复现, 工程细节需自行补足, 时间成本约 1-2 人周。

论文图表

Novel Emerging Segmentation. (a) The cutoff date for Large Language Models' (LLMs) training data limits their knowledge of recent events. (b) Retrieval-Augmented Generation (RAG) enhances LLMs by retrieving up-to-date information from external databases. (c) Our task focuses on segmenting novel entities unrecognizable by existing models due to their absence in training data, and emerging entities that exist in the models' knowledge but require up-to-date external information.
Figure 1: Novel Emerging Segmentation. (a) The cutoff date for Large Language Models' (LLMs) training data limits their knowledge of recent events. (b) Retrieval-Augmented Generation (RAG) enhances LLMs by retrieving up-to-date information from external databases. (c) Our task focuses on segmenting novel entities unrecognizable by existing models due to their absence in training data, and emerging entities that exist in the models' knowledge but require up-to-date external information.

该图分三个子图: (a) 横向时间轴展示 DeepSeek-V3、Llama 2 70B、Llama 3 70B、GPT-3.5-Turbo、GPT-4 的训练截止日期, 强调现有 LLM 无法回答 2024 年巴黎奥运男子 200m 蝶泳冠军这类近期问题; (b) 展示 RAG 通过外部数据库向 LLM 注入最新事实的通用范式; (c) 给出 NEST 任务定义的两个例子, 一个是 novel entity (iPhone 17 Pro Max, MLLM 不认识), 另一个是 emerging entity (APT 合作艺术家, MLLM 知道但版本滞后), 二者都需要实时检索才能正确分割。

该图直观解释了为什么传统 MLLM-based 分割在 NEST 任务上会失败, 是把握全文 motivation 的第一张图, 适合放在 motivation 章节。