Seg-ReSearch：通过交错推理与外部搜索实现语义分割 Seg-ReSearch: Segmentation with Interleaved Reasoning and External Search
让分割模型像人一样边搜边想，突破 MLLM 内部知识瓶颈
前置知识
推理分割（Reasoning Segmentation）
推理分割是指用户给出隐含的、需要推理的语言指令（如"请找到维生素C含量最高的水果"），模型需要先理解指令的语义，再在图像或视频中定位并分割目标物体。与传统的指代分割（Referring Segmentation）不同，推理分割要求模型具备常识推理能力，而非仅仅匹配显式的物体描述。LISA 是该方向的开创性工作，通过引入 [SEG] 特殊 token 将 MLLM 与分割模型（如 SAM）连接起来。
本文在此基础上进一步提出了需要外部搜索的推理分割场景，理解这一范式的演进是把握本文定位的关键。
多模态大语言模型（MLLM）
多模态大语言模型是能够同时处理文本、图像等多种模态输入的大型语言模型，如 Qwen3-VL。这类模型通常在大规模图文数据上预训练，具备强大的视觉理解和语言推理能力。然而，其知识是静态的，停留在训练数据的截止日期，无法获取实时信息或小众领域的专业知识。本文使用的基座模型是 Qwen3-VL-Instruct 的 4B 和 8B 版本。
本文的核心论点就是 MLLM 的静态知识是分割系统的瓶颈，需要通过外部搜索来突破。
强化学习中的奖励设计（Reward Design）
在强化学习中，奖励函数（Reward Function）定义了智能体行为的好坏，是训练效果的关键。现有方法通常采用两种极端策略：稀疏结果奖励（Sparse Outcome Reward）只在任务完成时给出信号，导致信号稀疏、难以引导复杂推理；而严格的逐步过程监督（Rigid Process Supervision）则强制模仿专家轨迹，限制了模型的探索能力。这两种策略在需要多轮搜索的场景下都表现不佳。
本文提出的层次化奖励机制正是为了解决这一困境，理解奖励设计的挑战有助于把握本文的核心创新。
Group Relative Policy Optimization（GRPO）
GRPO 是一种强化学习优化算法，是 PPO 的变体。对于每个输入，GRPO 从旧策略中采样一组输出 {o1, o2, ..., oG}，计算它们的奖励，然后通过组内相对优势（advantage）来更新策略。其核心思想是：不需要绝对的奖励值，只需要相对排名——比平均水平好的输出得到正向强化，比平均水平差的输出被抑制。这种方式避免了奖励尺度敏感的问题，同时保持了训练的稳定性。
本文采用 GRPO 作为优化算法来训练 Seg-ReSearch，理解其基本原理有助于理解训练流程。
视频目标分割（Video Object Segmentation, VOS）
视频目标分割是指根据某种参考（如语言描述、首帧掩码）在视频中分割出目标物体的所有像素。本文关注的是基于语言的 VOS（Language-guided VOS），用户用自然语言描述目标，模型需要在所有帧中找到并分割该物体。评估指标通常使用区域相似度 J（IoU）和轮廓精度 F，以及它们的平均值 J&F。
本文的主要任务场景就是视频目标分割，理解该任务的基本设定和评估标准是解读实验结果的基础。
研究动机
现有基于 MLLM 的推理分割系统存在一个根本性的知识瓶颈：它们只能理解给定视觉上下文中的物体，却无法处理涉及新概念或实时信息的用户查询。例如，当用户请求"请找到最新的 Tesla"或"请找到获得2025年欧洲金球奖的歌手"时，模型需要知道"最新的 Tesla"是什么型号、"2025年欧洲金球奖得主"是谁——这些信息要么超出训练数据的时间范围，要么属于长尾知识。虽然 LISA、VideoSeg-R1 等工作已经赋予了分割模型推理能力，但它们的推理仍然局限于 MLLM 的静态内部知识，无法持续从外部信息源获取必要信息。此外，现有的强化学习方法在奖励设计上面临两难困境：稀疏的结果奖励（如仅在任务完成时给出信号）导致信号过于稀疏，模型容易绕过搜索步骤寻找视觉捷径；而严格的逐步过程监督则限制了模型的探索能力，导致过度模仿搜索轨迹而忽视视觉推理。
本文的目标是本文的目标是构建一个能够进行"边推理边搜索"的智能体分割框架，使其能够处理动态、开放世界的查询，突破 MLLM 的静态知识限制。具体而言，该系统需要能够：(1) 在推理过程中识别何时需要外部信息；(2) 动态地与搜索引擎交互，进行文本搜索和图像搜索；(3) 将检索到的外部信息整合到多模态推理链中；(4) 在多个搜索轮次后准确地定位并分割目标物体。同时，作者希望通过设计有效的奖励机制，在仅 100 个训练样本的情况下实现这一能力。
与已有工作不同的是，本文的独特切入点在于将"可训练的智能体搜索能力"引入分割任务。此前的工作要么依赖静态的 RAG（检索增强生成）——一次性检索相关文档然后生成答案，要么直接将搜索引擎作为工具但缺乏训练。本文发现，简单地给 MLLM 配备搜索引擎（即 Qwen3-VL*+Search 基线）效果有限，在 OK-VOS 上仅比基线提升 1.8%。这是因为模型不知道如何有效地分解查询、制定搜索策略、验证检索结果。Seg-ReSearch 的核心洞察是：需要通过强化学习来训练模型的搜索行为，使其学会何时搜索、搜索什么、以及如何将搜索结果整合到推理过程中。同时，作者发现传统的奖励设计方法（稀疏结果奖励或逐步模仿）在这个场景下都不够好，因此提出了层次化的奖励机制来解决这一困境。
核心方法
Seg-ReSearch 的核心思路可以用一个类比来理解：想象你是一个侦探，需要在监控视频中找到一个你从未见过的嫌疑人。你不会只盯着视频看，而是会先上网查嫌疑人的照片，再回到视频中比对；如果发现线索不够，你可能还需要查更多背景信息。Seg-ReSearch 就是在训练模型成为这样的"侦探型"分割智能体。技术上，给定视频帧和一个可能涉及外部知识的查询，模型会执行一个动态的多模态思维链（MCoT）：分析视觉输入→判断是否需要外部信息→生成搜索查询→接收检索结果→整合信息继续推理→选择关键帧→定位目标→生成分割掩码。整个过程通过层次化奖励机制进行强化学习训练，使模型学会在探索（搜索更多信息）和利用（做出准确判断）之间取得平衡。
本文最核心的创新是层次化奖励设计（Hierarchical Reward Design），它解决了强化学习训练智能体搜索能力时的"奖励困境"。具体来说，作者将奖励分为三个层次：初始引导奖励（IGR）通过匹配专家搜索轨迹来提供"第一步"的正确起点；递减过程奖励（TPR）使用格式化奖励来鼓励有效的搜索探索，但通过递减设计防止无限循环；结果奖励（OR）则评估最终关键帧选择和空间定位的准确性。这种设计的关键洞察是：不应该强制模仿整个搜索轨迹（过于严格），也不应该只看最终结果（信号太稀疏），而是应该在"提供合理起点+鼓励有效探索+保证最终准确性"之间找到平衡。实验证明，这种层次化奖励设计比稀疏结果奖励高出 4.7% 的 J&F，比严格的逐步模仿高出 2.4%。
方法步骤详情
Seg-ReSearch 的完整流程分为五个阶段。第一阶段：输入处理。模型接收低分辨率视频帧（统一为 448×448）和用户查询，开始分析多模态输入并规划推理步骤。第二阶段：交错推理与搜索。如果模型判断需要外部信息，它会生成搜索查询并在 标签中指定搜索工具（search_text 或 search_image）。搜索结果被包裹在 标签中，作为上下文追加到当前生成序列。这个过程可以迭代多次（最多 5 轮），直到目标被识别或达到搜索次数上限。第三阶段：关键帧选择。经过多轮搜索后，模型选择一个最能清晰展示目标物体的关键帧，将帧索引输出在 标签中。系统随后返回该帧的高分辨率版本（864×864）。第四阶段：目标定位。模型在高分辨率关键帧上定位目标，输出格式化的位置提示——包含边界框 [x1, y1, x2, y2] 和点坐标 [x, y]，包裹在 标签中。第五阶段：掩码生成。将位置提示传递给冻结的掩码生成器（OK-VOS 使用 SeC，ReasonSeg 和 ReasonVOS 使用 SAM2）进行掩码预测和传播，生成最终的分割结果。
技术新颖性
Seg-ReSearch 的技术新颖性体现在三个层面。首先，在框架层面，它是首个将可训练的外部搜索能力引入分割任务的工作。与现有方法（如 Search-R1）仅在文本问答领域训练搜索能力不同，Seg-ReSearch 将这一范式扩展到了细粒度的视觉分割任务，这不仅仅是简单的适配，而是需要解决视觉推理与信息检索之间的协同问题。其次，在奖励设计层面，作者提出了递减过程奖励（TPR）的概念。与传统的线性奖励（每次有效搜索给固定奖励）或二元奖励（所有搜索都有效才给奖励）不同，TPR 通过递减设计实现了"鼓励探索但防止滥用"的平衡。实验表明，线性奖励会导致严重的奖励滥用（reward hacking），模型学会无意义地搜索来累积奖励；而二元奖励和无过程奖励则无法激励搜索行为。最后，在评估层面，作者构建了 OK-VOS 基准，这是首个明确要求外部知识的视频目标分割基准，包含三个层次的难度（单跳、多跳、关系型），填补了该领域的空白。
实验结果
Seg-ReSearch 在三个基准上均取得了显著优于现有方法的结果。在 OK-VOS 基准上，Seg-ReSearch-8B 以 50.0 的整体 J&F 大幅超越所有竞争对手：比最佳专家 RVOS 模型 SAMWISE（25.9）高出 24.1 点，比最佳 MLLM 方法 UniPixel-7B（34.2）高出 15.8 点。值得注意的是，即使是最小的 4B 模型也达到了 46.0 的 J&F，比配备相同搜索工具的基线（36.2）高出近 10 个百分点。在传统的推理分割基准上，Seg-ReSearch 同样建立了新的 SOTA：在 ReasonSeg 测试集上达到 67.4 gIoU / 59.0 cIoU，超越之前的最佳方法 SAM3-Agent-7B（62.6 gIoU / 56.2 cIoU）；在 ReasonVOS 上达到 63.2 J&F，比使用相同 MLLM 的 OneThinker-8B（54.9）高出 8.3 点。消融实验进一步揭示了几个重要发现：(1) 从 1 轮搜索增加到 5 轮搜索，性能从 42.6 跃升到 50.0（+7.4），但增加到 10 轮仅提升 0.4，说明 5 轮搜索已经是高效的选择；(2) 文本检索从 1 条增加到 3 条带来 +2.1% 提升，图像检索再带来 +0.8%，证明多模态检索的互补性；(3) 使用 Google 浏览（访问完整网页内容并用 LLM 总结）比基础搜索再提升 4.4 点，暗示了更大的改进空间。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OK-VOS 视频目标分割（需要外部知识） | J&F | 50.0 (8B) / 46.0 (4B) | 37.6 (Qwen3-VL-8B*+Search) / 36.2 (Qwen3-VL-4B*+Search) | +12.4 (8B) / +9.8 (4B) |
| ReasonSeg 图像推理分割 | cIoU (Test) | 59.0 | 56.2 (SAM3-Agent-7B) | +2.8 |
| ReasonVOS 视频推理分割 | J&F | 63.2 | 54.9 (OneThinker-8B) | +8.3 |
| OK-VOS 单跳子集 | J&F | 60.1 (8B) | 40.2 (Qwen3-VL-8B*+Search) | +19.9 |
| OK-VOS 多跳子集 | J&F | 48.3 (8B) | 36.4 (Qwen3-VL-8B*+Search) | +11.9 |
局限与改进
尽管 Seg-ReSearch 取得了令人印象深刻的结果，但仍存在几个值得关注的局限性。首先，训练数据规模极小——仅 100 个样本（80 个需要搜索，20 个不需要），虽然这种数据效率本身是一个优势，但也意味着模型的能力边界可能受限于这 100 个样本所覆盖的场景类型。其次，搜索引擎的质量和延迟是实际部署的瓶颈：实验显示 Google 搜索比 DuckDuckGo 高出 2.9 点，而完整的网页浏览（Google+Browsing）比基础搜索再高 4.4 点，说明模型的性能高度依赖于外部检索的质量。在实时应用中，搜索引擎的 API 调用延迟和成本可能成为制约因素。第三，模型的搜索轮次上限为 5 轮，虽然消融实验显示 5 轮已经足够，但对于某些特别复杂的多跳查询可能仍不够。此外，作者承认当前方法在处理需要视觉捷径（visual shortcuts）的场景时可能存在偏差——OK-VOS 的构建过程中已经采取措施缓解这一问题（如排除视频中只有一个女性时询问"奥斯卡最佳女主角"的情况），但仍可能有未被发现的捷径。
独立分析的弱点
从独立分析的角度看，Seg-ReSearch 存在几个值得改进的弱点。第一，层次化奖励设计中的初始引导奖励（IGR）依赖于专家标注的搜索轨迹，虽然作者用语义相似度（阈值 0.5）提供了一定的灵活性，但这本质上仍是"模仿学习"的残余。一个更优雅的方案可能是使用自我博弈（self-play）或课程学习（curriculum learning）来自动发现有效的搜索策略，减少对人工标注的依赖。第二，当前的搜索接口是固定的两种工具（文本搜索和图像搜索），缺乏对搜索结果质量的显式评估机制。当搜索引擎返回无关结果时，模型只能通过后续推理来"消化"这些噪声信息，一个可能的改进是引入搜索结果的置信度评分或相关性过滤机制。第三，关键帧选择是一个离散决策，一旦选错帧，后续的定位精度会受到严重影响。可以考虑引入多帧融合或自适应帧采样策略来降低对单一关键帧的依赖。第四，当前方法在 Relational 子集上的表现（44.8 J&F）明显弱于 One-hop（60.1），说明模型在处理涉及多个知识锚点的复杂关系查询时仍有较大提升空间。
未来方向
作者提出了几个有前景的未来研究方向。首先，构建更全面的检索系统——实验显示使用完整网页浏览（Google+Browsing）比基础搜索提升 4.4 点，暗示通过构建更智能的检索管道（如结合 RAG、知识图谱、实时数据库）可以进一步释放 Seg-ReSearch 的潜力。其次，扩展搜索工具的种类——当前仅支持文本和图像搜索，未来可以引入视频搜索、3D 模型搜索等模态，使模型能够处理更复杂的查询。基于本文的成果，可以延伸的方向包括：(1) 将这一框架应用到其他细粒度视觉任务，如视觉问答（VQA）、图像描述生成等；(2) 探索在线学习（Online Learning），使模型能够在部署过程中持续从用户反馈中学习新的搜索策略；(3) 研索多智能体协作搜索——多个 Seg-ReSearch 实例分工合作，各自负责不同的信息检索子任务；(4) 将层次化奖励设计推广到其他需要多轮交互的强化学习任务中。
复现评估
在复现方面，Seg-ReSearch 具有较高的可复现性。代码和数据承诺在 GitHub（https://github.com/iSEE-Laboratory/Seg-ReSearch）公开。训练数据仅需 100 个样本，大幅降低了数据标注成本。训练硬件需求为单节点 8 张 NVIDIA A6000 GPU，对于学术实验室来说是可以承受的。基座模型 Qwen3-VL-Instruct-4B 和 8B 都是开源的。掩码生成器 SAM2 和 SeC 也都是公开可用的。训练超参数设置清晰：4B 模型训练 100 个 epoch（无 KL 惩罚），8B 模型训练 120 个 epoch（KL 系数 0.01），全局 batch size 为 16。然而，需要注意的是，验证阶段依赖 Google Search API，这在某些地区可能存在访问限制。此外，虽然训练数据量小，但标注过程需要人类专家确保每个查询确实需要外部知识，这个质量控制过程可能需要额外的人力投入。总体而言，复现难度中等偏低，主要挑战在于搜索引擎的可用性和训练数据的质量标注。
论文图表
该图包含两个子图，分别展示了 Seg-ReSearch 处理两类开放世界查询的能力。(a) 新概念分割：用户请求"找到 Labubu"，模型首先通过文本搜索了解 Labubu 是一种收藏玩具，然后通过图像搜索确认其外观特征，最终在视频第 5 帧中成功定位该玩具。(b) 实时信息分割：用户请求"找到在 Nano Banana 公开发布前几个月获得美国音乐奖最高奖项的艺术家"，模型需要经过多步推理：先搜索 Nano Banana 的发布日期（2025年8月26日），再搜索该日期前几个月的 AMA 获奖者（Billie Eilish），最后在视频中定位该歌手。
这张图直观地展示了本文的核心能力——通过外部搜索突破 MLLM 的知识瓶颈，是理解论文定位和价值的最重要参考图。
该表格详细展示了两种方法在处理复杂查询时的推理过程差异。查询是"找到即将在 2026 年发行第三张录音室专辑'Boycott Heaven'的乐队的主唱"。Qwen3-VL-8B*+Search 没有识别出需要外部信息，直接产生了幻觉——假设视频中显眼的女歌手是主唱（实际上不是），导致定位错误。Seg-ReSearch 则正确地执行了两步搜索：先搜索"Boycott Heaven"的乐队信息（发现是 The Format，主唱是 Nate Ruess），再搜索 Nate Ruess 的照片进行视觉比对，最终在第 2 帧中成功定位目标。
该表通过详细的推理过程展示了为什么简单配备搜索引擎不够，以及 Seg-ReSearch 的交错推理策略为何更有效。