从网络到像素：将智能体搜索引入视觉感知 From Web to Pixels: Bringing Agentic Search into Visual Perception

Pixel-Searcher 的完整流程可拆为五步。第一步，查询规划（Query Planning）：对输入查询 $q$ 和图像 $I$，规划智能体先做一遍分析，必要时把 $q$ 拆成多个可独立检索的子目标，例如把'找到三星折叠屏的某月发布的护肤品大使对应设备'拆成三星月份+收购方+品牌+大使四步。第二步，自适应搜索-推理循环（Adaptive Search-Reason Loop）：在最多 $T$ 轮内，agent 在 Search（调用 Google Search API 取证据 $E_t$）、Reason（综合前序证据判断是否足够）、Resolve（输出当前目标假设 $h_t = \{e_t, c_t, K_t\}$）三个动作间切换。简单查询可能一轮收敛，复杂查询需要把多轮证据串成链。第三步，目标总结（Target Summary）：最终假设 $h = \{e, c, K\}$ 中，$e$ 是图像中实际可见的实体（如'Winter 真人'），$c$ 是粗粒度视觉类别（person/phone），$K$ 是可被像素验证的线索（'近期官宣、年轻女性、特定服装'）；agent 还会主动修复过于宽泛、与图像不一致的 $h$。第四步，实例绑定与证据校验（Instance Binding & Evidence Verification）：在图像上以 $h$ 为 prompt 调用 grounding 工具得到候选框集 $B = \{b_1, ..., b_n\}$，然后用 $K$ 中视觉线索与每个候选区域做一致性打分，输出最优框 $b^* = A_{bind}(I, h)$。第五步，工具调用与最终输出：SearchGround 直接返回 $b^*$；SearchSeg 用 SAM3 把 $b^*$ 精化为掩码 $\hat{y}_{seg} = T_{seg}(I, b^*)$；SearchVQA 走反向流程——对每个候选答案 $o_k$ 都跑一次 search-resolve 得到证据级描述，再与高亮框 $b$ 匹配，取 $a^* = \arg\max_k A_{vqa}(I, b, o_k)$。

Pixel-Searcher 的技术新颖性可总结为三点。第一，'目标身份假设 $h$' 的显式化：已有 grounded perception 工作把身份藏在 prompt 隐空间里，Pixel-Searcher 把它形式化为可校验的 (实体, 类别, 线索) 三元组并强制 grounding 使用它，这使得失败可被追溯到 search / resolve / bind 中的具体环节（消融显示 w/o direct cand. 时 IoU 从 34.17 跌到 20.14，w/o ref. match 时跌到 29.00）。第二，反向 Search-based VQA 设计：传统 VQA 把搜索结果直接喂给答案选择器，Pixel-Searcher 把每个候选答案都过一遍 search-resolve，让答案对比变成'两个独立证据链 vs 高亮区域'的对照实验，从而在 42.24% 整体准确率上超过 Qwen3-VL-8B（36.34%）。第三，证据验证而非证据堆叠：在 Instance Binding 阶段，模型不仅利用 $K$ 中支持的线索，还检查候选框与证据之间是否存在矛盾（contradiction check），消融显示 w/o contradiction 时 IoU 从 34.17 降到 31.34，这一看似'小'的模块对 Anime/ICON 等歧义大类别尤其重要。

从方法学角度看，Pixel-Searcher 存在四个可改进的弱点。第一，'自适应循环'实际缺乏明确的停止准则，论文仅用'最大轮数 $T$'作为兜底，agent 可能在简单查询上过度搜索或在困难查询上过早 resolve；可引入基于证据-查询互信息的停止判据。第二，$h = \{e, c, K\}$ 中的 $K$ 仍是自然语言描述的'软提示'，缺乏与图像区域的硬对齐；可考虑让 grounding 模型在 attention 层显式对齐 $K$ 的每个 token 与候选区域 patch，建立可解释的对齐矩阵。第三，反向 SearchVQA 流程把所有候选平等对待，没有利用答案间的对比信号；可借鉴 multi-choice QA 的对比学习思路，让模型直接输出'候选 A 优于 B 因为 K 包含 X'的显式对比。第四，框架对 distractors 高度依赖——当图像中不存在目标实例时（如查询对应的人在画面外），当前流程无法输出'不存在'答案，只能强行选一个最相似的区域，这与真实搜索场景的需求不符。

作者在结论中暗示了几个方向：(1) 把 Perception Deep Research 扩展到视频和 3D，让时序/几何信息进一步约束身份解析；(2) 研究更高效的证据选择策略，避免每查询 3-8 次搜索的高延迟。基于本文成果可延伸的方向还包括：(1) 引入 test-time scaling，让 Pixel-Searcher 在多轮搜索中累积反思，主动对 $K$ 做去重和冲突检测；(2) 训练专门的'搜索感知的 grounding head'，把 search-resolve 结果作为额外的 conditioning signal 注入到 grounding 网络，而非仅靠 prompt 拼接；(3) 把该范式与 RL 后训练结合，用 grounding 成功率作为奖励，直接优化 search agent 的策略；(4) 探索多模态证据源（视频、社交媒体、PDF）替代纯文本搜索，匹配 WebEyes 中'非视觉事实'的丰富性；(5) 把 WebEyes 的 1,927 任务扩展到 100k 规模，支撑对大模型进行感知深度研究的 SFT/RL 训练。

复现性总体良好：作者明确提供了项目主页 https://pixel-searcher.github.io/ 和 GitHub 仓库 https://github.com/yangbokang/Pixel-Searcher/，WebEyes 基准数据会随论文发布。方法本身不依赖私有模型（使用 Qwen3-VL-8B-Instruct 作为 backbone），SAM3 与 Google Search API 都是公开可获取资源。复现难度主要在三处：(1) Google Search API 在不同账号/时间窗下结果不一致，导致 6 个月时间窗的'近期事实'证据可能漂移，作者建议的固定时间窗缓解但未完全消除；(2) SAM3 在论文中以 7B 规模参引，本地部署需要 16GB+ 显存，复现 SearchSeg 需要一定的 GPU 算力；(3) WebEyes 数据集规模小（120 张图像）但每张都需要至少 4 类对象标注、3 跳证据检索与人工核验，第三方想拓展规模会面临标注成本。整体而言，论文报告的指标具有可复现性，但端到端流程的延迟与稳定性会因硬件/搜索 API 不同而波动。