HyperEyes:面向并行多模态搜索Agent的双粒度效率感知强化学习 HyperEyes: Dual-Grained Efficiency-Aware Reinforcement Learning for Parallel Multimodal Search Agents
用单次并行「定位+检索」原子动作+双粒度RL，让多实体搜索又快又准。
前置知识
ReAct范式与Think-Act-Observe循环
ReAct把Agent的推理拆成交替的思考、动作、观察三个阶段。每轮模型先输出推理 $\tau_t$,再发起一次工具调用 $a_t$,接收环境反馈 $o_t$ 后拼入上下文继续。轨迹形式 $\tau=\langle q,(r_t,a_t,o_t),\ldots,y\rangle$ 是标准写法。
HyperEyes整篇方法都建立在ReAct多轮决策之上,其并行工具调用只是把单步内$a_t$从单条变成多条。若不理解三阶段循环如何驱动决策,就读不懂TRACE为何在trajectory级而非step级设计奖励。
GRPO(Group Relative Policy Optimization)
GRPO是免critic的RL算法,对每个prompt采样$G$条轨迹,把奖励$R_i$在组内做z-score归一化得优势 $\hat{A}_i=(R_i-\mu_R)/\sigma_R$,再用PPO式裁剪目标更新策略。比PPO省一个价值网络,内存更低,稳定。
本文RL阶段的骨架就是GRPO,TRACE奖励 $R=R_\text{acc}+R_\text{fmt}+R_\text{tool}$ 喂入GRPO才形成最终策略梯度。不熟悉z-score优势估计就读不懂式(5)中按组内排序线性插值是为获得连续梯度信号。
视觉定位(Visual Grounding)与边界框预测
视觉定位指模型在图中找出自然语言描述的目标区域,输出边界框 $[x_1,y_1,x_2,y_2]$(像素或归一化坐标)。在多模态搜索中常用于把指称映射到具体像素区域后才能做图像检索。
本文把视觉定位从先定位再检索的两阶段流程改造成UGS原子动作,bbox变成检索请求的一个参数。读懂UGS就必须先清楚传统定位模型如何独立输出box、如何与下游图像检索串接。
Progressive Rejection Sampling(渐进式拒绝采样)
按turn预算由低到高多次采样、保留「最短成功轨迹」的清洗策略。从极小turn预算(如1)开始采样N次,只保留最短的成功者;失败则上调预算继续。
PRS是HyperEyes产出高效冷启动SFT数据的核心机制。理解其「严格保留最短成功」的逻辑,才能明白为什么最终30K轨迹天然具有「零冗余、单回合并行」的性质——这是后续RL的强先验。
Reverse-KL On-Policy Distillation(反向KL在线蒸馏)
OPD让student在自身rollout上对齐teacher。常用reverse-KL目标,mode-seeking特性使student集中模仿teacher的高概率模式而非平均行为。
本文OPD专门施加在失败rollout($R_\text{acc}=0$)上以恢复token级信号,只在30B上启用、teacher固定为已训好的HE-235B。若不理解reverse-KL的mode-seeking行为,就无法判断为何蒸馏让student学到teacher的「推理模式」。
研究动机
现有视觉多模态搜索Agent(如DeepEyesV2、WebWatcher、VDR)普遍采用「crop-then-search」两阶段范式:先用代码生成bbox裁剪图片,再对裁剪结果发起检索。这种「先定位再检索」的串行结构对多实体查询尤为致命——当问题需要同时识别图中多个目标(如多名NBA球员)时,模型只能逐entity串行处理,导致交互轮次线性膨胀,上下文越长噪声越多。WebWatcher在BCVL上需要4.87个tool-call回合、VDR更高达11.7回合,但其BCVL准确率仅27.0%和53.7%。更严重的是,这些模型的训练目标几乎只有准确率奖励,从不显式惩罚「过度检索」——作者在附录F.1观察到盲目增加工具调用反而会拖低最终答案准确率,因为检索噪声污染长上下文。配套评测体系同样失能:MMSearch/FVQA/LiveVQA/BCVL/MMSearch-Plus只看最终答案对错,完全忽略回合数与token消耗,使「又多又慢」的模型与「又少又快」的模型无法区分。
本文的目标是本文的总体目标是构建一个效率与准确率同时作为一等公民的多模态搜索Agent。具体拆解为四个子目标:(1)设计一个能在一回合内同时定位多个目标并并行发起检索的原子动作——即UGS(Unified Grounded Search),让「搜索范围更广」而不是「搜索链更长」;(2)为这种并行能力构造合适的冷启动监督,提出Parallel-Amenable Data Synthesis Pipeline,通过视觉多实体合成(Mosaic Augmentation)与文本多约束合成(Wikidata多跳随机游走)各造2万/5千条新查询,再以Progressive Rejection Sampling蒸馏出3万条最短成功轨迹;(3)提出双粒度效率感知RL:宏观层面引入TRACE奖励使工具使用次数动态收紧,微观层面引入OPD对失败rollout补充token级监督;(4)发布IMEB基准,提出Cost-Aware Score(CAS)将效率提升为与准确率同级的评估维度,在300条PhD级标注数据上联合评测多实体场景的准确性+检索效率。
与已有工作不同的是，已有工作大多沿两条独立路线推进:其一在文本Agent(DeepDive、MiroThinker)中研究并行工具调用,但完全忽视视觉模态;其二在视觉Agent(DeepEyesV2、WebWatcher)中沿用串行crop-then-search范式,即便引入并行检索也缺乏效率激励,导致并行能力退化为「单回合暴搜」。HyperEyes的独特切入角度是把效率当作一等训练目标——既改动作空间(UGS让bbox成为检索参数)又改奖励(TRACE动态收紧参考阈值、OPD对失败rollout给token级信号),并把这种理念落地到一个新基准IMEB与新指标CAS上。其与最大竞争者VDR的本质差异:VDR在IMEB上仅21.2%准确率+12.3回合,HyperEyes-30B达46.7%准确率+3.1回合,实现Pareto显著占优,这种差距证明作者诊断的「效率-准确率耦合」问题在多实体场景下确有重大现实影响。
核心方法
HyperEyes的直觉可以一句话概括:既然多实体查询本质上可以分解为多个独立的「定位+检索」子任务,Agent就应该在同一回合内同时把这些子任务派发出去,而不是串行执行。为此作者做了三件事:(1)改造动作空间,把视觉grounding和检索融合为单一原子动作UGS,模型一次性预测多个bbox和对应的检索query,环境侧并行执行;(2)用两阶段训练把「会并行」和「高效并行」分开学——SFT阶段用PRS清洗出的30K最短成功轨迹作为冷启动,RL阶段在GRPO骨架上加TRACE和OPD两条新信号;(3)用动态收紧的reference和token级teacher信号,精确塑造并行而不冗余的策略。整条技术路线可以概括为「动作空间改造→冷启动SFT→宏观效率奖励+微观token级蒸馏」。
本文核心创新有三点,每处都针对已有方法的特定缺陷。第一,Unified Grounded Search(UGS)把bbox从「前置步骤」重新参数化为「检索请求的伴随字段」,单个$a_t$可携带多组(bbox_i,query_i)对,环境侧并发执行——这与DeepEyesV2的「先crop后search」串行流水线形成本质区别,后者把定位错误级联放大到下游检索。第二,TRACE(Tool-use Reference-Adaptive Cost Efficiency)奖励用一条单调收紧的参考曲线 $\hat{t}_c^{(e+1)}=\min(\hat{t}_c^{(e)}, t_c^{(e+1)})$ 自动跟踪当前策略能做到的最短回合数,再用 $\gamma>1$ 的容差窗口定义奖励正负区域,并通过式(5)按组内排名做线性插值获得连续梯度——与静态阈值或纯outcome reward相比,既不压制合法多跳检索,也不放任冗余累积。第三,OPD-only-on-failed-rollouts设计:Reverse-KL只在$R_\text{acc}=0$的轨迹上启用,既给失败轨迹提供token级credit assignment,又不污染成功轨迹中学到的并行调度行为;teacher必须是已RL对齐的HyperEyes-235B,否则用原生Qwen3-VL-235B会导致严重精度塌陷。
方法步骤详情
训练分两大阶段。Phase 1数据合成与SFT:Step-1收集246k多跳推理+视觉识别查询;Step-2用Mosaic Augmentation把单实体图拼成多实体图,基于每class知识库合成20k visual multi-entity QA,用Wikidata多跳随机游走合成5k textual multi-constraint QA;Step-3用Qwen3-VL-235B做tool-necessity过滤,留271k确实需要外部工具的样本;Step-4执行Progressive Rejection Sampling:从turn=1起逐预算升档采样,严格保留每条query的最短成功轨迹;Step-5再做格式、增量信息、grounding三重过滤,蒸馏出30k高效冷启动轨迹,在Qwen3-VL-30B/235B上微调。Phase 2双粒度RL:Step-6按「pass@1失败但pass@5成功」挑选中等难度子集(30B取6,056条,235B取9,337条),用GRPO做轨迹级优化,每样本采$G$条rollout,总奖励 $R=R_\text{acc}+R_\text{fmt}+R_\text{tool}$,其中$R_\text{tool}$按式(4)分段定义,$\hat{t}_c$每epoch结束时按式(3)收紧;30B额外在失败rollout上叠加OPD损失 $\mathcal{L}=\mathcal{L}_\text{GRPO}+\lambda_\text{kd}\mathbb{E}_\tau[\mathbf{1}[R_\text{acc}=0]\cdot\frac{1}{|A_\tau|}\sum_{t\in A_\tau}\mathrm{KL}(\pi_\theta\|\pi_\text{teacher})]$,teacher为训练好的HE-235B。
技术新颖性
技术新颖性分四个维度。第一,动作空间的范式跃迁:把grounding从sequential preprocessing重新设计为retrieval的伴随参数,「每个bbox独立的串行等待」压缩为「一次前向+一次环境批量调用」,延迟从O(n)降到O(1)。第二,奖励曲线的自演化机制:TRACE的$\hat{t}_c$用最小值单调收紧,等价于一个implicit curriculum——奖励边界始终「恰好」在当前策略能力前沿附近,与RL中常用固定阈值(要么过松要么过紧)有本质区别,Table 5验证该动态更新比静态版本再涨1.6个绝对百分点。第三,失败-成功的差异化监督:OPD严格只在失败轨迹上注入reverse-KL是反直觉的,Table 5证明「成功轨迹也向teacher对齐」会破坏TRACE已收敛的并行行为。第四,效率-准确率的耦合基准:IMEB(300例)+CAS($\mathrm{CAS}=\mathrm{Acc}^2\times 100/(N_\text{tok}+2N_\text{tool}+1)$)是首个把「信息密度」作为第一指标的benchmark,对Agentic AI评测体系有方法论贡献。
实验结果
核心结果分四层。第一,开源SOTA与Pareto前沿:HE-30B(RL)在6个benchmark平均64.0%,比VDR(54.1%)、DeepEyes-V2(39.1%)、WebWatcher(38.7%)、MMSearch-R1(32.2%)等开源Agent高+9.9绝对优势,同时tool-call回合从VDR的11.6降至2.2(5.3×少);HE-235B(RL)进一步达66.6%,逼近Gemini-3.1-Pro的67.7%,超过Claude-Opus-4.6(56.5%)和Kimi-K2.5(60.5%)。第二,IMEB多实体优势:HE-30B达46.7%,比VDR(21.2%)、WebWatcher(15.3%)、MMSearch-R1(3.3%)显著领先,回合数仅3.1;HE-235B(RL)达52.7%,证明UGS击中串行crop-then-search瓶颈。第三,CAS统治性表现:HE-30B在BCVL上CAS=2.232,IMEB上CAS=0.910,是次优开源(VDR 0.128/MMSearch-R1 0.013)的17.4×和70×。第四,消融证明每步不可或缺:Table 4显示121k原始轨迹平均仅51.6%,经PRS+质量过滤到30k后提升到58.8%(+7.2);Table 5显示仅outcome reward把回合从2.9膨胀到6.9而准确率持平(58.3%),加TRACE后再涨+1.6,OPD再+1.3到64.0%,且teacher必须用HE-235B(用原生Qwen3-VL-235B反而跌到46.3%)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMSearch(浅层多模态检索) | Accuracy / Avg. Tool-Call Turns | HE-30B(RL) 86.9% / 1.6 turns; HE-235B(RL) 88.5% / 1.4 turns | VDR 69.6% / 11.1; WebWatcher 55.3% / 4.8; MMSearch-R1 53.8% / 1.4; Claude-Opus-4.6 76.2% / 1.6 | HE-30B比最强开源Agent VDR高+14.0%,回合数减少9.5; HE-235B超过Gemini-3.1-Pro的75.4% |
| BCVL(BrowseComp-VL,复杂多跳视觉推理) | Accuracy / Avg. Tool-Call Turns | HE-30B(RL) 57.9% / 2.6 turns; HE-235B(RL) 60.0% / 2.2 turns | VDR 53.7% / 11.7; REDSearch 57.2%; DeepEyes-V2 24.8% / 4.3; Gemini-3.1-Pro 64.1% / 2.0 | HE-30B超越所有开源Agent(+0.7 over REDSearch),回合数仅VDR的1/4.5; HE-235B逼近Gemini-3.1-Pro,差距仅4.1% |
| MMSearch-Plus(复杂多跳视觉检索) | Accuracy / Avg. Tool-Call Turns | HE-30B(RL) 31.5% / 2.3 turns; HE-235B(RL) 32.6% / 2.2 turns | VDR 28.5% / 11.4; Gemini-3.1-Pro 44.2% / 2.9; Claude-Opus-4.6 31.3% / 2.4 | HE-30B超过所有开源Agent(+3.0 over VDR),且回合数减少9.1; HE-235B超过Claude-Opus-4.6 |
| IMEB(本文新发布的多实体基准,N=300) | Accuracy / Avg. Tool-Call Turns | HE-30B(RL) 46.7% / 3.1 turns; HE-235B(RL) 52.7% / 3.0 turns | VDR 21.2% / 12.3; WebWatcher 15.3% / 7.8; DeepEyes-V2 18.0% / 4.7; Gemini-3.1-Pro 51.3% / 2.1 | HE-30B比最强开源Agent VDR高+25.5%绝对值,回合数减少9.2; HE-235B超越Gemini-3.1-Pro的51.3% |
| CAS(Cost-Aware Score) on BCVL + IMEB | CAS = Acc^2 × 100 / (Ntok + 2·Ntool + 1) | HE-30B在BCVL上CAS=2.232,IMEB上CAS=0.910 | BCVL次优VDR CAS=0.128; IMEB次优DeepEyes-V2 CAS=0.119(开源); MMSearch-R1仅0.013 | BCVL上17.4×提升,IMEB上70×提升,证实「信息密度」维度的统治性优势 |
局限与改进
局限性分作者承认与观察推断两类。作者明确承认:(1)数据以LiveVQA(100k)、InfoSeek(41k)等英文为主,IMEB虽为人类标注但仍集中在Sports(64例)、Daily Life(47例)、Entertainment(45例)、Finance(44例)等7个domain,跨语言跨文化泛化未验证;(2)image_search+text_search是黑盒API,模型无法控制检索质量,附录F.3提到noisy retrieval是上下文污染主要来源,但训练侧无显式去噪机制;(3)TRACE的reference更新依赖PRS初始成功轨迹,冷启动阶段的策略能力上限设定了RL可达上限;(4)OPD只在30B上启用,235B无更强teacher可用。从论文可观察到的局限:(a)REDSearch在LiveVQA上79.3%与HE-30B相近,但未公开tool-call数据可能存在不公平对比;(b)UGS并行上限受环境并发限制,bbox数>20时单回合能否承受未讨论;(c)IMEB仅300例,统计显著性有限,标准差未给出;(d)TRACE中$\gamma$(redundancy tolerance)和$\lambda_\text{red}$等超参敏感性未做ablation。
独立分析的弱点
独立分析可识别三个潜在弱点。弱点1:teacher依赖放大对齐风险。OPD只在HE-30B上用HE-235B做teacher,造成两个问题——teacher与student共享Qwen3-VL backbone家族,reverse-KL可能放大家族性偏差(对某些视觉pattern的系统性误判),而非来自teacher的「高阶推理」;且未来移植到非Qwen3-VL backbone(InternVL、LLaVA)需重训teacher,迁移成本陡增。改进方向:多teacher投票bootstrap,只在teacher一致认为正确的token上施加KL。弱点2:UGS并行粒度与延迟权衡未量化。Table 2显示HE-30B在IMEB上需3.1回合,提示即使有并行能力,当entity数增长到5-10时单回合可能仍不够。改进方向:在UGS中加入「分批并行」决策并扫描单步并行数上限。弱点3:训练算力与数据规模不匹配。附录E未披露GPU小时数,30k SFT+6k RL样本相对DeepEyesV2(100k+)更小,优势更可能来自PRS质量而非数据量。改进方向:补充PRS总采样次数、wall-clock时间。
未来方向
基于成果可延伸的方向共四条。第一,跨语言跨domain扩展:IMEB目前以英语+西方体育/娱乐为主,可构建中文版C-MEB或跨文化CMEB,验证并行策略对实体先验知识的依赖度;若不同culture需不同并行粒度,说明UGS需根据文化先验自适应调整。第二,效率奖励与生成质量的多目标平衡:附录F.3已观察到「信息融合度」对最终答案有正向影响,但缺乏显式reward shaping,可在TRACE外加入「实体覆盖度奖励」——鼓励模型在前几步就尽可能多地ground关键实体,避免后期遗漏。第三,CAS指标形式化扩展:当前CAS中2的权重是经验设定,未来可基于真实tool latency和generation latency数据回归得到更精确权重,并扩展为多维向量指标同时报告information density、latency、cost三维度。第四,并行Agent的test-time scaling研究:HyperEyes把test-time compute从「更多回合」转移到「更宽并行」,与self-consistency、tree-of-thought的结合点是「在每回合内做多假设并行」。
复现评估
复现性总体良好但有三个不确定点。代码与数据:作者声明Code & Data at https://github.com/DeepExperience/HyperEyes 公开,但arXiv发布于2026-05、评测时间2026-07,链接可能尚未完全开源;IMEB作为300例人工标注benchmark应可直接发布。算力门槛:Qwen3-VL-30B的SFT(30k轨迹)+RL(6k样本)需32-64张A100/H100约一周;Qwen3-VL-235B需64-128张H100约2-3周;OPD阶段teacher需frozen在线推理,显存压力大,可能需teacher与student共驻或异步采样。复现难度:PRS升budget循环、TRACE按epoch收紧reference、OPD只对失败rollout算KL三处逻辑清晰且作者在Algorithm 1和正文公式(2)-(6)中给出完整描述,关键超参如$\gamma$、$\lambda_\text{fmt}$、$\lambda_\text{red}$、$\lambda_\text{kd}$需在附录E中查找。主要风险:(a)PRS依赖Qwen3-VL-235B对271k查询做tool-necessity过滤,API调用和判定逻辑难复现;(b)人工标注IMEB需与原作者对齐指南;(c)HE-235B teacher checkpoint私有还是公开未明确。综合评估:复现HE-30B难度中等,复现HE-235B+OPD完整pipeline难度较高。
论文图表
上方展示传统串行多模态搜索Agent的工作流:对每个NBA球员依次调用Code(Crop)→Image Search→Text Search三轮,在Kevin Durant、Vince Wembanyama、Fred VanVleet三个实体上累计九次工具调用,上下文越来越长、噪声越来越多;下方展示HyperEyes的工作流:在同一回合内一次性对多个实体做Multi-entity Grounding + Crop and entity search,两个并行查询即可收敛到正确答案Fred Van Fleet, 15 points。
这张图直观展示全文核心论点——并行检索相比串行crop-then-search的优势,是理解「为什么需要UGS原子动作」的最佳入口,适合放在motivation或method开头。