MERRIN:面向噪声网络环境的多模态证据检索与推理基准 MERRIN: A Benchmark for Multimodal Evidence Retrieval and Reasoning in Noisy Web Environments
首个要求多模态(含视频/音频)网络检索与多跳推理的搜索增强代理评测基准
前置知识
搜索增强代理 (Search-Augmented Agent)
在大语言模型外,额外接入网页搜索、抓取、PDF/视频解析等工具,通过工具调用循环把外部证据整合进上下文的智能体范式。本文用 smolagents 搭建,在 no/native/agentic 三种搜索配置下分别代表'纯参数'、'厂商内置'、'自建工具栈'三种工作模式。
MERRIN 评测对象就是搜索增强 agent,No/Native/Agentic 三档都是 agent 形态,理解'过探索'与'文本偏置'是 agent 类问题(而非单次 LLM 推理)的关键。
多模态证据 (text/image/video/audio)
真实网页证据以多种媒介共存:结构化文本、静态图片、动态视频及伴随音轨。MERRIN 显式分为 Text/Image/Video/Audio/Table 五类,还区分'作为答案'与'作为推理环节'两种 multimodal role,视频/音频被特别标注为'之前基准被忽略'的模态。
看懂五类模态与两种 role 划分,才能理解 Figure 1 三类失败模式(reasoning/modality/retrieval)的设计动机,以及为什么补视频工具能直接带来 5.7% 增益。
多跳推理与多模态冲突 (multi-hop / multimodal conflict)
多跳推理指答案需串起 ≥2 个证据片段(可跨网页、跨模态);多模态冲突指不同来源对同一事实给出矛盾信息。前者关心能否连成 chain,后者关心能否在冲突中选对边。73.5% 的 MERRIN 题同时需要这两类能力。
理解 57.7%/42.3% 首/次步失败率与 63.6% 'as answer' 失败率,才能理解作者为何反复强调'推理比搜索更难'——前一步错的多跳题,再先进的检索也救不回来。
LLM-as-Judge 评测
用一个大语言模型作为打分器,根据 ground truth 与模型预测自动判断是否答对。BrowseComp 与 MERRIN 都采用此范式,论文报告 50 例手工校验 100% 正确,理由是答案'短且唯一',多数情况退化为带归一化的精确匹配。
如果不交代这一前提,读者可能怀疑 22.3%/40.1% 的可靠性;理解 LLM-as-Judge 在 unambiguous answer 上近似 exact-match,才能接受用 accuracy 而非 F1/EM 的设计。
研究动机
现有评测存在三个结构化盲点:其一,大多数基准在 query 中显式标注模态(如'In the following image...'),如 MM-BrowseComp(Li et al., 2025)、BrowseComp-VL(Geng et al., 2026)等,导致 agent 不必自己判断该去哪儿找证据,脱离真实用户习惯;其二,模态覆盖窄,M3DocVQA、MMSearch 等通常只覆盖 text+image,而真实网页中视频/音频证据大量存在却被系统性忽略;其三,对网络噪声的建模不足,既有基准要么在受控语料上做合成冲突(Tian et al., 2025),要么只评估 text-only 场景下的检索(Wang et al., 2025; Pham et al., 2026)。论文 Table 1 把 9 个代表基准按 6 个维度做矩阵化比较,只有 MERRIN 一次性满足全部条件。
本文的目标是论文的核心目标是设计一个高质量、可被自动评测的诊断型基准,直接量化当前 SOTA 搜索代理在多模态、噪声、开放网络环境下的真实水平,并据此反推设计改进方向。具体目标包括:(a) 162 道由 5 名研究生级 + 1 名本科标注员构建、经过多轮互审的问题,其中 120 道全新构造、37 道从 SealQA 衍生、5 道从 ChartMuseum 衍生;(b) 答案短且唯一,可由 LLM-as-Judge 自动判分;(c) 在 no search / native search / agentic multimodal search 三档下系统比较 10 个模型(GPT-5.4-nano/mini、Gemini 3 Flash/Pro、Gemini 3.1 Lite/Pro、Gemini Deep Research、Qwen3-4B/30B/235B);(d) 报告人在 50 例子集上的表现,形成'人-机对比'的纵向数据。
与已有工作不同的是，MERRIN 的切入角度不是提出一种新代理架构,而是用'更逼真的评测'逼出现有代理的系统性短板。它把'自然语言 query'、'视频/音频证据'、'真实网络噪声'、'多跳+冲突'四件难事实同时组合在 162 道题里,通过两套解构性实验把错误归因到 search 与 reasoning 两个独立维度——具体做法是逐步把检索阶段用 gold source URL / gold source / gold prompt 替代,看准确率还剩多少提升空间。这一套诊断方法使得论文最终得出'reasoning 是更紧迫的瓶颈'(gold prompt 仅带来 7.6% 提升)这种反直觉结论,从而为社区指明真正需要投入的方向。
核心方法
MERRIN 是一个评测基准,不是一个新模型,所以 '方法' 的重点是数据构造与评测协议,而不是训练目标。整体思路是:由人类标注员围绕'必须用非文本证据才能解出'、'query 不显式提示模态'、'答案短而唯一'三项硬约束出题,再对每道题标注 reasoning type(多跳 / 多模态冲突 / 二者皆有)、multimodal role(作为答案 / 作为推理环节 / 皆有)以及 source URL/type;之后进入多轮互审与对抗式 text-only 攻击,只有'至少存在一个子问题能抵抗纯文本 Google 搜索'才被放行;最后把整套题丢给 10 个模型 ×3 种搜索配置(共约 22 个运行组合)运行,得到平均准确率 $\text{Acc}=\frac{1}{162}\sum_{i=1}^{162}\mathbb{1}[\hat{a}_i = a_i]$。
核心创新体现在三处:(1) '无模态提示词 + 必须用非文本模态'的双重约束,让 agent 必须自己决定去抓视频还是去读图;(2) '多模态冲突作为天然现象,而不是合成注入',真实地复现了 Google 搜索结果里同时出现 2 个矛盾页面的情形,使得评测更接近用户实际使用情境;(3) 通过'逐步喂 gold evidence'的 ablate,把 search 与 reasoning 错误解耦:Agentic → +Gold URL injection(+3.3%) → +Gold URL only(+2.1%) → +Gold prompt(+2.2%),累计 +7.6%,从而首次定量给出'在当前最强代理(Gemini-3.1-Pro)上,推理上限 vs 搜索上限'的比例。
方法步骤详情
构造流程分六步。第一步,六位标注员按附录 B.3 指南设计问题,围绕'无模态提示词、非文本证据必需、答案唯一'三项硬约束。第二步,标注推理类型、多模态角色、源 URL、源类型与题目来源(原创/SealQA/ChartMuseum)。第三步,二审由未参与一题的标注员复核答案正确性、问题清晰度与难度,首轮约 39.5% 候选被拒,被拒的 45.3% 在第二轮被修改后接受。第四步,对抗式 text-only 验证——把每道题拆成子问题,先用 text-only Google Search 试解,再把'子问题+已知答案'联合检索以检查文本捷径,只有至少一个子问题两次都失败才放行。第五步,导出 162 道题的数据集统计(Figure 2),text/image/video+audio 占比 31.4%/35.9%/28.8%,73.5% 的题同时要求多跳+冲突。第六步,代入 10 个模型 × 3 种搜索配置运行,主指标 $\text{Acc}=\frac{1}{N}\sum_{i=1}^{N}\mathbb{1}[\hat{a}_i = a_i]$,每 cell 三次取均值。
技术新颖性
从技术新颖性看,MERRIN 的贡献不来自新算法,而来自一套比 BrowseComp(Wei et al., 2025)、SealQA(Pham et al., 2026)、MMSearch(Jiang et al., 2025)更严格的评测协议:把 'no explicit modality cues'、'真实开放网页'、'多模态冲突非合成'、'可被 LLM-as-judge 自动判分'四件事首次组合起来;并提供 'reasoning vs search' 错误解构方法,即逐步用 gold source 替换检索阶段。这套方法论可以让后续任意新代理在 MERRIN 上重现表格,直接得到'它的失败主要发生在搜索阶段还是推理阶段'的定位。
实验结果
实验分四块,围绕 Gemini-3.1-Pro 展开。第一,Table 2 显示 MERRIN 极难:三档搜索平均仅 22.3%,No/Native/Agentic 均值 17.3%/23.1%/33.7%;Gemini-3.1-Pro + Agentic 最高 $40.1\%$,Gemini Deep Research(Native) 33.3%,Qwen3-235B + Agentic 仅 23.3%。第二,Table 4 瓶颈分析:逐步把检索阶段替换为 gold 证据,准确率从 $40.1\% \to 43.4\% \to 45.5\% \to 47.7\%$,累计仅 $+7.6\%$,reasoning 是更紧迫瓶颈。第三,模态偏置惊人:agent 检索证据 87.7% 为文本、图像 6.8%、视频+音频 5.5%,数据集 31.4%/35.9%/28.8%,差距 >50 个百分点。第四,人-机对比:人类 $71.4\%$ 远胜 agent($40.1\%$),人类 URL 精度 $38.1\%$ vs agentic $1.8\%$。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MERRIN 三档搜索主表 (Agentic / Native / No Search 平均 Acc) | Accuracy (%) | Agentic 33.7% (Gemini-3.1-Pro 40.1% 单点最高);Native 23.1% (Gemini Deep Research 33.3%);No Search 17.3% (Gemini-3.1-Pro 24.7%) | Qwen3-4B/30B/235B 在 Agentic 下分别 10.5%/16.1%/23.3%;GPT-5.4-nano Agentic 31.9%,Native 12.6%;Gemini-3-Flash Agentic 32.9%,Native 31.7% | Agentic 比 Native 高 +10.6 绝对点;GPT vs Gemini 在 Native 下差距 13.4%,在 Agentic 下收窄到 3.3%;closed-source 平均从 No Search 到 Agentic +16.4,open-weight 仅 +6.5 |
| Search vs Reasoning 瓶颈拆解 (Gemini-3.1-Pro) | Accuracy (%) | Agentic 40.1% → +Gold URL Injection 43.4% → +Gold URL Only 45.5% → Gold Prompting 47.7% | No Search 24.7%,Native Search 29.0% | 从 open search 到 gold prompt 总提升 +7.6%,其中 reasoning 部分(+Gold URL Only → Gold Prompting)贡献 +2.2%,search 部分(Agentic → +Gold URL Only)贡献 +5.4% |
| 人-机对比 (50 例子集) | Accuracy / URL Precision / 平均搜索次数 | 人类 71.4% Acc,53.2% text + 28.2% video + 18.5% image,2.9 次搜索,URL 精度 38.1%,平均 4.1 min | Agentic 40.1% Acc,87.0% text + 4.4% video + 8.5% image,9.1 次搜索,URL 精度 1.8%,平均 4.0 min;Native 30.9% Acc,96.2% text + 0% video + 3.8% image | 人类比 Agentic 高 +31.3 绝对点,URL 精度高 36.3 点,搜索次数少约 3 倍 |
| 加入视频工具的影响 (Native Search + 视频处理) | Accuracy 绝对提升 (%) | Gemini-3-Flash/3-Pro/3.1-Lite/3.1-Pro 四模型平均 +5.7% | Native Search (无视频) 各模型基线 | 验证了模态缺失是 Native Search 的硬瓶颈,补上视频模态后所有 Gemini 变体一致上升 |
| Thinking Effort 影响 (GPT-5.4-mini, None→xHigh) | Accuracy 绝对提升 (%) | Agentic +8.6%,Native +6.8%,No Search +3.1% | 各档搜索在 'None' 思考档下的成绩 | 推理越深收益越大,但 No Search 下收益有限,说明在没有外部证据时 '想更多' 的边际效应快速饱和 |
| 多跳推理错误分布 (50 例人工标注子集) | 首步/次步错误比例 | 首步失败 57.7%,次步失败 42.3%;次步失败中 63.6% 发生在 'as answer' 角色,18.2% 在 'reasoning chain',18.2% 二者兼有 | Dataset 73.5% 题目同时需要多跳+冲突 | 论证了 'evidence 识别 + 接地' 是更上游的瓶颈,先错一步就基本没有挽救空间 |
局限与改进
作者承认的限制主要在三处:(1) 162 题的规模刻意保持小而精,目的是高质量诊断型基准,代价是统计显著性受限,模型间 1-2% 的差异不一定稳定;(2) 评测全部基于 LLM-as-Judge,虽然在 50 例手工校验中 100% 正确,但对于'非完全 short-answer'的任务仍可能误判;(3) 视频与音频证据依赖 agentic 工具栈(基于 smolagents 封装)与厂商内置搜索,各模型间 toolset 并不严格统一,Gemini Research 没有可观测的 search/visit 计数,可能造成不可比。作为读者还可以补充两点观察:一是 benchmark 构造时 39.5% 首轮拒绝率,虽然 45.3% 被救回,但仍引入标注员主观偏好,导致题目偏向标注员熟悉话题;二是人类评估仅 50 例,Acc@5min 59.2% 与总体 71.4% 的 12.2 个百分点差距需要更大样本验证。
独立分析的弱点
独立分析暴露的弱点至少有四个场景。场景一,文本偏置是 MERRIN 上 agent 的最大通病——Gemini-3.1-Pro 检索证据 87.7% 为文本,而数据集仅 31.4% 是文本,改进方向是训练 query→modality 路由器,让 agent 在第一次搜索前就规划好'该查文字还是该看视频'。场景二,过探索在 Gemini Deep Research 与 Gemini Pro Native Search 上表现为 33.1% / 12.7% 的 timeout/too-many-tool-calls 比例,改进方向是加 confidence-based early stop 机制。场景三,第一步失败率 57.7% 暴露'多跳链条的脆弱性',改进方向是 multi-path search 并行尝试 2-3 套首跳方案再投票。场景四,人工评估 Wrong Count 占 43%,改进方向是把 grounding 任务从'整段文字阅读'拆成'细粒度时空定位',让 agent 必须给出 (timestamp / bounding box)。
未来方向
作者明确提到的后续方向包括:(a) 把 MERRIN 扩展到更多模态(如 3D 物体、PDF 表格、HTML 交互控件)与更多语言;(b) 引入'推理 trace 可解释性'评测,即不只是看最终答案对错,还看中间步骤是否被 ground 到 evidence。基于论文成果还可以延伸至少三个方向:第一,既然 reasoning 是更紧迫瓶颈(+7.6% 上限),可以构造一个 'search-saturated' 版的 MERRIN——所有题都配 gold URL,纯粹测 reasoning,用来专攻推理而非搜索;第二,既然 open-weight 模型的 Agentic 增益只有 +6.5% 而 closed-source 是 +16.4%,说明 tool-use 训练差距大,可以做一份 'agentic-finetuning recipe' 的对照实验;第三,既然人类 71.4% 还远未饱和(且 Acc@5min 还能 +12.2%),可以进一步引入 'human-AI collaborative' 评测,让 agent 与人合作,看是否能突破当前 40.1% 的天花板。
复现评估
复现难度主要在'代理'本身而非'数据'。数据集 162 道题随论文公开(项目页 https://merrin-benchmark.github.io),LLM-as-Judge 评测脚本与 gold evidence 标注都在附录中说明,数据为公开网页内容,无需授权,跑一次完整评测仅需 API 调用费。但复现 40.1% 的 Agentic 成绩较为困难,原因有三:(1) Agentic 框架基于 smolagents(Roucher et al., 2025),视频抽帧、网页抓取、PDF 解析等工具实现细节需自己搭建;(2) Gemini-3.1-Pro、Gemini-3-Pro、GPT-5.4 系列是闭源 API,Gemini Research 33.3% 连 search/visit 计数都不可观测;(3) 复现 Native Search 时,各家厂商内置搜索的索引快照随时间漂移,Google 搜索的 video/audio 支持也在变化,同模型不同时间跑出来的数字可能有 1-3% 波动,论文用三 run 平均是最低要求。
论文图表
用 Benjamin Franklin 的电荷守恒问题作为示例,展示 agent 在多模态检索中的三类失败模式:绿色路径代表理想(选对 modaltiy+选对 source),蓝色路径是 Reasoning Error(选对 source 但接地错——把 Feynman 黑板上的第三个公式误当成第一个),红色路径是 Modality Error(只看文本 lecture notes 而忽略要求视觉信息),紫色路径是 Retrieval Error(选对 modality 但被一段 summary 视频带偏而 hallucinate)。
这是整篇论文最核心的 '动机图'——一个具体例子同时串起 query → 多模态 evidence → 三类失败模式,任何 reviewer 都需要先看懂这张图才能接受 MERRIN 的设计目标。
饼图显示人类答错的 14 例中,Wrong Count 占 43%、Right Source Wrong Detail 占 29%、Partial/Imprecise Answer 占 14%、Others 占 14%。
揭示 '人类错误大多是 fine-grained grounding 而非 source discovery',为'需要更强的细粒度证据提取'提供方向性证据,也是 limitations 中人类评估小样本的细化数据。