DeepSearchQA：弥合深度研究智能体的全面性评估鸿沟 DeepSearchQA: Bridging the Comprehensiveness Gap for Deep Research Agents
提出900题基准，评估智能体在多步信息检索中的穷举答案集合生成能力。
前置知识
LLM Agent（大语言模型智能体）
以大语言模型为核心推理引擎，结合规划、记忆管理和工具调用能力，能够自主与外部环境交互以完成复杂任务的自主系统。与传统静态LLM不同，Agent具备迭代式的搜索-推理-合成循环，能够访问互联网、解析文档、调用API等外部工具，实现长距离多步骤的任务执行。Deep Research Agent特指那些专门为深度信息检索任务设计的智能体架构，能够在开放网络上进行系统性的信息搜集和综合。
本文的核心研究对象就是Deep Research Agent的评估，理解Agent的架构和能力边界是理解本文动机和贡献的前提。
Precision-Recall-F1 评估指标
在信息检索领域，Precision（精确率）衡量提交答案中正确答案的比例，即 $P = \frac{|S \cap G|}{|S|}$；Recall（召回率）衡量正确答案被检索到的比例，即 $R = \frac{|S \cap G|}{|G|}$；F1-Score则是二者的调和平均 $F1 = 2 \cdot \frac{P \cdot R}{P + R}$。这组指标能够全面衡量检索系统的准确性和完整性，避免单一指标的偏差。本文采用F1作为主要排名指标，因为它能有效惩罚通过大量猜测来提高召回率但牺牲精确率的行为。
本文的评估框架完全基于这组指标，理解它们的数学含义和权衡关系是理解实验结果的关键。
Comprehensiveness Gap（全面性鸿沟）
作者提出的核心概念，指现有智能体评估范式中存在的一类盲区：大多数基准测试要求智能体找到单一正确答案（如"What is the capital of France?"），但现实世界中的信息检索任务往往需要穷举所有满足条件的答案集合。这种从单点检索到穷举集合生成的能力差距就是"全面性鸿沟"。例如用户可能需要"列出所有半导体行业市盈率低于20且在东南亚有业务的公司"，这类任务需要系统性的多源信息整合。
这是本文的核心创新点和出发点，整篇论文的设计、基准构建和评估方法都是为了弥合这一鸿沟。
Entity Resolution / De-duplication（实体消歧与去重）
指识别表面上不同但实际指向同一实体的信息项的能力。在深度研究场景中，同一个实体可能在不同来源中以不同名称、格式或变体出现（如"北京"与"北京市"，"OpenAI GPT-4"与"GPT-4 (OpenAI)"）。智能体需要具备将这些变体识别为同一实体并进行合并的能力，否则会导致答案列表膨胀、精确率下降。这是深度研究任务中一个被广泛忽视但非常关键的技术挑战。
论文将此列为DeepSearchQA测试的三大核心能力之一，是评估智能体检索质量的关键维度。
Stopping Criteria（停止准则）
在开放式信息检索中，智能体需要判断何时停止搜索。这面临一个认识论层面的难题：区分"尚未找到证据"（absence of evidence）和"证据表明不存在"（evidence of absence）。智能体必须在没有显式终止信号的情况下，基于已检索信息推理出继续搜索的边际收益已可忽略不计。过早停止导致信息遗漏（under-retrieval），过晚停止则可能引入噪声甚至幻觉信息（over-retrieval / hedging）。
论文将此视为最核心且最具挑战性的能力，实验结果表明即使最先进的模型也在此方面表现不佳，是"最后一英里问题"的主要成因。
研究动机
当前智能体评估范式存在根本性的局限。传统基准如TruthfulQA、SimpleQA、HaluEval等专注于单答案检索任务（如"法国首都是什么？"），这种单答案格式虽然支持低成本、可扩展的自动化评分，但它激励的是精确优先的搜索策略——在干草堆中找到针——而非现实生活中很多信息需求所要求的穷举式研究。即便是更先进的基准如Humanity's Last Exam（HLE）、GAIA和BrowseComp，虽然大幅提升了问题难度，但仍然保留了单答案格式以确保客观评分。FreshLLMs和RealTime QA等动态基准同样依赖原子答案，无法捕捉广泛信息收集的复杂性。现有评估方法的核心问题在于：它们测试的是智能体能否找到一个正确答案，而非能否构建一个完整的、无遗漏的答案集合。这导致评估结果无法真实反映智能体在实际研究任务中的表现，形成了一个被称为"全面性鸿沟"的评估盲区。
本文的目标是本文的核心目标是构建一个能够严格评估深度研究智能体穷举检索能力的基准测试——DeepSearchQA。具体而言，作者希望设计一个包含900个精心构造的多步信息检索任务的数据集，涵盖17个不同领域，每个任务都需要智能体系统性地从多个分散的信息源中整合信息，去重和消歧实体，并在开放式搜索空间中推理停止条件。性能评估基于严格的结果导向方法，仅依据最终提交答案集合的完整性（召回率）和正确性（精确率）来评判，而不考察搜索轨迹本身。目标是建立一个活的排行榜（由Kaggle维护），持续追踪不同模型的进展，推动研究社区开发更强大、更全面的深度研究能力。
与已有工作不同的是，本文的独特切入角度在于将评估范式从精确率优先的单答案检索转变为穷举答案集合生成。这一转变并非简单地要求模型输出更多答案，而是明确测试三个在现有基准中被忽视的高阶能力：第一，系统性整合（Systematic Collation）——从数百个不同来源整合碎片化信息的能力，没有任何单一来源包含完整信息；第二，实体消歧（Entity Resolution）——识别表面形式不同但语义相同的实体并去重的能力；第三，停止条件推理（Stopping Criteria）——在认识论不确定性下判断搜索是否完成的能力。这种设计使得DeepSearchQA能够精确诊断智能体架构在这三个维度上的具体弱点，而不仅仅给出一个笼统的准确率数字。论文提出的"最后一英里问题"概念——F1分数与完全正确率之间约13-15个百分点的差距——恰恰揭示了智能体在合成最终答案时的关键缺陷。
核心方法
DeepSearchQA的整体设计思路是构建一个以结果为导向、覆盖多领域的穷举式信息检索评估框架。直觉层面，作者观察到现实世界中很多有价值的信息检索任务（如投资研究、学术文献综述、合规审查）都不是找到单一答案就能满足的，而是需要构建一个完整、无遗漏的集合。因此，他们设计了一套从任务构建到评估的完整流程：首先由专业数据标注员从多种来源精心设计900个提示，每个提示都指向一个客观可验证的答案集合；然后通过三阶段质量验证协议确保地面真相的准确性；最后采用基于信息检索标准指标的自动化LLM-as-a-Judge评估管线进行评分。技术路线上，所有任务都被锚定在特定时间点或静态数据源上，以最小化活体网络基准中常见的地面真相漂移问题。
DeepSearchQA的核心创新在于将评估焦点从"找到正确答案"转移到"构建完整答案集合"。与SimpleQA、BrowseComp等基准的根本区别在于：这些基准的F1分数等于精确匹配准确率（二元的0或1），而DeepSearchQA的F1是一个连续值，能够同时惩罚两种相反的失败模式——检索不足（under-retrieval，召回率低）和过度检索/对冲行为（over-retrieval/hedging，精确率低）。论文提出了四种互斥的分类标准：完全正确（$S = G$）、完全错误（$S \cap G = \emptyset$）、部分正确（$\emptyset \neq (S \cap G) \subset G$）、以及正确但含多余答案（$G \subset S$）。特别值得注意的是最后一种分类：它专门捕捉智能体在召回所有正确答案后未能识别搜索完成的"对冲"失败模式，例如在回答"太阳系行星"时包含冥王星，或在回答"与缅因州接壤的州"时虚构佛蒙特州。这种细粒度的分类框架使得研究者能够精确诊断智能体的具体失败阶段。
方法步骤详情
DeepSearchQA的构建和评估包含以下步骤：第一步，任务设计——专业数据标注员设计900个提示，涵盖政治与政府、金融与经济、科学、健康、历史、地理和媒体等17个领域，每个提示都指向客观可验证的答案集合，且时间锚定以避免地面真相漂移。答案类型分为单一答案（如特定日期或名称）和集合答案（枚举或复合响应）。第二步，质量验证——采用三阶段协议：首先三位审阅者独立研究答案（不知道地面真相），然后将独立答案与原始地面真相交叉比对，任何差异触发最终冲突解决阶段以确定哪个答案需要更新或提示是否存在歧义。第三步，评估管线——使用Gemini 2.5 Flash作为零样本的LLM-as-a-Judge，对提交集合$S$中的每个元素判断是否与地面真相集合$G$中任何元素语义等价。第四步，指标计算——对每个提示计算精确率、召回率和F1分数，然后在整个评估集上取平均；同时将每个响应分类为四种互斥类别之一。
技术新颖性
DeepSearchQA在技术上具有多方面的新颖性。首先，它是首个专门为穷举答案集合生成设计的基准测试，填补了从单答案检索到多答案穷举检索的评估空白。其次，论文提出的任务复杂度分类法将检索任务分为三个维度：结构化检索（The Search）——需要设计多步搜索策略；上下文管理（The Assembly）——需要处理和综合大量异构信息；逻辑推理（The Thinker）——需要抽象演绎和规划。这种分类使得评估结果能够提供诊断性的洞见，而不仅仅是一个整体分数。第三，论文明确测试了三个被现有基准忽视的高阶能力，并通过精心设计的因果链式任务结构（前一步的信息发现依赖于前一步的成功完成）来施加长期规划和上下文保持的压力。最后，采用严格的结果导向评估方法鼓励架构创新，不限制智能体的搜索轨迹设计，同时通过集合论指标严格惩罚两种相反的失败模式。
实验结果
实验结果揭示了深度研究智能体的关键性能层次和失败模式。在10个被评估的模型中，Gemini Deep Research Agent以66.09%的完全正确率和81.90%的F1分数领先，GPT-5 Pro High Reasoning紧随其后（65.18%完全正确率，78.98% F1）。两者完全正确率在统计上相当，但Gemini Deep Research Agent在减少灾难性失败方面更有效，完全错误率仅为9.95%（对比GPT-5 Pro的14.13%）。中等层次包括o3 Deep Research（44.24%完全正确率）和o4 Mini Deep Research（40.36%），其完全错误率分别升至20.09%和24.19%。一个关键发现是推理阈值的存在：Gemini 2.5 Flash的F1分数骤降至42.99%（约为领先者的一半），完全错误率飙升至45.27%（约为SOTA智能体的五倍），表明低于某个参数或计算阈值，智能体会经历轨迹发散。另一个重要发现是测试时计算的缩放行为：通过从$n=1$增加到$n=8$次采样，Gemini Deep Research Agent的完全正确率从67.18%提升至85.71%，仅采样两次即达74.51%，$n=4$即达81.72%。论文还发现了"最后一英里问题"：F1分数与完全正确率之间存在约15个百分点的差距，由检索不足（遗漏长尾实体）和过度检索（无法识别搜索完成）两种相反的失败模式驱动。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| DeepSearchQA（900提示，17领域穷举信息检索） | F1-Score | Gemini Deep Research Agent: 81.90% | GPT-5 Pro High Reasoning: 78.98% | 领先2.92个百分点，完全错误率降低4.18个百分点 |
| DeepSearchQA完全正确率 | Fully Correct (%) | Gemini Deep Research Agent: 66.09% | GPT-5 Pro High Reasoning: 65.18% | 统计上相当，但Gemini完全错误率更低（9.95% vs 14.13%） |
| DeepSearchQA测试时计算缩放 | Fully Correct (%) at n=8 samples | Gemini Deep Research Agent: 85.71% | 单次采样 (n=1): 67.18% | 增加18.53个百分点 |
| DeepSearchQA（低端模型对比） | F1-Score | Gemini 2.5 Flash: 42.99% | Gemini Deep Research Agent: 81.90% | 差距达38.91个百分点，表明推理阈值的存在 |
局限与改进
作者坦承DeepSearchQA存在几个关键局限性。首先，纯结果导向评估将智能体视为黑箱，无法区分通过正确推理到达正确答案与通过低效或偶然途径（如幸运猜测）到达正确答案的情况，缺乏轨迹数据使得失败诊断存在盲区。其次，静态网络假设虽然确保了可复现性，但限制了对"突发新闻"检索场景的评估，如果源网站被删除或内容大幅修改，任务的地面真相可能过时，需要定期手动审查和更新数据集。此外，本文还存在一些作者未明确讨论但值得关注的局限：基准的900个提示虽然覆盖17个领域，但相对于现实世界信息需求的多样性仍然有限；评估依赖Gemini 2.5 Flash作为评判者，其自身的偏差和局限性可能影响评估结果的客观性；地面真相的构建依赖人工标注和验证，标注员的知识和搜索能力可能影响答案集合的完整性；且基准未涵盖需要处理实时动态数据源（如股票价格、新闻事件）的检索任务，这在实际应用中往往是更具挑战性的场景。
独立分析的弱点
独立分析DeepSearchQA存在以下弱点。第一，评估完全依赖结果指标，无法指导智能体架构的改进方向——知道一个智能体F1分数低并不能告诉我们是搜索策略问题、上下文管理问题还是合成问题，论文虽提出任务复杂度分类法但未将其与评估结果关联。改进方向是结合过程指标（如搜索路径长度、源多样性、查询迭代次数）进行多维度诊断。第二，LLM-as-a-Judge评估管线存在循环依赖问题：用一个可能有偏见的LLM来评估另一个LLM的输出，可能放大某些系统性偏差。改进方向是引入多模型交叉验证或规则基础的精确匹配作为补充。第三，静态地面真相无法反映信息的时效性和源可访问性变化，可能在数月后产生大量错误的"正确答案"。改进方向是建立自动化的地面真相维护机制。第四，900个提示的规模对于统计显著性分析和子类别分析来说仍然偏小，特别是在按领域细分时每个类别可能只有50-100个样本。
未来方向
论文提出了几个明确的未来研究方向。第一，引入过程指标：将智能体轨迹分类（如访问的页面、查询序列）作为辅助数据，帮助研究者区分检索失败、推理错误和合成问题。第二，动态和时间敏感列表：引入"实时"问题测试实时信息检索能力，如"列出英国议会科技委员会的所有现任成员"，评估智能体处理时间约束和获取新鲜数据的能力。第三，加权相关性评分：当前基准对所有地面真相项目一视同仁，未来可引入分级相关性，区分"核心"和"外围"答案，利用nDCG等排名感知指标。基于论文成果，还可以延伸出以下研究方向：开发专门针对穷举检索的训练方法和奖励函数；研究智能体在不同任务复杂度（结构化检索、上下文管理、逻辑推理）维度上的专项能力提升；探索通过主动学习来提高停止条件推理的策略；以及将评估框架扩展到多语言和跨文化信息检索场景。
复现评估
DeepSearchQA的复现条件相对良好。基准数据集已公开发布在Kaggle平台（https://www.kaggle.com/benchmarks/google/dsqa/leaderboard），排行榜对新模型提交保持开放，这为社区的持续评估和比较提供了基础设施。评估管线使用Gemini 2.5 Flash作为零样本评判者，虽然这降低了复现成本但也引入了对特定模型的依赖。数据集构建过程的三阶段质量验证协议设计严谨，但原始标注数据和验证过程的详细日志未见公开，可能影响完全复现。算力需求方面，评估本身对被测模型的计算成本取决于所使用的智能体架构，论文指出Gemini Deep Research Agent的成本显著低于GPT-5 Pro High Reasoning。总体而言，该基准的可复现性评级为中等偏上：数据集和排行榜公开，评估方法明确，但地面真相构建过程的细节和评判模型的替代方案仍有改进空间。
论文图表