SAGE：深度研究智能体的检索能力基准测试与改进

揭示BM25在深度研究智能体中比LLM检索器更有效，并提出语料库级测试时扩展框架

前置知识

深度研究智能体（Deep Research Agents）

一类能够自主执行多步骤信息检索和综合分析的AI系统。这类智能体通过迭代式思考（think）、搜索（tool）和回答（answer）来处理复杂查询。它们能够将复杂问题分解为多个子查询，逐步构建证据库，最终生成有据可查的综合答案。典型代表包括OpenAI的Deep Research、Google的Gemini Deep Research以及开源的DR Tulu等系统。

本文研究的核心对象就是深度研究智能体的检索行为，理解这类系统的工作机制是评估其检索效果的基础

BM25算法

一种经典的稀疏词法检索算法，基于词频（TF）和逆文档频率（IDF）进行文档匹配。BM25通过计算查询词在文档中的出现频率、文档长度归一化等因素来评估文档相关性。虽然这种方法只进行表面形式匹配，但在许多实际检索任务中表现出色，是信息检索领域的强基线方法。

论文发现BM25在与深度研究智能体配合时，比基于LLM的检索器表现更好约30%，这一反直觉发现是论文的核心贡献之一

LLM-based检索器

基于大语言模型的检索器，如gte-Qwen2-7B-instruct和ReasonIR等。这类方法将生成式LLM重新用于嵌入任务，通过对比学习训练来生成文档和查询的向量表示。它们理论上能够更好地理解语义、支持指令跟随和推理密集型检索，但实际效果取决于查询表述与训练分布的匹配程度。

论文对比了这类先进检索器与传统BM25的效果，发现查询-检索器不匹配是限制LLM检索器发挥优势的关键因素

测试时扩展（Test-time Scaling）

一种在推理阶段通过分配额外计算资源来提升模型性能的范式。在检索领域，这通常表现为查询扩展、查询重写或文档增强等策略。与传统的训练时扩展不同，测试时扩展可以在不重新训练模型的情况下，通过增强输入信息来改善检索效果。

论文提出的语料库级测试时扩展框架是主要技术贡献，通过在文档端而非查询端进行扩展来改善检索效果

研究动机

深度研究智能体在处理复杂查询时依赖检索系统获取信息，但现有商业系统主要使用专有搜索API进行网页检索，这些系统基于表面形式匹配。当面对需要深度推理的科学文献检索任务时，这些系统往往难以有效合成元数据和论文间关系。具体来说，实验发现所有六个被测试的深度研究智能体（包括GPT-5、Gemini-2.5-Pro等）在推理密集型检索任务上都表现挣扎。更关键的是，当使用LLM-based检索器替代传统BM25时，性能反而下降约30%，这与LLM检索器理论上应该更好的预期形成鲜明对比。

本文的目标是本文旨在系统性地研究深度研究智能体的检索行为，特别是评估LLM-based检索器是否能有效贡献于深度研究智能体的工作流程。具体目标包括：构建一个包含1,200个查询、覆盖四个科学领域、包含200,000篇论文的检索基准SAGE；评估六种深度研究智能体的表现；比较BM25与LLM-based检索器在不同场景下的效果；提出改进检索效果的框架。

与已有工作不同的是，与现有工作相比，本文的独特切入角度在于关注检索器与智能体之间的协作问题，而非单独优化检索器或智能体。现有研究要么专注于训练更好的检索器（如ReasonIR针对推理密集型任务），要么专注于提升智能体的推理能力（如DR Tulu的强化学习训练），但很少研究两者如何有效配合。本文发现了一个被忽视的关键问题：深度研究智能体生成的子查询往往是关键词导向的，这与LLM-based检索器的训练分布不匹配，导致语义能力无法充分发挥。

核心方法

本文的方法可以类比为「给图书管理员配上合适的索引卡片系统」。想象一个图书馆里有大量科学论文，深度研究智能体就像一个研究员在寻找特定信息。问题在于，如果研究员使用的是关键词卡片（类似BM25的词法匹配），而图书管理员提供的是语义描述卡片（类似LLM-based检索器），两者就会产生不匹配。本文首先通过SAGE基准系统评估这种不匹配的程度，然后提出在文档端进行信息增强，就像给每本书添加更详细的元数据卡片，使得检索更容易。技术路线包括：构建SAGE基准（包含短形式和开放式问题）、评估六种深度研究智能体、比较三种检索器、提出语料库级测试时扩展框架。

论文的核心创新点是发现了「查询-检索器不匹配」现象并提出了「语料库级测试时扩展」解决方案。与已有方法的本质区别在于：现有工作通常从查询端进行扩展（如查询重写、查询扩展），而本文从文档端进行扩展。具体来说，深度研究智能体（如DR Tulu）生成的子查询是关键词导向的，这种表述方式与BM25的词法匹配机制高度契合，但与LLM-based检索器的训练分布（自然语言查询）严重不匹配。因此，本文不改变智能体的查询生成方式，而是通过增强文档的元数据和关键词信息，使检索器更容易找到相关文档。这种方法的优势在于不需要重新训练智能体或检索器，是一种即插即用的改进方案。

方法步骤详情

方法分为三个主要步骤：第一步，构建SAGE基准。从四个科学领域（计算机科学、自然科学、医疗健康、人文社科）各收集50,000篇论文，构建包含1,200个查询的数据集。短形式问题通过提取论文元数据、图表和引用关系生成，要求精确匹配；开放式问题则基于论文对的共同引用关系生成，要求检索多篇相关论文。第二步，评估深度研究智能体。测试GPT-5系列、Gemini-2.5系列和DR Tulu等六个系统，记录它们的搜索次数、引用数量和准确率。对于语料库搜索实验，修改DR Tulu的MCP服务，使其只能使用指定的检索器。第三步，提出语料库级测试时扩展。使用Qwen3-Next-80B-A3B-Instruct处理每篇论文的Markdown，提取8个主题相关的关键词，将这些关键词和元数据（发表venue、年份、作者、引用数）格式化为强调的关键词，前置到每篇文档中。

技术新颖性

本文的技术新颖性体现在三个方面：首先，首次系统研究深度研究智能体与检索器的协作问题，而非孤立评估两者。其次，发现了「查询-检索器不匹配」现象，即智能体生成的关键词导向子查询与LLM-based检索器的训练分布不匹配，这解释了为什么理论上更强的语义检索器反而表现更差。第三，提出「语料库级测试时扩展」框架，这是一种全新的扩展方向。与Rank1等查询端扩展方法不同，本文通过增强文档信息来适应检索器，这在检索领域是相对未被探索的方向。实验表明，这种文档端扩展对BM25特别有效，在短形式问题上带来8.18%的绝对提升。

实验结果

实验结果揭示了几个重要发现。首先，在网页搜索设置下，GPT-5在短形式问题上表现最好（EM 71.69%），而DR Tulu作为开源系统，性能（42.00%）与Gemini-2.5系列相当甚至更好。搜索数量并非准确率的主要驱动因素：Gemini-2.5-flash的搜索次数几乎是GPT-5的两倍，DR Tulu返回的引用数量异常高（平均37.32篇），但两者都大幅落后于GPT-5。这表明暴力搜索或引用积累不足以实现精确检索。其次，在语料库搜索设置下，BM25显著优于LLM-based检索器。在短形式问题上，BM25（k=10）的平均性能为81.2%，而gte-Qwen为63.0%，ReasonIR仅为49.3%，BM25比LLM-based检索器高出约30%。第三，增加每次搜索的top-k值能持续提升性能，ReasonIR受益最大，这表明更大的候选集可以部分补偿较弱的首页排序。第四，语料库级测试时扩展框架带来显著改进：BM25在短形式问题上获得8.18%的绝对提升，从75.80%提高到83.98%；在开放式问题上获得1.73%的提升。LLM-based检索器的改进较小，gte-Qwen在短形式问题上仅提升0.90%，ReasonIR提升1.70%。

查看结构化数据

任务	指标	本文	基线	提升
短形式问题（网页搜索）	Exact Match (%)	DR Tulu: 42.00%	GPT-5: 71.69%	开源系统中表现最好，但落后商业系统29.69%
短形式问题（语料库搜索）	Exact Match (%)	BM25 k=10: 81.2%	gte-Qwen k=10: 63.0%	BM25比LLM检索器高出约30%
短形式问题（测试时扩展后）	Exact Match (%)	BM25扩展后: 83.98%	BM25扩展前: 75.80%	绝对提升8.18%
开放式问题（语料库搜索）	Weighted Recall (%)	gte-Qwen k=10: 33.0%	BM25 k=10: 30.7%	LLM检索器在开放式问题上略有优势

局限与改进

论文承认了几个重要局限性。首先，作者没有对开源深度研究智能体进行指令微调或对齐训练，因此无法评估训练智能体根据底层检索器类型调整查询生成策略是否能改善性能。其次，大部分行为分析是在DR Tulu上进行的，其后训练过程可能显著影响观察到的智能体行为，因此发现可能不完全适用于具有不同训练配方或基础模型架构的智能体。此外，论文发现DR Tulu的子查询多样性较低，这限制了检索广度，使得语料库级扩展的收益无法完全转化为下游性能提升。从我的观察来看，SAGE基准虽然涵盖了四个科学领域，但每个领域只有50,000篇论文，这与实际的科学文献规模相比仍然较小，可能无法完全代表真实检索场景的复杂性。

独立分析的弱点

论文存在几个值得关注的弱点。第一，语料库级测试时扩展对LLM-based检索器的改进有限（短形式问题仅提升0.90-1.70%），这表明文档端扩展可能不是解决LLM检索器问题的最佳方案。改进方向可以是同时从查询端和文档端进行扩展，或者训练检索器更好地处理关键词导向的查询。第二，实验主要基于DR Tulu这一单一智能体，其行为特征可能不代表所有深度研究系统。未来工作应该在更多样化的智能体上验证发现。第三，测试时扩展使用Qwen3-Next-80B-A3B-Instruct生成关键词，但未探索不同关键词生成策略的效果，也未评估关键词数量对性能的影响。改进方向包括研究最优关键词数量、探索更复杂的文档增强策略（如直接编辑或重写文档）。第四，论文未考虑计算成本问题，语料库级扩展需要对整个语料库进行LLM处理，这在大规模应用中可能不切实际。

未来方向

论文作者提出，探索检索器感知的智能体训练是一个有价值的方向，即训练智能体根据底层检索器类型调整查询生成策略。基于论文成果，还可以延伸以下方向：首先，研究更激进的语料库扩展策略，如使用LLM直接编辑或重写每篇论文，使其更容易被检索。其次，探索查询端和文档端扩展的联合优化，找到最佳的资源分配策略。第三，将发现推广到其他检索领域，如网页搜索、法律文献检索等，验证「查询-检索器不匹配」现象的普遍性。第四，研究如何让LLM-based检索器更好地适应关键词导向的查询，这可能需要专门的训练数据或微调策略。第五，开发更高效的语料库扩展方法，降低计算成本，使大规模应用成为可能。

复现评估

论文具有良好的可复现性。作者开源了SAGE基准的代码和数据（https://github.com/HughieHu/Sage），包括1,200个查询和200,000篇论文的检索语料库。实验设置清晰：DR Tulu使用单个H100 GPU部署，检索器嵌入计算也在单个H100 GPU上完成。论文详细描述了数据构建过程、评估指标和实验配置。然而，复现需要注意几点：第一，需要访问大量开放获取的PDF论文，虽然作者提供了下载URL，但获取可能需要时间。第二，LLM-based检索器的嵌入计算需要GPU资源，ReasonIR和gte-Qwen-2-7B-instruct的嵌入在H100上计算。第三，商业系统（GPT-5、Gemini-2.5）的评估需要API访问权限，这可能涉及成本。总体而言，对于有GPU资源和API访问的研究者，复现难度中等。

SAGE：深度研究智能体的检索能力基准测试与改进 SAGE: Benchmarking and Improving Retrieval for Deep Research Agents