EvoBrowseComp：基于演进知识的搜索代理基准测试

提出自动化合成新鲜知识的演进基准，解决搜索代理评估中的测试集污染问题

前置知识

搜索代理（Search Agents）

搜索代理是大语言模型与网页搜索工具的结合体，能够通过搜索引擎检索信息、访问特定网页、执行多轮查询来回答复杂问题。它们具备自主导航开放网络、执行多跳推理和整合来自不同来源碎片化证据的能力。典型的工具包括使用 Google 搜索引擎的 search 工具和提取特定网页信息的 visit 工具。

本文核心就是评估搜索代理的能力，理解搜索代理的工作原理和工具使用方式，才能明白论文为何要设计如此复杂的评估基准和三智能体合成框架。

测试集污染（Test-set Contamination）

测试集污染是指基准测试数据在模型预训练或微调过程中被模型看到的现象。当模型的训练语料库包含基准测试的问答对时，模型可以通过参数化记忆直接背诵答案，而非通过真正的推理或检索来解决问题。这会导致模型在基准上获得虚高的分数，却无法反映其实际的泛化和推理能力。例如，BrowseComp 的答案已经泄露到公共数据中，导致该基准已失效。

这是论文要解决的核心问题。理解测试集污染的严重性，才能明白作者为什么要设计基于新鲜知识的演进基准，以及为何现有静态基准存在根本缺陷。

参数化记忆（Parametric Memorization）

参数化记忆是指模型通过训练将事实性知识编码到其神经网络参数中的能力。当模型看到足够的训练数据时，它可以在推理时直接从参数中回忆信息，而不需要访问外部工具或进行多步推理。虽然这展示了模型的学习能力，但对于评估模型在未知知识上的推理和检索能力来说，这是一个需要规避的捷径。

论文的主要目标就是防止模型通过参数化记忆来作弊。理解这个概念，才能明白作者为什么要强调新鲜知识（训练截止日期后出现的信息）的重要性，以及为何要限制非新鲜知识的使用。

LLM-as-a-judge

LLM-as-a-judge 是一种评估范式，使用另一个大语言模型作为法官来判断模型回答的正确性。这种方法在评估复杂任务时特别有用，因为简单的字符串匹配无法捕捉语义上的等价性。论文中，作者使用 GLM-5-Chat 作为法官模型，通过设计精细的提示词，要求法官提取模型的最终答案并与标准答案进行比较，而忽略推理过程的细节。

这是论文评估方法的核心。理解 LLM-as-a-judge 的工作原理和局限性，才能正确解读论文的实验结果，以及作者在局限性章节中提到的只评估最终答案而非推理轨迹的问题。

多跳推理（Multi-hop Reasoning）

多跳推理是指回答一个问题需要从多个信息源进行逐步推理的过程。每一跳都会引入新的实体或关系，后续推理依赖于前一步的结果。例如，要回答在2026年第二季度发布的、使用AWS Bedrock基础设施的测试管理平台是什么，需要先找出2026年Q2发布的平台（第一跳），再筛选出使用AWS Bedrock的（第二跳），最后确认是测试管理平台（第三跳）。EvoBrowseComp 要求至少 5 跳推理。

论文通过推理图的结构化方式来控制和增加问题的多跳推理复杂度。理解多跳推理，才能明白论文为何要设计 projection、intersection、complement 三种操作，以及如何通过这些操作构造复杂的问题结构。

研究动机

现有的搜索代理评估基准存在根本性的静态知识缺陷。BrowseComp 和 BrowseComp-ZH 依赖固定时间点人工策划的问答对，BrowseComp-Plus 冻结了策划好的文档快照，GAIA 基于特定版本的网页或附件文件，DeepSearchQA 虽然有时间锚定但使用静态提示集。这种静态性质使得它们极易受到测试集污染的影响：随着预训练语料库的扩展，基准内容不可避免地泄露到模型参数中，使模型能够通过参数化记忆而非真正的浏览和推理来解决问题。Anthropic 明确指出 BrowseComp 答案已泄露到公共数据中，该基准已被污染。实际影响是显著的：模型在 BrowseComp 上可达到 51.4-69.0% 的准确率，但在 EvoBrowseComp 上仅 23.0-42.0%，下降了 20-30 个百分点，证明现有基准已无法有效评估搜索代理的真实能力。

本文的目标是本文的目标是构建一个能够防止测试集污染、保持时间新鲜度、且可持续更新的搜索代理评估基准。具体目标包括：创建包含 400 个英语和 400 个中文的复杂问题，所有答案都基于新鲜知识（2026年1月1日后出现的信息），从根源上防止参数化记忆；设计完全自动化的合成框架，无需昂贵的人工标注，使基准能够定期更新，淘汰过度暴露的问题并融入新出现的知识；确保问题具有足够的复杂性和多样性，要求至少 5 跳推理，平均涉及 4.2 个不同的根域名，90% 的问题需要跨至少 3 个独立来源的证据聚合；验证基准的有效性，确保即使是最前沿的 LLM 在有工具情况下准确率也低于 45%，无工具时低于 11%，从而真正评估搜索代理的浏览和推理能力，而非静态记忆。

与已有工作不同的是，本文的独特切入点在于将演进和自动化合成作为解决测试集污染的根本方法。已有工作要么依赖人工策划（高昂成本，难以定期更新），要么使用静态语料库（不可避免被污染）。本文抓住了两个被忽视的关键点：新鲜知识是防止参数化记忆的天然屏障，只要答案基于训练截止日期后出现的信息，模型就无法通过记忆作弊；自动化合成是可持续更新的唯一路径，只有低成本、自动化的流水线，才能随着知识演进不断刷新基准，与搜索代理的能力发展保持同步。这个切入角度本质上是将基准从静态测试集转变为动态演进系统，从根本上改变了搜索代理评估的范式。

核心方法

本文的核心方法是一个三智能体协作框架，能够自动从实时网络发现新鲜知识并合成高质量的复杂问题。直觉上，这就像一个知识工厂：第一个工人（QA合成智能体）负责从网络挖掘材料并制作初步产品；第二个工人（信息过滤智能体）负责质量检验，过滤掉不可信或过于流行的材料；第三个工人（高层指导智能体）负责工艺优化，分析产品结构并提供改进建议。技术路线上，框架采用迭代反馈循环，从种子实体开始，三个智能体协同工作，直到合成出满足复杂性、无冗余、无捷径的高质量问答对。整个过程完全自动化，使用 DeepSeek-V3.2 作为所有智能体的基础模型，通过精心设计的提示词和逻辑推理图结构化控制，确保生成的数据既新鲜又困难。

本文的核心创新点是三智能体协作框架和基于推理图的结构化指导。与现有方法依赖人工策划或静态语料库有本质区别：首先，QA 合成智能体主动通过 search 和 visit 工具从实时网络检索信息，鼓励收集新鲜知识（2026年1月1日后出现的信息）并分类标记，允许部分非新鲜知识但要求最终答案必须基于新鲜知识；其次，信息过滤智能体从可信度和流行度两个维度过滤知识，对新鲜证据通过多源交叉验证评估可靠性（credible/not credible/unclear），对非新鲜知识判断是否过于流行或过度覆盖（popular/non-popular），仅保留可信的新鲜证据和非流行的非新鲜证据；最后，高层指导智能体将每个候选问题解析为推理图，使用 projection、intersection、complement 三种操作捕捉复杂拓扑结构，检测推理冗余（孤立节点或子图）和捷径（结构性绕过），并生成文本指令指导下一轮合成。这种结构化控制从根本上解决了文本驱动合成中的冗余和捷径问题，这是与已有方法最本质的区别。

方法步骤详情

方法包含四个核心步骤，形成完整的迭代循环。步骤一：种子实体收集。预定义 9 个核心领域（科学、经济、地理等）和 50 个细分子领域，对每个子领域使用 DeepSeek-V3.2 配合搜索工具，从权威新闻或官方网站聚合近期浮现的实体，得到约 5 万个种子实体 E。步骤二：QA 合成智能体的迭代合成。对每个种子实体，执行 m 步迭代链，每步包含两个子步骤：网页信息收集，通过多轮 search 和 visit 交互收集证据，鼓励收集新鲜知识并分类为 fresh/non-fresh，精炼为证据列表；QA 对构造，基于证据列表合成复杂问答对，要求至少 5 跳推理，并通过模糊特征（模糊时间引用、非特定描述）增加难度。步骤三：信息过滤智能体的质量过滤。对每个证据，若为新鲜知识，使用工具交叉验证可靠性，输出可信度标签；若为非新鲜知识，直接判断是否过于流行，输出流行度标签。仅保留可信的新鲜证据和非流行的非新鲜证据。步骤四：高层指导智能体的结构化指导。将问题解析为推理图，检测冗余和捷径，生成指令指导下一轮合成。迭代直到满足条件：无冗余或捷径、至少 5 次迭代、推理图至少 5 条边。

技术新颖性

本文的技术新颖性体现在三个层面：框架层面，首次提出完全自动化的三智能体协作框架来合成演进基准，与依赖人工策划的 BrowseComp 和 BrowseComp-ZH 有本质区别，自动化使得基准可以持续更新而无需昂贵成本；技术层面，引入推理图结构化控制，使用 projection、intersection、complement 三种操作捕捉复杂拓扑，这与文本驱动合成相比，能够显式控制推理路径、检测和避免冗余与捷径；评估层面，通过新鲜知识从根源上防止参数化记忆，这与静态基准形成对比，实验证明模型在有工具时准确率仅 44.8%，无工具时降至 6.0%，证实了基准的有效性；数据层面，平均问题长度 142.48（英语）和 162.33（中文）tokens，平均推理节点 8.62 和 8.07，平均涉及 4.2 个不同根域名，90% 问题跨至少 3 个来源，这些数据表明本文合成的问题在复杂性和多样性上都超越了现有基准。

**Figure 2**: The illustration of the three-agent collaborative framework.

**Figure 3**: The illustration of a reasoning graph.

实验结果

实验在 10 个前沿 LLM 上进行，包括 Claude-Opus-4.6、GLM-5、Qwen3.5 系列、Qwen3-235B、DeepSeek-V4-Pro/Flash、DeepSeek-V3.2 和 Kimi-K2.6。结果揭示了两个关键现象：首先，即使是最前沿的推理模型 Claude-Opus-4.6，在有工具情况下在英语上仅达到 44.8% 准确率，中文为 36.8%，表明本文的时序新鲜、结构复杂的问题不易被检索；其次，当移除工具访问时，Claude-Opus-4.6 的性能暴跌至 6.0%（英语）和 8.8%（中文），GLM-5 降至 1.1% 和 2.5%，Kimi-K2.6 降至 0% 和 1.6%，证实回答这些问题需要对新鲜知识的真正检索和多跳推理，而非静态记忆。与现有基准的对比更具说服力：DeepSeek-V3.2 在 BrowseComp 上达到 51.4%（英语）和 65.0%（中文），但在 EvoBrowseComp 上仅 23.0% 和 30.5%；GLM-5 在 BrowseComp 上为 62.0% 和 72.7%，但在 EvoBrowseComp 上仅 39.2% 和 30.5%；Qwen3.5-397B 在 BrowseComp 上为 69.0% 和 70.3%，但在 EvoBrowseComp 上仅 42.0% 和 34.5%。这些数据表明 EvoBrowseComp 的难度显著高于现有基准，20-30 个百分点的下降幅度证明了测试集污染在现有基准中的严重程度。关于推理效率的实验发现 DeepSeek-V4-Pro/Flash 性能不及 DeepSeek-V3.2，原因是许多评估样本超过了最大工具调用次数（40 次）。DeepSeek-V4-Flash 在高推理设置下表现最佳，但超调率（ER）高达 38.8%（英语）和 54.5%（中文），引发了对推理效率的担忧。

**Table 1**: Data Statistics of EvoBrowseComp compared with previous benchmark datasets.

**Table 2**: Experimental results on EvoBrowseComp.

**Table 3**: The performance of three example LLMs on BrowseComp (BC), BrowseComp-ZH (BC-ZH) and EvoBrowseComp-EN/ZH (EvoBC.-EN/ZH).

**Table 4**: The performance of DeepSeek-V4-Flash on EvoBrowseComp using different reasoning efforts.

**Table 5**: The Spearman correlation between LLM judge and human judge.

**Figure 4**: Distribution across nine domains in EvoBrowseComp.

**Figure 5**: Distribution of the number of distinct root domains per question in EvoBrowseComp.

查看结构化数据

任务	指标	本文	基线	提升
EvoBrowseComp-EN	Accuracy (with tools)	44.8% (Claude-Opus-4.6)	51.4-69.0% (BrowseComp)	基准难度提升 20-30 个百分点
EvoBrowseComp-EN	Accuracy (without tools)	6.0% (Claude-Opus-4.6)	N/A (不可比)	确认需要真实检索，非静态记忆
EvoBrowseComp-ZH	Accuracy (with tools)	36.8% (Claude-Opus-4.6)	65.0-72.7% (BrowseComp-ZH)	基准难度提升 30-40 个百分点
EvoBrowseComp-ZH	Accuracy (without tools)	8.8% (Claude-Opus-4.6)	N/A (不可比)	确认需要真实检索，非静态记忆
推理效率	Exceed Ratio (ER)	38.8-54.5% (DeepSeek-V4-Flash)	较低 (Claude-Opus-4.6)	暴露推理效率问题，需优化

局限与改进

作者承认的局限性包括：使用 DeepSeek-V3.2 作为三智能体的基础模型，因此合成数据可能包含该模型表现的偏见和有毒行为；在模型评估中，使用法官模型仅评估最终答案而非整个推理轨迹，因此难以区分正确推理的代理与通过低效或偶然手段（如幸运猜测）获得正确答案的代理。自己的观察包括：新鲜知识的时间阈值设置为 2026年1月1日，但对于训练截止日期更早的模型（如 GPT-4），这个阈值可能不够严格；合成的问题虽然要求跨多个来源，但来源的权威性和多样性质量控制可能不够精细，部分问题可能依赖低质量来源；评估仅使用 GLM-5-Chat 作为法官模型，虽然与人类判断的 Spearman 相关系数达到 0.864，但法官模型的偏见可能影响结果的公平性；框架的自动化程度很高，但对合成问题的语义质量和推理合理性的控制仍有提升空间，93.0% 的证据列表正确性和 90% 的问题一致性表明仍有 7-10% 的质量问题。

独立分析的弱点

首先，新鲜知识的时间阈值过于固定和激进（2026年1月1日），可能导致一些有价值但时间稍早的知识被排除，也限制了基准的适用场景。改进方向是将时间阈值可配置化，允许根据不同模型的训练截止日期动态调整。其次，信息过滤智能体的可信度验证仅要求至少两个独立来源证实，但未考虑来源的权威性差异，低质量来源的重复可能通过验证。改进方向是引入来源权威性评分机制，对 .gov、学术期刊、主流媒体等给予更高权重。第三，高层指导智能体的推理图检测使用 NetworkX 工具包，但仅检测结构性冗余和捷径，未考虑语义层面的推理合理性。改进方向是引入语义一致性检查，确保推理路径在逻辑上是连贯和合理的。第四，评估仅使用 GLM-5-Chat 作为单一法官模型，存在模型偏见风险。改进方向是使用多个法官模型集成，或引入人类评估进行校准。第五，推理效率分析发现 DeepSeek-V4 系列的超调率很高，但论文未深入分析原因或提出解决方案。改进方向是分析工具调用模式，优化推理策略，减少冗余搜索。

未来方向

作者提出的未来工作方向包括：扩展到更多语言（如日语、韩语、阿拉伯语），构建多语言评估基准；探索更复杂的问题类型，如需要代码执行、数学计算或图像分析的跨模态问题；研究如何自动化生成问题难度标签，实现自适应评估。基于本文成果可延伸的方向包括：将三智能体框架应用于其他评估领域，如代码生成、数学推理、常识推理等，构建领域特定的演进基准；研究如何将新鲜知识合成与持续学习结合，构建能够自我演进的评估系统；探索如何利用合成的高质量问题数据来改进搜索代理的训练，形成评估-训练的闭环；研究如何自动化检测和缓解测试集污染，构建污染感知的评估框架；探索更细粒度的推理轨迹评估，不仅评估最终答案，还评估推理路径的正确性和效率。这些方向都能从本文的自动化合成框架和结构化指导方法中受益。

复现评估

论文的开源情况良好：数据集已在 HuggingFace 发布，包含 800 个高质量问答对（400 英语 + 400 中文），采用 CC-BY-NC-SA 4.0 许可证。所有三个智能体的提示词在附录 A 中详细提供，包括种子实体构造、QA 合成、信息过滤、高层指导等各环节。评估协议清晰定义：搜索工具使用 Google 搜索引擎，访问工具提取特定网页信息，最大工具调用次数为 40，最大上下文长度为 128K，采样参数 temperature=0.6、top_p=0.95。模型评估使用 GLM-5-Chat 作为法官模型（零温度），每个 LLM 运行三次独立评估并报告平均值。算力需求方面：数据收集使用 DeepSeek-V3.2 作为所有智能体的基础模型；模型评估在 NVIDIA H20 GPU（96G）上使用 SGLang 部署，大多数模型使用 8 张 GPU，DeepSeek-V4-Pro 和 GLM-5 各使用 32 张 GPU，DeepSeek-V3.2 使用 16 张 GPU。复现难度中等：虽然数据集已开源，但完整复现需要访问 Google 搜索工具、部署多个大型模型、以及大量的计算资源。对于研究团队来说，直接使用开源数据集进行评估是可行的，但完整复现数据合成流程门槛较高。

EvoBrowseComp：基于演进知识的搜索代理基准测试 EvoBrowseComp: Benchmarking Search Agents on Evolving Knowledge