GISA：通用信息搜索助手评测基准 GISA: A Benchmark for General Information-Seeking Assistant
373条人工构建查询+人类搜索轨迹，评估搜索智能体深度与广度能力
前置知识
LLM搜索智能体（Search Agent）
基于大语言模型的搜索智能体是指能够自主进行多轮网页交互来收集信息的系统。与传统搜索引擎不同，这类智能体利用LLM的推理能力来理解用户的复杂信息需求，自主制定搜索计划、执行多次查询、浏览网页并综合信息。典型代表包括OpenAI Deep Research和Gemini Deep Research等产品。这类智能体通常采用ReAct范式，交替进行推理（Reasoning）和行动（Acting），通过Search和Browse两个核心工具与网络环境交互。
GISA的核心评测对象就是这类搜索智能体。理解搜索智能体的工作原理和能力边界，是理解本文评测维度和实验设计的基础。论文指出当前智能体在复杂信息搜索任务上表现远不如人类，需要系统性地评估和改进。
深度搜索与广度搜索（Deep Search vs. Wide Search）
深度搜索指在网页间进行多跳导航和推理，定位特定信息的能力。例如，需要点击多个链接、深入阅读长文才能找到答案。广度搜索指从多个不同来源收集和聚合信息的能力。例如，需要收集所有在特定音乐节表演的艺人名单，这需要从多个新闻源聚合信息。现实中大多数信息需求同时需要这两种能力，但现有基准通常只评估其中一种。
GISA的一个核心创新就是将深度和广度搜索能力统一在同一个任务中。论文中的韩国总统案例就很好地说明了这一点：先广泛收集所有总统信息（广度），再逐一调查每位总统是否宣布过戒严（深度）。理解这两种搜索能力的区别是理解GISA评测设计的关键。
确定性评测（Deterministic Evaluation）
传统的AI评测常使用LLM作为评判者（LLM-as-judge），这种方法存在主观性和不稳定性——同一个答案在不同评判下可能得到不同分数。确定性评测通过将答案格式化为结构化类型（如集合、列表、表格），使用精确匹配（Exact Match）等硬指标来评估，避免了LLM评判的随机性。这种方法要求评测基准本身具有明确的、无歧义的标准答案。
GISA设计了四种结构化答案格式（item、set、list、table）来实现确定性评测。这是对现有基准的重大改进，因为BrowseComp等基准依赖LLM评判，存在评分不一致的问题。确定性评测确保了实验结果的可复现性和公平比较。
ReAct范式
ReAct（Reasoning + Acting）是一种让LLM与外部工具交互的框架。在ReAct范式中，模型交替进行推理（思考当前状态和下一步计划）和行动（调用搜索或浏览工具）。每次行动后观察结果，再进行下一轮推理。这种交替执行的方式使模型能够根据中间结果调整搜索策略。论文中所有LLM-based Agent都采用ReAct范式，使用Search（Google Serper API）和Browse（Jina API）两个工具。
理解ReAct范式是理解GISA实验设置的基础。论文评估了不同LLM在ReAct框架下的表现，发现工具使用效率与最终性能密切相关——Claude 4.5 Sonnet使用工具最高效（搜索7.57次、浏览4.63页），而其他模型虽然调用更多工具但效果更差。
过程级监督（Process-level Supervision）
与只提供输入-输出对的结果级监督不同，过程级监督提供了完整的中间步骤轨迹。在GISA中，这体现为人类搜索轨迹，记录了搜索者的每一步行为：发出的搜索查询、点击的链接、浏览的页面内容、以及每一步的时间戳。这些轨迹不仅证明了任务的可解性，还为训练智能体模仿人类搜索策略提供了黄金标准。
人类搜索轨迹是GISA的独特价值之一。论文发现人类和模型的搜索策略存在显著差异：人类查询次数更少但浏览页面更多（3.53次查询、19.03页），而模型查询频繁但浏览浅（7.57次查询、4.63页）。更重要的是，行为越接近人类的模型表现越好（高相似组F1=0.76 vs 低相似组F1=0.56），这为改进搜索智能体提供了明确方向。
研究动机
现有搜索智能体评测基准存在三个关键缺陷，严重影响了它们评估通用信息搜索能力的有效性。第一，任务构建不自然。许多基准（如BrowseComp）采用反向工程方法，从预选答案倒推构建查询。这种方式虽然能产生困难的任务，但导致查询偏离真实人类信息需求，甚至出现无法通过自然搜索过程解决的问题。优化这类基准上的性能未必能转化为实际用户体验的提升。第二，评估维度单一。现有基准要么专注于深度搜索——在网页间多跳导航定位特定信息（如BrowseComp、InfoDeepSeek），要么专注于广度搜索——从多个来源收集信息（如WideSearch）。然而现实中的信息需求往往同时需要深度推理和广泛聚合，目前缺乏统一评估这两种能力的基准。DeepWideSearch虽然尝试结合两者，但缺乏任务驱动的构建方式和真实用户行为轨迹支持。第三，静态评测存在数据污染风险。大多数基准依赖长期稳定答案的静态快照，随着LLM训练数据越来越新，模型可能已在预训练阶段记忆了答案，导致评测无法真正测试搜索能力。例如，论文发现最近发布的Kimi K2.5在稳定子集上表现（18.39% EM）明显优于动态子集（11.33% EM），暗示其训练数据可能包含了稳定问题的答案。
本文的目标是GISA的目标是构建一个全面、真实、抗污染的搜索智能体评测基准，能够准确衡量智能体在真实世界信息搜索场景中的能力。具体目标包括：设计373条人工构建的高质量查询，覆盖十个领域（电视电影、科技、艺术、历史、体育、音乐、电子游戏、地理、政治等）；将答案格式化为四种结构化类型（item、set、list、table），实现确定性、可复现的评测；整合深度搜索和广度搜索能力于统一任务中；通过动态子集（live subset）和定期更新答案来抵抗数据污染；为每条查询提供完整的人类搜索轨迹，用于过程级监督和模仿学习。论文强调每条查询平均需要超过一小时的人工投入，从设计到验证经过多轮质量检查，确保基准的高质量和可信度。
与已有工作不同的是，GISA的独特切入角度体现在三个方面。首先，从任务设计哲学上，GISA坚持正向构建——通过让标注者自然浏览领域网站、记录自发产生的问题来生成查询，而非从答案倒推。这种设计确保了查询与真实信息需求的对齐。其次，从评测架构上，GISA是首个将深度和广度搜索能力统一在同一任务中进行评估的基准。通过精心设计的查询结构（如韩国总统+戒严历史的表格查询），每条任务都自然融合了两个维度的能力要求。最后，从数据维护策略上，GISA引入了动态子集的概念，将查询分为stable（至少三年不变）和live（定期更新）两类，并承诺每月维护live子集的答案。这种设计使基准能够随着信息环境的演变保持有效性，是解决数据污染问题的创新方案。此外，完整的人类搜索轨迹提供了过程级的黄金标准，这在现有基准中是独一无二的，不仅可用于评估，还可用于训练智能体学习人类搜索策略。
核心方法
GISA的整体构建思路是一个严格的人工中心化流程，确保每条查询都具有挑战性、真实性，并与评估真实信息搜索能力的目标严格对齐。整个流程分为四个阶段：头脑风暴（Brainstorming）、查询精炼（Query Refinement）、人工标注（Human Annotation）和质量检查（Quality Checking）。在头脑风暴阶段，标注者采用开放浏览策略，访问领域特定网站（如政治新闻聚合器、历史百科档案），记录浏览过程中自然产生的问题，模拟「接触信息→产生疑问→寻求答案」的认知过程。在查询精炼阶段，将原始问题转化为正式的结构化查询，确定答案格式（item/set/list/table），并进行可行性检查确保查询需要真实的搜索努力。在人工标注阶段，使用自定义浏览器扩展记录搜索轨迹，标注者仅限使用Google Search完成任务。在质量检查阶段，验证团队检查轨迹一致性、答案正确性，并使用DeepSeek-V3.2进行记忆检查，过滤掉模型仅凭内部知识就能回答的查询。
GISA的核心创新在于四个设计原则的有机结合。第一，结构化答案格式与确定性评测。将答案严格分为四种类型：item（单个答案）、set（无序集合）、list（有序列表）、table（结构化表格）。每种类型都有明确的格式约束——list类型必须在查询中指定排序标准，table类型必须定义完整的列名和主排序列。这种设计使得评测可以使用精确匹配等硬指标，完全避免了LLM评判的主观性。第二，深度与广度的统一。通过精心设计的查询结构，每条任务自然融合了两种搜索能力。例如，构建韩国总统表格不仅需要广泛收集所有总统信息（广度），还需要逐一调查每位总统的戒严历史（深度）。这种设计与现有基准（要么深度要么广度）形成了本质区别。第三，动态子集抗污染。将查询分为stable和live两类，live子集的答案定期更新，确保基准不会因模型记忆而失效。第四，人类搜索轨迹。为每条查询提供完整的搜索过程记录，这是首个提供过程级监督信息的搜索智能体基准。
方法步骤详情
GISA的构建流程包含四个详细阶段。阶段一：头脑风暴。基于BrowseComp的十个领域分类法，标注者自由浏览领域网站（新闻聚合器、百科档案等），记录浏览过程中自然产生的问题。每个领域按比例分配查询数量，最终覆盖电视电影（42条）、科技（44条）、艺术（32条）、历史（26条）、体育（42条）、音乐（34条）、游戏（41条）、地理（44条）、政治（29条）等领域。阶段二：查询精炼。将原始问题转化为正式查询，确定答案格式。进行可行性检查：标注者需快速搜索验证答案不能在现有网页上直接找到预聚合形式。例如，不问「韩国总统总数」（搜索片段直接显示），而是要求提供包含戒严历史的完整表格。查询还被分类为stable或live，live子集承诺每月更新。阶段三：人工标注。使用自定义浏览器扩展记录搜索行为（搜索查询、结果页内容、点击行为、时间戳）。标注者仅限使用Google Search，禁止使用其他搜索引擎或LLM。如遇信息不可访问或来源冲突，记录问题并跳过。使用电子表格组织中间发现并格式化最终答案。阶段四：质量检查。验证团队进行三步验证：（1）检查搜索日志一致性（缺失初始查询、噪声注入等问题）；（2）独立验证答案正确性，修正后的答案必须可从原始轨迹推导；（3）使用DeepSeek-V3.2进行记忆检查，过滤模型凭内部知识就能回答的查询。最终得到373条高质量查询。
技术新颖性
GISA的技术新颖性体现在多个层面。从基准设计层面，GISA是首个同时满足以下条件的搜索智能体基准：（1）正向构建的查询（而非从答案倒推）；（2）统一评估深度和广度搜索能力；（3）提供确定性评测而非依赖LLM评判；（4）包含动态子集抵抗数据污染；（5）提供完整人类搜索轨迹用于过程级监督。从评测方法层面，GISA为四种答案类型设计了专门的评测指标：set类型使用F1分数评估集合重叠，list类型分别使用F1评估内容准确性和SequenceMatcher算法评估顺序正确性，table类型使用行级F1和单元格级F1两个粒度评估。这种多层次的评测体系能够全面捕捉模型在不同维度的表现。从数据维护层面，live子集的概念和月度更新承诺是基准评测领域的新实践。论文实验表明，这种设计确实能检测出数据污染：Kimi K2.5在稳定子集上比动态子集高出7个百分点的EM，而Claude 4.5 Sonnet则无明显差异，暗示前者可能记忆了部分稳定问题的答案。从过程分析层面，完整的人类搜索轨迹使得精细的行为比较成为可能，论文发现人类和模型的搜索策略存在系统性差异，这些发现为改进搜索智能体提供了具体方向。
实验结果
实验结果揭示了当前搜索智能体与人类之间的巨大差距。在373条查询上，表现最好的Claude 4.5 Sonnet（thinking模式）仅达到19.30%的整体精确匹配（EM）分数，表明当前系统远未解决复杂信息搜索任务。从答案类型来看，模型在item类型（单一答案）上表现最好，Claude达到63.64% EM，但在table类型（结构化表格）上仅6.32% EM，反映出信息收集和组织能力的严重不足。商业搜索系统的表现令人意外地差：GPT-4o Search Preview仅5.63% EM（单次检索显然不足），OpenAI o4 Mini Deep Research为7.78%（格式遵循问题严重），Google Search AI Mode为9.38%。工具使用效率与性能密切相关：Claude 4.5 Sonnet使用工具最高效（平均7.57次搜索、4.63次浏览），而DeepSeek-V3.2和GLM-4.7调用更多工具（超过12次搜索、12次浏览）但效果更差，说明过多的工具调用可能因噪声和上下文过长而损害推理质量。推理模式（thinking）带来一致的性能提升：Claude从16.36%提升到19.30%，DeepSeek-V3.2从11.53%提升到14.47%，但代价是更高的token消耗。人类与模型的行为差异显著：人类平均3.53次查询但浏览19.03页，模型7.57次查询但仅浏览4.63页；人类相邻查询重叠度0.31 vs 模型0.22，说明人类的查询精炼更有针对性。更重要的是，行为越接近人类的模型表现越好：高相似组F1=0.76 vs 低相似组F1=0.56，成功案例的URL重叠率0.31 vs 失败案例0.15。推理时间缩放实验（Best@k）显示，k=16时成功率从8.90%提升到22.22%（2.5倍），表明模型具有未被单次尝试可靠激活的潜在能力。错误分析（50个案例）显示，49.2%的错误发生在搜索层面（查询制定14.3%、链接利用17.5%、冲突验证17.5%），31.7%为指令遵循错误，15.9%为信息提取错误。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Overall EM（整体精确匹配） | Exact Match | Claude 4.5 Sonnet (thinking): 19.30% | GPT-4o Search Preview: 5.63% | 商业搜索系统中表现最好的Google Search AI Mode仅9.38%，Claude比其高出9.92个百分点 |
| Item类型（单一答案） | Exact Match | Claude 4.5 Sonnet (thinking): 63.64% | GPT-4o Search Preview: 13.64% | Claude在简单单一答案任务上是商业系统的4.7倍 |
| Table类型（结构化表格） | EM / Row-F1 / Item-F1 | Claude 4.5 Sonnet: 13.04% / 49.92% / 65.17% | Google Search AI Mode: 5.53% / 31.15% / 50.79% | Row-F1提升18.77个百分点，Item-F1提升14.38个百分点 |
| Set类型（无序集合） | EM / F1 | DeepSeek-V3.2 (thinking): 28.00% / 60.79% | GPT-4o Search Preview: 4.00% / 38.70% | F1提升22.09个百分点，DeepSeek在集合任务上表现突出 |
| List类型（有序列表） | EM / F1 / Order | Qwen3-Max (thinking): 25.00% / 66.51% / 64.08% | OpenAI o4 Mini Deep Research: 18.75% / 53.72% / 52.59% | F1提升12.79个百分点，Order提升11.49个百分点 |
局限与改进
作者在论文中坦诚地承认了三个主要局限性。首先，由于标注过程的复杂性（每条查询需要超过一小时的人工投入），基准规模相对有限，仅373条查询。虽然足以用于评测，但可能不足以支持大规模模型训练（如监督微调）。其次，GISA目前仅关注文本信息搜索，未涵盖图像或视频等多模态内容。随着搜索智能体整合GUI代理的视觉能力，未来的基准应评估智能体处理多模态网页内容的能力。第三，出于成本考虑，实验中每条查询最多30次工具调用，虽然对大多数任务足够，但少数案例因这一限制未能收集足够信息。从独立分析的角度来看，还存在以下值得关注的局限：评测仅使用Google Search作为检索工具，可能无法代表其他搜索引擎的表现；标注者团队全部为信息检索专业的研究生，可能引入专业偏见；十个领域的分类法沿用BrowseComp，可能未充分覆盖新兴领域；live子集的月度更新承诺需要持续的社区投入才能维持。此外，论文中的成本分析显示不同模型的token消耗差异巨大（从10K到500K+输入token），这使得跨模型的效率比较变得复杂。
独立分析的弱点
GISA存在几个值得深入分析的弱点。首先，373条查询的规模限制了统计显著性和泛化性。虽然论文强调每条查询都经过严格验证，但小样本可能导致个别领域的评估不够稳定。改进方向可以是设计半自动化的标注流程，利用LLM辅助生成初始查询再由人工审核，在保持质量的同时扩大规模。其次，仅使用Google Search作为检索工具可能限制了评估的全面性。不同搜索引擎的索引覆盖和排序策略差异可能导致不同的搜索结果，影响智能体的表现。改进方向可以是支持多搜索引擎设置，或至少在报告结果时注明搜索引擎的影响。第三，四种答案格式虽然覆盖了常见场景，但未涵盖自由文本回答、因果解释等更复杂的信息需求形式。改进方向可以是扩展答案类型，引入更细粒度的评测维度。第四，人类搜索轨迹虽然宝贵，但仅包含搜索和点击行为，未记录标注者的内部推理过程。改进方向可以是要求标注者同时记录思考过程，提供更完整的认知轨迹。第五，成本分析显示不同模型的效率差异巨大，但论文未深入探讨如何在性能和成本之间取得最优平衡，这在实际部署中是一个关键问题。
未来方向
基于GISA的发现，作者和论文都指出了多个有前景的研究方向。首先，搜索策略对齐是一个重要方向。论文发现行为越接近人类的模型表现越好（高相似组F1=0.76），这表明通过模仿学习或强化学习将模型搜索策略向人类行为靠拢，可能显著提升性能。具体来说，可以利用GISA提供的人类搜索轨迹作为训练信号。其次，推理时间缩放显示了巨大潜力（Best@k从8.90%提升到22.22%），但需要更好的答案验证机制来从多个候选中选择正确答案。第三，多模态搜索智能体是自然的扩展方向，随着视觉语言模型的发展，智能体应能处理图像、视频等多模态网页内容。第四，动态评测框架值得深入研究，如何设计能够持续适应信息环境变化的基准是一个开放问题。第五，工具使用优化是关键改进方向，论文发现49.2%的错误发生在搜索层面，改进查询制定、链接利用和冲突验证策略可能带来显著提升。最后，跨语言和跨文化的信息搜索能力评估也是一个值得探索的方向，当前GISA主要面向英文查询。
复现评估
GISA的复现性整体较好，但也存在一些挑战。从开源情况看，论文提供了完整的代码（GitHub: https://github.com/RUC-NLPIR/GISA）和公开排行榜（HuggingFace Spaces），这大大降低了复现门槛。评测脚本和数据预处理流程都有文档说明。从数据角度看，373条查询及其答案、人类搜索轨迹都已公开，但live子集的答案会定期更新，这意味着在不同时间点评测可能得到不同结果。从算力角度看，论文中评估了12个模型，从成本最低的Seed-1.8（$0.10/查询）到最高的GPT-5.2（$1.72/查询），整体评测成本可控。ReAct-based Agent需要额外的Google Serper API和Jina API访问权限。从难度角度看，复现论文的主要挑战在于：（1）构建类似的自定义浏览器扩展需要前端开发能力；（2）招募具备信息检索专业知识的标注团队；（3）建立持续的live子集更新机制。总体而言，GISA的复现门槛适中，代码和数据的开源为学术社区提供了良好的基础。
论文图表
