LiveBrowseComp：搜索代理是在搜索，还是仅仅验证它们已经知道的内容？ LiveBrowseComp: Are Search Agents Searching, or Just Verifying What They Already Know?

LiveBrowseComp的构建管道包含五个主要阶段。阶段1是时间过滤：丢弃任何核心事实可以从90天前的信息确定的候选事件，90天窗口舒适地超过了当前训练管道中的典型数据收集滞后。阶段2是长尾过滤：使用源特定的晦涩度指标（如受众触达、流行度计数和主流报道量）对每个候选进行评分，仅保留超过每源长尾阈值的事件。阶段3是答案稳定性过滤：移除在90天窗口内答案可能变化的候选，例如累积票房收入、实时排名和图表排名，这些会逐渐更新而不会稳定在固定值。阶段4是问题构建：招募经过筛选和训练的专业标注员，他们必须独立使用网络搜索解决十个BrowseComp问题，必须至少花两个小时才能放弃，并且必须正确解决至少两个。标注员接收过滤后的种子事件并独立进行网络研究以制作问题，包括：制定多步骤、多来源推理问题，其答案不能在问题文本或任何平凡重构的前三页搜索引擎结果中找到；起草可从确定性来源验证的参考答案，确认问题恰好接受一个短字符串答案且没有歧义；并将至少一个线索锚定在过去90天内产生的事实中。阶段5是同行评审：每个问题经过独立验证团队的三个并发检查，包括正确性和唯一性验证（追踪证据链并确认参考答案真正满足每个约束，使用多个LLM生成广泛的候选答案池并手动检查是否有除参考答案外的候选满足所有约束）、难度校准（三名独立标注员尝试仅使用网络搜索解决每个问题，如果任何标注员在30分钟内解决则排除问题）和临时性验证（检查证据链并识别每个内容源自过去90天的页面，搜索90天窗口前的替代证据）。所有三个检查中，每个问题由三名相互匿名的验证者独立评估，结果由第四名独立验证者交叉检查。

本文的技术新颖性体现在多个方面。首先，IKD的识别是一个新颖的概念，它将搜索代理评估中的问题从传统的数据污染框架转移到了参数化知识覆盖的框架，认识到广泛的世界知识本身就可以成为评估捷径。其次，时间感知和长尾感知的基准构建方法是技术创新，它通过精确的API时间戳控制（从GDELT、TMDB、RAWG、CVE/NVD、SportsDB和USGS等结构化来源）和源特定的晦涩度评分，在统计上最小化参数化知识覆盖。第三，五阶段验证流程（正确性和唯一性、难度校准、临时性验证）确保了基准质量，特别是使用多个LLM生成广泛的候选答案池来验证唯一性，以及强制30分钟的人类解决门槛来校准难度。第四，LiveBrowseComp的时间窗口设计（90天）是基于对当前训练管道数据收集滞后的实证估计，这是一个新的方法论贡献。最后，轨迹分析方法（区分模型发起查询和检索发起查询，测量答案支持检索后的证据使用率）为理解搜索行为提供了新的分析工具，揭示了超过一半的查询是由模型内部假设 seeded 的，而证据使用率始终低于三分之一。

从独立分析的角度来看，论文存在几个可以改进的弱点。首先，LiveBrowseComp的问题数量（335个）相对较小，虽然这是由于严格的人工验证流程的限制，但较大的数据集可能会提高统计显著性和覆盖更多领域。未来可以考虑半自动化验证流程来扩大数据集规模，同时保持质量标准。其次，论文专注于网页搜索任务，但IKD问题可能同样存在于其他类型的搜索代理评估中，如代码搜索、学术文献检索或多媒体搜索，未来可以将LiveBrowseComp的构建方法扩展到这些领域。第三，论文的评估主要关注最终答案的准确性，但没有深入分析搜索轨迹的质量、中间推理的有效性或信息整合策略，未来可以开发更细粒度的指标来评估搜索过程本身。第四，论文的基准构建依赖于六个特定来源（GDELT、TMDB、RAWG、CVE/NVD、SportsDB、USGS），这些来源虽然覆盖了多个领域，但可能仍然遗漏某些领域或地理区域，未来可以考虑纳入更多样化的来源以提高领域和地理覆盖。第五，论文没有探索不同时间窗口长度（如30天、60天、120天）对IKD抑制效果的影响，系统性分析可以帮助确定最优窗口大小。第六，论文的证据阻断实验使用构建的密集检索索引，这可能无法完全反映实时网络搜索的复杂性，未来可以在实时网络环境中验证这些发现。

作者提出的未来工作方向包括：扩展LiveBrowseComp到更多语言和领域，以测试IKD问题在不同语言和文化背景下的普遍性；开发动态基准更新机制，类似于LiveBench的每月刷新周期，以持续维持评估的时间敏感性；设计训练信号来奖励证据驱动的发现而不是猜测和验证行为，这可能涉及强化学习设置或偏好对齐；探索更细粒度的轨迹评估指标，以捕获搜索过程的质量而不仅仅是最终答案。基于论文成果可以延伸的方向包括：研究IKD在不同类型的搜索代理中的表现，如多代理系统、协作搜索或层次代理；开发专门针对IKD的训练方法，如通过课程学习逐步减少对参数化知识的依赖；探索将时间感知和长尾感知原则应用于其他类型的代理评估，如工具使用、推理或规划；研究IKD与代理行为中其他已知问题（如工具幻觉、检索失败处理或上下文窗口管理）的相互作用；开发实时IKD检测工具，以帮助研究者和实践者识别他们的评估是否可能受到IKD影响。

论文的可复现性评估如下。数据方面，LiveBrowseComp基准可在HuggingFace上公开获得（https://huggingface.co/datasets/Forival/LiveBrowseComp），包含335个问题、每个问题的完整证据链和参考答案。论文还详细描述了种子收集和过滤的标准，包括时间过滤（90天窗口）、长尾过滤的源特定指标（受众触达、流行度计数、主流报道量）和答案稳定性标准。实验设置方面，论文提供了统一的搜索代理框架配置，包括交互协议、采样预算、上下文限制和答案格式，所有模型共享这些设置以确保公平比较。论文还提供了系统提示的来源（来自每个模型的官方技术报告或API文档）和共享的超参数（temperature=0.7，top_p=0.9）。工具配置包括search(query)（通过serper.dev进行网页搜索，最多10个结果）、visit(url, goal)（通过Jina进行完整页面检索，带有陈述的信息目标）和code_sandbox（沙盒化Python解释器）。最大上下文每样本256k令牌，250步迭代预算。然而，论文没有提供评估的计算资源要求或时间成本，也没有开源评估代码。人工标注工作流程详细描述在附录F中，但标注员的补偿细节没有公开。总体而言，数据公开性和实验设置的详细描述使得主要发现应该可以复现，但评估代码的缺乏和计算资源要求的未知可能会使完全复现变得困难。