AgentSearchBench：面向开放生态的AI智能体检索基准 AgentSearchBench: A Benchmark for AI Agent Search in the Wild

流水线五步。第一步，真实智能体收集：从GPT Store、Google Cloud、AgentAI Platform抓取9,759个智能体，7,867个可执行，覆盖数据分析、视觉内容等12领域。第二步，任务查询合成：用LLM从智能体文档生成候选查询，用混合打分 $s(a, T_q) = \alpha s_{\text{lexical}} + \beta s_{\text{semantic}} + \gamma s_{\text{tool}}$（BM25+BGE+ToolRet加权）检索top-K候选并执行，按5点LLM评分过滤退化查询。第三步，多智能体查询：从能力对齐簇组合可执行子任务，仅NLI蕴含所有子任务时保留。第四步，任务描述生成：用D维rubic $r(T_d, T_q) = [r_1, ..., r_D]$ 选每维top-2查询构成 $Q(T_d)$。第五步，相关性标注：检索用 $\text{rel}(a, T_q) = \mathbf{1}(y \geq 4)$ 二值标签，多智能体/任务描述用子任务完成比例；文档-性能不对齐智能体获0.5折扣。共66,740次执行。

技术新颖性主要体现在三处。其一，执行感知的相关性标注管线——通过实际跑66,740次得到ground truth，而非依赖文本匹配或人工标注，作者通过500实例的人类评估验证LLM-judge与人类一致性达Cohen κ=0.93、准确率96.67%，为大规模自动化标注提供了可信基础。其二，文档-性能对齐折扣机制：智能体成功完成超出文档范围的任务时获得0.5的折扣分数，使相关性同时反映执行成功与可靠性，这在传统IR基准中不存在。其三，执行感知探查：让LLM生成探查查询，对top候选执行并用响应方差作为排序信号，发现中/高方差探查可显著提升BGE Reranker、Tool-Rank 8B、Qwen Reranker 4B等模型的NDCG@5（提升0.4%~1.56%），验证了「行为信号」补充「描述信号」的可行性。

通过独立分析，我们识别出三个核心弱点。第一，相关性标签的偏态问题：LLM-as-judge评分集中在4-5分使得二元阈值 rel(a,T_q)=1(y≥4) 容易产生假正例，且500实例的人类验证仅覆盖约0.75%的标注，规模可能不足；改进方向是引入更细粒度的5级标签训练专门的reward model，或扩大人类验证到5000实例以上。第二，探查机制的高方差依赖：Figure 6a显示低方差探查下BGE的win rate仅33.3%（甚至低于基线），而探查查询本身的生成策略并未给出理论保证；改进方向是用信息论指标（如互信息）选择探查查询而非随机生成，或训练专门的探查查询生成器。第三，Completeness@5在Task Description上接近0的崩塌现象表明，仅靠top-20执行+重排无法覆盖高层任务的全部子需求；改进方向是引入多智能体组合规划（multi-agent composition）作为后处理，将单一智能体重排扩展到智能体集合的重排。

作者在结论中暗示了三个未来方向：（1）将execution-aware probing扩展到更复杂的agent discovery流水线；（2）建立execution-aware evaluation协议以替代传统文本相似度评估；（3）研究execution-dependent capability的形式化建模。基于本文成果可延伸的方向包括：第一，把基准扩展到动态更新的智能体池（实时抓取→评估→入基准），应对智能体上下架的时效问题；第二，将agent search与agentic workflow orchestration结合，研究在编排阶段如何用execution signal选择子任务执行者；第三，把LLM-as-judge替换为经过人类反馈微调的专用reward model，降低标注成本并提升一致性；第四，研究执行感知检索的在线学习版本，让agent根据每次实际执行结果更新自己的索引；第五，将基准扩展到多模态智能体（如视频生成、图像理解类），目前benchmark主要集中在文本型智能体。

可复现性评估整体较好但有显著门槛。代码与数据已在GitHub开源（https://github.com/Bingo-W/AgentSearchBench），包含混合检索（BM25+BGE+ToolRet）、任务生成、执行评估、相关性标注全流程。然而三大门槛制约复现：其一，算力极高——基准涉及66,740次真实智能体调用，且评估的RankGPT GPT-5.2、Qwen Reranker 8B等顶级模型本身就是大模型API，完整重跑成本可能达数千美元；其二，智能体平台依赖——9,759智能体抓取自GPT Store/Google Cloud/AgentAI，平台API变更或智能体下架会导致候选池漂移，建议用仓库快照；其三，LLM-as-judge依赖——benchmark的ground truth质量直接取决于所用LLM（论文未明确公布具体模型版本），更换LLM会导致ground truth不一致。建议复现时使用仓库固定的LLM版本（如特定版本的GPT-5.2、Qwen-3 32B）并记录随机种子，对小规模验证可仅复现100-200查询子集以验证方法趋势。