精彩纷呈的智能体竞速赛：工具调用很强，导航能力很弱

提出AAR基准：1400道Wikipedia DAG谜题，拆解导航与工具调用瓶颈。

前置知识

工具调用（Tool Use / Function Calling）

指LLM智能体在对话或推理过程中根据用户请求，识别需要调用的外部API/工具（如地理编码、天气查询、股票行情），并按工具的JSON schema生成结构化参数，发起调用并解析返回值。在AAR里19个工具被分到8大类，每次roadblock可串1-3个工具，构成模板化的多步链。

AAR把工具调用链放在DAG中跑，工具是roadblock的最小单元。理解function calling的参数约束、返回值类型(数字/文本/坐标/日期)以及多步链式依赖，是看懂模板化roadblock和detour的基础。

有向无环图（DAG）与fork-merge菱形结构

DAG指节点之间通过有向边连接且无环的图。在AAR中，每个pit stop是节点，depends on边描述节点之间的值依赖；菱形（diamond）模式由1个源节点（route info抽实体）、2个并行分支（独立工具链）和1个合并节点（合流）组成，迫使智能体在分支上并行推理后再聚合。

AAR的整篇方法与诊断都建立在DAG上：发现链式（linear）基准是55-100%而AAR是0%线性、平均22个pit stop、最多5个菱形。要理解难度构造（easy到extreme每级+1菱形）与导航失败加剧的因果，必须先有DAG与菱形的直觉。

ReAct风格智能体循环与终端工具执行

ReAct指Reason+Act循环：智能体先产出自然语言思考，再发出一个动作（shell命令或工具调用），观察返回后进入下一轮。AAR中Codex CLI、Claude Code、mini-swe-agent都在Docker里跑这种循环，最终把单位数答案写入/app/answer.txt。

论文用ReAct循环来解释为什么Codex/Claude平均34-48步而mini-swe仅8-9步，也借此分析incorrect trials比correct trials反而多做21.7 vs 16.5步的过度探索现象。不理解这个循环就抓不住架构差异带来的失败模式。

导航（Web Navigation）与页面抽取

导航指智能体根据自然语言线索判断该打开哪个URL、跟随哪些超链接的过程。AAR里route info停靠点就是一次导航任务：智能体必须从线索中的间接描述找到正确Wikipedia条目，再从infobox或正文里抽结构化字段。

PVR（pit-stop visit rate）专门衡量导航质量，贡献了论文的核心结论：导航错误是5-52%，而工具调用错误全程低于17%。把导航与工具使用拆开看，是AAR相比GAIA等基准最重要的方法论贡献。

完成度分解指标：FA、PVR、RCR

FA=单位数答案是否匹配金标；PVR=访问到的golden route info页面占全部的比例；RCR=roadblock上是否调用了所有期望工具。三者分别诊断计算、导航、工具使用失败。

这三项指标是AAR的灵魂。同一FA下，PVR低而RCR高意味着"会调用工具但找不到对的页面"，正是本文反复强调的"强工具、弱导航"现象。理解指标语义才能读懂Figure 5/6和Table 3的诊断信息。

研究动机

现有LLM智能体基准普遍把工具调用、Web导航、组合推理割裂评估：工具调用基准如ToolBench（ICLR'24）、BFCL、API-Bank只给出现成的API列表而不要求智能体自己找输入；组合工具基准如TaskBench、NESTFUL、ToolHop、T-Eval虽然测多跳工具链，但输入全部预先喂给智能体；Web导航基准如WebArena、Mind2Web、OSWorld、GAIA只测网页操作而不测组合工具链。本文对六个主流基准的依赖图做抽取分析后发现ToolBench/GAIA是100%线性、TaskBench 94%线性（平均仅1.7步）、NESTFUL 55%线性（3.4步）、T-Eval 62%线性（4.8步）。这意味着现有评测无法测试fork-merge式的并行工具分支与跨页导航的组合能力——而真实任务如"对比苹果两位创始人出生地海拔差并考虑驾车距离"恰恰需要先跨页定位、再fork成geocode/elevation/POI等并行调用再merge，导致一条错误导航会让后续整条链报废。

本文的目标是本文的核心目标是发布一个同时考察Wikipedia导航与多步工具组合能力的基准THE AMAZING AGENT RACE（AAR），并提供把失败原因拆解到导航、工具、计算三个阶段的诊断指标。具体来说，作者希望提供1400道可自动生成的legs（800道AAR-Linear + 600道AAR-DAG），覆盖4个结构化难度等级（easy到extreme，每级+1个菱形、+3 stops、+3-4 roadblocks），并通过19个工具的17种roadblock模板、1-3跳Wikipedia遍历、活API+线索同义改写等机制抵抗训练集污染，让研究者能精确回答"在DAG结构的导航-工具链中，智能体究竟在哪一环崩了"。

与已有工作不同的是，本文的独特切入角度是把DAG fork-merge结构作为评测的一等公民，并把"导航"与"工具调用"的成功率从单一FA指标里拆出来分别打分，这与过去把所有能力压成单数字完成率的做法形成对比。具体技术切入上，作者提出三个差异点：第一，构建了八步自动化生成管线（Crawl→Plan→Build→Pre-validate→Link→Augment→Execute→Verbalize），靠活API预校验+回环对齐≥0.7的线索改写保证数据可解且抗污染；第二，用完成度分解指标（FA/PVR/RCR）把错误的"位置"和"性质"同时显式化，能发现例如Codex+GPT-5.4-mini在36停靠点的极端leg上PVR仅0.07而RCR=1.0这种被FA掩盖的"工具全用对但页面全错"现象；第三，跨3个智能体框架×2家厂商模型做7000次试验，给出"架构差异不亚于模型规模"的强证据（Codex+GPT-5.4 vs mini-swe+GPT-5.4-mini差11pp FA）。

核心方法

AAR的整体思路是"节目化的Wikipedia竞赛"：每道题（称为一条leg）从一个随机Wikipedia种子页面出发，给智能体一段自然语言谜面（clue envelope），里面只有间接描述、绝不直接出现Wikipedia标题或工具名，智能体必须在给定步骤预算内完成route info（导航+抽取）、roadblock（多步工具链）、detour（分析变换）、finish line（聚合为单位数答案）四类停靠点，最终把单个数字0-9写到/app/answer.txt。技术路线上，方法被分成两层：上层是8步自动化腿生成管线（Crawl→Plan→Build→Pre-validate→Link→Augment→Execute→Verbalize）从Wikipedia种子生成可解且被活API验证过的DAG；下层是评测端的3个分解指标FA/PVR/RCR，配套Docker化的统一脚手架（Harbor），把每个leg放到600秒统一超时+10GB内存的容器里跑，让Codex CLI、Claude Code、mini-swe-agent三类智能体在完全一致的提示与工具接口下互比。

与已有基准的本质区别是把"组合结构"显式化、把"失败原因"解耦成三类，并设计了一个对污染天然抵抗的生成-校验闭环。已有基准的依赖图被作者实证为55-100%线性、2-5步，无法测fork-merge；而AAR保证100%DAG、0%线性、平均22 stops、最多5个菱形，且每条leg的金标执行轨迹被缓存，对抗回放污染。失败诊断方面，单一FA会把"没找到对页面"和"没调用对工具"混在一起，本文用PVR（导航命中率）和RCR（roadblock完整度）把两个错误源独立度量，由此第一次在1400条上系统报告"导航错误贡献30.9%、工具错误仅8.6%"的强分离现象。

方法步骤详情

8步自动生成管线：(1) Crawl输入种子Wikipedia URL输出1-3跳邻居缓存；(2) Plan按难度参数生成主题路径与抽取提示；(3) Build实例化route info/roadblock/detour/finish line四类停靠点；(4) Pre-validate对工具链活API试跑丢弃失败链；(5) Link插入link follow或search query的transition；(6) Augment插入$1 \leq d \leq 5$个菱形fork-merge块；(7) Execute按依赖序跑链计算$y^* \in \{0,\dots,9\}$缓存trace；(8) Verbalize三轮回环改写，仅当对齐$\geq 0.7$、$y=y^*$且无直接Wikipedia标题时放行。评测在Harbor Docker中跑：给智能体种子URL、线索、19工具schema、预算$B=\max(10,\lfloor 1.5K\rfloor)$与600秒超时，verifier算FA/PVR/RCR，10配置$\times$1400腿共7000 trial温度0跑出。

技术新颖性

技术新颖性体现在三个层面。第一是结构新颖：首次把Wikipedia导航+多步工具组合+fork-merge菱形三者压到同一个DAG leg里，并用8步管线端到端自动化产出1400条可解实例，配合活API预校验和回环对齐≥0.7的同义改写，把"组合性赤字"量化到0%线性、平均22 stops这一前所未见的水平。第二是诊断新颖：FA/PVR/RCR的三元指标让"强工具、弱导航"的发现从直觉变成可重复的实验现象，作者据此在1400腿×3框架×2模型族的7000次试验中报告了27-52%的导航错误区间与≤17%的工具错误区间，并发现Codex+GPT-5.4-mini在36停靠点的极端leg上PVR=0.07而RCR=1.0的极端分离案例。第三是工程新颖：通过Harbor Docker统一接口让Codex CLI、Claude Code、mini-swe-agent在完全相同的提示与工具schema下对跑，意外发现Claude Code用GPT-5.4的1/6 token就能追平Codex+GPT-5.4的FA（37.2% vs 37.1%），并系统给出"框架差≥模型规模差"的论据。

**Figure 2**: An example clue envelope (or a "leg") as presented to the agent一道中等难度的clue envelope示例，14 stops的NYSE→Global Finance链，含route info/detour/roadblock/finish line四类停靠与一个4-way merge菱形

**Figure 3**: Diamond pattern structure菱形模式结构示意：1个源节点→2个并行分支→1个合并节点

**Figure 4**: The eight-step automated pipeline for generating AAR benchmark legs AAR基准的8步自动生成管线

实验结果

六条核心结论。结论1（难度由导航驱动）：FA随难度单调下降，Codex+GPT-5.4从45.0%（easy）跌到31.5%（extreme），PVR同步从88.7%跌到37.1%而RCR只缓降到49.2%。结论2（导航是首要瓶颈）：导航错误贡献30.9%trial、工具错误仅8.6%、正确33.1%；AAR-DAG上导航错误升到47.3%而工具错误降到3.8%。结论3（架构差异$\approx$模型规模差异）：Codex+GPT-5.4（37.1%FA）vs mini-swe+GPT-5.4-mini（26.1%FA）差11pp，Claude+Sonnet 4匹配达37.2%但token仅1/6。结论4（推理模型吃亏）：GPT-OSS-120B在AAR-Linear上FA仅3.1%。结论5（组合结构专罚导航）：AAR-Linear到AAR-DAG所有配置PVR下降13-18pp而RCR+1.8~+7.3pp。结论6（捷径随组合性增加）：AAR-DAG上14-21%的trial以<30%的PVR拿到正确答案。极端案例：Codex+GPT-5.4-mini在某36 stops leg上PVR=0.07、RCR=1.0、FA=0。

**Table 1**: Comparison with representative benchmarks与12个代表性基准在工具数、导航、指标、步数、活API、难度、金标、生成方式、线性度等9维度的对比

**Table 2**: Dataset statistics数据集统计：AAR-Linear 800条（4级×200）+ AAR-DAG 600条（4级100/150/166/184）共1400腿

**Table 3**: Error decomposition (%) for Codex CLI + GPT-5.4-mini Codex CLI+GPT-5.4-mini在AAR-Linear与AAR-DAG上的错误分解

**Figure 5**: (a) Aggregate results (1,400 legs) and (b) FA by difficulty所有腿聚合结果与按难度的FA曲线

**Figure 6**: DAG structure penalizes navigation, not tool use DAG结构专罚导航不罚工具：Linear→DAG PVR下降13-18pp而RCR上升1.8-7.3pp

查看结构化数据

任务	指标	本文	基线	提升
AAR-Linear (800条) 上的finish-line accuracy	FA（终答案命中率）	Codex+GPT-5.4: 37.1% / Claude+Sonnet 4: 37.2% / Codex+GPT-5.4-mini: 32.1% / MSWA+GPT-5.4: 30.5% / MSWA+GPT-5.4-mini: 26.1% / Codex+GPT-OSS-120B: 3.1%	随机猜测基线 = 10%；Codex+GPT-5.4 vs mini-swe-agent+GPT-5.4-mini模型规模差 = 11pp；Claude Code token效率 = Codex的6倍	最强配置（Claude+Sonet 4）比随机基线提升27.2pp，比最弱配置（Codex+GPT-OSS-120B）提升34.1pp，但即使最强也远未过半
AAR-DAG (600条) 上的finish-line accuracy	FA（终答案命中率）	Codex+GPT-5.4: 36.6% / Claude+Sonnet 4: 34.8% / Codex+GPT-5.4-mini: 32.1% / MSWA+GPT-5.4: 27.2% / MSWA+GPT-5.4-mini: 24.7%	AAR-Linear上同等配置作为对照（5个配置全部报告）	相比AAR-Linear，FA整体下降2-5pp，但PVR下降13-18pp、RCR反而+1.8~+7.3pp，验证DAG结构专罚导航
AAR全难度上的导航质量	PVR（pit-stop visit rate）	Easy: 88.7%（Codex+GPT-5.4）→ Extreme: 37.1%；AAR-Linear到AAR-DAG再降13-18pp	随机基线 PVR = 0%	PVR是10个配置中最低指标，跨难度下降51.6pp，跨变体再降13-18pp，是智能体表现的主要瓶颈
AAR全难度上的工具链完整度	RCR（roadblock completion rate）	Easy: 83.6% → Extreme: 49.2%；AAR-DAG上Claude Code最高71.6%	随机基线 RCR = 0%	RCR全程维持在PVR之上且随难度下降远小于PVR的下降幅度，是10个配置中最高指标
Token效率对比（Codex CLI vs Claude Code）	tokens/leg	Codex CLI: 1.4-1.8M tokens/leg；Claude Code: 114-225K tokens/leg	两者FA差异 < 0.1pp（37.1% vs 37.2%）	Claude Code用约1/6 token追平Codex CLI，揭示当前智能体性能与token消耗基本解耦

局限与改进

局限分四类。第一，域单一：AAR目前仅以Wikipedia为唯一信息源，泛化到日历、数据库、桌面GUI等场景尚未验证，作者列入未来工作。第二，DAG拓扑受限：当前菱形只支持fan-out=2的源-分支-合并，缺少shared sub-expression、conditional branch、跨leg的state转移。第三，评测端LLM-as-judge尚未启用：仍只信FA精确匹配，对部分解缺少容错评分；近miss分析（$\geq 80\%$中间准确率占20.5%）靠手工。第四，工具集固定：19个工具无法测试万级工具规模下的检索/路由能力；live API稳定性需golden trace缓存复现。我还观察到隐性局限：步数预算$B=\max(10,\lfloor 1.5K\rfloor)$只是线性放大，1.5K系数未必覆盖extreme难度+推理模型算力（GPT-OSS-120B在600秒内只跑2.2次工具调用）。

独立分析的弱点

从独立分析看，AAR至少有四处可改进的弱点。弱点1：粒度粗——PVR只统计"是否访问对URL"，无法区分"在错页上瞎点"和"链接follow层数不够"，建议拆成page-found rate和follow-depth adherence两层。改进方向：结合page content embedding做路径对齐评分。弱点2：断点定位弱——finish line正确率只反映最终一位数字，无法诊断算式哪一项错，20.5%的near-miss只能定性描述。改进方向：把finish line算式每条operand打tag，按importance加权算partial credit。弱点3：推理模型支持差——Codex+GPT-OSS-120B只有3.1%FA但作者未给专门reasoning-budget调度。改进方向：把step budget拆成thinking budget和tool budget两项独立。弱点4：基准只测固定终点——单数字0-9低熵目标，agent可能学会"猜数字"。改进方向：改为多选或多模态答案并加入可解释性评估。

未来方向

作者明确列出的未来工作包括四个方向：(1) 跨域扩展：从Wikipedia扩展到日历、数据库、其他网页域，测试智能体对非维基结构的泛化能力；(2) 更丰富DAG拓扑：引入shared sub-expression（多源汇于一点）、conditional branch（基于中间值的分支）、multi-leg seasons（跨episode的状态依赖）；(3) LLM-as-judge partial credit：用校准的LLM判官对中途生成的中间解给部分分，缓解FA严格匹配过严的问题；(4) 多模态答案：当前finish line限定单位数0-9，未来可扩展到多选或多模态答案。基于本文成果还可延伸两条线：第一，把PVR/RCR的解耦诊断思路迁移到SWE-bench等编程代理基准，区分"读错issue"和"写错code"两类失败；第二，把AAR的8步生成管线作为模板应用到其他长尾领域（如法律、金融）的程序化评测构建上，配合live API做防污染。

复现评估

复现性较好但有门槛。开源情况：作者公布代码与数据于https://minnesotanlp.github.io/the-amazing-agent-race及GitHub https://github.com/minnesotanlp/the-amazing-agent-race；1400条legs与golden trace全部缓存以保证re-scoring确定性；评测在Harbor开源框架下用Docker容器跑，10GB内存+600秒墙钟+温度0，10配置$\times$1400腿共7000 trial；算力约286 compute-hour。复现难度在两方面：$(1)$ 需3类智能体框架访问权限（Codex CLI、Claude Code商业、mini-swe-agent开源）；$(2)$ live API（地理编码、海拔、股票等）快照需重跑生成管线，建议复用作者trace缓存。验证脚本本身运行顺利，基准设计稳健。

精彩纷呈的智能体竞速赛：工具调用很强，导航能力很弱 The Amazing Agent Race: Strong Tool Users, Weak Navigators