GTA-2：从原子工具调用到开放式工作流的一般工具智能体基准测试 GTA-2: Benchmarking General Tool Agents from Atomic Tool-Use to Open-Ended Workflows
提出分层基准 GTA-2，揭示前沿 LLM 工作流任务成功率仅 14.39%，执行框架远比模型能力更关键。
前置知识
工具调用（Tool Use）
LLM 智能体通过预定义 API（如 OCR、搜索、文件生成）执行动作的能力，常采用 ReAct 风格交错推理与动作，或 Function Calling 协议。每个工具有明确输入输出格式，模型要根据用户意图选择合适工具并填充参数。
GTA-2 的核心评估对象就是工具调用能力——原子层考察单步精度，工作流层考察多步组合与产物交付。
ReAct 与智能体执行框架（Harness）
ReAct（Reasoning + Acting）通过 Thought-Action-Observation 循环让模型基于工具反馈决定下一步动作；执行框架（harness）是包裹模型的整套运行时，包括记忆管理、动态规划、工具协调等，如 Manus、OpenClaw、Kortix。
论文最核心的发现之一：在同一基模下不同 harness 的工作流成功率从 0% 跃升到 50%，harness 设计的重要性远超单纯模型升级。
长视野工作流（Open-ended Workflow）
需要数十个动作、跨越多种工具、最终交付可验证产物（如 PDF 报告、PPT、网页）的复合任务。不同于单次 API 调用，工作流具有多分支、可恢复、错误易累积等特性。
GTA-Workflow 正是为此类任务设计——评估的不是单步正确性，而是端到端的产物质量。
LLM-as-a-Judge 与评分机制
用强 LLM 作为自动评分器对模型输出按结构化 rubric 打分，常配合人类标注验证其可靠性，可用 Pearson、Spearman、Kendall、ICC、Cohen's κ 等一致性指标衡量。
GTA-Workflow 的每一叶子 checkpoint 都由 GPT-5.2 评分，论文验证其与人类判断的一致性高达 0.966 Pearson 相关。
检查点式评估（Checkpoint-based Evaluation）
将复杂任务分解为可验证的子目标层级结构（树），每节点定义目标状态而非执行步骤，递归聚合叶子得分得到总评，从而解耦评估与具体执行路径。
这是论文针对开放式任务提出的核心评估机制，允许对任意执行路径进行公平打分，并诊断失败发生在哪个层级。
研究动机
现有工具调用评测基准（ToolBench、APIBench、AgentBench、GAIA 等）在多个维度上偏离真实场景。第一，多数依赖 AI 自动生成的查询，常显式包含解题步骤与工具选择线索（step-implicit、tool-implicit），无法测试真实推理能力；第二，多数使用虚拟工具（dummy tools）以文本模拟执行而无法真实调用；第三，输入局限于文本，缺乏对 GUI 截图、手写材料、空间场景等多模态上下文的考察；第四，也是最关键的，现存基准（包括他们此前的 GTA）几乎全部局限于短视野、闭合式、有唯一解的原子任务（如 2–8 步的数学 OCR），但真实生产力场景——撰写研究报告、规划详细行程、制定完整市场进入策略——是长视野、多分支、以最终交付物（PDF、PPT、网页）为评估目标的开放式工作流，缺乏统一框架能横跨『基础工具精度→跨域工作流掌握』进行系统评测。
本文的目标是本文的核心目标是构建分层的、可验证的、面向真实场景的工具智能体基准 GTA-2，同时覆盖两类任务层级：(1) 继承自前期工作 GTA 的 GTA-Atomic，评估短视野闭合任务的工具精度，含 229 题、14 工具、728 步；(2) 新提出的 GTA-Workflow，评估长视野开放式生产力工作流，含 132 题、37 工具、1156 子任务，每个任务被分解为 3–19 个 leaf checkpoint 树。整个基准建立在三大真实支柱上——真实用户查询（来源于 Reddit、Stack Exchange、Manus、Kortix 等平台的实际需求）、真实部署的可执行工具、真实多模态上下文（图像、音频、视频、PDF、表格、文档）。
与已有工作不同的是，本文的独特切入角度是提出『递归检查点评估机制』，从根本上解决开放式工作流难以打分的问题：不沿用轨迹匹配（固定执行路径打分），而把任务拆解为『目标导向』而非『动作导向』的可验证子目标层级树，每节点描述期望状态（如『生成时长 2.5–3.5 分钟的音频』），底层 LLM judge (GPT-5.2) 对每个叶子 0–10 打分后按权重递归聚合父节点（Algorithm 1）。这套机制天然解耦评估与具体执行路径，使同一任务可在不同模型、不同 harness 下公平打分，进而首次让基准同时充当『模型能力 + harness 设计』的联合评测台，揭示反直觉结论：在 Claude-Sonnet-4.5 同一基模下默认 Lagent 仅得 0% Root SR，OpenClaw harness 提升至 50.0%——执行框架的工程化对端到端表现的影响被严重低估。
核心方法
GTA-2 的方法体系由两套互补评测协议组成。直觉上，他们认为智能体能力是『金字塔』——底层是精准的工具原子操作，顶层是完整任务的端到端交付，因此用统一的真实场景基础（真实查询、真实工具、多模态输入）支撑两个层级任务，再用结构化评分机制串成一根可比较的尺。技术路线上，GTA-Atomic 沿用前期手工扩写管线，五元组 (F, Q, T, C, A) 定义样本，支持 step-by-step 与 end-to-end 两种评估；GTA-Workflow 是全新的人机协作半自动管线：原始任务经 LLM 改写并生成 checkpoint 树，再经四类分类（augment/refine/delete/pass）由人类标注员核验；评估时 GPT-5.2 对每个 leaf 在 [0,10] 区间打分，按 Algorithm 1 递归聚合父节点得 Root Score，并衍生 Root SR@k、Leaf SR、Tool SR、Capability-Specific SR 四个工作流级指标。
与已有评测体系最本质的区别有两点。第一是『评估对象的转换』：传统基准如 GAIA-2 仍以仿真执行或文本模拟为主，GTA-2 强制要求工具真实部署可调用，并支持音视频、文档编辑等丰富多模态操作——只有这样测出的分数才能反映真实部署能力。第二是『检查点范式替代轨迹匹配』：开放式工作流的有效执行路径往往不唯一，而系统级 agent（Manus、Claude Code）的内部 orchestration 常是闭源、黑盒、不可观察的，因此作者干脆放弃中间过程评估，专心评估最终交付物。但 deliverable-centric 范式面临主观性与评估一致性两大挑战——他们的解法是将交付物拆解为结构化 checkpoint 树，使每一步都可由 LLM judge 按 rubric 验证，既保留开放式任务的灵活性又获得可重复、可比较的数值评分。这种范式还让 GTA-Workflow 天然成为『模型 × harness』的联合评测台，可剥离 harness 设计的独立贡献。
方法步骤详情
GTA-Workflow 流程分五组件：(1) 任务采集——双源策略，从 OpenClaw/Manus/Kortix 等 agent 平台与 Reddit/Stack Exchange 帖共 154 raw queries。(2) 多模态工具集扩至 37：新增感知 6、操作 13（PdfFileGenerator、PptxFileGenerator 等）、逻辑 Prover、创造 TextToVideoTool，支持 PDF/HTML/CSV/XLSX。(3) 检查点形式化：任务拆为树状层级，叶子描述目标状态（如『音频时长 2.5–3.5 分钟』），criteria 必须 result-oriented。(4) 查询与 tree 构建：LLM 基于 exemplar+工具列表生成初稿，二阶段分类（augment 加 3.57 constraints、3.48 tools；refine 加 4.45 约束；delete/pass）后人类标注终核。(5) 评估：GPT-5.2 对 leaf 0–10 打分，父节点加权求和，递归得 root score ∈ [0,10]，k=7 判成功。
技术新颖性
新颖性体现在三个层级。框架层面首创『原子-工作流』双层统一评估，把分散在不同文献中的两种评测目标统一在同一基准内。评估机制层面，『递归 checkpoint 加权聚合』是新颖的可验证开放式产物打分范式，相比传统 LLM-as-a-Judge 对整段文本打分，它给出更细粒度、可定位失败层级的诊断信号（6.5 节证明 checkpoint feedback 比 coarse feedback 多 7.66 pp，可作优化信号）。评测维度层面，首次系统分离『模型能力』与『harness 设计』的贡献——通过对比同一基模 Claude-Sonnet-4.5 在 Lagent 与 OpenClaw 下从 0% 到 50% Root SR 的跃升，建立 controlled vs system-level harness 比较范式。失败分析的 Stage-wise 与 Leaf/Composition/Deliverable 三级分解也新颖：指出 reasoning error 仅占 3.3%–6.7%，EXECUTE 与 HANDOFF 才是瓶颈，重新校准研究方向到『稳定执行与产物生成』。
实验结果
实验在 13 模型展开，揭示『能力悬崖』。GTA-Atomic 上 GPT-4/4o 最强但 AnsAcc 仅 46.59%/41.52%。GTA-Workflow 上 Gemini-2.5-Pro Root SR 仅 14.39%，GPT-5 11.36%，开源 Qwen3-235B、Llama-4-Scout 均 10.61%，小模型 0%。Tool SR 高但 Root SR 低——Gemini 工具调用 91.20% 成功但任务仅 14.39%。Harness：同基模 Claude-Sonnet-4.5 下 Lagent Root SR 0%、OpenClaw 50%；Manus/Kortix 53.3% 但 Cost $15–$27。失败 EXECUTE 22.9%–34.0% 最高，REASON 仅 3.3%–6.7%；advanced harness 解决 composition（B 0% vs Gemini 70.83%），但 deliverable (C) 42.59%。Checkpoint feedback：GPT-5 2.83 → 3.15 (+12.03%)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 原子级工具调用（229 题，短视野闭合） | AnsAcc 整体答案准确率 | GPT-4 46.59%、GPT-4o 41.52%、Claude-3-Opus 23.44%、Llama-3-70B 8.32% | —— | 没有任何模型达 50%；开源模型普遍低于 10%，差距巨大 |
| 开放式工作流完成（132 题，长视野） | Root SR@k=7（任务成功率） | Gemini-2.5-Pro 14.39%、GPT-5 11.36%、Qwen3-235B 10.61%、Claude-Sonnet-4.5 9.09% | 开源小模型 Llama-3.1-8B / Qwen3-8B 为 0.00% | 前沿模型绝对量提升约 10–15 pp，但相对差距远未弥合 |
| 工具调用有效率 vs 任务成功率 | Tool SR vs Root SR | Kimi-K2 Tool SR 89.85% 但 Root SR 8.33%；Gemini Tool SR 91.20% 但 Root SR 14.39% | —— | 暴露 Tool SR 90% 与 Root SR ≤15% 的巨大鸿沟 |
| Harness 影响（受控对比，Claude-Sonnet-4.5，30 题子集） | Root SR | OpenClaw 50.0%（Root Score 6.82） | 默认 Lagent 0.0%（Root Score 2.49） | Root Score +174%、Root SR +50 pp，Leaf SR 10.14% → 73.55% |
| Harness 影响（系统级对比，30 题子集） | Root SR / Score-per-Cost | Manus Root SR 53.3%、Score/Cost 0.463；Kortix Root SR 53.3%、Score/Cost 0.253 | Lagent Root SR 0.0% | Manus 在 Score/Cost 上最佳，是少数能在性能与成本间达 Pareto 最优的系统 |
| Checkpoint feedback 优化（GPT-5，30 题子集） | Root Score 相对增益 | Checkpoint feedback Root Score 3.15（+12.03%） | 无反馈 2.83、coarse feedback 2.93（+4.05%） | 比 coarse 多 7.66 pp，证明 checkpoint 机制既可评估也可作优化信号 |
| LLM judge 评估可靠性（30 题，276 leaf） | Root Score 与人类一致性 | Pearson 0.966、Spearman 0.895、ICC(2,1) 0.928、MAE 0.744 | Human1 vs Human2 Pearson 0.965 / ICC 0.949 | LLM judge 达近人类水平，叶子级 Cohen's κ 0.812 / 95.3% 一致率 |
局限与改进
作者明确承认三大局限：(1) 不能孤立考察 harness 因果——除少数受控对比外，Manus / Kortix 等闭源系统无法剥离模型与 harness 的独立贡献；(2) 不评估部署安全性、权限控制、隐私保护等关键维度，高分不等于可部署；(3) 失败分类体系（PLAN/REASON/EXECUTE/GROUNDING/REFINE/ASSEMBLE/HANDOFF/VERIFY/OTHER）部分启发式，阶段标签与最终错误并非严格正交。我自己的观察还包括：(a) GTA-Atomic 229 题偏少且以感知为主，可能高估通用智能体的真实门槛；(b) LLM judge 0–10 分映射到 k=7 硬阈值对阈值敏感（Figure 8 中 k=6 与 k=9 出现 score clustering）；(c) GPT-5.2 作为唯一主裁判存在偏置，换 Gemini-2.5-Flash 后绝对分数普遍上调 0.5–1.0（Table 13），虽排名完全稳定但跨基准绝对值不可直接横比；(d) 评估对闭源 API 成本敏感，限制了在更大模型或更长上下文上的可扩展性。
独立分析的弱点
独立分析可指出四个薄弱环节。(1) Root SR 绝对值过低且两极分化：开源最强 Qwen3-235B-A22B 仅 10.61%、闭源前沿也才 14.39%，长视野工作流是当前 LLM 的结构性短板——改进方向是从模型推理转向显式状态管理 + 中间检查点回退机制。(2) 小模型悬崖：Qwen3-8B / Llama-3.1-8B Root SR 0% 但 Tool SR 仍有 13–17%，能『调通工具但完不成任务』——改进方向是引入任务级 plan-then-act 预热训练或显式 hierarchical RL。(3) deliverable failure 是所有 harness 的硬伤：即使 OpenClaw/Manus B 级归零，C 级仍 42.59%，主要来自 48.4% formatting error——改进方向是增强产物生成工具的 schema validation 与错误回滚。(4) checkpoint-threshold 二元化损失信息：建议改用 Root Score 为主指标、Root SR 作辅助。
未来方向
作者明确提出的未来方向有四条：(1) 发布任务源级数据并提供 raw/reformulated 配对示例以减少 benchmark construction bias；(2) 扩展受控对比的模型与 harness 组合范围；(3) 引入安全/鲁棒/权限/隐私等维度评估；(4) 从启发式失败分类走向更原则化的因果建模。我基于本文成果可延伸的方向还包括：(a) 把 checkpoint 树反向用作『中间 reward』信号训练 agent，验证 RL 是否能把 Root SR 从 14% 提升到 30%+；(b) 把同一基准用于评估『人机协作』工作流（用户中途注入 feedback），考察混合智能下任务完成率；(c) 把 6 个领域 checkpoint 子树做 meta-analysis，识别普遍难完成的子目标（如 CSV/XLSX 2.62 vs text 4.27）作为强化目标；(d) 用 GTA-Workflow 评估 GUI Agent、Web Agent 迁移能力，建立跨范式 capability index。
复现评估
复现整体良好。资产层面：代码与数据集公开在 https://github.com/open-compass/GTA，附录 .3 公开完整 LLM prompt 模板（图 9–20）。平台基于 OpenCompass 在 80GB GPU 用 Lagent (InternLM)、AgentLego 执行；算力：单次 132 题约 $5，Advanced Harness 30 题子集约 $10–35。数据集：GTA-Atomic 229 题/728 步均人工构造；GTA-Workflow 132 题从 154 raw 经 LLM 改写+人类核验筛选，source 见表 2（OpenClaw 37、Stack Exchange 37、Reddit 26 等）。复现门槛：(i) 集成 37 个工具确保执行稳定，(ii) 调用 GPT-5.2 API 涉及费用与权限，(iii) OpenClaw/Manus/Kortix 部分闭源只能 black-box。建议小型复现从 GTA-Atomic + Lagent + Claude-Sonnet-4.5 开始，$50 内可完成核心结论复现。
论文图表
横轴为 k ∈ {5,6,7,8,9}，纵轴 Root SR@k。k=5 与 k=9 都出现明显聚簇（多数模型 0% 或饱和），k=6 让 Claude-Sonnet-4.5 反常高但 k=7 时骤降，体现阈值敏感性与模型差异，论文最终选 k=7 作为默认。
揭示评估指标的设计权衡——为读者理解 k=7 选择提供依据，也提示其他研究者在引用本文数据时需注意阈值。
Root Score 一致性：Human1 vs Human2 Pearson 0.965 / ICC 0.949 vs HumanAvg vs LLM Judge 0.966 / 0.928；Leaf Score Pearson 0.901 vs 0.863，叶子 pass/fail Cohen's κ 0.812 / 95.3% 准确率。
提供 LLM judge 可靠性的证据，支撑 checkpoint-based 自动评估的可信度。
把主裁判 GPT-5.2 换成 Gemini-2.5-Flash，四个模型的 Root Score 普遍上调 ~0.7–1.0，但 Spearman ρ = Kendall τ = 1.00，排名完全稳定。
消解对单一裁判的依赖性顾虑，为后续工作用不同裁判复用基准提供信心。