AgentProcessBench：诊断工具使用智能体的步骤级过程质量 AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents
首个针对工具使用智能体的步骤级人类标注基准，揭示当前模型在中性步骤区分上的核心瓶颈
前置知识
Process Reward Model (PRM)
过程奖励模型是一种对推理或执行过程中的每个中间步骤进行质量评估的模型，与仅评估最终结果的 Outcome Reward Model (ORM) 不同。PRM 通过为每个步骤提供细粒度的正确性信号（如 +1/0/-1），实现更精确的信用分配（credit assignment）。在训练阶段，PRM 能帮助模型识别哪些中间决策导致了最终成功或失败；在推理阶段，PRM 可用于 Best-of-N 采样，从多条候选轨迹中选出质量最高的执行路径。PRM 的核心价值在于将稀疏的结果信号转化为密集的过程监督信号。
本文的核心目标就是构建一个评估 PRM 能力的基准，理解 PRM 的工作原理是理解论文动机和实验设计的基础。
Tool-Using Agent
工具使用智能体是指能够调用外部工具（如搜索引擎、API、命令行）与环境交互来完成复杂任务的 LLM 系统。与纯文本推理不同，工具使用涉及真实环境交互，错误操作可能产生不可逆的副作用（如删除文件、发送错误邮件）。智能体需要在多轮交互中决定何时调用工具、调用哪个工具、如何解读工具返回结果。
本文聚焦于工具使用场景下的步骤级评估，理解工具使用智能体的工作模式和失败特点是理解本文研究问题的前提。
Error Propagation Rule
错误传播规则是本文提出的一种标注策略：当某个步骤被标记为错误（-1）时，后续所有依赖该错误或与其有因果关系的步骤也自动标记为 -1，直到智能体明确纠正错误或转入独立的新子任务。这一规则的设计目的是防止错误的信用分配——避免给那些'在错误基础上做对了操作'的步骤错误地分配正标签。
这是本文标注协议的核心创新之一，直接影响基准数据的质量和评估的公平性。实验表明该规则对强模型的评估效果有显著提升。
Best-of-N Sampling
Best-of-N 是一种测试时扩展（test-time scaling）策略：生成 N 条候选轨迹，然后使用奖励模型（可以是 ORM 或 PRM）对每条轨迹打分，选择得分最高的轨迹作为最终输出。这种方法通过增加采样次数来提升任务成功率，但效果高度依赖奖励模型的排序能力。本文的关键发现之一是过程级信号（PRM）可以与结果级信号（ORM）互补，进一步提升 Best-of-N 的选择质量。
本文的一个核心实验就是验证过程级信号在 Best-of-N 场景下的实际价值，这是连接 PRM 评估与实际应用的关键桥梁。
Test-Time Scaling
测试时扩展是指在推理阶段通过增加计算资源（如采样更多轨迹、使用更复杂的验证机制）来提升模型性能的策略。与训练时扩展（增加数据或参数）不同，测试时扩展不改变模型权重，而是在推理时利用更充分的计算来获得更好的结果。PRM 在测试时扩展中扮演关键角色，因为它们能帮助从多个候选中选出最佳轨迹。
本文的核心发现之一是过程信号对测试时扩展有显著的互补价值，这为 PRM 的实际应用提供了重要依据。
研究动机
当前工具使用智能体在长程交互中表现脆弱，但评估其过程质量的基准严重缺失。具体而言，现有过程级基准（如 PRM800K、ProcessBench、PRMBench）几乎全部局限于数学推理的封闭世界，其中的错误通常源于逻辑或算术推导失误，可以通过回溯纠正。然而，工具使用场景中的失败模式截然不同——它们根植于与动态环境的交互，涉及模糊的用户意图和策略约束，且错误操作常常产生不可逆的副作用（如发送错误邮件或删除关键文件）。与此同时，现有的标准智能体基准（如 GAIA、τ2-Bench）只报告端到端的任务成功率，不提供步骤级信号用于评估 PRM。这意味着整个领域缺乏一个标准化的、经过人类验证的基准来评估工具使用场景下的步骤级过程质量。
本文的目标是本文的目标是构建 AgentProcessBench——首个专门用于评估工具使用智能体轨迹中中间步骤有效性的基准。具体目标包括：提供 1,000 条多样化的智能体轨迹和 8,509 条人类标注的步骤标签，标注者间一致性达到 89.1%；设计一套包含中性标签（0）的三元标注方案和错误传播规则，以减少长程轨迹中的标注歧义；基于该基准对 20 个 LLM 进行全面评估，分析当前模型作为 PRM 的能力瓶颈，并验证过程级信号在测试时扩展中的实际价值。
与已有工作不同的是，本文的独特切入角度在于抓住了一个被忽视的关键问题：工具使用场景下的步骤级评估与数学推理有本质区别。数学推理中的错误是确定性的（算术错误就是错误），而工具使用中的步骤质量往往是上下文依赖的、探索性的、存在灰色地带的。本文通过引入中性标签（0）来显式建模这种探索性行为，通过错误传播规则来处理级联失败，并通过从四个异构基准（HotpotQA、GAIA、BFCL、τ2-Bench）聚合任务来覆盖多跳推理、深度研究、多轮工具执行等多样化场景。这种设计使得基准能够捕捉真实的工具使用失败模式，而非简化的数学推理错误。
核心方法
AgentProcessBench 的构建可以类比为一个'三阶段流水线'：首先从多个来源采集多样化的任务和轨迹，然后由专业人员进行严格标注，最后构建评估框架来测试模型能力。整体思路是将评估粒度从'轨迹是否成功'细化到'每个步骤是否有效'，类似于从'考试只看总分'转变为'每道题都给反馈'。技术路线包括：(1) 从 HotpotQA、GAIA、BFCL、τ2-Bench 四个基准中均匀采样 200 个任务，使用五个不同规模和架构的模型（Qwen3-4B/30B、DeepSeek-V3.2、GPT-5-mini、GPT-5）生成轨迹；(2) 采用三元标注方案（+1/0/-1）和错误传播规则进行人工标注；(3) 设计 StepAcc 和 FirstErrAcc 两个互补指标进行评估。
本文的核心创新在于提出了一个针对工具使用场景的步骤级评估协议，其本质区别在于三点。第一，引入中性标签（0）来显式区分探索性冗余行为和关键失败，这在数学推理基准中是不存在的——数学步骤要么对要么错，但在工具使用中，一个合理的但没有实质推进任务的探索步骤不应被惩罚。第二，采用错误传播规则：一旦某个步骤被标记为错误，后续所有依赖该错误的步骤也自动标记为 -1，直到智能体明确纠正。这防止了'在错误基础上做对了操作'导致的虚假正标签。第三，从四个异构基准聚合任务，覆盖从多跳问答到客服对话的多样化场景，捕捉不同任务类型下的独特失败模式——例如 QA 任务常在初始推理阶段出错，而工具密集型任务更倾向于在后期因策略违规而失败。
方法步骤详情
基准构建分为四个主要步骤。第一步是任务聚合（Task Curation）：从 HotpotQA、GAIA、BFCL、τ2-Bench 四个基准中各采样 200 个任务，使用 E5 模型对任务描述进行编码，通过最大化成对嵌入距离来选择代表性实例，确保任务多样性。为每个基准提供对应工具环境——HotpotQA 使用基于 E5 的本地检索器和 Wikipedia 转储，GAIA 配备 Google Search 和 Jina 浏览工具以及 CLI 文件访问工具，BFCL 和 τ2-Bench 使用官方工具集。第二步是轨迹生成（Trajectory Generation）：使用 Qwen3-4B-Instruct-2507、Qwen3-30B-A3B-Instruct-2507、DeepSeek-V3.2、GPT-5-mini 和 GPT-5 五个模型为每个任务生成轨迹，共获得 1,000 条轨迹。第三步是专家标注（Expert Annotation）：招募至少有计算机科学本科学历和一年以上 LLM 使用经验的标注员，通过资格测试后进行标注。为每条轨迹提供三个强模型（DeepSeek-V3.2、GPT-5.2、Claude 4.5 Sonnet）的参考标注作为辅助，但要求标注员独立验证。每条轨迹由两名标注员独立标注，步骤级一致性达 89.1%，Cohen's κ 为 0.767，分歧通过讨论解决。第四步是评估框架设计：定义 StepAcc（微平均步骤准确率）和 FirstErrAcc（首个错误位置准确率）两个互补指标。
技术新颖性
与现有基准相比，AgentProcessBench 的技术新颖性体现在多个方面。首先，它是首个专门为工具使用智能体提供步骤级有效性监督的人类标注基准，填补了 PRM800K 等数学基准与 AgentRewardBench 等轨迹级基准之间的空白。其次，中性标签的引入是一个关键创新——它承认了工具使用中固有的探索性质，而非简单地将所有非正确步骤归为错误。第三，错误传播规则的设计借鉴了信用分配的理论基础，通过级联惩罚来防止虚假的正标签分配，这在长程轨迹中尤为重要。第四，五个异构源模型的使用确保了轨迹多样性，捕捉了从快速失败到深度探索的不同行为模式。第五，两个评估指标的设计互补——StepAcc 捕捉全局过程正确性，FirstErrAcc 强调早期失败检测能力。
实验结果
实验对 20 个 LLM 进行了全面评估，揭示了多个关键发现。首先，开源模型仍然落后于闭源模型：最强开源模型 Qwen3-30B-A3B-Thinking-2507 的平均 StepAcc 为 68.5%，而闭源的 Gemini-3-Flash-Preview-Thinking 达到 81.6%，差距约 13 个百分点。其次，模型规模和推理机制至关重要：从 3B 扩展到 70B 参数一致提升所有指标，思维模型（thinking models）显著优于同等规模的指令模型——例如 Qwen3-8B 在推理模式下比非推理模式高 6.1% StepAcc 和 5.3% FirstErrAcc。第三，任务复杂度显著影响错误定位能力：从 HotpotQA 到 GAIA，几乎所有模型性能下降，但小模型下降更剧烈——Gemini-3-Flash-Preview 的 StepAcc 和 FirstErrAcc 分别下降 2.9% 和 16.8%，而 Qwen3-4B 分别下降 22.8% 和 30%。第四，StepAcc 和 FirstErrAcc 高度相关（Pearson r=0.90，Spearman ρ=0.92），但 FirstErrAcc 系统性地低于 StepAcc：最强模型 Gemini-3-Flash-Preview 的 StepAcc 为 81.6% 但 FirstErrAcc 仅 65.8%，说明准确定位第一个关键错误比整体评估更困难。第五，PRM 存在显著的正标签偏向：混淆矩阵显示两个最强模型都倾向于过度预测 +1 标签，且中性步骤（0）始终是最难区分的类别。第六，过程级信号对测试时扩展有显著互补价值：在 GAIA 的 Best-of-8 选择中，结合过程和结果信号的两阶段选择器（Final→Process）在所有生成器上都优于纯结果选择器，例如对 DeepSeek-V3.2-Thinking 从 56.6% 提升到 64.2%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HotpotQA (StepAcc) | StepAcc | Gemini-3-Flash-Preview-Thinking: 75.8% | GPT-5.2: 72.1% | 最强模型间的比较，开源最强 Qwen3-30B-A3B-Thinking-2507: 70.0% |
| GAIA (StepAcc) | StepAcc | Gemini-3-Flash-Preview-Thinking: 79.7% | GPT-5.2-Chat: 69.3% | +10.4% |
| BFCL (StepAcc) | StepAcc | Gemini-3-Flash-Preview-Thinking: 81.8% | GPT-5.2: 71.6% | +10.2% |
| τ2-Bench (StepAcc) | StepAcc | Gemini-3-Flash-Preview-Thinking: 83.4% | GPT-5.2-Chat: 80.4% | +3.0% |
| Average (StepAcc) | StepAcc | Gemini-3-Flash-Preview-Thinking: 81.6% | 最强开源 Qwen3-30B-A3B-Thinking-2507: 68.5% | +13.1% |
| Average (FirstErrAcc) | FirstErrAcc | Gemini-3-Flash-Preview-Thinking: 65.8% | DeepSeek-V3.2-Thinking: 59.6% | +6.2% |
| GAIA Best-of-8 (Two-Stage) | Best-of-8 Accuracy | DeepSeek-V3.2-Thinking: 64.2% | 纯结果选择 Final: 56.6% | +7.6% |
| RL Training (Validation StepAcc) | StepAcc | 训练后: 74.6% | 训练前: 55.3% | +19.3% |
局限与改进
作者在附录 A 中坦承 AgentProcessBench 可能仍受标注噪声和人类主观性的影响。此外，当前版本仅限于文本工具使用，尚未涵盖基于 GUI 的交互或多模态智能体行为。从我自己的观察来看，还有以下局限：(1) 基准规模相对有限——1,000 条轨迹和 8,509 个步骤标注虽然不小，但对于训练高质量 PRM 可能仍然不足，特别是考虑到标注成本；(2) 标注过程依赖三个强模型的参考标注作为辅助，虽然消融实验表明这不会引入系统性偏差（无参考标注的一致性为 84.06% vs 主研究的 89.1%），但这种依赖关系仍然值得进一步审视；(3) 评估主要关注正确性，对安全性、效率等其他重要维度的覆盖有限；(4) 错误传播规则虽然减少了标注歧义，但也可能过度惩罚某些可恢复的错误场景。
独立分析的弱点
本文存在几个值得深入分析的弱点。首先，中性标签的标注一致性问题：混淆矩阵显示中性步骤（0）是最难区分的类别，两个最强模型都将大量中性步骤误分类为正标签。这是因为中性步骤的效用是上下文依赖的，往往只有通过下游效果才能判断（如检索到的证据是否被使用、不确定性是否被降低）。改进方向是开发更细粒度的标注指南，或引入基于下游影响的后验标签修正机制。其次，评估指标的局限性：StepAcc 对所有步骤一视同仁，但实际上不同步骤的重要性差异很大——一个导致任务失败的关键决策步骤和一个简单的信息确认步骤不应有相同的权重。可以考虑引入步骤重要性加权的评估指标。第三，错误传播规则的刚性：消融实验显示该规则对弱模型反而有害（DeepSeek-V3.2 移除错误传播后 Best-of-8 从 49.1% 提升到 52.8%），说明规则的有效性依赖于评估模型的能力。可以设计更灵活的自适应传播策略。第四，轨迹生成模型的覆盖度：虽然使用了五个模型，但全部来自 2025-2026 年的前沿模型，可能无法充分代表更早期或更弱模型的典型失败模式。
未来方向
作者明确提出计划将 AgentProcessBench 扩展到基于 GUI 的智能体和计算机使用智能体等更多领域。基于本文成果，还有几个有前景的研究方向：(1) 开发专门针对工具使用场景的 PRM——当前实验表明最强的通用 LLM 作为 PRM 仍有约 20% 的误差空间，专用 PRM 可能有显著提升；(2) 探索过程级信号在强化学习训练中的更广泛应用——本文的 GRPO 训练实验（验证 StepAcc 从 55.3% 提升到 74.6%）表明这是一个有潜力的方向，但需要更大规模的实验验证；(3) 研究自适应错误传播策略——根据任务类型和错误严重程度动态调整传播规则；(4) 将基准扩展到多模态工具使用场景，如 GUI 交互、代码执行、物理环境操作等；(5) 探索 PRM 与搜索算法（如 MCTS）的结合，实现更智能的测试时计算分配。
复现评估
本文的复现性非常好。作者在 GitHub 上开源了完整代码（github.com/RUCBM/AgentProcessBench），数据集也已在 Hugging Face 上公开（hf.co/datasets/LulaCola/AgentProcessBench）。四个源基准（HotpotQA、GAIA、BFCL、τ2-Bench）都是广泛使用的公开数据集，工具环境也有标准化配置。标注过程的详细描述（包括标注员资质要求、标注教程、参考模型选择）足够完整，理论上可以复现类似的标注流程。算力需求方面，使用现有 LLM API 生成轨迹的成本可控，但人类标注的成本较高（8,509 个步骤标注，每个由两人独立完成）。评估框架使用统一的 prompt 模板（附录 B 中完整提供），确保了不同模型间的公平比较。总体而言，这是一个复现难度中等偏低的基准——数据和代码完全公开，主要成本在于大规模人类标注。
论文图表
两个归一化混淆矩阵对比了最强闭源模型和最强开源模型的步骤级预测行为。两个模型都表现出明显的正标签偏向（+1 预测列的概率质量显著），且中性步骤（0）是最难区分的类别——其误分类经常坍缩为正标签。Qwen3-30B-A3B-Thinking 的正标签偏向更严重，导致更高的假阳性率，这是其整体准确率低于 Gemini 的主要原因。
这张图直接回答了'当前 PRM 最大的弱点是什么'——正标签偏向和中性步骤区分困难，为未来 PRM 改进指明了方向。
展示了用于评估模型作为 PRM 的完整 prompt 模板，包括系统消息中定义的三元评分方案、重要规则（如错误传播的累积惩罚、避免后见之明偏向、策略违规的判定）以及输出格式要求。
这张图是复现评估的关键——它定义了所有模型评估使用的统一接口，确保了不同模型间的公平比较。