← 返回 2026-04-08

Claw-Eval: 面向可信自主代理评估的评测套件 Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents

Bowen Ye, Rang Li, Qibin Yang, Yuanxin Liu, Linli Yao, Hanglong Lv, Zhihui Xie, Chenxin An, Lei Li, Lingpeng Kong, Qi Liu, Zhifang Sui, Tong Yang 📅 2026-04-07 👍 122 2026-07-13 08:36
Benchmark Evaluation LLM Agents Robustness Safety
arXiv HuggingFace PDF

全轨迹审计、多维度评分的自主代理评测框架

前置知识

自主代理 (Autonomous Agents)

能够自主执行多步骤工作流程的AI系统，通常通过调用工具、导航文件系统、查询数据库等方式完成任务。它们不同于简单的问答模型，需要进行主动的情境化行动来达成目标。

本文评估的对象就是这类代理，理解其工作方式对于理解评测方法的必要性至关重要。

轨迹审计 (Trajectory Auditing)

记录和检查代理执行过程中的所有行为，包括工具调用、外部服务交互和最终产生的产物。它不仅看最终结果，还要验证代理是如何到达这个结果的。

这是本文解决的核心问题——现有评测只看输出不看过程，导致无法区分忠实执行和伪造行为。

Pass@k 和 Pass^k

两个互补的评价指标。Pass@k 表示在 k 次试验中至少有一次通过的比率，衡量能力上限；Pass^k 表示 k 次试验全部通过的比率，衡量可靠性下限。两者差距越大说明一致性越差。

本文的重要发现是能力不等于一致性，这个概念是理解这一发现的关键。

研究动机

现有自主代理评测存在三个关键缺陷。首先是轨迹不透明的评分方式，许多基准只验证模型输出而不系统审计执行过程，这使忠实执行难以与伪造或基于捷径的行为区分，且使仅基于输出的评估容易受到奖励黑客攻击。其次是安全性和鲁棒性评估不足，在部署中代理不仅要满足任务目标还要遵守安全约束并从瞬时故障中恢复，但安全性很少嵌入到普通的端到端工作流任务中，对超时或速率限制等可控扰动的鲁棒性也鲜有评估。第三是任务覆盖范围狭窄，现实世界中的代理必须在同一部署中处理异构场景，包括服务编排、多模态感知和扩展对话，但大多数基准只关注单一模态或交互范式。

本文的目标是本文目标是创建一个端到端的评测套件，在统一框架内解决所有三个缺陷。这包括建立全轨迹审计机制使评分基于代理实际做了什么而不是它声称做了什么；将完成度、安全性和鲁棒性作为同一任务执行中的耦合维度进行评估；通过单一的声明式任务模式支持广泛的异构代理设置，使用共享的执行和评分协议；以及通过多次试验报告平均性能、能力上限和可靠性下限的互补指标，提供更相关的部署视角。分数计算公式中，安全性和鲁棒性通过乘法门与完成度结合。

与已有工作不同的是，本文的独特切入点是将轨迹透明性、多维度评分和异构任务覆盖这三个通常被分开考虑的问题在一个统一框架中协同解决。现有工作通常只解决个别缺口，例如添加子任务检查点、分离正确性和一致性或创建专门的安全基准，但没有现有框架将安全约束嵌入正常工作流任务中，也没有支持鲁棒性测试的受控错误注入。本文通过结合确定性检查与LLM判断、将评分项目建立在可审计的轨迹证据上以及提供错误注入作为一等评估参数来同时解决这些问题。

核心方法

Claw-Eval的核心思想是通过三阶段执行生命周期收集完整的可审计证据，然后将这些证据转换为多维度分数。这个设计建立在一个受常见代理框架启发的可审计代理脚手架上，它通过每次运行的新鲜沙箱、受控工具接口和在代理视图外运行的证据收集器来强制执行管道边界。架构产生三个独立的证据通道：结构化执行跟踪、服务端审计日志和执行后环境快照，它们共同捕获代理的行为、外部服务交互和最终产生的产物。这些通道将评分建立在实际观察到的行为基础上而不是自报告上。

核心创新点在于建立了一个严格的时间防火墙，将任务解决和评估彻底分离。每个运行被组织成三个时间上分离的阶段：Setup（设置）、Execution（执行）和Judge（评判）。代理在执行阶段只接收任务解决资源，而评估资源被隔离到评判时间。这种分离确保了评分工件不会在执行过程中暴露，建立了无法作弊的评估环境。另一个关键创新是混合评分管道，结合确定性检查和LLM判断，使评分项目建立在可审计的轨迹证据基础上。鲁棒性分数根据恢复的工具类型与遇到错误工具类型的比例计算。

方法步骤详情

完整的执行流程包括三个阶段。第一阶段是Setup，系统配置一个隔离的Docker沙箱环境，部署必要的mock服务，准备任务定义和工作空间。第二阶段是Execution，代理在这个隔离环境中执行任务，使用工具、调用服务、生成文件等，同时三个独立的证据收集器在后台运行：执行跟踪器记录所有工具调用和参数，服务端审计日志记录所有外部服务交互，环境快照器在执行后记录工作空间状态。第三阶段是Judge，证据通道被解锁，评分器根据任务特定的评分表检查执行跟踪、审计日志和环境快照，确定完成度、安全性和鲁棒性分数。每个任务在3个独立试验中运行，计算Average Score、Pass@3和Pass^3三个指标。

技术新颖性

技术新颖性体现在多个方面。首先，三阶段生命周期与时间防火墙的设计是首次明确地将任务解决和评估彻底分离，消除了信息泄露和作弊的可能性。其次，三证据通道的设计使评分能够建立在完整的行为记录上，而不是不完整的对话记录。第三，多维度评分协议将安全性作为乘法门而不是加法分量，这意味着政策违规无法被高完成度分数抵消。第四，受控错误注入作为一等评估参数，模拟HTTP 429（35%）、HTTP 500（35%）或2-4秒延迟峰值（30%）三种realistic部署扰动。最后，多指标评估协议同时报告平均性能、能力上限和可靠性下限，揭示了能力和一致性之间的差距。

Overview of the Claw-Eval architecture
Figure 1: Overview of the Claw-Eval architecture

实验结果

本文在14个前沿模型上的评估揭示了三个重要发现。首先，轨迹不透明的评估系统性地不可靠，一个普通的LLM评分器（即使提供完整对话记录和评分源代码）仍然错过了44%的安全违规和13%的鲁棒性失败。混合评分管道通过工具调用参数的确定性匹配检测安全违规，而LLM评分器无法可靠地从文本中应用相同规则。其次，能力不等于一致性，从错误注入率0.0到0.6，Pass@3几乎保持平坦而Pass^3急剧下降，表明模型通常可以找到一条成功路径但很少能找到所有三条。Claude-Opus-4.6最有韧性，在率0.6时仍保持56.5%的Pass^3，且差距扩大最小（9.9%→20.5%）。第三，代理能力是强多维度的，模型排名在异构任务设置之间大幅变化，没有单一模型在所有领域占主导地位。在多轮对话中，成功更多地取决于代理问什么（问题是否针对性强且逻辑顺序合理，r=0.87），而不是对话运行多长时间（r=0.07）。

Comparison of agent evaluation benchmarks across six dimensions
Table 1: Comparison of agent evaluation benchmarks across six dimensions
Benchmark composition
Table 2: Benchmark composition
Main evaluation results
Table 3: Main evaluation results
Multimodal task evaluation results
Table 4: Multimodal task evaluation results
Pass^3 (%) by model and multimodal domain
Table 5: Pass^3 (%) by model and multimodal domain
Pass^3 rate by difficulty level
Figure 2: Pass^3 rate by difficulty level
Comparison of a vanilla LLM judge against the hybrid grading pipeline
Figure 3: Comparison of a vanilla LLM judge against the hybrid grading pipeline
Multi-turn dialogue analysis across 13 models
Figure 5: Multi-turn dialogue analysis across 13 models
Pass@3 vs Pass^3 across multimodal domains
Figure 6: Pass@3 vs Pass^3 across multimodal domains
查看结构化数据
任务指标本文基线提升
General tasks (overall) Overall Pass^3 Claude Opus 4.6: 70.4% Nemotron 3 Super: 5.5% 提升1180%
General tasks (Score) Average Score Claude Sonnet 4.6: 81.4% Nemotron 3 Super: 44.4% 提升83.3%
Multimodal tasks Pass^3 GPT 5.4: 25.7% GLM 5V Turbo: 13.9% 提升84.9%
Multi-turn Dialogue Pass^3 Claude Opus 4.6: 68.4% Nemotron 3 Super: 0.0% 从0到68.4%
Safety violation detection Detection rate Hybrid pipeline: 100% Vanilla LLM judge: 56% 提升78.6%
Robustness under error injection Pass^3 degradation (0.0→0.6) Claude Opus 4.6: -10.3pp Gemini 3.1 Pro: -22.6pp 更稳定

局限与改进

本文承认的局限性包括三个方面。首先，虽然基准包含300个任务，但相对于现实世界中代理可能遇到的所有场景仍然有限，特别是跨多个长期会话的复杂工作流和涉及真实用户交互的场景。其次，虽然多模态任务覆盖了视频、文档、图像和代码生成的视觉制品，但对音频输入和3D环境的支持有限，这是未来代理可能需要处理的模态。第三，虽然受控错误注入模拟了真实部署扰动，但它仍然是对真实网络故障、服务中断和资源限制的简化模拟，真实世界的扰动可能更加复杂和不可预测。我观察到的一个额外局限性是，虽然基准评估了安全性和鲁棒性，但它没有评估代理的隐私保护能力，这在真实部署中同样重要。

独立分析的弱点

第一个独立分析的弱点是计算资源需求高，每个任务需要运行3次独立试验，每次试验都需要完整的Docker沙箱设置和三个证据收集通道，这使得大规模评估变得昂贵和缓慢。改进方向可以是实现轻量级的沙箱和证据收集机制，或者开发更高效的试验复用策略。第二个弱点是评分表的维护成本高，300个任务有2159个评分项目，每个项目都需要人工验证和定期更新以适应模型能力的演进。改进方向可以是开发半自动的评分表生成和验证工具，或者建立社区贡献和审查机制。第三个弱点是多模态任务的评估仍然依赖LLM评分器进行开放式标准判断，这可能引入主观性和不一致性。改进方向可以是开发更多模态特定的确定性检查，或者训练专门的视觉质量评估模型。

未来方向

作者提出的未来方向包括扩展基准以覆盖更多模态（如音频、3D环境）和更复杂的工作流场景（如长期多会话任务）。另一个方向是开发更细粒度的错误注入策略，包括更复杂的故障模式和自适应错误率，以更好地模拟真实世界的部署条件。基于本文成果可以延伸的方向包括：开发专门的安全性和鲁棒性训练数据集，基于Claw-Eval中检测到的失败案例；创建代理能力的热力图可视化，帮助理解模型在不同任务类型和度量上的强弱点；以及建立动态基准，定期更新任务以反映代理能力的最新进展，避免基准饱和。

复现评估

本文在可复现性方面表现良好。基准和评估框架完全开源，包括所有任务定义、评分表和评估代码。论文提供了详细的附录说明实施细节，包括完整的工具清单、每个任务组的详细描述、评分协议的数学定义和人类验证研究。作者还承诺在项目网站发布排行榜、数据和代码。评估使用Docker沙箱确保了环境隔离和可复现性，每个任务运行3次独立试验以处理随机性。算力需求方面，评估一个完整的模型需要大约的计算时间取决于模型推理速度和任务复杂度，但14个模型的完整评估是可管理的。主要挑战可能是配置mock服务和设置依赖项，但论文提供了足够的文档来指导这一点。

论文图表

Figure 4: Effect of error injection on agent performance

该图包含两个子图，展示三个模型（Claude Opus 4.6、Gemini 3.1 Pro、GLM 5 Turbo）在General任务上在不同错误注入率（0.0到0.6）下的表现。子图显示Pass@3（实线）和Pass^3（虚线）随错误注入率增加的变化。中心发现是错误注入主要降低一致性而不是峰值能力：从率0.0到0.6，Pass@3几乎平坦而Pass^3急剧下降。子图显示Pass@3–Pass^3差距单调增加，量化了能力-可靠性分歧。Claude-Opus-4.6最有韧性，在率0.6时仍保持56.5%的Pass^3且差距扩大最小（9.9%→20.5%）。

这个图对理解论文至关重要，因为它直观地展示了本文的第二个主要发现——能力不等于一致性，Pass@3和Pass^3的差距揭示了代理在真实部署中的可靠性问题。