← 返回 2026-04-10

ClawBench：AI 智能体能否完成日常在线任务？ ClawBench: Can AI Agents Complete Everyday Online Tasks?

Yuxuan Zhang, Yubo Wang, Yipeng Zhu, Penghui Du, Junwen Miao, Xuan Lu, Wendong Xu, Yunzhuo Hao, Songcheng Cai, Xiaochen Wang, Huaisong Zhang, Xian Wu, Yi Lu, Minyi Lei, Kai Zou, Huifeng Yin, Ping Nie, Liang Chen, Dongfu Jiang, Wenhu Chen, Kelsey R. Allen 📅 2026-04-09 👍 265 2026-07-13 08:36
AI Agent Agent Safety Benchmark LLM Evaluation Web Agent
arXiv HuggingFace PDF

153 个真实日常任务评测前沿 LLM 代理，仅最强模型完成 33.3%

前置知识

浏览器自动化与 CDP

浏览器自动化指用程序操控浏览器完成点击、输入、滚动等操作；CDP（Chrome DevTools Protocol）是 Chromium 提供的底层调试接口，可让外部进程监控网络请求、截屏、获取 DOM 等，是 Web Agent 的核心工具。

ClawBench 通过 CDP 实现对所有 HTTP 请求的拦截与记录，只有理解 CDP 才能明白该评测如何做到'放行浏览、拦截提交'。

LLM-as-Judge 与 Agentic Evaluator

LLM-as-Judge 是用一个大语言模型给另一个模型的输出打分的范式；Agentic Evaluator 是其升级版，让 Judge 模型能调用工具、对比多模态轨迹、自主完成评估推理，是 ClawBench 的评分核心。

论文的成败依赖 Claude Code 子代理对人类参考轨迹与代理轨迹的对齐判断，必须理解此评估范式才能读懂评分逻辑。

Write-heavy 任务与最终请求拦截

Write-heavy 任务指会修改服务端状态、产生不可逆副作用的交互，如下单、预约、提交申请。'最终请求拦截'即在所有探索性请求中精准识别并阻断那个会真正提交事务的 HTTP 调用。

这是 ClawBench 与传统只读基准（如 WebVoyager）的本质区别，也是其在生产网站上做评测却保证零副作用的关键机制。

任务轨迹与五层行为记录

代理任务轨迹是智能体完成任务的完整执行序列；五层记录则指会话录屏、动作截图、HTTP 流量、智能体消息、浏览器底层操作这五维同步数据，构成可追溯的'黑匣子'。

这是 Agentic Evaluator 能做'步骤级归因'的前提，没有这五层数据，就只能给二元通过/失败而无法定位失败在哪一步。

研究动机

现有 Web 代理评测几乎都跑在'离线沙盒'里：WebArena 用 5 个自托管站点、OSWorld 用虚拟机、TheAgentCompany 用自部署公司模拟器，这些环境普遍存在静态 HTML、固定 DOM、无身份认证、无动态内容的问题，让 Cookie 弹窗、JS 渲染、登录流程、多步表单等真实网页挑战全部消失。另一类跑在真网站上的基准（WebVoyager、Online-Mind2Web、Claw-Eval）又只能做只读信息检索或调用 Mock API。最直接关系到普通人日常的'写操作'——下单、预约、提交申请——长期无人系统评测。也就是说，我们根本不知道 GPT-5.4 或 Claude 这类顶级代理在'帮我订一张机票'这种任务上到底能不能用。

本文的目标是构建一个包含 153 个任务、覆盖 15 个生活类目、横跨 144 个真实生产网站的写重型评测基准 ClawBench，让 AI 代理在真实生产网站上完成真实的写操作（购买、预约、申请）。具体包含三个子目标：(1) 通过精确拦截最终提交请求来保证零现实副作用，让代理能放心地'在真网上探索'；(2) 用人类在同装置下录制的完整参考轨迹替代单一 prompt，作为评估的'锚'；(3) 由 Agentic Evaluator 给出二元成功判定 + 字段级结构化理由，让失败可归因、可诊断。最终把这套范式用于系统评测 7 个前沿 LLM/代理，定量回答'代理离日常可用还有多远'。

与已有工作不同的是，论文切入角度的独特性在于三点：第一，'只拦截最后一步'而非沙盒化或全隔离——这既保住了真实网站的全部复杂性（动态内容、登录、Cookie 弹窗、JS 渲染），又避免了下单真实生效的风险；第二，五层行为同步记录 + 人类完整参考轨迹，让二元评分同时具备诊断性，能指出代理在哪一步、哪个字段出错；第三，153 个任务全部是写重型而非只读，直接对应当年 OpenAI Operator、Anthropic Computer Use 等商业系统所宣称要解决的核心能力。三者组合在已有文献里没有任何一个基准同时满足。

核心方法

ClawBench 的方法设计可以理解为'三阶段 + 双重锚定'。三阶段分别是任务定义、代理执行、自动评估；双重锚定指所有评估都基于人类在同样框架下录制的参考轨迹。整个方法的核心直觉是：与其为了安全去复刻一个残缺的网站，不如让代理在真实网站上探索，但用浏览器扩展 + CDP 服务器在网络层精准抓住'那个会真的下单的 HTTP 请求'，记下它的 payload 就当作成功证据，阻止它离开浏览器即可。评估时再把代理的完整五层行为轨迹与人类参考轨迹摆在一起，让 Claude Code 子代理用结构化 rubric 做对齐判读。

核心创新点在于'靶向请求拦截 + 多模态轨迹对比'。与 WebArena（沙盒、脚本验证）、WebVoyager（真网站、只读、LLM-as-Judge 截图比对）、Online-Mind2Web（真网站、只读）这些已有路线相比，ClawBench 既不在沙盒里牺牲生态效度，也不退守只读任务，而是用 (i) 端点级人工标注的拦截信号 (URL pattern + HTTP method + 必填字段名) 来达到论文报告的 100% 拦截准确率与 0 误报，以及 (ii) 同时采集会话录屏、动作截图、HTTP 流量、智能体消息、浏览器底层动作这五层数据并由人类在同样装置下录制完整参考轨迹，使 Agentic Evaluator 能做'字段级、步骤级'归因而不是只看最终页面。

方法步骤详情

方法落地分四步。第一步任务构建与筛选：标注员在 144 个真实平台、15 个生活类目下写出日常写重型任务（如下单、预约、提交申请），每个任务配三要素（自然语言指令、起始 URL、终态提交 HTTP 端点），用多阶段过滤剔除需付费/地域受限/已下线的网站，保留 153 个任务。第二步人类参考轨迹录制：同一名标注员在 Xvfb+ffmpeg+Chrome 扩展+CDP 的同装置下完成，五层数据同步记录，扩展识别匹配端点的请求后阻断其离开浏览器并把完整 payload 写入本地。第三步代理执行：被测 LLM 通过 OpenClaw 框架控制隔离浏览器执行任务，五层数据被同样记录。第四步 Agentic Evaluator 评分：Claude Code 子代理接收任务指令、人类与代理的五层轨迹，按固定 rubric 跨模态对齐后给出二元 $\mathrm{Score}(t) \in \{0,1\}$ 与结构化理由，最终以 $SR = \frac{1}{|\mathcal{T}|}\sum_{t \in \mathcal{T}} \mathrm{Score}(t)$ 汇总成功率。

技术新颖性

技术新颖性主要体现在三个层面。其一是'端点级人类标注的拦截信号'，声明式地描述'这个 URL + 这种 method + 必带这些字段才是危险请求'，论文报告 153 个任务在人类参考运行中 100% 正确拦截且导航流量 0 误报，比启发式拦截或全网屏蔽都更精准。其二是'五层同步记录 + 同装置人类参考'，使代理轨迹与人类轨迹在时空上严格对齐，Agentic Evaluator 才能做步骤级归因而非黑箱打分。其三是'Claude Code 子代理作为评估器'——不是简单喂最终截图给 LLM，而是把五层证据都作为上下文，迫使评估器在结构化 rubric 下做字段级 schema 校验，这种评估范式比单纯的 LLM-as-Judge 更具可重复性与诊断性。

The CLAWBENCH evaluation pipeline. Setup → Execution (5 layers) → Evaluation (Agentic Evaluator).
Figure 3: The CLAWBENCH evaluation pipeline. Setup → Execution (5 layers) → Evaluation (Agentic Evaluator).
Task taxonomy of CLAWBENCH. Inner ring: 8 high-level category groups; outer ring: 15 fine-grained categories.
Figure 4: Task taxonomy of CLAWBENCH. Inner ring: 8 high-level category groups; outer ring: 15 fine-grained categories.
Agentic Evaluator Inference Pipeline. The evaluator determines whether a browser agent successfully completes a real-world web task by comparing the agent trajectory against a reference trajectory across five evidence layers.
Figure 6: Agentic Evaluator Inference Pipeline. The evaluator determines whether a browser agent successfully completes a real-world web task by comparing the agent trajectory against a reference trajectory across five evidence layers.
Evaluation protocol. The evaluator takes as input the task instruction together with the human reference actions and payloads and the agent's executed actions and payloads.
Figure 7: Evaluation protocol. The evaluator takes as input the task instruction together with the human reference actions and payloads and the agent's executed actions and payloads.

实验结果

实验在 153 个任务上对比 7 个前沿模型，整体成功率排名为 Claude Sonnet 4.6 = 33.3%、GLM-5 = 24.2%、Gemini 3 Flash = 19.0%、Claude Haiku 4.5 = 18.3%、GPT-5.4 = 6.5%、Gemini 3.1 Flash Lite = 3.3%、Kimi K2.5 = 0.7%，最强也只完成三分之一，最弱不到 1%。分项看 Claude Sonnet 4.6 在 Daily 44.2%、Finance 50.0%、Academic 50.0%、Social 38.9% 领先；GLM-5 在 Work 38.1% 居首；Gemini 3 Flash 在 Travel 30.8% 最佳；Claude Haiku 4.5 在 Dev 27.8% 最高——类目间模型排序并不一致。论文特别指出 Claude Sonnet 4.6 与 GPT-5.4 在 OSWorld/WebArena 上能拿 65%–75%，到 ClawBench 分别掉到 33.3% 和 6.5%，'基准饱和'与'真实世界难'的鸿沟被直接量化。

Comparison of CLAWBENCH with existing web agent benchmarks across four axes: real-world environment, write-heavy task coverage, evaluation reliability, and diagnostic traceability.
Table 1: Comparison of CLAWBENCH with existing web agent benchmarks across four axes: real-world environment, write-heavy task coverage, evaluation reliability, and diagnostic traceability.
Main results on CLAWBENCH. Success rate (%) of seven AI agents on the 153-task CLAWBENCH benchmark, reported overall and for each of the 8 high-level task category groups.
Table 2: Main results on CLAWBENCH. Success rate (%) of seven AI agents on the 153-task CLAWBENCH benchmark, reported overall and for each of the 8 high-level task category groups.
Benchmark saturation comparison. Claude-Sonnet-4.6 performs substantially better on existing web-agent benchmarks than on CLAWBENCH, indicating that CLAWBENCH remains challenging for frontier agents.
Figure 5: Benchmark saturation comparison. Claude-Sonnet-4.6 performs substantially better on existing web-agent benchmarks than on CLAWBENCH, indicating that CLAWBENCH remains challenging for frontier agents.
查看结构化数据
任务指标本文基线提升
ClawBench 总体任务完成率 任务成功率 SR (%) Claude Sonnet 4.6 = 33.3% (153 任务平均) OSWorld/WebArena 同模型 65%–75% 论文不与单一模型比较，而是揭示 33.3% vs 75% 之间约 35–40 个百分点的性能落差，标志新基准尚未饱和
Daily 类目（21 任务） 成功率 SR (%) Claude Sonnet 4.6 = 44.2%（最高） GPT-5.4 = 9.6%，Gemini 3.1 Flash Lite = 1.9% 最强模型比第二梯队领先 13.4–42.3 个百分点
Finance 类目（6 任务） 成功率 SR (%) Claude Sonnet 4.6 = 50.0%（最高） GPT-5.4 = 0.0%，Gemini 3.1 Flash Lite = 0.0% 顶级模型 50% 与部分模型 0% 形成强烈对比
Work 类目（21 任务） 成功率 SR (%) GLM-5 = 38.1%（最高） Claude Sonnet 4.6 = 19.0%，GPT-5.4 = 0.0% 开源文本模型 GLM-5 在 Work 上反超闭源旗舰，提示特定域能力差异显著
Dev & Tech 类目（18 任务） 成功率 SR (%) Claude Haiku 4.5 = 27.8%（最高） Claude Sonnet 4.6 = 11.1%，Kimi K2.5 = 0.0% 中等规模模型反超旗舰，类别间排名不与总体排名一致
Travel 类目（13 任务） 成功率 SR (%) Gemini 3 Flash = 30.8%（最高） Claude Sonnet 4.6 = 23.1%，Kimi K2.5 = 0.0% Gemini 3 Flash 在该类反超 Claude 7.7 个百分点
OSWorld-Verified / WebArena-Verified 迁移对比 成功率 SR (%) ClawBench：Claude Sonnet 4.6 = 33.3%、GPT-5.4 = 6.5% OSWorld/WebArena：65%–75%（同模型） 性能落差 32–68 个百分点，证明旧基准已饱和、ClawBench 仍具区分度

局限与改进

作者在论文中显式承认的局限包括：任务集只有 153 个，规模小于 WebArena 的 812、Mind2Web 的 2,350；真网站会随时间变化（UI 改版、服务下线），可重放性弱于沙盒基准。论文虽给出'容器化 + Chrome 启动 flag'等复现控制，但未提供每个任务在长周期下的稳定性数据。另一隐含限制是 Agentic Evaluator 本身依赖 Claude Code，评估器偏差（Claude 偏向给同类代理高分，或反之）未被量化；论文也没给出与人工评估的校准数据。我在阅读时还注意到：所有 7 个被测模型都通过 OpenClaw 框架控制浏览器，并未覆盖那些使用不同代理框架（如基于 A11y Tree 的）的代理，这可能让结果偏向'基于截图的代理'。最后 153 个任务集中在英语/北美可用站点，对中文等其它语言、本地化电商/政务场景覆盖几乎为零。

独立分析的弱点

独立看该工作至少存在四个可改进之处。第一，评分完全依赖 Claude Code 单一评估器，缺乏多评估器一致性与人工一致性对照，改进方向是同时跑 GPT-5.4-judge 与人类标注并报告 Cohen's κ。第二，153 个任务中相当部分依赖美国本地服务（google.com/flights、Indeed 等），改进方向是补齐中文/欧洲/拉美等本地化任务并允许用户注入个人凭证（如 Gmail OAuth）以提升真实度。第三，'五层数据'体积大、含录屏视频，每次运行可能产生数百 MB，论文没有给出存储/带宽成本估算，改进方向是提供采样策略或可关闭部分层级的开关。第四，'写重型 + 真实网站'的可重放性天然弱，论文没有给出随时间漂移的纵向度量（如每 3 个月重测一次成功率变化），应加一个'基准时间敏感性'指标。

未来方向

作者明确提出的方向包括开源完整数据收集与评估管线以支持社区维护与扩列，并持续把新平台、新任务类型纳入基准。基于成果自然可延伸的方向有：(1) 在不同代理框架（基于 DOM、基于 A11y、混合）之间做系统对比，检验'截图代理 vs 结构化代理'在写重型任务上的真实差异；(2) 把 ClawBench 的拦截+多模态采集范式扩展到移动 App，评估 Android 智能体；(3) 在代理失败轨迹上做行为聚类（哪些步骤最常出错），把基准从'打分'升级为'训练信号'，直接训练下一代代理；(4) 引入对抗性任务（带暗模式的购物、误导性 UI）来研究代理的鲁棒性与安全性，与 TrickyArena 形成互补。

复现评估

复现评估整体处于'中等偏上'水平。作者在论文第 3.1 节声明每个运行用容器封装、Chrome 启动 flag 屏蔽 UI 弹窗/同步/无关扩展、OpenClaw 框架统一控制 Chromium，并把完整的'数据收集与评估管线'开源（论文第 1 节贡献 4）。基础设施上每个任务都有人类参考五层轨迹与端点级拦截规格说明，对跑通任务足够。但有三个潜在复现难点：(i) 真网站会变，论文未给具体抓取时间窗口与稳定性统计；(ii) Agentic Evaluator 调用 Claude Code 子代理，外部 API 价格与版本会直接影响评分一致性与成本；(iii) 144 个平台里部分需要登录态或临时账号，论文并未公开测试账号池。算力层面，单个模型在 153 任务上要驱动浏览器 + 多模态 LLM 推理，单次完整评测估计在百美元量级，5 闭源 + 2 开源 × 153 任务 = 1061 次代理运行，开源模型还需本地 GPU 集群，是一笔不可忽视的预算。

论文图表

CLAWBENCH overview. Left: 153 tasks across 15 life categories. Middle: existing benchmarks evaluate agents in offline sandboxes; CLAWBENCH evaluates on live websites. Right: Claude-Sonnet-4.6 and GPT-5.4 achieve 65–75% on OSWorld/WebArena but only 33.3% / 6.5% on CLAWBENCH.
Figure 1: CLAWBENCH overview. Left: 153 tasks across 15 life categories. Middle: existing benchmarks evaluate agents in offline sandboxes; CLAWBENCH evaluates on live websites. Right: Claude-Sonnet-4.6 and GPT-5.4 achieve 65–75% on OSWorld/WebArena but only 33.3% / 6.5% on CLAWBENCH.

图分三栏：左栏是 153 个任务在 15 个生活类目（Daily 21、Shopping 16、Job Search 8、Dev & Tech 15、Entertainment 15、Office 9、Personal Mgmt 4、Rating 10、Social 8、Academia 5、Education 9、Travel 13、Pets 11、Finance 6、Automation 3）的环形分类图；中栏用对比图把传统沙盒（static HTML、fixed DOM、no login、no dynamic content）与 ClawBench 的 Live + Agentic 评测范式并列；右栏是柱状图，列出 Claude Sonnet 4.6 与 GPT-5.4 在 OSWorld-Verified、WebArena-Verified、ClawBench 上的成功率。

这是论文的'门面图'，同时传达任务规模、范式差异和核心性能落差，读者看这一张图就能抓住论文主旨。

Figure 2: Main results: success rate on CLAWBENCH for 7 frontier models. Even the strongest model (Claude Sonnet 4.6) completes only 33.3% of tasks, while two of seven models score below 5%.

横向条形图，按总体成功率从高到低排列 7 个模型：Claude Sonnet 4.6 = 33.3%、GLM-5 = 24.2%、Gemini 3 Flash = 19.0%、Claude Haiku 4.5 = 18.3%、GPT-5.4 = 6.5%、Gemini 3.1 Flash Lite = 3.3%、Kimi K2.5 = 0.7%。

该图直接给出论文最强的实证信号——即便最强模型也只能完成 1/3 的任务，量化了'基准未饱和'与'现有代理远未达人类水平'的判断。