Claw-Eval-Live：面向持续演化的真实工作流的在线智能体基准 Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows
从公开工作流信号动态构建、对服务调用与本地修复联合评分的活体智能体基准
前置知识
LLM 智能体 (LLM Agent)
能够调用工具、查询服务、读写文件并跨多步执行完成端到端任务的大语言模型系统。本文中的 agent 不仅输出文本，还必须实实在在地完成事务对账、会议室预订、代码修复等真实工作流。
本文评测对象就是这类 agent 的工作流完成度，是理解整个评估场景的前提。
静态基准 vs 动态基准
静态基准在发布时即冻结任务池（如 WebArena、OSWorld、SWE-bench），一旦落地就与外部世界脱节；动态基准在每次发布时重新从外部信号（榜单、用户请求、事件流）滚动刷新任务，使评估常新。LiveCodeBench、EvoClaw、WebArena-Verified 是先驱。
本文最核心的设计就是把任务源从'作者精选'换成'外部信号滚动刷新'，是评估范式层面的转变。
轨迹感知评分 (Trajectory-aware Grading)
不仅看最终文本，还审计完整执行轨迹：调用了哪些工具、读了哪些记录、改了哪些文件、最终落库了什么状态，可写成 $s_{t,m} = f(\text{trace}, \text{fixtures}, \text{gold})$，避免'答得漂亮但没干活'。
本文反复强调'会说不等于会做'，这一评分范式是论文方法论的基础。
混合整数线性规划 (MILP)
一种数学优化方法，变量部分为连续、部分为 0/1 整数，目标与约束都是线性的。本文中 $x_t \in \{0,1\}$ 表示任务 $t$ 是否被选入公开 release，通过线性约束强制满足'总数 = N、每个家族 ≥1、剔除无区分度任务'等要求。
用 MILP 做公开子集选择，让 release 构造从'人工挑题'变成'显式优化'，是本文在基准工程上的主要贡献。
研究动机
现有 agent 基准普遍存在两类失配。第一是时效性失配：WebArena（812 任务/5 站点）、OSWorld（369/9 应用）、SWE-bench、AgentBench、TheAgentCompany 等静态套件发布即冻结，但真实工作流持续演化——今年紧缺 HR onboarding，明年可能就是客户对账，静态池会随时间漂离用户真实需求。第二是执行性失配：很多基准只看最终文本，于是 HR 类任务里 agent 写一段流利但泛泛的入职说明、漏调薪、漏建工单的现象屡见不鲜；管理类任务里产出看似合理但缺少审计证据链的情况同样普遍。LiveCodeBench、EvoClaw、WebArena-Verified、Online-Mind2Web 等先驱做了时间刷新，但少有把'服务后台事务'与'本地工作区修复'两类典型部署场景同时纳入同一 release——而这恰是真实部署最常混合的工作流形态。
本文的目标是本文目标是为 LLM 工作流智能体构建一个'双锚定'的动态基准 Claw-Eval-Live：第一锚是任务分布必须贴近当前用户真正想自动化的真实工作流；第二锚是每条任务的分数必须由可观测的执行证据决定，而非仅由最终文本的可信度决定。具体到当前快照，作者团队希望：(1) 公开 105 个可执行任务，覆盖 22 个细粒度家族、87 个服务后台事务和 18 个本地 shell/workspace 修复，统一在 18 个受控服务 RESTful API 之上；(2) 用一条可重复的 signal-to-task 流水线持续从 ClawHub Top-500 公开信号回填任务池，使下一版 release 自然跟随生态漂移；(3) 用 action-grounded 混合打分给出 13 个公开模型的横向 leaderboard，揭示哪些家族、哪类执行面是真瓶颈。
与已有工作不同的是，切入角度上有两个独特之处。第一个是把'构造可执行 release'与'维护外部信号流'解耦——上层 release 一次性写死 YAML、fixture、grader.py 以保证可复现，下层信号层每季度滚动刷新；这一'分层时间戳'设计在以往的 agent 基准里没有先例。第二个是把家族权重显式写成数学公式：用 $\tau_p$ 表示模式 $p$ 的归一化信号质量，则家族 $f$ 的目标权重为 $w_f = \sum_{p \in P_f} \tau_p / \sum_{p \in P} \tau_p$，权重仅影响 seed 数量而不强制定任务。再叠加 5 阶段流水线和选择阶段的 MILP 优化目标 $\max_x \sum_{t \in T} \sum_{i<j\le K} p_t^{(i,j)} x_t$（在 pilot 模型有序对上最大化排序一致度），把基准构造从'人工挑题'转成'显式约束优化'。
核心方法
整体思路是把'测什么'与'怎么打分'解耦。'测什么'由 signal-to-task pipeline 回答：从 ClawHub Top-500 流行度粗信号聚类工作流模式，按家族权重 $w_f$ 给每家族 seed 预算，人工实现为带 fixture 的候选，最后用 MILP 在 157 个候选里挑出 105 条，使家族覆盖 + pilot 排序一致度最大。'怎么打分'由 action-grounded hybrid grading 回答：每条任务打包 task.yaml + fixtures + tool schemas + grader.py，收集 tool dispatch 日志、服务 audit log、post-run workspace state 三类证据，先跑确定性检查（Data Retrieval 15–20%、Data Accuracy 40–60%、Action Verification 10–20%），证据不足时叠加 GPT-5.4 的 rubric-bound judgement。发布层冻结，信号层滚动，二者通过 5 阶段流水线耦合。
核心创新点是构造'两层时间戳'基准架构：(1) 信号层只提供 distributional prior，作为家族权重的外部事实而不是任务清单本身——这避免了'用一份 signal 当 ground truth'的反向论证陷阱；(2) release 层把每条任务固化成不可变的可执行单元，使得不同模型在同一 release 上的横向比较可以无限复现；(3) 选择阶段显式用 MILP 把 release 大小、家族覆盖和排序一致度都编码为线性约束，避免人工挑题的暗箱偏差。本质区别在于：以往基准要么冻结任务池（静态，简洁但漂移），要么直接滚动更新任务（动态，真实但难复现）；本文通过'信号层换、release 层不动'的解耦同时拿到新鲜度与可复现性。
方法步骤详情
5 阶段流水线。Stage 1 Signal Collection：抓 Top-500 skill 元数据、粗标签作公开 prior。Stage 2 Pattern Clustering：按目标、artifact、执行面聚合为 workflow pattern 并映射到 families。Stage 3 Family Weighting：按 $w_f$ 给每家族 seed 预算。Stage 4 Seed Expansion：依权重生成种子并落成 candidate，三关（可运行 / 可复现 / pilot 拉开分）筛出 157。Stage 5 MILP Selection：$p_t^{(i,j)} = \mathbb{1}[s_{t,m_i} \ge s_{t,m_j}]$，$\max_x \sum_{t}\sum_{i<j\le K} p_t^{(i,j)} x_t$，约束释放总数 = 105、每 family ≥1、零区分度任务不进 release。最后 13 模型统一 protocol 上跑，Pass Rate 与 Overall Completion 双指标横排。
技术新颖性
技术新颖性分三层。（1）体制层面：构造'信号层 + release 层'的双层时间戳架构，每条任务打包成可执行单元（task.yaml + fixtures + tool schemas + grader.py），这一形态是新的。（2）家族权重层面：把'为什么这一家族这一规模'从直觉转到公式 $w_f = \sum_{p \in P_f}\tau_p / \sum_{p \in P}\tau_p$，权重只影响 seed 数量而非强制定任务。（3）子集选择层面：把 release 子集选择表达为可审计的 MILP，$\max_x \sum_{t \in T}\sum_{i<j\le K} p_t^{(i,j)} x_t$ 在 $\sum_t x_t = N$、$\sum_{t \in C_f}x_t \ge 1$、$x_t = 0\ \forall t\in Z$ 约束下求解，105-task release 是该 MILP 的解而非作者私人品味。打分侧把'规则抽取 + 结构化 judge'明面化，承认 GPT-5.4 既参赛又当 judge 的潜在偏差，是方法论的进步。
实验结果
（1）头部：Opus 4.6 66.7% / 83.6；GPT-5.4 63.8% / 81.7；Sonnet 4.6 + GLM-5 并列 61.9%；M2.7 54.3%；MiMo / Kimi / Gemini 53.3%；Doubao 2.0 43.8%——全员 < 70%（Figure 3）。（2）家族（Figure 4）：Dev/Terminal 几近饱和；HR/People 极难（最高 22.2%、多家 0%）；Productivity 跨度最大。（3）执行面：87 条 service-backed 上 Opus 4.6 领跑 59.8%；18 条 workspace repair 全员 ≥72.2%。（4）阈值效应：27 all-fail / 19 all-pass；reconcile / FRTaudit / multi_doc_merge / calendar_conflict 高效区分。（5）成本：GPT-5.4 最廉最快（$6.27 / 104 min）；Opus 4.6 $31.61；M2.5 / M2.7 / DeepSeek / Kimi < $1.10。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Claw-Eval-Live 公开 leaderboard（105 任务） | Pass Rate (@τ=0.80) / Overall Completion Score | Claw-Eval-Live 当前快照上 Opus 4.6 通过 70/105 = 66.7%、Overall 83.6 | 第一名以下 12 个公开模型作内嵌 baseline；GPT-5.4 63.8%/81.7、Sonnet 4.6 61.9%/79.9、GLM-5 61.9%/78.1、Doubao Seed 2.0 43.8%/70.4 | 无模型越过 70% 虚线；top-1 与 top-13 差距 22.9 pp pass rate；public leaderboard 整体呈长尾分布 |
| Service-backed 工作流子集（87 任务） | Pass Rate | Opus 4.6 59.8%、GPT-5.4 56.3%、GLM-5 55.2%；所有模型均低于 60% | 对比同批模型在 Workspace repair（18 任务）上 ≥72.2%，多家 100% | 相对 workspace slice 普遍拉低 20–40 pp，表明跨服务协调仍是主要瓶颈 |
| Workspace repair 子集（18 任务，SHELL+W） | Pass Rate | Opus 4.6 / GPT-5.4 / Sonnet 4.6 100%；最低分也在 72.2% 以上 | 与 service-backed slice 横向对比，无需独立外部 baseline | 相较 service-backed slice 提升 30+ pp，几乎饱和 |
| 家族分层 Productivity（25 任务） | Pass Rate | Sonnet 4.6 88.0% 为最佳、Doubao Seed 2.0 48.0% 为最差 | 家族间对比：HR/People 最高 22.2%；Development/Terminal 多家 100% | Productivity 跨度 40 pp，是全 release 中区分度最大的家族 |
| 成本效率（105 任务累计） | Estimated API Cost / Tokens / Turns / Wall Time | MiniMax M2.7 估计 $0.69、1.50M tokens、395 turns、102 min；DeepSeek V3.2 $0.56、118 min | Claude Opus 4.6 $31.61 / 213 min；GPT-5.4 $6.27 / 104 min | 性价比端 M2.7 / M2.5 / DeepSeek V3.2 / Kimi K2.5 等均 < $1.10，但 pass rate 与 top-1 差 12–23 pp |
局限与改进
作者承认的限制：(1) GPT-5.4 既是参赛者也是 judge，bias 必然存在，缓解方法只有限定 LLM judging 仅覆盖确定性检查覆盖不到的语义维度、所有判据绑回 trace 与 rubric。(2) 公开阈值 $\tau=0.80$ 比 pilot 阈值更严，导致 27 条 all-fail / 19 条 all-pass 的尾部分布，pass rate 与 overall completion 需配套解读。(3) ClawHub Top-500 信号只是 workflow demand 的外部 proxy，不是部署频次或经济价值的 ground-truth。本团队观察：(a) 13 模型有 4 家 MiniMax 系与 Doubao / DeepSeek 同档但成本更低，基准对中等体量模型存在结构性偏向，可能低报超大模型在长轨迹任务上的优势。(b) MILP 选择阶段未显式约束'对未参与 pilot 的模型公平'。(c) workspace repair 仅 18 任务，统计功效远低于 service-backed 87 任务。
独立分析的弱点
三类独立观察。（1）'release–signal 解耦'代价：release 冻结后屏蔽后续生态变化，跨 release 纵向追踪模型进展需重新划基准；改进方向是发布'release-overlap'映射表，让用户定位两次 release 共享任务与差异任务。（2）judge-model bias：GPT-5.4 做 judge 时在 Opus 4.6 / GPT-5.4 子集上可能更宽容；改进方向是引入 multi-judge ensemble（Opus 4.6 + Gemini 3.1 Pro 投票）或 human spot-check 在高 stakes 家族如 HR/People 上校准。（3）family-weighting 对长尾家族不友好：基于 $\tau_p$ 的归一化让稀有家族 $P_f$ 仅有 1–2 条代表任务；改进方向是引入 hard-minimum-per-family 约束到 MILP 或人工补种子。此外'13 模型有 7 家中国厂商且几家挤在 50%–55% 区间几乎重叠'提示'模型代表性'也应作为下一次 release 的约束。
未来方向
作者明面提出三条路：(a) 信号层改用滚动 API + 大模型解析提升新鲜度与覆盖广度，而非只切 ClawHub Top-500。(b) 把 Service-backed 与 Workspace repair 强制混合为 cross-surface workflow 任务，测一测真实部署里多服务 + 文件系统交叉的痛点。(c) 用 GPT-5.4 之外的 judge（甚至人类 spot-check）做交叉验证。可自然延伸的方向还有：(d) 把 5 阶段流水线抽象成'动态基准 SDK'，让社区复用同一份信号流生成自定义 release；(e) multi-judge ensemble 替换单 judge 缓解 judge bias；(f) 引入 temporal credit assignment 把 pass/fail 归因到 trace 的具体 step；(g) cost-aware ranking——Pareto 前沿同时展示 Pass Rate、Overall Completion 与 Estimated API Cost 三轴。
复现评估
方法学基本可照搬，但完整端到端复现门槛较高。论文给出 task.yaml + fixtures + tool schemas + grader.py 的打包规范，105 任务体量轻、单模型单轮可在 100 min 量级（GPT-5.4 = 104 min，M2.5 = 79 min）。可复现部分：(1) 数据——Top-500 信号 + 公开/自维护 fixture，可在 https://claw-eval-live.github.io 获取；(2) 模型——13 个公开 API；(3) judge 模型公开。做不到部分：(1) 论文未公开 157 candidate 池与 MILP 求解脚本，无法复现 selection 阶段；(2) pilot 模型选什么、K 取多少未具体交代；(3) GPT-5.4-as-judge 的 prompt / rubric 未全文附录；(4) Table 4 成本基于 release-time 价格，会随版本变动失效。整体：方法理解即可，但完整跑出 leaderboard 需要非平凡的工程实现 + 持续更新的预算。
论文图表
