ClawEnvKit：面向 Claw 类智能体的自动化环境生成框架 ClawEnvKit: Automatic Environment Generation for Claw-Like Agents

完整流水线分四段：（1）**Parser 单次 LLM 调用**，把"draft weekly update with Gmail/Calendar/Contacts"分解为 1 个 action 原子（send_email）、2 个 object 原子（attendees、schedule）和若干 constraint 原子；（2）**Generator 子流水线**——Task generation 用 YAML 写出 prompt/tools/scoring_components/safety_checks，并保证 LLM-judge 权重不超过 55%；若所需 mock 服务不在 15 个预置服务里就触发 Service generation（FastAPI stub、in-memory store、POST-only 端点），完成后立即加入服务库；Fixture generation 按任务需求合成数据库条目、图像、文档，挂载到 /workspace/；（3）**Validator 三问**——Format check 校验权重和为 1、安全检查存在、字段无矛盾（不会同时禁某 action 又要求它通过）；Coverage check 强制每个 action 原子能映射到 tool+scoring，每个 object 原子在 fixtures/prompt/rubric 中可见，每个 constraint 原子由 safety 或 scoring 强制；Feasibility check 调用 LLM 找反事实陷阱（如"取明天的邮件"）。失败最多重试 3 次后丢弃；（4）**Task Execution 四步**——Sandbox Init（--network none，25% 错误注入）、Harness Prep（按 Tier1/2/3 注册工具）、Agent Execution（温度 0、最多 20 轮、300 秒超时）、Trajectory Collection（落盘服务端审计日志）；（5）**GradingEngine 五段**——safety gate 一票否决、15 种 check 并行打分、completion 加权聚合、robustness = recovered/total_errors、最终 $R = \text{safety} \times [0.8 \cdot \text{completion} + 0.2 \cdot \text{robustness}]$。

技术新颖性体现在三处：（a）**三模块 LLM 多智能体 + 显式 retry 预算**——把 Parser/Generator/Validator 拆开用三个独立 prompt，避免一个超长 prompt 的失稳，并给 Validator 失败 3 次的硬上限；（b）**按 harness 能力分 Tier**——同一个 task.yaml 能被 8 种 agent 跑，工具接入从"原生插件"到"MCP server"再到"SKILL.md + curl"递降，给出 harness 工程的实证边界；（c）**声明式评分 + 服务端审计**——所有分数从 server-side audit log 算，不让 agent 用嘴炮骗分；LLM judge 权重硬封顶 55% 保证可复现。这些组合在一起是 AgentStudio、SWE-smith、RandomWorld 等单点工作都未提供的端到端能力。

**弱点 1：声明式评分对"长程正确但过程偏离"的任务不友好。** 任务规格 P 与评分 C 都是"端点对齐"的，agent 用了更聪明的中间步骤（比如先 query 子任务再合并）但最终产物对不上 rubric，就会被 LLM judge 误判；改进方向是给 rubric 增加"等价路径"标注或用 reference trajectory 比对。**弱点 2：25% 错误注入是均匀随机，与生产 burst 模式脱节。** 真实 API 错误往往成簇出现（如某分钟集中 429），当前注入难以测试 agent 在持续降级下的策略稳定性；改进方向是引入排队论/Markov 调制生成 burst 错误流。**弱点 3：自动生成仍依赖一个初始服务库（15 个）作为种子。** 真正"开箱即用"还需要把 OpenAPI 规范自动转 mock 的能力补齐；改进方向是接入 OpenAPI→FastAPI stub 转换器（如 Prism/Stoplight）作为 service generator 的可插拔后端。**弱点 4：跨服务任务的可验证性瓶颈。** 一个 $(P, M, C)$ 三元组若涉及 4–5 个服务，validator 的 coverage check 容易出现"一个 action 原子被多个 scoring 抢占"的歧义；改进方向是显式引入"原子-评分"唯一映射的静态分析。**弱点 5：缺乏对 agent 错误模式的归因报告。** 0% false negative 是表 16 的好结果，但分析仅止于"是 agent 的错还是 grader 的错"，没有给 agent 开发者可执行的修复线索；改进方向是在 GradingEngine 输出里增加"主要扣分维度 + 高频错误模式"摘要。

作者在 Section 6 与 Appendix A 提出三个方向：（a）**真实服务混合评测**——对小部分任务接 OAuth 沙箱化生产 API，量化 mock-到-real 的分数差距；（b）**长程任务与多人协作**——把单元任务扩展到跨会话、含人类审批的 workflow；（c）**OpenAPI 自动服务生成**——把现有真实服务的规范直接喂进 Service generation。基于本文成果可延伸的方向还有：（d）**把 ClawEnvKit 接到 RL 训练闭环**——用 Generator 产出当前 policy 弱项的针对性 task 分布，做 online curriculum（论文已点出"on-demand training environment generator"愿景）；（e）**用 Auto-ClawEval 做 model diffing**——1,040 题 × 8 harness × 8 模型的张量本身就是一张 agent 能力地图，可挖掘"哪个 harness 在哪类任务上不稳"；（f）**数据污染免疫机制**——每次发布都重新生成 N 个变体并做 hash 去重，让"刷榜"在生成侧就失效。

**开源情况**：项目主页 github.com/xirui-li/ClawEnvKit 公开了完整代码与 task.yaml schema；附录 E 给出 Parser/Generator/Validator 的完整 prompt 模板与 12 项结构校验的源码级描述；附录 F 给出 3 个典型 task 的完整 YAML。**数据**：Auto-ClawEval 1,040 题由 ClawEnvKit **每次按 prompt 重新生成**，并明示不重用 Claw-Eval 的 prompt、rubric 或参考解；这意味着想复现精确数字必须用相同的 LLM（claude-sonnet-4.6）跑一次生成流水线。**算力**：所有实验在单台 Apple M 系列 Mac + Docker Desktop 上完成，**无需 GPU**；1,040 任务单跑约 1,040 × 300 s 上限 / 并发度 = 小时级（按 1 worker），并发 4 worker 可压缩到约 1 天。**成本**：完整 Auto-ClawEval 评测按 Haiku 约 $20–50、按 Opus 约 $100–300、按 GPT-5.4 约 $30–80；环境生成一次约 $80。**复现难度**：低-中。最大变数来自 LLM judge 的非确定性（占总权重 40–60%）与 OpenRouter 后端路由抖动，论文建议用温度 0 + 多次跑取 Pass3 平均来压制方差；想完全复现 Table 3/4 的具体数字，需要控制 LLM 版本、温度、随机种子与错误注入 RNG 种子。