ClawGym：面向 Claw 风格个人智能体的可扩展框架 ClawGym: A Scalable Framework for Building Effective Claw Agents

完整方法步骤如下：(1) Persona-driven 任务合成：从 10 亿级 persona 池采样一个用户画像 $u$、从 9 类 43 子类场景分类采样 $c$、从 7 类 26 种原子动作中采一组 $G$，组成种子 $z=(u,c,G)$，用 prompt 模板 $\pi(z)$ 喂给 GPT-5 任务生成器 $M_{\text{task}}$，得到用户指令 $p=M_{\text{task}}(\pi(z))$；(2) Skill-grounded 任务合成：从 30K 原始 skill 出发，用 MiniMax-M2.5 做结构化标注 $\alpha_i=M_{\text{ann}}(\rho(k_i))$，按 synthesizability 过滤保留 16K；采样 1 个主 skill 与 ≤3 个 supporting skill，同样送入 GPT-5 生成指令 $p=M_{\text{task}}(\pi(k_{\text{main}},K_{\text{support}}))$；(3) 资源准备：根据指令得到资源规格 $f=\{(l_i,t_i,d_i)\}_{i=1}^m$（文件路径/类型/内容规范），用 GPT-5 生成具体 mock 文件放入 workspace；(4) 验证设计：对每个任务生成 code-based 检查点集 $C=\{c_1,...,c_m\}$（每个输出 0/1）和 rubric 规则集 $R=\{r_1,...,r_n\}$（每个评分 ∈$\{0,0.25,0.5,0.75,1\}$），最终分数 $s_{\text{task}}=\lambda s_{\text{code}}+(1-\lambda)s_{\text{rubric}}$，$\lambda=0.7$；(5) 质量评估：四维过滤——novelty 用 embedding 余弦相似度去重、plausibility 用 GPT-5.4 判断是否清晰可行、difficulty 用 GPT-5.4 估打分、对 verifier 跑 executable sanity 与 alignment 检查；(6) 黑盒 rollout：在分布式集群上为每个任务起一个 OpenClaw Docker 容器，插入代理层抓取请求/响应，用 MiniMax-M2.5 与 GLM-5.1 两个教师模型 rollout；(7) 轨迹聚合：按共享前缀重组多轮序列、去掉 cron/heartbeat 等系统提示、剔除不支持的工具调用；(8) 轨迹选择：用 reward threshold ≥0.5 过滤，得到 24.5K 条高质量轨迹，平均 13 轮、18.67K token、15.82 个工具调用；(9) 多轮 SFT：在 Qwen3-4B/8B/30B-A3B 上微调，Qwen3-8B 用 YaRN 把上下文从 32K 扩展到 64K；(10) RL：采样 2000 任务，用 GRPO 在 sandbox-parallel 环境下训练 100 步，learning rate 1e-6，每 prompt 8 rollout。

技术新颖性体现在四个层面：(1) 把 agent 训练的数据合成从 '单点 prompt 工程' 升级为 '双路径协同 + 4 阶段质量控制'，每一步都配专门的 LLM judge 或反例 sanity check；(2) hybrid verification 中引入 'initial-state 反向 sanity test'——这是软件测试里 mutation testing 的思想迁移，能自动识别 '过于宽松' 的检查器；(3) 多轮损失遮蔽策略（loss masking）专为黑盒 agent 轨迹设计：环境反馈虽然出现在 prompt 中，但不参与 loss 计算，保证模型学的是动作分布而非环境记忆；(4) Rollout-based 难度校准作为 benchmark 构造方法：让强/弱 agent 各自跑 4 次 rollout，按三条件（强 ≥0.2、弱 ≤0.6、强>弱）筛选，既过滤掉极端样本又确保 benchmark 有区分度。这套 'synthesis→verifier sanity→rollout→threshold→masking→RL' 流水线在 Claw 风格任务这一相对空白领域形成了完整闭环。

独立分析可改进的弱点：(1) 训练数据偏差——24.5K 轨迹全部由 MiniMax-M2.5 和 GLM-5.1 两个闭源教师生成，模型可能学到的是这两个教师的行为偏好而非 '最优 Claw 行为'，改进方向是引入多教师交叉验证或人类示范；(2) Black-box rollout 成本高——每个任务都需要完整 Docker 环境跑完整交互，平均 13 轮 18.67K token，13.5K 任务规模意味着数万 GPU 小时，改进方向是用小型代理或仿真环境做预训练，仅在关键任务上做真实 rollout；(3) Reward 噪声——continuous verifier 分数 0.5 阈值过于简单，可能过滤掉 '执行路径正确但产物小瑕疵' 的高质量轨迹，改进方向是 process reward model 或步骤级 verifier；(4) Benchmark 规模有限——200 实例在 '评估稳定性好'（std ≤1%）的同时，意味着覆盖度可能不足，跨过拟合风险，改进方向是扩大 benchmark 同时保持 difficulty-aware 过滤；(5) Hybrid verification 的 rubric 与 code 权重固定 0.7/0.3，但不同任务最合适的比例可能不同，改进方向是让 verifier 自己学权重或按任务类别动态调整；(6) SFT 数据没显式包含 '错误恢复' 示范，模型可能只在成功轨迹上训练，改进方向是构造 contrastive pair（成功路径 vs 失败恢复路径）。

作者提出的未来方向：(1) 更原则化的连续 verifier 分数选择方法，替代经验阈值；(2) 扩展评估维度到 action-level 安全性、效率、错误恢复等轨迹级属性；(3) 更深入的 RL 探索，包括更大规模任务、过程奖励模型等。基于成果可延伸的方向：(4) 把 dual-route synthesis 推广到其它 agentic 环境（如代码沙箱、数据库操作），验证框架的通用性；(5) 把 persona-driven 的 1 billion persona 池作为可控生成的研究底座，研究 persona 偏差对模型行为的影响；(6) ClawGym-Bench 的 6 类任务可作为 '能力分维度评测' 的标准，研究模型在不同能力维度（如长链路稳健性 vs 细粒度指令遵循）的 trade-off；(7) SFT + RL 的两阶段训练可与 self-play 或 curriculum learning 结合，从简单到复杂任务递进；(8) 利用 rubric-based 检查器的可解释性，反向指导数据合成：哪些 rubric 维度经常被打低分，就在合成时多生成对应任务。

复现评估：作者在摘要和 §3 末尾明确说明资源已发布到 https://github.com/ClawGym，包含代码、数据集、模型权重应该是公开的；但当前（2026-04）arXiv 时间戳 v3 处于早期阶段，仓库内容完备程度待核验。训练侧：合成 13.5K 任务涉及多次 GPT-5 调用（任务生成、资源生成、验证生成）和 GPT-5.4（judge）调用，单次实验 API 成本较高；rollout 阶段在分布式集群上跑 24.5K 任务 + 教师模型推理 + Docker 容器调度，算力门槛不低（粗估至少数十张 A100/H100 级别）。算法侧：SFT 部分（Qwen3-4B/8B/30B-A3B + YaRN 64K + 多轮损失遮蔽）实现细节清晰，RL 部分 GRPO 超参数（lr=1e-6, batch=8, rollout=8, step=100, temp=0.7）也明示，整体复现难度中等偏上——数据合成管线是主要瓶颈。评测侧：ClawGym-Bench 200 实例 + 稳定性验证脚本相对容易跑，但需要完整 OpenClaw 运行环境。总体而言，论文对方法、参数、消融都有详细说明，复现主要卡在算力和 GPT-5/5.4 API 访问权限。