CoworkEnv：面向长程协作智能体的可执行训练环境自动合成框架 CoworkEnv: Synthesizing Training Environments for Long-Horizon Cowork Agents
能力导向合成可执行办公训练环境，支持教师演示SFT与学生交互RL双路训练
前置知识
AI Coworker（协作智能体）
指通过持续多轮对话、工具调用与工作区状态读写来完成日常工作流的智能体。例如客服场景：查账户历史、定位处理流程、更新正确的工单，全程遵守访问限制。与一次性问答不同，它需要长程规划、跨服务信息聚合，以及真实的状态变更（而不只是生成一段像样的回复）。
本文的任务合成、评分器设计与训练方式全部围绕 coworker 的多轮、多服务、带约束工作流展开，理解这一对象才能明白为什么环境必须可执行、为什么只看最终回复不够。
监督微调（SFT）与 LoRA
用教师模型的示范轨迹（用户消息、助手回复、工具调用与观察序列）训练学生模型，只对助手 token 计损失：$\mathcal{L}_{SFT}(\theta)=-\frac{1}{Z}\sum_{\tau\in D_{SFT}}\sum_{\ell=1}^{|x_\tau|} m_{\tau,\ell}\log p_\theta(x_{\tau,\ell}\mid x_{\tau,<\ell})$，其中 $Z=\sum m_{\tau,\ell}$。LoRA 只训练低秩增量参数，8B 模型在有限算力下可微调。
SFT 是论文两条训练路径之一，教师轨迹的筛选与序列化规则直接决定 PocketWorker 的初始能力，是读懂实验增益来源的基础。
GRPO 及其变体（Dr.GRPO、GDPO、GiGPO）
GRPO 是组相对策略优化：对同一任务采样多条轨迹，用组内奖励均值作基线估计优势，省去价值网络。Dr.GRPO 修正响应长度归一化带来的偏差；GDPO 引入奖励分量归一化等改进；GiGPO 做更细粒度的步级信用分配。四者的差异集中在奖励处理、优势估计与信用分配三件事上。
论文 4.4 节的核心实验就是在同一套合成环境上对比这四种 RL 配置的训练动态与基准表现，不懂它们的区别就看不懂 Table 3 的结论。
可执行环境与程序化评分（grader）
任务不仅有问题描述和参考答案，还自带可运行的服务（CRM、工单、邮件、财务等）、工具接口和自动化评分器。评分器读取智能体的工具调用参数与服务端审计记录，对最终状态打完成分与安全分，而不是用 LLM 判卷或字符串匹配去评估最后一句话。
这是本文与普通指令数据合成的本质区别：只有评分器能机械地验证状态变更与禁止操作，奖励信号才可信，RL 才能跑起来。
Pass@k 与 Pass^k 可靠性指标
每个任务跑 3 次、单次以 0.75 分为通过阈值：Pass@3 统计至少一次达标的任务占比（衡量能不能做到），Pass3 统计三次全部达标的任务占比（衡量稳不稳定），思想类似 τ-bench 的 pass^k。两者差距大说明模型表现方差大。
论文用这两个指标把“偶尔做对”与“稳定做对”分开 reporting，是解读 Table 1 中 SFT 带来的可靠性提升的关键。
研究动机
训练 AI coworker 的最大困难在于训练经验必须“四位一体”：用户请求、服务记录、工具接口、评分检查要互相咬合。现实中一道客服题的信息分散在 CRM、helpdesk、知识库和邮件里，合成任务要求同一客户的记录跨服务一致、工具暴露的证据恰好够推进流程、评分能检查状态是否真的变更。表面合理的最终回复完全无法证明目标工单被更新过、或禁止操作（如导出 CRM）确实被避免，靠字符串匹配或 LLM 判卷都不可靠。已有开源后训练工作多聚焦终端与编码智能体（Nemotron-Terminal、SERA、OpenThoughts-Agent），Occamy 虽扩展到 coworker 负载，但把“可执行环境 + 程序化验证”作为数据合成核心、并同时服务 SFT 与 RL 的系统化方案仍然缺失。
本文的目标是论文要构建一个能力导向（capability-guided）的框架 CoworkEnv：开发者先选定目标能力清单，框架据此自动合成自包含、可执行的任务环境——每个环境打包用户请求、初始服务记录、工具接口与可运行的评分检查；通过程序化验证与反馈修复保证任务规格和评分器本身正确；教师模型执行任务产出策展后的 SFT 示范，学生模型在线交互产生 rollout 与奖励用于 RL。在此之上训练紧凑的 PocketWorker 模型（基于 Qwen3-VL-8B/4B-Instruct），并用 Claw-Eval 上的 SFT 增益、ClawMark 上的跨基准 SFT 扩展、以及 GRPO/Dr.GRPO/GDPO/GiGPO 四种 RL 配置的受控对比，系统验证这些合成环境的训练效用。
与已有工作不同的是，独特切入有三点。其一，任务被形式化为四元组 $T_i=(u_i,s_i^0,A_i,G_i)$——请求、初始状态、工具接口、评分检查——其中 $G_i$ 在生成阶段就与前三者联合对齐，而不是事后补打分，这是奖励能直接用于 RL 的硬前提。其二，验证-修复闭环：除规格检查与请求级泄漏检查外，引入评分一致性门（满足完成条件的记录必须满分、空记录必须零分、追加禁止调用安全分必须归零），失败以诊断反馈回生成器重写完整规格。其三，跨服务信息链接把证据拆到多个服务并埋干扰项，安全场景采用 Generator–Discriminator 分离设计——判别器在隔离上下文中根据记录定义禁止动作，防止答案泄漏进请求；同一环境复用于 SFT 与 RL，把“造题”与“解题”解耦。
核心方法
直觉上，论文把一道训练题从“文本”升级为“程序”：任务是可执行环境 $T_i=(u_i,s_i^0,A_i,G_i)$，智能体在其中多轮调用工具、改动服务状态，评分器读工具参数与审计记录打分。技术路线五步：能力导向任务合成（覆盖计划→LLM 生成请求/记录/检查/禁止动作）→可执行环境实例化（服务配置从注册表填充，检查插入固定评分模板）→程序化验证与反馈修复→教师执行与轨迹策展→SFT/RL 训练接口。教师经 Claude Code 适配器跑在 Harbor 框架中，产出轨迹 $\tau_i^j=(u_i,a_1,o_1,\ldots,a_{L_i^j},o_{L_i^j})$ 并由 grader 打分；学生在线生成自己的轨迹，奖励从执行结果计算。构建库含 Claw-Eval 602 个任务标识与 ClawMark 263 个（236 个共享），覆盖 CRM、Helpdesk、Finance、邮件、知识库等 20 余种服务与六类任务族。
核心创新是把“出题、验证、判卷”做成自洽的软件系统而非提示工程。第一，跨服务信息链接：升级任务要把工单创建时间与客户等级联合过滤（选出开店超 48 小时的企业账户工单），再查客户经理地址发邮件，并埋入“看似紧急但不满足时间条件”的高优工单作干扰项，逼模型真用工具而非猜答案。第二，安全场景的 Generator–Discriminator 设计：生成器只起草请求与记录；判别器在独立上下文中接收记录与安全情景说明（如付款变更调查：可疑邮件+可信往来+历史交易），独立定义完成检查与禁止动作（禁止发送/提交报告），结构上杜绝泄漏。第三，评分一致性门用三个可判定测试保证评分器行为正确。任务变异通过替换场景/记录/检查来复用同一套执行与评分实现，单题边际成本低。这与只合成任务文本、事后人工验收的流水线有本质区别。
方法步骤详情
①能力→覆盖计划：开发者选定服务组合、难度与业务场景，固定参考日期锚定时间条件；LLM 结合服务目录与示例生成请求 $u_i$、初始记录 $s_i^0$、结构化完成检查与禁止动作。②实例化：服务配置从注册表填充，检查插入固定 grader 模板，共享服务暴露记录并支持状态变更。③程序化验证：规格可解析、服务已注册且有初始记录、完成权重和为 1、必需/禁止工具集不冲突、答案 ID 不得泄漏进请求文本。④评分一致性门：满足条件的记录必须满分、空记录零分、追加禁止调用使安全分归零；失败连同诊断反馈回生成器重写，循环至通过。⑤教师执行：经 Claude Code 适配器在 Harbor 中交互，运行时管理服务启动/重置，grader 评分，多次尝试得轨迹 $\tau_i^j$。⑥策展：按任务平均完成率分三组——稳定完成组每前缀限 1 条示范、中间组留合格示范、极低组搁置；按任务+试验 ID 去重；导出按奖励阈值筛选，转换剔除过短、工具调用过多、超字符预算的样本，长观察截前缀。⑦SFT：LoRA 微调，损失 $\mathcal{L}_{SFT}(\theta)=-\frac{1}{Z}\sum_\tau\sum_\ell m_{\tau,\ell}\log p_\theta(x_{\tau,\ell}\mid x_{\tau,<\ell})$，仅监督助手 token。⑧RL：经 slime/Polar 加载任务引用，学生在线交互，grader 从调用与审计记录算奖励；缺奖励中止样本，失败 rollout 组重试后做优势估计。
技术新颖性
与相关工作对比：AgentGen/MATRIX 只构造环境或模拟场景；APIGen-MT 把蓝图链到多轮交互；CUA-Gym 联合构造指令/环境/奖励但面向计算机操作；CuES 在既有工具环境中探索出题；DreamGym、Qwen-AgentWorld 用学到的环境模型模拟动态以省真实交互；并行工作 Cowork-Gym 做大规模交互工作环境合成。本文的差异在于：三重验证（规格检查+泄漏检查+评分一致性门）把“评分器本身可信”变成机器可判定的性质，这对 RL 奖励正确性是硬前提；服务实现可复用、任务变异只替换记录与检查，摊薄单题成本；同一任务定义同时服务 SFT 与 RL 两种接口；再叠加对 GRPO/Dr.GRPO/GDPO/GiGPO 在同一环境上的受控比较，为奖励处理、优势估计与信用分配提供了少见的同台实证。
实验结果
(1) Claw-Eval SFT（Table 1，每题 3 试验）：PocketWorker-8B 把 Overall 从 46.6 提到 64.1（+17.5），Multi-turn 45.9→77.8（+31.9），General 46.7→60.9（+14.2）；Pass@3 从 28.6 升至 50.8、Pass3 从 21.6 升至 37.2；77.8 的 Multi-turn 已进入前沿模型区间（Claude Sonnet 4.6 为 81.9、GPT 5.4 为 79.0）；4B 版 Overall 33.9→42.2（+8.3）。(2) ClawMark SFT（Table 2）：11.8→19.4（+7.6），验证跨基准可扩展，但仍远低于 GPT-5.4 的 56.7。(3) RL 对比（Table 3，共享 warm-up 后约 3 epoch）：Overall 上 GiGPO 最佳 60.7（+14.1，General 59.7），GDPO 57.2、GRPO 56.6、Dr.GRPO 54.3；Multi-turn 增益最大：GDPO 74.9（+29.0）、GRPO 72.5，GiGPO 仅 64.8 但 General 领先；Multimodal 几乎不动（+0.2~+1.4）。(4) 数据规模消融（Table 4）：Overall 随 SFT 数据 20%/50%/100% 单调升至 50.8/55.6/64.1；训练奖励在约 3 epoch 内持续上升，支持环境可用于策略优化。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Claw-Eval（161 General + 38 Multi-turn） | 平均任务分（0-100，每题 3 试验） | 64.1（PocketWorker-8B SFT） | 46.6（Qwen3-VL-8B-Instruct） | +17.5，其中 Multi-turn +31.9（45.9→77.8） |
| Claw-Eval 可靠性 | Pass@3 / Pass3（阈值 0.75） | 50.8 / 37.2（8B SFT） | 28.6 / 21.6（base） | +22.1 / +15.6 |
| ClawMark（100 题，13 个专业领域） | 平均任务分 | 19.4（ClawMark SFT） | 11.8（base）；参考：GPT-5.4 为 56.7 | +7.6 |
| Claw-Eval warm-up + RL | Overall（199 题） | 60.7（GiGPO）；GDPO 57.2、GRPO 56.6、Dr.GRPO 54.3 | 46.6（base） | +14.1（GiGPO） |
| Claw-Eval Multi-turn（RL 最优） | Score | 74.9（GDPO） | 45.9（base） | +29.0 |
| SFT 数据规模消融 | Overall | 64.1（100% 数据） | 50.8（20%）/ 55.6（50%） | 100% 比 20% 高 13.3 分，单调上升 |
局限与改进
作者承认的局限：执行分数只度量评分器编码的属性，检查之外的错误测不到；以教师成功为筛选条件会偏向冗余示范、并丢弃有价值的“从错误中恢复”行为；失败轨迹的利用留待研究（引用的迭代技能演化工作显示含失败的反馈条件也能产出有用技能更新）；重新生成教师轨迹可能依赖专有模型服务。我的补充观察：ClawMark 上 19.4 与 GPT-5.4 的 56.7 差距仍近 40 分，跨基准绝对水平有限；RL 部分只与 base 对比、未与同数据的 SFT checkpoint 对照，且只报告训练奖励上升与终点评测，缺少方差与显著性检验；Multimodal 类几乎无增益（20.7→最多 22.1），说明纯文本办公示范难以迁移到多模态操作；4B 的 General Pass@3 反而下降 0.6，小模型对示范的利用率不稳定。
独立分析的弱点
第一，教师依赖：示范来自 Claude Code（专有模型），复现与扩展成本高——可尝试蒸馏开源大模型做教师，或研究跨 harness 的轨迹重放。第二，评分一致性门只保证“检查与评分行为自洽”，不保证业务语义正确：若生成器写出自洽但错误的检查（如时间条件写反），门会放行——可加多判别器投票与小规模人工抽检。第三，模态失衡：任务族以文本办公为主，Multimodal 子集 SFT/RL 增益均不到 2 分——应为 OCR、图像、视频服务单独构造示范与过程奖励。第四，RL 证据薄弱：无 SFT-only 继续训练对照、无多种子方差，难以把增益归因于交互学习本身——需补同 checkpoint 对照与置信区间。第五，训练-推理 harness 不匹配（作者 Lessons 亦提及）会稀释离线评测收益——可统一训练与评测 harness 或做校准实验。第六，干扰项与禁止动作由 LLM 生成，覆盖密度与难度没有量化指标，课程可控性存疑——可引入难度度量与自动课程调度。
未来方向
作者提出的方向：研究失败轨迹的价值，把含失败的反馈条件纳入技能更新；继续整理 harness 差异、训练-推理失配、信用分配等方面的 Lessons。基于成果可延伸：其一，过程奖励/PRM——利用服务审计记录对中间工具调用打分，缓解长程稀疏奖励问题，并放大 GiGPO 已显示的步级信用分配优势；其二，任务变异器作为持续课程，按学生弱点自动调整干扰项密度与时间约束复杂度；其三，多智能体扩展——让模拟用户与同事由模型扮演，覆盖协商、交接、权限申请等真实办公动态；其四，利用 236 个共享任务 ID 系统研究跨基准迁移与过拟合边界；其五，把安全场景扩展到 prompt injection、权限提升等对抗设定，与 AgentDojo/ToolEmu 一脉相承；其六，探索世界模型模拟（如 DreamGym 思路）降低在线 rollout 的真实服务开销。
复现评估
开源情况：作者承诺放出数据集与完整构建流水线（任务/环境构造、轨迹收集、数据策展）以及经验教训合集；模型基于开源的 Qwen3-VL-8B/4B-Instruct 加 LoRA，8B 级 SFT 单机多卡可跑；RL 使用开源的 slime 与 Polar 框架。难点：教师轨迹生成需访问 Claude 专有 API 及 Claude Code/Harbor 适配器；环境需实现 20 余个模拟服务（Gmail、CRM、Helpdesk、Finance、Scheduler 等）及其重置逻辑，工程量不小；评测依赖 Claw-Eval 与 ClawMark 基准的公开可得性。综合判断：若承诺兑现，SFT 部分复现难度中等、RL 部分需要多卡资源与 harness 经验，属于可复现性良好的开源后训练工作。
论文图表
