WorkRover：通过递归环境进化扩展长程协作智能体训练 WorkRover: Scaling Long-Horizon Cowork Agent Training Via Recursive Environment Evolution
用组合重放修复训练环境，再以轮次级进度信号训练长程办公协作智能体
前置知识
GRPO（组相对策略优化）
一种无需价值网络的强化学习算法：对同一任务采样一组 rollout，用组内奖励标准化（减均值、除标准差）得到每条轨迹的优势，再以裁剪比率更新策略。它把「同一任务的其他尝试」当作基线，特别适合可重复采样的智能体任务。
本文的训练目标直接建立在轨迹级 GRPO 优势之上，VTCA 设 $\alpha=\eta=0$ 就退化为 episode-only GRPO 基线，不懂 GRPO 就无法理解公式 (1) 和消融实验。
信用分配（Credit Assignment）
研究如何把延迟的终端奖励归因到轨迹中的具体动作或轮次。长程任务里，早期的信息收集轮次可能只通过后续的工作区变化体现价值，失败轨迹中也常有有用步骤；只给终端信号或均匀分配都会淹没这些贡献。
论文的核心难题之一就是把验证器的终端评估分解为轮次级信用（VTCA），并决定哪些先行轮次有资格分享正进度信用，这是理解方法贡献的关键。
任务包与验证器
RL 训练智能体依赖可执行环境：工作上下文 $C$ 提供文件、技能与应用环境，任务 $T$ 规定目标与交付物，验证器 $V$ 自动判定完成度。三者必须语义对齐——上下文要支撑任务依赖，验证器要既拒绝错误结果、又接受合理的替代解法。
论文把训练环境组织为任务包 $P_i=\langle C_i, T_i, V_i\rangle$，全文围绕三者失配的发现与修复展开，这是理解方法设计的对象模型。
依赖闭包（Dependency Closure）
在依赖图中，某节点的闭包是从它出发可达的全部节点集合。修改一个组件时，所有依赖它的组件可能需要连带更新才能保持一致，只改被选中的部分会留下隐性失配。这是软件工程中「连带修改」问题的形式化。
FCR 要求把选中的修复组合扩展为依赖闭包更新集 $\Gamma(\chi)=\mathrm{Close}(\chi)$，且最小修复的统计也按闭包内版本变更数计算，不理解闭包就看不懂修复选择规则。
协作智能体（Cowork Agent）
指在文件、工具与应用之间执行专业工作的大模型智能体，例如整理文档、制作交付物、跨应用执行流程。任务跨越长序列的依赖动作，需要定位材料、跟踪工作区变化，并在相关工件之间保持一致性。
论文的训练对象就是这类智能体，五个评测基准（JobBench、GDPval、AutomationBench、WorkBuddy、OfficeQA Pro）全部围绕职业任务、专业交付、跨应用工作流与文档推理设计。
研究动机
用强化学习训练长程协作智能体的前提，是存在既能执行多样化工作流、又能给出可靠成败反馈的训练环境。近期工作尝试自动合成环境与任务来扩大规模，但数量扩张并不等于反馈可靠：工作上下文必须支撑任务的全部依赖，验证器既要拒绝错误结果、又要接受合理替代解法。智能体 rollout 往往暴露初建后遗留的缺陷——缺失输入、任务规格不一致、验证错误——这些缺陷会让正确行为被判为失败，或让错误结果反而得分。修复又常牵一发而动全身：改任务描述可能要同步改验证器，而一处修复可能让共享资源的相邻任务发生回归。论文数据显示，全量重生成修复自然缺陷时安全修复率仅 60.7%，且 14.3% 的修复改变了任务意图。此外终端奖励稀疏且延迟：失败轨迹里的有用步骤得不到任何信用，成功轨迹里的冗余动作却照样得分。
本文的目标是WorkRover 的目标是构建一套可扩展的长程协作智能体训练框架，同时解决「环境可靠」与「信号细粒度」两个瓶颈。具体包括三件事：其一，Harness 驱动的联合合成，让构建智能体在跟踪组件依赖的前提下同时产出语义对齐的工作上下文（文件、技能、应用）、可执行任务和证据接地的验证器，用独立参考执行确认可行性，用校准测试保证验证器拒错误、纳替代；其二，递归环境进化机制，反复利用执行反馈发现缺陷、协调组件修订并重新验证，同时保持原任务要求与评估约束不变；其三，在终端奖励之外引入工作区进度的轮次级学习信号。最终在 Qwen3.5-35B-A3B 上后训练得到 WorkRover-35B-A3B，并在五个外部基准上验证迁移能力。
与已有工作不同的是，本文的独特切入是把训练环境当成需要持续维护的软件系统，而非一次性生成的静态资产。已有工作主要在「扩大合成数量」或「对抗性审计验证器」，缺少在组件依赖被显式跟踪的前提下反复修订并保持对齐的机制。FCR 的做法是：固定任务意图与评估规则，为每个可修复组件冻结一个提案，枚举 $2^d$（$d\le 4$，至多 16）种组合，在依赖闭包下用相同策略、预算与种子重放，选出改动最小的通过修复——这借鉴了程序修复领域的补丁最小化思想，但面向组件化的任务环境并考虑联动更新。VTCA 则刻意避免引入昂贵的中间 judge 调用，只用冻结的确定性检查和已记录的工具输出/工件版本依赖来分配有界的进度信用，与训练过程奖励模型的路线形成鲜明差异。
核心方法
直觉上，要让 RL 训练可靠，环境、任务、验证器必须像同一个版本化软件项目那样被统一管理。WorkRover 把每个环境组织为任务包 $P_i=\langle C_i, T_i, V_i\rangle$，由 Harness 跟踪依赖并协调构建。Phase I 构建可复用的工作上下文：文件上下文（来自项目仓库与 DeepResearch 轨迹，剖析语义、关系与可编辑性）、能力上下文（36k+ 职业技能、21k+ 应用技能、5k+ 文件技能）和应用上下文（2k+ 带运行时、UI 观测与重置支持的可执行应用）。Phase II 按构建配置（编辑文件数、轮数、技能复杂度、干扰比例、跨环境依赖）合成任务：Skill Matcher 组合技能为内部工作流，组装标注可编辑/受保护状态的起始环境，独立 Demonstrator 从干净初态执行确认可行性并产出参考状态。Phase III 先固定评估合同再生成规则与证据绑定，经基础设施有效性、规范状态差异、功能检查、语义裁判四层验证，校准（拒初始态与负例、纳参考态与有效替代）后冻结，做一次性准入测试。
两大核心创新。其一是因子化兼容性重放（FCR）：诊断确认是环境问题（而非智能体失误）后，Harness 固定任务要求与评估合同，为每个合格组件冻结一个修复提案 $\Delta C, \Delta T, \Delta H, \Delta V$；对 $d\le 4$ 个组件枚举 $2^d$ 个组合 $\chi$，筛除依赖冲突组合后把每个组合扩展为依赖闭包更新集 $\Gamma(\chi)=\mathrm{Close}(\chi)$，用相同策略、预算和种子重放；在通过解析确认、信息边界保护、反任务简化检查及验证器拒负纳正测试的组合中，选出改动组件版本最少的 $\chi^\star$，再用新种子确认。其二是验证器到轮次的信用分配（VTCA）：$A_{i,r,t} = [\,\mathrm{sg}(A^{\mathrm{traj}}_{i,r}) + \alpha H_{i,r}\,\delta^{\mathrm{crit}}_{i,r,t} - \eta\, c_{i,r,t}\,]$，冻结的确定性检查给出每轮前后工作区进度的有符号增量；正增量至少一半留给产生它的轮次，其余均分给被记录依赖证实的先行轮次（仅打开文件不算），负增量完全留在本轮；完整性/保护态/安全检查失败时门控 $H=0$ 禁用全部进度信用。
方法步骤详情
流程分四步。第一步 SFT：用 Qwen3.5-397B-A17B 在合成工作区生成 30,115 条轨迹，全部通过任务验证与质量检查后初始化策略。第二步 RL 数据：独立合成 20,000 个任务-验证器对，每对用 Qwen3.5-35B-A3B 跑 4 条试点 rollout 做一致性过滤，保留 3,200 对。第三步 采样与终端评估：从 SFT 检查点出发，同一任务与初始工作区采样 $M_i\ge 2$ 条 rollout，验证器每条轨迹评估一次，奖励 $R_r = G_r[\,(1-\lambda)S_{B,r} + \lambda S_{A,r}\,]$，关键判据或完整性/保护态/安全检查失败则奖励为零；组内标准化得 $A^{\mathrm{traj}}_{i,r}$。第四步 塑形更新：按公式 (1) 融合轮次进度信用 $\delta^{\mathrm{crit}}$ 与局部 trace 代价 $c$（工具报错、无效重复），clipped GRPO 更新时 token 先在轮内平均、再在轨迹内对轮平均，防止超长轮主导。环境侧并行运行 FCR：诊断→冻结提案→组合重放→最小修复选择→新种子确认→晋升或保留父版本。
技术新颖性
与已有工作的本质区别有三点。环境合成方面，此前工作侧重扩大可执行环境与已验证任务的数量、做一次性验证，WorkRover 首次把上下文、任务、验证器作为带版本依赖的整体联合构建，并在 rollout 反馈下递归进化。FCR 相比「全量重生成」或「贪心顺序修复」，显式测试编辑组合的协同效应——实验显示 48–74% 的安全修复必须联合编辑才能通过同一套检查——并用依赖闭包保证联动更新不遗漏，与程序修复中的补丁最小化呼应但对象是组件化任务环境。信用分配方面，VTCA 不训练过程奖励模型、不做中间 judge 调用，只用冻结确定性检查与记录在案的工具输出/工件版本依赖分配信用：负增量不传播、正信用份额有界、违规时门控整体关闭，并坦承信号可靠性上界由检查器覆盖率与依赖记录质量决定——这是诚实的工程权衡，而非黑箱塑形。
实验结果
核心结果四块。基准迁移：WorkRover-35B-A3B 在五个外部基准全部超越骨干——JobBench 36.89%（+26.27pp），GDPval v2 1218.00 Elo（+413.25），AutomationBench 28.67%（+22.67pp），WorkBuddy (Office) 74.13%（+13.63pp），OfficeQA Pro 48.87%（+29.32pp），在 27–35B 开源组内每项第一（次优为 Occamy-1.0）；但仍低于 GPT-5.5（JobBench 38.30%）、Kimi K3（54.27%）与 400B+ 开源模型（GDPval 1303.96–1572.42）。VTCA 消融：同等 SFT 检查点、任务/种子计划与 rollout 预算下对比 episode-only GRPO，五基准全胜——AutomationBench +5.7pp、OfficeQA Pro +5.4pp、GDPval +43 Elo。FCR 消融：自然缺陷安全修复率从全量重生成的 60.7% 升至 70.3%，任务意图改变从 14.3% 降至 1.3%（token 成本 1.00 vs 1.34）；对 Apply-all 的 SRR 领先 9.0/10.4pp，跨任务回归 7.0%→0.7%；三代进化 SRR 稳定在 70.3–72.4%。构建管道：合成通过率从 49.8% 升至 74.8%（全量重生成 68.8%）；去掉关系感知扩展降至 52.6%，去掉验证引导重写降至 49.8%，纯语义组装 48.7%；重写使端到端成功 22.2%→43.9%，参考执行 80.0%→92.0%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| JobBench（职业任务执行） | 成功率 (%) | 36.89 | Qwen3.5-35B-A3B 10.62；同组次优 Occamy-1.0 34.27 | +26.27pp（对骨干） |
| GDPval v2（专业交付物质量） | Elo | 1218.00 | Qwen3.5-35B-A3B 804.75；400B+ 开源模型 1303.96–1572.42 | +413.25 Elo（对骨干） |
| AutomationBench（跨应用工作流） | 成功率 (%) | 28.67 | Qwen3.5-35B-A3B 6.00；同组次优 Occamy-1.0 27.60 | +22.67pp（对骨干） |
| WorkBuddy Bench (Office)（办公工作流） | 成功率 (%) | 74.13 | Qwen3.5-35B-A3B 60.50；同组次优 Occamy-1.0 66.65 | +13.63pp（对骨干） |
| OfficeQA Pro（文档推理问答） | 准确率 (%) | 48.87 | Qwen3.5-35B-A3B 19.55；同组次优 Occamy-1.0 48.10 | +29.32pp（对骨干） |
| VTCA vs episode-only GRPO（五基准平均意义上的训练消融） | 各基准官方指标 | AutomationBench 34.0%、OfficeQA Pro 48.9%、GDPval 1218 Elo | SFT + episode-only GRPO：AutomationBench 28.3%、OfficeQA Pro 43.5%、GDPval 1175 Elo | +5.7pp / +5.4pp / +43 Elo，五基准全胜 |
局限与改进
作者承认的局限：与更大规模和专有模型相比仍有明显差距——JobBench 36.89% 低于 GPT-5.5 的 38.30% 和 Kimi K3 的 54.27%，GDPval 1218 Elo 低于全部 400B+ 开源模型（1303.96–1572.42），WorkBuddy 74.13% 低于 Claude Opus 4.7 的 92.51%；VTCA 的信号可靠性依赖检查器覆盖率与依赖记录质量；与参考模型的比较沿用各自已发表分数和评测设置，并非统一复评。我的补充观察：20,000 对合成任务经一致性过滤只剩 3,200 对，淘汰率高达 84%，可能系统性偏向易验证的任务类型；FCR 每个缺陷最多重放 16 个组合，token 成本高于 Apply-all（相对成本 1.00 vs 0.59）；最上层语义裁判本质仍是 LLM 判断，面对对抗性输出可能被绕过；一次性准入测试失败即无反馈丢弃，工程上会浪费相当一部分已构建候选。
独立分析的弱点
独立分析的弱点：其一，验证器最上层的语义裁判依赖 LLM，论文引用的对抗审计研究表明验证器可被欺骗，而 WorkRover 只做校准与负例测试，未纳入持续对抗压力测试，改进方向是把对抗审计作为 FCR 确认环节的固定组成部分。其二，FCR 假设「每个组件冻结一个提案」，若根因诊断偏差或提案本身次优，$2^d$ 组合枚举也覆盖不到正确修复；可学习「缺陷类型→修复策略」先验，为每组件生成多风格提案。其三，VTCA 的先行轮信用完全依赖记录的工具输出与工件版本依赖，通过环境状态间接传递的隐式依赖会被漏掉，「仅打开文件不算」的规则可能低估探索性轮次，可引入轻量依赖探针补录。其四，一致性过滤淘汰 84%（20,000→3,200 对）说明合成质量仍是瓶颈且筛选成本高，可把 FCR 提前到筛选阶段，让被淘汰任务先经修复再判生死。其五，全部实验基于 Qwen3.5-35B-A3B 单一骨干，方法在不同规模、不同模型家族上的泛化未经验证。
未来方向
作者在结论中强调递归环境进化是可靠长程训练的实用基础，隐含延伸包括更多进化代数（论文仅验证三代稳定）、更大的技能库与应用覆盖、以及更强骨干上的扩展。基于本文成果可以延伸的方向：把 FCR 从训练时维护推广到部署时，让智能体在真实用户工作区遇到环境缺陷时自主触发修复循环；将 VTCA 的确定性进度检查与学习式过程奖励结合，覆盖检查器无法度量的软判据；构建跨模型共享的环境资产库——一个团队修复后的任务包可被其他策略复用，形成环境「持续集成」生态；对 FCR 的最小修复选择做理论分析，刻画修复幅度与任务泛化之间的权衡；以及把工作区进度信号用于推理时搜索（如树搜索的过程剪枝），无需训练即可提升长程任务成功率。
复现评估
复现难度较高。论文给出项目页 workrover.github.io，但正文未明确承诺开源代码、模型权重或合成数据。完整复现需要：教师模型 Qwen3.5-397B-A17B 的访问权，用于生成 30,115 条 SFT 轨迹；规模化环境合成基础设施——36k+/21k+/5k+ 三级技能库、2k+ 可模拟应用（带 UI 观测与重置支持）、文件语义剖析与关系图谱工程；RL 阶段 20,000 对合成任务与每对 4 条试点 rollout 的筛选算力；FCR 重放所需的批量 rollout 以及五个基准的官方评测器。对普通实验室而言，环境与应用模拟是最重的工程负担，往往超过训练本身；35B-A3B（激活约 3B）的 RL 预算相对可控。若代码与任务包不开源，独立复现整条管道基本不现实，但论文对 FCR 与 VTCA 的机制描述足够详细，可在小规模模拟环境中复现并验证核心思想。
论文图表
三栏对照图，把三大挑战与三条技术路线一一对应：(1) 扩展难题——上下文/任务/验证器失配、输入缺失与无接地检查，对应 Harness 驱动的自适应联合构建；(2) 进化难题——局部修改破坏绑定、一处修复引发共享任务回归，对应 FCR 的诊断→冻结→2^d 重放→选择流程；(3) 训练难题——稀疏延迟反馈导致有用的先行轮次得不到信用，对应 VTCA 的轨迹奖励加冻结检查进度塑形。
这张图是全文的逻辑地图：先理解三个挑战，才能理解为什么需要联合构建、组合重放和轮次信用这三件套，以及公式 (1) 中各项的来源。