CUA-Master：通过开放世界递归改进扩展计算机操作智能体 CUA-Master: Scaling Computer-use Agents through Open-World Recursive Improvements

完整流程分七步。①语料采集：按 8 域/36 子域/650+ 应用分类学加「tutorial/how to」等关键词，从 YouTube、TikTok、Bilibili 检索视频；去重、元数据门控与噪声过滤后，用 Faster-Whisper（Whisper-Large-v3）生成带时间戳转写，注解器打 CUA 适配分 $\sigma\in\{0,...,5\}$。②种子任务挖掘：把多模态时序片段发现形式化为 $\{\hat{f}_1,...,\hat{f}_n\}\mapsto\{(t_i^s,t_i^e,T_i)\}_{i=1}^M$，一条视频切出多个可独立执行任务。③双路轨迹重建：语义路径从转写中取「click/press/scroll/drag」等动作子句为触发 $C^{sem}$，视觉路径用 FFmpeg 帧差超阈值作触发 $C^{vis}$，在窗口 $\mathcal{T}$ 内求交成候选格 $C=\{(t_i^{sem},t_j^{vis})\mid|t_i^{sem}-t_j^{vis}|\le\mathcal{T}\}$，注解器复核边界、批量标注原子动作、轨迹级验证过滤。④原语化：$(T^{seed},X^{seed})\mapsto\{p_1,...,p_n\}$，等价原语规范化去重后入库。⑤任务合成：$(\mathcal{B}(\{u_1,...,u_N\}),K)\mapsto T^{syn}=(I^{syn},E^{syn},V^{syn})$，合并兼容前置条件与验证规格。⑥韧性采集：检测器 $(T,X,E)\mapsto_{\mathcal{A}}(\hat{s},F)$ 定位最早分歧步并生成不含特权解法的诊断反馈，回滚到其前最近的增量快照、保留有效前缀重试，直至验证通过或预算耗尽，只保留最高效的成功分支。⑦训练：从 Qwen-3.5-27B 出发做三轮累积 SFT（每轮分别加入 63K/38K/14K 任务，累计约 115K；AdamW 峰值学习率 $5\times10^{-6}$、cosine、warmup 0.03、batch 128，每轮回到同一基座检查点），最后对 12K 高质量任务做 GRPO 式在线 RL（每任务采 8 条轨迹，学习率 $1\times10^{-6}$，batch 64 即最多 512 条轨迹）。

技术新颖性体现在四个层面。系统层面：把递归自我改进锚定在持续刷新的开放世界知识上，用模型弱点反馈引导探索方向，规避了纯自生成数据的分布收窄与合成误差累积——Re-ReST、WebRL、Self-Challenging、Agent-R 等均为封闭世界方案。数据层面：视频挖掘线（OpenCUA、VideoCUA、AgentTrek、TongUI）止步于「视频→轨迹」，本文引入视觉-语义双路触发对齐提高重建精度，并把输出定位为可继续繁殖的种子；环境交互线（OS-Genesis 反向任务合成、AutoPlay 探索）受限于环境内已有知识，本文的原语组合则能跨应用、跨复杂度地系统性外推。采集层面：快照回滚并非全新概念，但把「分歧步定位 + 无特权解法反馈 + 稳定边界增量快照」组合成轻量分支搜索是新的工程设计，使 $K/N=50/8$ 的极端任务成功率从 0.0% 提到 18.7%。训练层面：三轮 SFT 均从同一基座重启、累积数据，避免多轮 SFT 的优化漂移；原语化任务为 RL 提供原生难度分级与可验证奖励，无需额外人工奖励设计。

独立分析出的弱点及改进方向：（1）注解器单点瓶颈——整条流水线的质量上限由外部强模型决定，八个角色共用同一模型，一次迭代的数据成本随注解调用量线性增长；改进方向是把每轮训好的模型蒸馏成下一轮的领域专用注解器，配合真实执行验证做「生成-执行」双校验，逐步降低对闭源前沿模型的依赖。（2）视频坐标标注噪声——从教学视频画面推断点击坐标天然不精确，光标遮挡、界面缩放、分辨率差异都会引入系统性偏差；改进方向是引入光标检测或 GUI 元素锚点对齐（把坐标 snap 到检测出的按钮/菜单元素），并在目标环境执行时用状态差分验证坐标有效性。（3）评测污染风险未量化——开放世界语料天然包含评测基准常用应用与流程；改进方向是发布种子任务与评测任务的应用级重叠度审计，或对评测相关检索词做屏蔽。（4）极端难度成功率天花板——$K/N=50/8$ 仅 18.7%，说明线性回滚搜索对深层依赖任务不足；改进方向是把分支搜索升级为树搜索/束搜索，或学习环境动力学（世界模型）在想象中预演动作后果以减少真实重试。（5）基础设施门槛——2000+ 并发 VM 的需求使中小团队无法复现；改进方向是用轻量容器或微 VM（Firecracker 类）替代完整 VM，并把快照签名与恢复做成跨后端标准。（6）奖励 hacking 审计缺失——LLM 合并的验证器可能有可绕过的检查；改进方向是对抗性验证器压力测试与轨迹过程审计。

作者提出的方向：继续沿飞轮迭代扩展能力前沿，随注解器增强而提升数据质量，并进一步优化 RL 阶段以突破长程任务上限。基于本文成果可延伸的研究：（1）自注解闭环——用 CUA-Master 自身（或其蒸馏版）逐步接管八个注解角色，形成完全自主的递归改进，检验自举的天花板在哪里；（2）世界模型辅助 rollout——在快照回滚之上学习环境动力学，先在想象中评估候选动作再真实执行，把 $K/N=50/8$ 的 18.7% 成功率进一步抬高；（3）过程奖励与验证器硬化——在结果奖励之外引入可验证的中间状态检查，抑制 reward hacking；（4）跨设备与跨形态扩展——把分类学与原语库推广到移动端、浏览器扩展与企业级软件（SAP、Salesforce 深度工作流）；（5）原语库作为可迁移记忆——研究原语在新应用、新任务上的零样本组合泛化能力；（6）安全与审计——CLI 权限沙箱、危险命令检测与轨迹审计日志，使智能体可在企业环境中可靠部署。

复现评估：论文页眉给出 Project/Code/Model 链接，方法细节披露相当充分——八个注解器角色的完整 prompt 全部公开（Figures 11–18），动作空间（Table 7）、分类学与应用清单（Table 9，8 域/36 子域/650+ 应用）、各域成绩（Tables 4–6）与训练超参（SFT 峰值学习率 $5\times10^{-6}$、cosine、warmup 0.03、batch 128；RL 学习率 $1\times10^{-6}$、batch 64、每任务 8 轨迹）均有说明，数据规模明确（127K 样本 = 115K SFT + 12K RL），基座为开源的 Qwen-3.5-27B。但复现门槛很高：训练用 16 节点 × 8 张 H200-141GB（共 128 卡）；rollout 基础设施需支持 100+ 环境、2000+ 并发 VM 的镜像目录与资源感知调度；最关键的是注解器 $\mathcal{A}$ 的具体型号未说明——若依赖闭源前沿模型，第三方要么支付高额 API 成本，要么接受数据质量下降（Figure 9 显示自策略注解收益明显更弱）。综合判断：读懂方法、用小规模数据验证思路属于中等难度；完整复现 27B 模型的数据引擎与训练属于高难度，基本只有具备大算力与大规模 VM 编排能力的工业界实验室可承担。