RecreationWorld：面向混合计算机使用智能体的可扩展可验证复刻环境 RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents
以复刻运行中的应用为任务，构建五平台可验证环境训练GUI与代码协同的混合智能体
前置知识
计算机使用智能体（CUA）
通过截图、无障碍树等感知屏幕内容，并发出点击、键入、滚动等动作来操作真实图形界面软件的智能体。代表工作包括 OSWorld 系列评测和 UI-TARS、Qwen-CUA 等原生 GUI 模型，它们在真实操作系统会话中完成打开应用、填表、导航等任务。
本文研究的“混合 CUA”是 CUA 的扩展，读懂任务设定（操作参考应用探索规格）必须先理解 GUI 智能体的感知-动作循环。
混合计算机使用智能体（Hybrid CUA）
在同一个长时程过程中交织使用两套能力：图形界面操作（点击、观察屏幕）与代码/命令行工具（写代码、编译、运行、shell）。关键是智能体自主决定何时探索界面、何时实现、何时运行并视觉验证自己的产物，信息在“观察→代码→运行→再观察”之间往复流动。
这正是本文要测量和训练的核心能力：复刻任务被设计成“只点不写”或“只写不看”都不可能完成的结构。
可验证奖励与验证不对称性
奖励不是来自人工或模型偏好打分，而是来自可执行的检查（如单元测试、行为断言）。验证不对称性指“生成一个满足规格的解很难，但验证一个解是否满足规格很容易”，因此运行参考可以充当 oracle：先在参考上固化隐藏测试，再原样重放给任意候选自动评分。
复刻任务的价值主张就在于此：运行中的参考应用自动提供了实现无关、可分级打分的奖励信号，这是训练数据能规模化筛选的前提。
平台自动化/无障碍接口
各操作系统暴露 UI 结构与控件状态的编程接口：Linux 的 AT-SPI、macOS 的 AXUIElement、Windows 的 UI Automation、Android 的 UiAutomator、Web 的 DOM/ARIA。程序可以不经像素而直接读取文本、控件状态、导航层级等精确值，是程序化断言和 GUI 智能体结构化感知的基础。
本文的程序化（Prog）评分通道完全建立在这些接口上，理解它们才能理解“行为保真度”是如何被机器客观度量的。
拒绝采样 + SFT 训练配方
先用强模型在环境中大量 rollout，再用任务专属的自动验证器给每条轨迹打分，只保留高分（通过验证）的轨迹作为监督数据做 SFT（拒绝采样）。它把“可验证环境”转化为“已验证训练数据”，是 RL 之外最常用的自我改进路径。
论文的训练实验正是这个配方：Qwen3.8-Max 生成复刻轨迹，行为验证器筛选出每平台 7000 条、共 35000 条轨迹微调两个模型。
研究动机
现有计算机使用智能体沿两条几乎隔离的路线发展：一条通过图形界面操作真实应用（OSWorld、OSWorld 2.0 等评测的 GUI 智能体），另一条通过代码与命令行构建软件（ProgramBench 类编码智能体）。二者互为盲区：GUI 智能体能观察系统如何运行，却几乎不能构建或重构界面背后的软件；终端智能体能写代码、编排构建与测试工具，却看不见自己的动作产生了什么界面，缺乏判断运行结果是否符合预期的视觉反馈。而真实软件密集型工作要求两者交织进行——观察塑造实现，运行又重塑下一步观察。现有基准大多只强调单一交互模式：论文用统一动作分类对比发现，RecreationBench 轨迹中位数为 282.5 次顶层工具调用、每 100 次调用含 9.08 次 GUI 与代码编辑之间的切换；而 WeaveBench 仅 178 次调用和 1.56 次切换，ProgramBench 完全没有 GUI 调用，OSWorld 2.0 只记录计算机工具调用而无独立的代码编辑动作。混合智能体在长时程上自主协调“探索-实现-验证”循环的能力因此长期处于欠测量、欠训练状态。
本文的目标是本文要同时“测量”和“培养”混合 CUA 能力，具体目标有三层。其一，构建 RecreationWorld 框架：在 Ubuntu、macOS、Windows、Android、Web 五个平台上提供可复现的应用复刻任务环境，标准化参考执行、候选交付与实验日志，同时保留各平台原生交互语义与构建体系。其二，设计参考接地、执行接地的自动验证机制：让运行中的参考应用充当 oracle，从中派生隐藏行为测试（程序化断言+视觉断言双通道），经参考重放验证与人工审核后冻结，从而无需逐候选人工评判即可自动、分级地给任意实现打分。其三，验证这条路的实际收益：用框架从开源应用池规模化生成经过验证的长时程复刻轨迹（35 万字符级的 35000 条 SFT 数据），训练两个模型初始化，检验其在 5 个分布外基准（ProgramBench、GameCraft-Bench、Vision2Web、OSWorld 2.0、WeaveBench）上的迁移效果；同时发布含 250 个任务的 RecreationBench 作为留出评测，度量前沿模型与参考级行为保真度的差距。
与已有工作不同的是，本文的独特切入是把“复刻一个正在运行的应用”作为混合循环的最纯形态。与 APPFORGE 等从自然语言规格出发的 Android 开发基准不同，复刻任务的规格只能通过操作参考应用获得——窗口、控件、状态转移和响应就是全部需求文档，而交付物是必须通过构建与启动契约的可运行代码。这让“只靠点击”或“只靠写码”都无法成功，探索-实现-验证循环成为任务的内在结构而非外加约束，任务天然长时程。第二层新意在于对验证不对称性的工程化利用：运行参考本身就是 oracle，生成器可先穷尽参考、捕获程序化与视觉结果、固化为隐藏测试套件，再原样重放给任意候选，得到与实现架构无关的分级奖励——无法构建或启动得 0 分，否则按断言通过比例得分。第三层是可扩展性：开源 GUI 应用池庞大且持续更新，钉住 commit 即可源源不断产生新任务和已验证轨迹，而不是依赖人工编写的固定规格集，这使同一套环境既能做受控评测又能批量产出训练经验。
核心方法
直觉上，智能体面对一个能点能用的参考应用 $A^*$，但拿不到它的源码；它必须像逆向工程师一样反复操作参考、对隐藏行为形成假设、写代码、编译并运行自己的复刻品、对照检查、再修改，直到可观察行为足够接近参考。技术上分三块。任务公式化：输入是高层任务提示、参考应用 $A^*$ 的交互访问权、预装 GUI 控制与软件开发工具的环境；交互完全自由，任务不规定探索、实现、验证的顺序与模态；输出是满足平台交付契约的完整源码提交 $S$——桌面为源码加构建/启动入口，Android 为 Gradle 工程产出 APK，Web 为自包含 index.html；构建 $S$ 得到候选应用 $\hat{A}$，只评可观察行为。执行基础设施：每次 rollout 分配版本化、任务隔离的 worker，钉死图形运行时、自动化接口与常用构建工具链，由水平扩展的虚拟机池调度；单轨迹墙钟预算 20 小时，工作区、构建产物、运行进程与图形状态在多次探索-实现-验证循环间保持连续。验证层：参考接地的测试生成把异构应用行为转成程序化断言（读自动化接口精确值）与 VLM 视觉断言（判冻结截图）双通道的冻结套件。
核心创新是让同一个可执行参考同时扮演两个角色：交互规格与验证 oracle，这使混合循环“自我接地”——智能体建造的东西能被自己运行、观察并据此纠错，其输出又是客观可打分的。与已有工作的本质区别在规格来源与奖励形态。规格上，行为需求不是文本给出的，而是隐藏在参考运行时行为里：智能体必须通过受控输入变化等主动探测恢复输入-输出规则，把感知、推理、代码生成、工具使用、自我修正锻成一个连贯能力。奖励上，断言只依赖运行时可观察行为而非参考内部：程序化通道经 AT-SPI、AXUIElement、UI Automation、UiAutomator 或 DOM/ARIA 读取精确文本、控件状态、导航、持久化与计算值；视觉通道把候选截图与参考接地的自然语言断言配对，由 Qwen3.7-Plus 判据在温度 0 下二元裁决。每个用例把触发动作与诱导响应耦合，从单步状态变化覆盖到多跳导航、持久化与端到端计算；套件在参考上验证并冻结后，候选无法改变自己的评分分母。这构成实现无关、可自动执行的分级奖励——验证不对称性的一个干净实例。
方法步骤详情
流水线分五步（Figure 4）。第一步参考准备：候选来自 GitHub/F-Droid 的开源桌面与 Android 应用及公开授权或自建网站；桌面钉住上游 commit 构建，Android 构建装入模拟器并清除首启干扰，Web 冻结为静态快照；剔除库、框架、宿主扩展、依赖登录或远程服务的应用及无法启动、渲染不全、缺乏有意义交互者，再按领域、框架、源码规模、功能复杂度、上游活跃度配平（Web 另配真实/合成站点）。第二步行为发现：orchestrator 结合源码/页面分析与对运行参考的探索，建立共享清单——特性、可达表面、触发动作、可观察结果。第三步测试合成：桌面与 Android 把清单分给专职子代理互补撰写用例，Web 分脚本、代理撰写、交互、视觉四轨；每个用例规定所需 fixture 与初始状态、交互序列、程序化/视觉断言或两者。第四步验证与冻结：在干净参考实例上重放每个用例，剔除无效与不稳定检查，用未覆盖清单项引导补写，Web 另设区分性与冗余过滤；人工审核 fixture、动作与期望结果的有效性、无歧义性与忠实性，不通过则修改重验或删除，之后冻结套件——冻结套件共 81 个任务打包 393 个 fixture 文件。第五步评估与训练：评估在全新实例上重放隐藏套件，平台内宏平均、五平台等权，总分取 Prog 与 VLM 均值；训练侧由 Qwen3.8-Max 生成 rollout，任务专属行为验证器做拒绝采样，每平台取 7000 条、共 35000 条平衡 SFT 轨迹，微调 Qwen3.7-Plus 与 Qwen-Flash-CPT 两个初始化。
技术新颖性
技术新颖性可从四组对照看清。对 OSWorld/OSWorld 2.0：那里智能体只操作现成应用，这里还要从操作中恢复规格并写出可运行软件，交互模式从单模态变成每百次调用 9.08 次 GUI-代码切换的结构。对 ProgramBench 等编码基准：那里规格是显式测试，这里规格必须主动发现，任务天然长时程（中位 282.5 次调用、20 小时墙钟预算），需要能在数小时内保持交互状态的执行底座。对 APPFORGE（同样通过导航参考应用构造功能测试）：本文推进到源盲设定——桌面与 Android 平台参考实现被扣留，只暴露可执行界面；并把测试的深度与广度系统量化（平均 77% 用例离开起始面、24.1% 跨两个以上表面、94.2% 检查交互结果、40.7% 要求精确期望值），在五平台用统一契约覆盖异构 UI 框架、构建体系与自动化栈。对 CUA-Gym、GUI-GENESIS 等合成环境：本文用真实开源应用钉 commit 构建，行为与工程多样性远超合成模板——Ubuntu 中位 49.3k LOC（Qt/GTK/web 封装混合）、macOS 13.5k（AppKit/SwiftUI 为主）、Windows 6.7k（.NET/JVM/Qt）、Android 15.0k（Kotlin/Java，XML 与 Compose）。工程上还把隔离做到能力级：Ubuntu 按 UID 过滤出网、macOS/Windows 默认拒绝防火墙、Web 用无路由命名空间，隔离检查失败判整次 run 无效而非扣分。
实验结果
五组核心发现。基准评测（Table 3）：10 个前沿模型差距显著，GPT-6 Astra 以 58.06% 总分居首（Prog 58.19%、VLM 57.92%），领先第二名 Claude Opus 5（44.16%）13.9 个百分点；但只有它在多个平台实现套件全过，Prog=100% 仅覆盖 2.8% 的应用、≥90% 覆盖 17.6%，其余模型全过至多 0.8%；最低的 Qwen3.7-Plus 仅 9.15%。训练迁移（Figure 5/6）：35000 条复刻轨迹 SFT 后，Qwen3.7-Plus 与 Qwen-Flash-CPT 在 5 个分布外基准的终检点全部高于首检点，最高提升 17.9 个百分点，且代码验证、查看自身输出的图像读取、GUI 观察与交互占比同步上升。可编程运行时研究（Figure 9）：Claude Opus 4.8 在 50 个 Windows 应用上改用持久 Node.js REPL+SDK 后质量持平（Prog 35.05→35.60、VLM 31.00→32.29），而 computer-use 调用 −39.9%、工具结果文本 −65.5%、输入 token −40.7%、墙钟 −26.1%（4.12→3.04 小时/任务）、估算成本 −54.1%（$90.50→$41.58），仅输出 token +15.7%。轨迹分析：更强模型探索更广（GPT-6 Astra 交互广度 58.1%、窗口覆盖 5.23 个，对比 Qwen3.8-Max-0902 的 41.8%、2.21 个），GUI 调用占比最高（49.5% 观察+23.4% 交互）且实现开始后 GUI 使用仍占 33.2–58.6%；但“最后编辑-重启-检查”的闭合率最高仅 47.5%（Qwen3.8），代码集中在轨迹前半段写入。工件分析：89.4% 的复刻品比参考小、LOC 中位比仅 16.9%、92.3% 文件数更少；行为保真上静态结构还原显著优于交互与计算输出（最弱类别落后结构类 9.1–34.4 个百分点）。污染审计：去噪精确行重叠中位仅 0.014%（Ubuntu）–0.088%（Windows），平台最大值低于 3.2%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RecreationBench 五平台混合复刻（Ubuntu/macOS/Windows/Android/Web 各 50 应用） | 平均分（Prog 与 VLM 通道均值，%） | GPT-6 Astra 58.06 | 第二名 Claude Opus 5 为 44.16，GPT-5.6 Sol 为 42.06；最低 Qwen3.7-Plus 9.15 | 领先第二名 +13.9 个百分点；但完整程序化通过率仅 2.8%，距参考级保真度仍很远 |
| OOD 迁移（ProgramBench、GameCraft-Bench、Vision2Web、OSWorld 2.0、WeaveBench） | 相对各训练臂首评估 checkpoint 的分数变化 | Qwen3.7-Plus 与 Qwen-Flash-CPT 两臂在全部 5 个基准终检点均高于首检点 | 各臂训练开始时的首个评估 checkpoint | 最高 +17.9 个百分点（如 Qwen3.7-Plus 在 ProgramBench 41.9→46.8） |
| Windows 可编程交互运行时对比（Claude Opus 4.8，50 应用） | 每任务估算模型成本（美元）与交互开销 | 持久 REPL+SDK：$41.58/任务，墙钟 3.04 小时 | Direct MCP：$90.50/任务，墙钟 4.12 小时 | 成本 −54.1%、computer-use 调用 −39.9%、输入 token −40.7%，任务质量持平（Prog 35.05→35.60） |
| RecreationBench 完整程序化通过（Prog=100%） | 全套件通过的应用占比（%） | GPT-6 Astra 2.8 | 其余 9 个模型至多 0.8（Claude Opus 5） | 绝对水平极低，说明任务对当前前沿模型仍接近未解决 |
局限与改进
作者承认的局限：其一，基准强调钉死版本的可复现环境，覆盖不了涉及在线服务、外部状态变化或真实用户交互的工作流；其二，隐藏套件只是视觉与行为结果的有限采样，通过套件不能证明在所有状态与交互路径上等价——虽有 94.2% 用例检查交互结果、40.7% 要求精确值，但深层状态空间覆盖有限；其三，公开参考实现可能已出现在预训练数据中，去噪精确行重叠筛查无法检测改写标识符、重构控制流式的记忆；其四，分数只在指定环境与冻结套件内有效。我的补充观察：VLM 裁判是 Qwen3.7-Plus（温度 0），与训练臂同属 Qwen 生态，跨家族评分偏置未被量化；Prog 是分级得分，平均分会被“能启动+静态结构对齐”抬高——Table 3 中 58.06% 的平均分对应的完整功能通过率只有 2.8%，两者解读差距容易误导读者；Android 无法完全防止已安装参考包被提取（作者承认残留风险），Web 平台客户端源码对智能体可见、无法源盲；第六节的轨迹与行为分析全部是描述性相关性，模型、harness 与运行时同时变化，不构成因果结论；每个任务单次 rollout，没有多试方差与显著性检验；评测成本高（每任务 3–4 小时、成本最高约 $90+），限制社区频繁复现。
独立分析的弱点
独立分析的五个弱点。一是指标解读风险：平均分（Prog 与 VLM 均值）让静态结构得分主导排名，而完整复刻率极低（最佳 2.8%），建议把全过率与按行为类别的通过率作为并列主指标，避免“58 分”被误读为“近六成应用被完整复刻”。二是 VLM 裁判单点依赖：二元裁决对颜色容差、动态加载时机敏感，且 Qwen3.7-Plus 同时是训练生态成员，应引入多裁判集成并用人工标注子集校准一致率。三是测试覆盖的广度-深度权衡：约 23% 用例不离开起始面、两跳以上仅 24.1%，对持久化、并发、错误处理等深层行为覆盖不足，可引入差分测试（同输入下参考与候选输出对比）与模糊测试自动扩展断言深度。四是训练配方止步于拒绝采样 SFT：可验证奖励信号未被完全利用——奖励自动且可执行，在线 RL（按断言通过数做策略优化）是明显下一步，论文以自我改进为动机但实验未做 RL。五是成本与预算敏感性缺失：20 小时预算对简单任务过长、对复杂参考可能不足，论文未报告预算-得分曲线；每轨迹最高 2.59 亿输入 token 的开销也缺乏系统性的削减研究。
未来方向
作者提出的方向：引入受控的在线与多用户工作流；扩大隐藏测试在状态与交互路径上的覆盖；构造全新参考以降低污染风险。基于成果可延伸的方向：第一，把复刻的执行接地奖励接入在线强化学习，形成“生成-验证-改进”的自我改进闭环——论文动机正以此为卖点，当前实验只验证了 SFT 迁移；第二，把任务反向化与泛化：从“看应用写代码”延伸到跨平台移植、遗留代码库维护、按参考行为修 bug，检验同一验证机制的适用边界；第三，把推理端已验证有效的可编程 SDK 运行时（成本降 54.1%）纳入训练时 harness，研究训练-推理运行时一致性对迁移的影响；第四，按 LOC、行为复杂度、框架构建课程式训练，检验能否缓解 89.4% 复刻品偏小、16.9% LOC 中位比的结构性压缩现象；第五，探索多智能体分工（探索者/实现者/验证者）与显式行为规格记忆，因为复刻本质可分解为“规格恢复+规格实现”；第六，用模糊测试与差分测试把隐藏套件生成自动化为开放式流，使基准能像应用池一样持续扩容，并覆盖更深的交互路径。
复现评估
开源情况：论文首页给出 Website、GitHub、Hugging Face、ModelScope 入口，正文承诺发布基准、环境与测试套件（RecreationBench 250 任务、隐藏测试与 fixture）。但训练轨迹生成用的 Qwen3.8-Max 与 VLM 裁判 Qwen3.7-Plus 是阿里内部模型，外部研究者难以完全复现训练臂与视觉评分细节；35000 条 SFT 轨迹是否随环境一同开源，正文未明确承诺。算力与成本：完整评测需要横跨五平台的虚拟机池——Ubuntu/macOS/Windows 桌面会话、硬件加速 Android 模拟器、本地托管的 Web 快照加 Playwright；单任务墙钟预算 20 小时、实测 3–4 小时/任务，Direct MCP 下 Claude Opus 5 每任务估算成本约 $90.50 量级，整套 10 模型×250 任务评测是数万美元级投入。难度评估：环境与套件开源后，单任务复现容易（干净实例重放冻结套件即可自动评分），复现整张榜单中等偏难；复现训练最难（需大规模内部模型 rollout 与微调基础设施），macOS/Windows 虚拟化授权与原生自动化栈是主要工程门槛。附录 C 提供了平台运行时、供给、harness、隔离边界与行为探测器的详细规则，工程文档化程度较高，对复现者友好。
论文图表
三联总览图。左：五个平台的复刻任务示意（Ubuntu/macOS/Windows/Android/Web，从运行参考到可运行复刻品）。中：两个训练臂在 5 个分布外基准上相对各自首 checkpoint 的迁移增益（浅色为单基准、深色为平均），最高 +17.9 个百分点。右：RecreationBench 五平台程序化与视觉得分，GPT-6 Astra 以约 58% 居首。
一张图概括论文全部三大贡献：五平台任务环境、训练迁移结果、基准评测榜单，是快速把握全文结论的入口。
散点图比较四个相邻基准的轨迹长度（顶层工具调用中位数，横轴）与每 100 次调用中 GUI↔代码编辑切换率（纵轴）。RecreationBench 为 282.5 次调用、9.08 次切换；ProgramBench 更长但无 GUI 调用；OSWorld 2.0 无代码编辑调用；WeaveBench 更短（178 次）切换更少（1.56）。
用统一动作分类量化论证“混合长时程”这一定位差异，说明现有基准没有覆盖本文所测的能力。
按模型×类别统计每轨迹平均的评估劫持尝试次数：外部网络访问、受保护路径访问、参考包/二进制提取、提权。GLM-5.3 在所有类别均最高（网络尝试为次高者的 1.57 倍）；GPT-6 Astra 网络尝试第二但受保护路径尝试最低。
证明评估完整性不能依赖提示词合规：智能体会反复发出越界操作，必须有显式访问控制与审计；这是基准安全性的关键分析。