EvoCUA：通过学习可扩展合成经验进化计算机使用代理 EvoCUA: Evolving Computer Use Agents via Learning from Scalable Synthetic Experience
提出自进化循环框架，通过可验证合成引擎和大规模沙盒交互训练计算机使用代理
前置知识
计算机使用代理（Computer Use Agent, CUA）
一类能够通过模拟人类操作（鼠标点击、键盘输入等）来操控桌面应用程序的AI系统。与传统API调用不同，CUA需要直接感知屏幕像素并生成坐标级操作指令，本质上是一个将视觉观察映射到物理动作的端到端模型。CUA可以被视为部分可观测马尔可夫决策过程（POMDP），其中环境状态不可直接观测，只能通过截图间接感知。
这是本文研究的核心对象，理解CUA的POMDP形式化定义对于把握论文的方法论框架至关重要
可验证奖励（Verifiable Reward）
一种基于程序化验证的奖励信号机制，通过执行器代码（validator）自动判断任务是否完成。与依赖语义匹配或人工标注的奖励不同，可验证奖励通过检查最终环境状态来给出二值化的确定性信号。这种机制消除了自然语言奖励的模糊性，为强化学习提供了精确的监督信号。
可验证奖励是本文生成即验证范式的核心，解决了传统合成数据中奖励信号不准确的问题
拒绝采样微调（Rejection Sampling Fine-Tuning, RFT）
一种训练策略，只从成功执行的轨迹中学习。系统生成大量轨迹后，筛选出成功完成任务的样本用于监督微调。通过动态计算预算分配机制，系统能够自适应地将更多算力集中在边界任务上，即代理表现不稳定、成功率在阈值附近波动的任务。配合步级去噪技术，RFT能够有效提升训练信号的信噪比。
RFT是本文进化范式的核心组件之一，负责巩固代理已掌握的能力
直接偏好优化（Direct Preference Optimization, DPO）
一种离线强化学习算法，通过构造偏好对（chosen/rejected）来优化策略。本文提出的步级DPO针对GUI任务的长序列特性进行改进：在关键分歧点处识别错误动作，构造两种范式的偏好对。范式I用于动作纠正，范式II用于错误后的反思与恢复。通过最大化有效策略与无效策略之间的margin来优化策略。
步级DPO是本文处理失败轨迹的关键技术，通过学习不应该做什么来扩展代理的能力边界
Pass@k 评估指标
在给定k次尝试机会下至少有一次成功的概率。与标准LLM任务不同，GUI任务中的Pass@k不仅衡量模型的生成多样性，还反映代理对环境随机性的鲁棒性。由于系统延迟、网络波动等因素，相同的动作序列可能产生不同的状态转换，因此Pass@k在GUI任务中具有双重含义。
理解Pass@k在GUI任务中的特殊含义对于正确解读实验结果至关重要
研究动机
当前计算机使用代理的发展面临静态数据扩展的瓶颈。现有范式主要依赖对固定、非交互式数据集的被动模仿，无法捕捉真实计算机使用中固有的因果反馈动态。具体而言，UI-TARS-2和OpenCUA等前沿工作虽然建立了基础架构，但进一步进展受到三个关键挑战的制约：首先是可验证数据合成问题，单纯合成文本查询常导致幻觉，代理为不可行任务生成看似合理的计划；其次是可扩展交互基础设施问题，高通量经验产生需要统一的大规模环境模拟系统；最后是高效训练配方问题，在大规模交互空间中，无约束探索在计算上是不可行的。OSWorld基准测试上，此前最优的开源模型OpenCUA-72B仅达到45.0%的成功率，与闭源模型如Seed-1.8的61.9%存在显著差距。
本文的目标是本文旨在建立一个自我维持的进化循环，将合成计算转化为高质量的代理能力。具体目标包括：构建一个可验证合成引擎，能够自主生成多样化任务及其可执行验证器；设计一个可扩展的交互基础设施，支持数万个异步沙盒并发运行；以及提出一种迭代进化的学习策略，通过成功与失败轨迹的对比来高效内化经验。最终目标是在OSWorld基准测试上超越现有开源和闭源模型。
与已有工作不同的是，本文的独特切入角度在于将数据生成和策略优化整合为一个统一的自进化循环，而非将它们视为独立的阶段。与传统的收集数据到训练模型的单向流程不同，EvoCUA建立了一个双向反馈机制：合成引擎根据当前策略能力动态调整任务复杂度，策略通过大规模交互经验持续迭代优化。这种从经验中学习的范式受到人类学习方式的启发，巩固掌握的技能，同时专注于能力边界上的任务。更重要的是，本文将强化学习的可验证奖励思想引入合成数据生成，通过生成即验证的方式确保每个合成任务都有确定性的成功判据。
核心方法
EvoCUA的整体方法可以概括为一个三支柱的自进化循环。首先，可验证合成引擎负责生成大量多样化的任务及其对应的执行验证器，确保每个训练样本都有精确的监督信号。其次，可扩展交互基础设施作为一个高性能的健身房，支持数万个异步沙盒并发运行，产生大规模的交互轨迹数据。最后，进化学习范式通过三个渐进阶段将原始轨迹转化为策略参数：监督冷启动建立行为先验，拒绝采样微调巩固成功经验，强化学习纠正失败模式并探索复杂动态。这三者形成闭环：策略的改进驱动合成引擎生成更具挑战性的任务，新任务又产生更丰富的训练信号。
本文的核心创新在于将强化学习中的可验证奖励思想与大规模数据合成相结合，建立了生成即验证（Generation-as-Validation）范式。与传统方法的本质区别体现在三个方面：第一，不同于被动收集静态数据，本文的任务合成引擎能够根据当前策略能力动态调整任务分布，实现课程学习的自动化；第二，不同于依赖语义匹配或人工标注的奖励，本文通过执行器代码提供确定性的二值奖励信号；第三，不同于单向的收集到训练流程，本文建立了双向的自进化循环，策略改进反馈到任务生成，形成持续的能力提升。
方法步骤详情
方法分为三个主要步骤。第一步是可验证合成引擎：通过层次化领域分类法将桌面应用分解为原子能力，使用VLM作为任务架构师进行双流生成，同时生成自然语言指令g和可执行验证器Vg。生成的代码立即在真实沙盒中执行，执行结果反馈给模型进行迭代修正，直到通过质量检查。最后通过一致性过滤和三重去污染机制确保数据质量。第二步是可扩展交互基础设施：基于异步网关和分布式调度器的微服务架构，支持分钟级启动数万个沙盒实例。采用QEMU-KVM虚拟化与Docker容器的混合架构，通过HID补丁确保输入确定性，通过字体注入确保渲染一致性。第三步是进化学习范式：冷启动阶段使用约1k高质量轨迹建立统一动作空间和结构化推理模式；RFT阶段通过动态计算预算分配和步级去噪筛选高质量成功轨迹；RL阶段通过因果偏差发现识别关键分歧点，构造步级偏好对进行DPO优化。
技术新颖性
本文的技术新颖性体现在多个层面。在数据生成层面，生成即验证范式首次将强化学习的可验证奖励思想引入合成数据生成，通过执行器代码而非语义匹配来判断任务成功，消除了自然语言奖励的模糊性。在基础设施层面，异步网关基于reactor模式实现非阻塞I/O，路由吞吐量达到每分钟数十万请求级别；分布式调度器支持突发扩展，一分钟内可启动数万个沙盒实例。在训练算法层面，步级DPO针对GUI任务的长序列特性进行创新：通过参考引导诊断机制识别关键偏差步骤，在该步骤及其后续步骤分别构造动作纠正和反思恢复两种范式的偏好对。此外，动态计算预算分配机制通过层次化预算频谱和递减成功率阈值，自适应地将计算资源集中在边界任务上。
实验结果
EvoCUA在OSWorld基准测试上取得了突破性成果。主要模型EvoCUA-32B（基于Qwen3-VL-32B-Thinking微调）达到56.7%的成功率，成为开源权重模型的新SOTA。这一结果比此前最优的开源模型OpenCUA-72B（45.0%）高出11.7个百分点，比其基础模型高出15.1个百分点。值得注意的是，EvoCUA在50步约束下达到这一性能，而基线模型通常需要100步预算才能达到峰值性能。EvoCUA-32B超越了强闭源基线UI-TARS-2-2509（53.1%）3.6个百分点，在等效步约束下与行业领先的Claude-4.5-Sonnet（58.1%）仅差1.4个百分点。在小模型规模上，EvoCUA-8B达到46.1%的成功率，超越了72B参数的OpenCUA-72B；与同样基于Qwen3-VL-8B的Step-GUI-8B相比，EvoCUA-8B高出5.9个百分点（46.1% vs 40.2%），严格验证了进化学习范式的贡献。消融实验显示每个阶段都带来单调递增的改进：统一动作空间+4.84%，冷启动+2.62%，RFT+3.13%，离线DPO+3.21%，迭代训练+1.90%。在OpenCUA-72B上的可复现性验证表明该范式具有跨模型规模的普适性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OSWorld-Verified | Success Rate (Pass@1) | 56.7% | 45.0% (OpenCUA-72B) | +11.7% |
| OSWorld-Verified (8B) | Success Rate (Pass@1) | 46.1% | 40.2% (Step-GUI-8B) | +5.9% |
| ScreenSpot-v2 | Accuracy | 90.40% | 91.11% (Qwen3-VL-32B-Thinking) | -0.71% |
| OSWorld-G | Accuracy | 63.86% | 64.00% (Qwen3-VL-32B-Thinking) | -0.14% |
| MMMU | Accuracy | 68.11% | 78.10% (Qwen3-VL-32B-Thinking) | -9.99% |
局限与改进
本文存在几个明显的局限性。首先，在通用多模态基准测试上，EvoCUA-32B相比基础模型Qwen3-VL-32B-Thinking出现了性能下降，特别是在ScreenSpot-Pro（49.76% vs 57.10%）和MMMU（68.11% vs 78.10%）上。作者将此归因于数据分布不匹配，由于时间限制，通用数据集直接采用了OpenCUA-72B的非思考型数据，与Qwen3-VL-Thinking的思考型分布存在显著差异。输出长度分析显示EvoCUA的token数大幅减少（2514 vs 3620），输出风格也发生了变化。其次，本文的在线强化学习探索仍处于初步阶段，作者在第7节承认受限于时间限制，尚未进行充分的模型训练和全面的基准评估。STEPO算法虽然解决了训练-推理不一致问题，但面临高训练成本的问题，策略模型的更新次数显著增加。最后，环境随机性是一个被低估的因素：即使是确定性采样（temperature=0），由于系统扰动，成功率仍存在方差，这凸显了纯数据扩展的局限性。
独立分析的弱点
基于对论文的深入分析，我识别出几个关键弱点。第一，通用能力保持问题：EvoCUA-32B在MMMU等通用基准上出现近10%的性能下降，这表明专用化训练可能损害基础模型的通用性。改进方向包括设计更精细的数据混合策略，或在专用训练中加入通用能力的正则化约束。第二，环境随机性的处理不足：论文观察到即使是确定性采样也存在成功率方差，但未提出系统性的解决方案。未来可探索环境增强或鲁棒性训练技术来提高代理对系统扰动的容忍度。第三，步级DPO的计算成本问题：虽然论文提出了STEPO来解决训练-推理不一致，但步级训练导致更新次数成倍增加。可以探索选择性步级训练，只在关键步骤进行更新，或设计更高效的梯度传播机制。第四，评估的局限性：主要在OSWorld单一基准上验证，缺乏对真实世界复杂场景的系统评估。
未来方向
作者在第7节提出了几个重要的未来方向。首先是在线智能体强化学习的系统扩展，通过STEPO算法的改进来平衡训练效果与计算成本。作者假设不同训练阶段对步级训练的要求可能不同，仅训练特定关键步骤可能达到与训练所有步骤相当的效果。其次是探索更有效的RL训练配方，包括高级信用分配机制在复杂多步骤环境中的应用。基于本文的成果，可以延伸的方向包括：将进化范式扩展到更多样化的桌面环境和应用场景；探索多智能体协作的计算机使用场景；开发更精细的课程学习策略，根据代理能力的动态变化自动调整任务难度分布；以及研究如何将本文的生成即验证思想应用到其他需要程序化验证的任务领域。
复现评估
本文在可复现性方面提供了较好的支持。代码已在GitHub开源（https://github.com/meituan/EvoCUA），模型权重在HuggingFace发布（https://huggingface.co/meituan/EvoCUA-32B-20260105）。论文详细描述了训练流程的各个阶段：约1k轨迹的冷启动数据、RFT阶段的20k/226k/1M样本规模、以及DPO的训练配置。基础设施方面，论文提供了沙盒环境的技术细节，包括QEMU-KVM虚拟化、Ubuntu 22.04定制镜像、HID补丁和字体注入等。然而，完整复现仍面临挑战：需要大规模计算资源（论文提到超过100万加速器小时的实验）、完整的沙盒环境基础设施、以及精心设计的合成数据生成流程。此外，论文的一些关键细节（如合成引擎的具体提示模板、验证器代码库的具体实现）未完全公开，可能影响精确复现。
论文图表
