CUA-Skill：为计算机使用智能体开发技能库 CUA-Skill: Develop Skills for Computer Using Agent
提出结构化技能库+检索增强智能体，在Windows桌面任务上达到57.5%成功率
前置知识
Computer-Using Agent (CUA)
计算机使用智能体是一类能够自主操控图形用户界面（GUI）来完成现实任务的AI系统。它通过截取屏幕截图、识别界面元素、模拟鼠标点击和键盘输入等方式与操作系统和应用程序交互。与传统的API调用式Agent不同，CUA需要处理像素级别的视觉理解和空间定位，任务可能涉及数十步连续操作，每一步都依赖对当前屏幕状态的感知。
CUA是本文的核心研究对象，理解CUA的基本范式（视觉感知→规划→动作执行）是理解本文提出的技能抽象层如何改进这一范式的基础。
GUI Grounding（GUI定位）
GUI定位是指将自然语言描述的操作意图映射到屏幕上的具体像素坐标的过程。例如，将「点击保存按钮」映射到屏幕上某个按钮的(x, y)坐标。这通常由专门的视觉-语言模型完成，模型接收屏幕截图和操作描述，输出交互坐标。GUI定位的准确性直接决定了Agent的操作成功率，微小的定位错误会在多步任务中级联放大。
本文的技能执行图中，部分节点需要调用GUI grounding模型预测坐标。理解grounding机制有助于理解技能执行图如何将高层意图分解为低层GUI操作。
Retrieval-Augmented Generation (RAG)
检索增强生成是一种在推理时动态检索相关信息来辅助模型决策的技术范式。核心思想是不让模型在上下文中一次性处理所有信息，而是先通过检索（如语义搜索、关键词匹配）从大型知识库中找到最相关的候选内容，再将这些精选内容送入模型进行推理。这大幅降低了上下文长度需求，同时提高了信息的精准度和可扩展性。
CUA-Skill Agent采用检索增强的技能选择机制，从478个技能中动态检索最相关的候选，而非将全部技能暴露给LLM。理解RAG范式是理解本文Agent架构的关键。
Model Context Protocol (MCP)
MCP是Anthropic提出的标准化协议，定义了AI Agent如何通过统一的客户端-服务器接口访问外部工具、数据源和软件系统。MCP将工具能力封装为标准化的接口描述，Agent可以根据接口描述自动发现和调用工具。这种标准化降低了工具集成的工程成本，但主要适用于暴露了明确API的系统（如Linux命令行、REST API）。
论文明确将CUA-Skill与MCP进行对比，指出MCP在Windows桌面环境中的局限性——许多应用没有暴露一致的程序化API。理解MCP的设计哲学有助于理解CUA-Skill为什么要引入新的技能抽象层。
研究动机
现有计算机使用智能体（CUA）在处理长时域桌面任务时面临严重瓶颈。具体而言，一个典型的桌面任务（如在Excel中打开文件、重命名工作表、填充公式、自动下拉）可能涉及数十步相互依赖的操作，横跨动态变化的UI状态。现有系统将桌面交互建模为扁平的低级动作序列（鼠标点击、键盘输入），迫使Agent从零开始反复发现常见工作流。这种做法导致三个核心问题：第一，小的定位或规划错误会快速级联，导致任务失败——在WindowsAgentArena基准上，之前的SOTA系统（如UFO-2使用GPT-o1）成功率仅30.5%，人类则达到74.5%；第二，缺乏可复用的知识抽象，Agent无法将已学到的操作模式迁移到新任务；第三，大多数方法需要将所有可用工具一次性暴露给模型上下文，随着工具数量增长，这种方法难以扩展。
本文的目标是本文的核心目标是构建一个可扩展、可迁移的桌面环境技能库，将人类使用计算机的程序性知识编码为可复用的结构化技能，并在此基础上开发一个端到端的计算机使用智能体。具体而言，作者希望：(1) 构建涵盖主流Windows应用的原子技能库（最终实现478个原子技能，覆盖17个应用）；(2) 通过参数化和组合图将这些技能实例化为数百万可执行的任务变体；(3) 在WindowsAgentArena基准上显著超越现有系统，逼近人类水平。
与已有工作不同的是，本文的独特切入角度在于：现有工作主要关注Agent「知道什么」（任务状态、观测历史、知识图谱），但忽略了编码「人类如何操作计算机」这一程序性知识层。具体来说，记忆模块和知识图谱方法聚焦于建模Agent的认知状态，MCP等工具接口聚焦于标准化工具访问，但都没有提供一个显式的、可复用的操作抽象层来捕获人类的桌面交互模式。CUA-Skill恰恰填补了这一空白——它不建模Agent的知识，而是编码人类的操作技能；不要求深度软件集成或API暴露，而是通过GUI交互原生和可选脚本的统一表示来实现跨应用迁移。
核心方法
CUA-Skill的核心思路可以用一个类比来理解：如果把桌面操作比作写文章，现有方法是让Agent逐字逐句地写（低级动作序列），而CUA-Skill是给Agent一本「常用句式手册」（技能库），Agent只需要选择合适的句式并填入具体内容（参数实例化），然后将多个句式组织成文章（技能组合）。技术路线上，CUA-Skill首先定义了技能的形式化表示 $S := \{\tau, I, A, G_e\}$，每个技能包含目标应用 $\tau$、用户意图 $I$、参数池 $A$ 和参数化执行图 $G_e$。然后构建技能组合图 $G_c$ 来编码技能之间的组合关系。在此基础上，CUA-Skill Agent采用检索增强的规划架构：在每一步，LLM规划器根据当前屏幕状态和用户目标生成检索查询，从技能库中检索候选技能，重新排序后选择最优技能，实例化其参数，然后通过执行图完成操作。
本文最核心的创新是引入了「参数化执行图」（Parameterized Execution Graph）这一抽象。与现有方法的本质区别在于：现有方法要么使用固定的工具调用序列（如MCP），要么使用LLM直接生成动作（如ReAct范式）。CUA-Skill的执行图 $G_e = (V, E)$ 是一个有向图，节点表示内部控制状态，边标记有基础GUI动作或可执行脚本动作，并可通过UI谓词进行条件守卫。这种设计带来三个关键优势：第一，执行图编码了多条有效交互路径（而非单一固定序列），通过守卫分支处理UI变体（如不同菜单布局、对话框提示），使技能对UI变化具有鲁棒性；第二，执行图是参数化的——每个参数 $A_i$ 关联一个可行域 $D(A_i)$，技能可以通过不同的参数实例化为不同的任务变体；第三，执行图支持边权重机制来编码执行偏好，使同一技能可以在不同场景下选择不同的执行路径。这种将人类操作知识编码为结构化、参数化、图结构的表示，是与MCP式工具接口和LLM直接规划范式的本质区别。
方法步骤详情
CUA-Skill Agent的完整执行流程包含五个核心步骤，每步都由LLM规划器 $M_p$ 参与决策。第一步，查询生成：LLM根据用户指令 $U$、当前屏幕观测 $o_t$ 和记忆 $M$ 生成 $K$ 个检索查询，使用多种措辞粒度来覆盖不同语义解释。第二步，技能检索：采用混合检索策略（词汇匹配+语义检索），语义索引使用Qwen3-Embedding-0.6B模型，对每个查询检索top-5候选，合并为统一候选集。第三步，技能重排序：重排序器综合考虑当前UI状态、执行历史和候选技能的兼容性，从候选集 $C_t$ 和基础技能集 $S_{basic}$ 中选择最有前景的技能 $S_t$。基础技能集包含鼠标点击、键盘输入等低级动作，作为高级技能不足时的回退机制。第四步，技能配置：规划器 $M_p$ 根据当前状态实例化技能参数，有限域参数通过枚举或UI状态定位生成，开放域参数通过环境感知启发式生成。第五步，技能执行：按照执行图 $G_e$ 深度优先遍历，找到下一个可执行原语，需要GUI交互的步骤调用grounding模型预测坐标，然后更新记忆（包括成功/失败的摘要）。这个过程循环执行直到任务完成。
技术新颖性
CUA-Skill的技术新颖性体现在三个层面。首先，在抽象层面，它引入了技能单元（Skill Cell）这一新的抽象层级，位于高层用户意图和低层GUI原语之间，形式化为 $S := \{\tau, I, A, G_e\}$。这与MCP的工具接口不同——MCP要求每个工具有明确的程序化API实现，而CUA-Skill的技能通过GUI交互原生和可选脚本的统一表示工作，不需要暴露应用API。其次，在执行层面，参数化执行图的概念是全新的——它不是简单的动作序列模板，而是一个带有条件分支、边权重和参数化的有向图，能够编码多条有效执行路径。这使得同一技能可以适应不同的UI状态和上下文。最后，在Agent架构层面，检索增强的技能选择机制避免了将全部技能暴露给模型上下文的做法，通过「生成多个查询→混合检索→重排序→回退机制」的流水线实现可扩展的技能选择。这种设计使技能库可以持续扩展而不需要重新训练模型。
实验结果
论文在三个层面进行了全面评估。首先是技能可执行性评估：作者构建了478个原子技能，覆盖17个常用Windows应用，通过技能组合图合成了约200K可执行任务，随机抽取约1000个进行评估。整体执行成功率为76.4%，每个技能平均需要3.75个GUI原语，最多20个基础动作。不同应用间差异明显：Excel、Bing Search、Settings等UI布局稳定的应用成功率超过82%，而VLC Player（60%）、PowerPoint（70%）等视觉复杂的应用成功率较低。其次是轨迹生成应用：CUA-Skill生成的轨迹成功率比UltraCUA（45%）高1.7倍，比OpenAI Operator高3.6倍，表明CUA-Skill能有效缓解训练数据稀缺问题。最后是端到端评估：在WindowsAgentArena基准上，CUA-Skill Agent使用GPT-5作为规划器，单次成功率达到50.26%，最佳三次达到57.5%，显著超越AgentS3（49.0%/56.6%）、UFO-2（30.5%）和Operator（37.4%）。值得注意的是，Agent仅使用了117个不同技能（总共478个），且每个任务平均仅使用2.22个不同技能，表明性能源于通用技能抽象而非基准特定的工程优化。消融实验进一步证实了技能增强的一致性收益：Qwen3-VL-32B-Instruct提升+5.23%，GPT-4o提升+8.50%，GPT-5提升+15.62%，且推理深度越大收益越明显（GPT-5从minimal到low reasoning从33.31%提升到50.26%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WindowsAgentArena (单次) | Success Rate | 50.26% | AgentS3 (GPT-5): 49.0% | +1.26% |
| WindowsAgentArena (Best-of-3) | Success Rate | 57.5% | AgentS3 (GPT-5) Best-of-3: 56.6% | +0.9% |
| WindowsAgentArena (单次) | Success Rate | 50.26% | UFO-2 (GPT-o1): 30.5% | +19.76% |
| WindowsAgentArena (单次) | Success Rate | 50.26% | Operator: 37.4% | +12.86% |
| 合成任务轨迹生成 | Success Rate | 76.4% | UltraCUA: 45% | 1.7× |
| 合成任务轨迹生成 | Success Rate | 76.4% | Operator: ~21% | 3.6× |
| WAA (GPT-5 + Skills) | Success Rate | 50.26% | GPT-5 No Skill: 34.64% | +15.62% |
局限与改进
论文存在几个值得深入审视的局限性。第一，评估范围局限于Windows操作系统，未验证在macOS或Linux桌面环境中的迁移能力，尽管作者声称框架是通用的。第二，WindowsAgentArena基准仅包含153个任务，覆盖12个应用类别，样本量相对有限，特别是在Excel（24个任务，成功率仅25%）和Word（18个任务，成功率38.89%）等复杂办公应用上表现不佳，这些恰恰是桌面Agent最核心的应用场景。第三，CUA-Skill Agent依赖GPT-5作为规划器，单次成功率50.26%意味着近一半的任务仍然失败，与人类74.5%的水平仍有显著差距。第四，技能库的构建需要大量人工工程——478个原子技能由人工精心设计，每个技能的执行图需要手动编码UI交互路径，这限制了技能库的扩展速度。第五，论文未提供端到端延迟和计算成本的详细分析，仅提到最多30个执行步骤，但实际使用中的响应时间、API调用成本等关键部署指标缺失。
独立分析的弱点
独立分析发现以下关键弱点及改进方向。第一，技能库构建的人工瓶颈：478个原子技能均由人工设计，每个执行图需要手动编码交互路径。改进方向是引入自动化技能发现机制——通过观察人类操作录屏，自动提取技能模式并生成执行图，类似程序归纳（program induction）的方法。第二，回退机制过于简单：当检索到的高级技能不适用时，Agent回退到基础GUI动作（鼠标点击、键盘输入），这相当于放弃了技能抽象的优势。改进方向是设计层次化的技能回退策略，从细粒度技能逐步过渡到更抽象的技能组合。第三，技能检索的语义鸿沟：使用Qwen3-Embedding-0.6B进行语义检索，但用户指令和技能描述之间可能存在语义距离。例如「帮我做个表格」与ExcelCreateTable之间的匹配可能不稳定。改进方向是引入任务级别的检索，而非单步技能检索。第四，记忆模块仅存储技能执行摘要，缺乏对UI状态变化的显式建模。当UI因前序操作发生意外变化时，Agent可能无法有效诊断问题。改进方向是引入UI状态差异检测机制。
未来方向
基于论文成果，可延伸以下研究方向。第一，跨操作系统迁移：当前框架仅在Windows上验证，将CUA-Skill扩展到macOS和Linux需要构建对应的技能库，但执行图的抽象层应能复用。作者在结论中暗示了这一方向。第二，自动化技能学习：从人类操作演示中自动提取技能，构建执行图，这将大幅降低技能库构建成本，是实现大规模技能库的关键。第三，多模态技能：当前技能主要基于GUI交互，未来可整合语音指令、手势操作等多模态交互方式。第四，技能组合的自动化规划：当前技能组合图是预定义的，未来可探索基于强化学习的自动组合策略，让Agent自主发现新的技能组合模式。第五，与代码执行的深度融合：论文提到执行图支持脚本动作，但未深入探索。将代码生成能力与技能框架结合，可能在复杂数据处理任务上带来突破。
复现评估
论文的复现评估如下。开源情况：论文提供了项目页面（https://microsoft.github.io/cua_skill/），但未明确说明代码和技能库是否完全开源。数据方面：技能库包含478个原子技能，覆盖17个应用，作者声称通过技能组合图可生成约200K可执行任务。评估使用WindowsAgentArena基准（153个任务），该基准已有公开实现。算力需求：Agent使用GPT-5作为规划器（API调用），Qwen3-Embedding-0.6B用于语义索引（可在消费级GPU上运行），GUI grounding需要专门的视觉模型。复现难度中等偏高——核心挑战在于构建技能库的执行图，这需要对每个Windows应用的UI交互有深入理解。如果代码和技能库开源，复现Agent部分相对直接；如果仅复现框架思路而不使用原技能库，则需要大量工程投入来构建自己的技能库。总体而言，这是一个工程量大但技术路线清晰的项目。
论文图表