CUA-Suite：面向桌面计算机使用代理的大规模人工标注视频示范数据集 CUA-Suite: Massive Human-annotated Video Demonstrations for Computer-Use Agents
构建55小时/6M帧的桌面操作视频数据生态，暴露现有代理在专业软件上约60%任务失败率
前置知识
Computer-Use Agent (CUA)
计算机使用代理是一类能够理解屏幕截图、规划操作步骤、并在桌面或Web应用中执行点击/拖拽/输入等动作的智能体。CUA的核心流程可以概括为感知-规划-执行三阶段：首先通过视觉编码器解析屏幕截图获取界面语义信息，然后由推理模块根据任务目标制定行动计划，最后通过动作预测模块将计划转化为可执行的鼠标键盘操作。现代CUA通常基于视觉-语言-动作模型(VLAM)，利用大规模预训练获得通用的GUI理解能力。CUA的关键挑战在于将高层任务语义与底层像素级坐标精确对齐。
本文的核心目标就是为CUA提供高质量训练数据和评估基准，理解CUA的基本架构和挑战是理解本文动机的前提
Visual Grounding (视觉定位)
视觉定位是指在给定文本查询（如"点击保存按钮"）的条件下，精确定位屏幕截图中对应UI元素的能力。这一能力是CUA的基石——即使代理完美理解了应该做什么动作，如果无法准确将语义意图映射到正确的屏幕坐标，动作就会失败。视觉定位的难点在于：桌面应用的界面元素密集且视觉相似度高，需要模型具备细粒度的空间推理能力，而非仅仅依赖外观特征。
论文的UI-VISION基准专门测试视觉定位能力，实验结果表明空间定位是当前模型最大的瓶颈，直接定义了本文的研究重点
Kinematic Cursor Trace (运动学光标轨迹)
运动学光标轨迹记录了鼠标光标在执行操作过程中的完整运动路径，包括中间位置、速度变化和加减速模式。与传统数据集仅记录最终点击坐标不同，连续轨迹保留了人类操作的运动学先验信息——例如根据Fitts定律，人类在接近目标时会自然减速以提高精度。这种细粒度的运动信号对于训练连续空间控制策略和模仿学习至关重要。
CUA-Suite的一个核心创新就是提供了连续30fps视频和运动学光标轨迹，这是区别于现有稀疏截图数据集的关键特征
Multi-layered Reasoning Annotations (多层推理标注)
多层推理标注是指对每个操作步骤生成四个互补层次的文本描述：(1) 观察层——描述当前屏幕状态和UI元素的空间排列；(2) 思维链——解释从高层任务目标到具体动作选择的推理过程；(3) 动作描述——用自然语言说明预期动作并锚定到视觉元素；(4) 反思——分析动作结果并提供自我纠正信号。这种结构化标注将原始操作日志转化为现代视觉语言代理所需的形式化推理数据，平均每步497个词。
多层推理标注是VIDEOCUA数据质量的核心保证，它将简单的操作记录转化为可训练推理能力的密集监督信号
Foundation Action Model (基础动作模型)
基础动作模型是指在大规模GUI数据上预训练的通用动作预测模型，能够在给定屏幕截图和任务指令的条件下预测下一步操作。这类模型通常采用视觉-语言架构，将屏幕截图编码为视觉token，与任务文本token一起输入Transformer，最终输出动作类型和参数（如点击坐标）。代表性模型包括UI-TARS、OpenCUA等，模型规模从7B到72B不等。基础动作模型的目标是成为通用的GUI操作骨干，可以在各种下游任务和应用中直接使用或微调。
论文对OpenCUA-7B和OpenCUA-32B进行了动作预测评估，揭示了现有基础模型在专业桌面应用上的严重不足，直接论证了CUA-Suite数据集的必要性
研究动机
当前计算机使用代理的发展面临一个根本性瓶颈：高质量人类示范视频数据的严重匮乏。现有最大的开源数据集ScaleCUA仅包含约200万张截图，折算为30fps视频仅约18.5小时。更关键的问题在于数据质量：大多数现有数据集采用稀疏截图格式，只记录最终的点击坐标，完全丢失了操作之间的中间视觉反馈和时间动态信息。这种稀疏数据无法支持连续空间控制策略的学习，也无法构建视觉世界模型。在数据覆盖范围上，现有桌面数据集规模极小——OSWorld仅有369个任务用于评估而非训练，VideoGUI仅有178个任务约7小时视频。自动合成数据集虽然可以扩大规模，但往往引入噪声和标注错位问题。而人工标注数据集如OpenCUA虽然质量较高，仍依赖动作离散化，导致截图之间存在信息间隙。论文的评估结果令人警醒：在256个采样任务上，OpenCUA-32B模型仅达到37.7%的@50px成功率，人类评估的步骤级准确率也只有57.6%，而在专业创意工具（如Darktable仅3.6%、Krita仅12.9%）上的表现尤为糟糕，约60%的任务以失败告终。
本文的目标是本文的目标是构建一个大规模、高质量的桌面计算机使用代理训练和评估生态系统，核心需求包括三个层面：首先，提供充足的连续视频示范数据，规模要显著超越现有数据集，覆盖尽可能多的专业桌面应用场景，为训练通用代理提供充足的监督信号；其次，提供像素级精确的UI元素定位数据，直接解决视觉定位这一核心瓶颈问题；最后，建立严格的评估基准，能够诊断代理在视觉感知、界面理解和操作规划等不同维度的能力缺陷。具体量化目标包括：视频时长至少达到55小时，覆盖87个专业应用，每个操作步骤配备密集的多层推理标注。
与已有工作不同的是，本文的独特切入角度在于坚持'连续视频优于稀疏截图'这一核心信念。论文引用了并发工作Standard Intelligence的独立研究结论，明确指出基于截图的代理从根本上无法处理高帧率视频、执行长时程任务或扩展为有能力的代理。CUA-Suite的差异化在于：它不是简单地扩大截图数量，而是提供连续30fps的完整视频流，保留了人类操作的全部时间动态——包括中间光标移动、视觉反馈和过渡状态。同时，所有数据都经过人工专家验证和密集标注，而非自动生成，确保了数据质量。论文还强调了一个被忽视的关键点：专业桌面应用（如3D建模软件、GIS、音频编辑等）与Web界面有本质区别，它们的UI布局更复杂、交互模式更多样，但现有数据集严重缺乏对这些应用的覆盖。
核心方法
CUA-Suite的设计思路可以用'全栈数据生态'来类比——不是简单地提供一个数据集，而是构建一个覆盖训练、评估和数据基础的完整闭环。整体技术路线分为三个层次：底层是VIDEOCUA，作为核心数据源提供约55小时的连续30fps专家视频示范，这是'原材料'层；中层是GROUNDCUA，从VIDEOCUA中提取关键帧并标注56K截图上的360万个UI元素标注，这是'精加工'层，直接解决视觉定位瓶颈；顶层是UI-VISION，包含450个高质量任务评估基准，覆盖元素定位、布局定位和动作预测三个维度，这是'质检'层。三个组件共享同一数据基础——87个开源桌面应用上的专家操作录制，通过统一的数据流水线从录制、关键帧提取、边界框标注到多层推理合成，形成互补且无缝衔接的资源体系。
CUA-Suite与已有方法最本质的区别在于它提供的是一种'信息超集'——连续视频流+运动学轨迹+密集标注的组合，可以无损转换为任何现有代理框架所需的格式，但反过来不行。传统稀疏截图数据集丢失了时间连续性信息，无法恢复中间状态和运动学先验；而CUA-Suite的30fps视频流包含完整的因果对 $(s_t, a_t, s_{t+1})$，可以降采样为截图-动作对，但截图-动作对无法升采样为连续视频。另一个核心创新是多层推理标注管线：对每个关键帧，使用Claude-Sonnet-4.5生成四层互补标注（观察、思维、动作描述、反思），平均每步497个词，将原始操作日志转化为结构化的推理训练数据。这种设计使得同一数据源可以同时支持动作预测、推理生成、视觉世界模型和奖励建模等多种训练范式。
方法步骤详情
数据构建流程分为五个主要步骤。第一步是应用选择，从12个类别中选取87个开源桌面应用（涵盖开发工具如VS Code、创意软件如Blender/Inkscape/Krita、办公套件如LibreOffice、科学计算如RStudio/FreeCAD等），选择标准包括许可证兼容性、与闭源软件的功能相似性以及领域多样性。第二步是专家任务设计，由约70名标注人员（来自印度和拉美地区，具备计算机科学背景）设计真实工作场景中的操作任务，覆盖从简单操作（重命名文件夹）到复杂工作流（编辑电子表格、应用视频字幕），总计超过10,000个任务。第三步是高保真录制，标注人员执行任务时系统以30fps连续捕获屏幕视频，同时以毫秒精度记录鼠标点击、拖拽、滚动和键盘输入，产出约55小时和600万帧的未剪辑专家示范视频。第四步是密集UI标注，从连续视频流中提取关键帧（在改变状态的用户操作之前的瞬间），对每个关键帧中的所有可见UI元素进行人工边界框标注，提供文本标签和PaddleOCR提取的原始文本，并对约50%的元素进行八大功能类别的分类标注。第五步是多层推理合成，采用OpenCUA的管线，对每个关键帧使用Claude-Sonnet-4.5生成四层标注：观察（屏幕状态描述）、思维（推理链）、动作描述（自然语言动作意图）和反思（结果分析和自我纠正），形成格式 $ au_t = (s_t, o_t, r_t, d_t, a_t, s_{t+1}, ref_t)$ 的完整轨迹。
技术新颖性
CUA-Suite的技术新颖性体现在三个层面。首先在数据范式上，它是第一个同时满足以下条件的大规模桌面GUI数据集：连续30fps视频、桌面应用聚焦、人工策划轨迹、丰富的多层推理标注——如论文的对比表所示，没有任何现有数据集同时具备这四个特征。Mind2Web、AgentTrek等Web数据集缺乏视频；VideoGUI虽然有视频但仅178个任务且标注稀疏；OpenCUA虽然有推理标注但仍是截图格式。其次在评估维度上，UI-VISION的三维度评估框架（元素定位、布局定位、动作预测）首次提供了对CUA能力的全面诊断，揭示了空间推理这一被忽视的关键瓶颈——模型在基本和功能类别上接近60%准确率，但空间类别仍然极其困难。最后在应用场景上，论文明确指出4个基于连续视频的新研究方向：通用屏幕解析、连续空间控制、视觉世界模型和基于视频的奖励建模，这些都是稀疏截图数据无法支撑的研究范式。
实验结果
论文的核心发现来自三个维度的评估实验。在元素定位评估（UI-VISION基准）上，Table 1展示了15个模型在Basic、Functional和Spatial三个子任务上的表现。关键发现是：自UI-VISION发布以来的一年内，整体性能几乎翻倍，MAI-UI-32B以47.7%的平均准确率创下新高，显著超越了之前的SOTA UI-TARS-72B（25.5%）。然而，空间推理仍然是所有模型的顽固难题——即使最好的模型在Spatial类别上也仅达到26.9%，而Basic和Functional类别已接近60%。模型规模扩展带来一致且可预测的收益：OpenCUA系列从7B到72B参数，准确率提升了7.6个百分点。特别值得注意的是，将PhiGround-7B与o3规划器配对可使平均性能提升9.0个百分点（从27.2%到36.2%），表明推理指令可以显著缓解执行错误。在动作预测评估上，Table 3显示OpenCUA-32B在256个采样任务（1999个预测）上的表现：平均像素距离274.2px，中位数97.0px，@20px成功率22.0%，@50px成功率37.7%。从7B扩展到32B带来+21.2个百分点的@50px提升。不同应用间性能差异巨大，从3.6%（Darktable）到73.3%（OnlyOffice Spreadsheet），专业创意工具和画布类应用最具挑战性，而类Web界面的应用表现更好。人类评估进一步揭示了关键不对称性：OpenCUA-32B的动作正确率达到85.9%（495/576），但定位准确率仅52.4%（195/372），综合步骤级准确率57.6%。这表明模型经常能识别正确的动作类型和意图，但在精确定位目标UI元素时失败——这正是GROUNDCUA数据集要解决的核心问题。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| UI-VISION 元素定位（Basic） | Accuracy | MAI-UI-32B: 59.1% | UI-TARS-72B: 31.4% | +27.7pp |
| UI-VISION 元素定位（Functional） | Accuracy | MAI-UI-32B: 57.1% | UI-TARS-72B: 30.5% | +26.6pp |
| UI-VISION 元素定位（Spatial） | Accuracy | MAI-UI-32B: 26.9% | UI-TARS-72B: 14.7% | +12.2pp |
| UI-VISION 元素定位（Avg） | Accuracy | MAI-UI-32B: 47.7% | UI-TARS-72B: 25.5% | +22.2pp |
| VIDEOCUA 动作预测（@50px） | Success Rate | OpenCUA-32B: 37.7% | OpenCUA-7B: 16.5% | +21.2pp |
| VIDEOCUA 人类评估（步骤级） | Step Accuracy | OpenCUA-32B: 57.6% | N/A | 首次评估 |
局限与改进
论文在多个维度存在局限性。首先是评估范围的局限：动作预测评估仅覆盖256个采样任务（虽然跨越87个应用），自动评估仅限于基于坐标的动作（点击、双击、右键点击、拖拽），无法评估键盘快捷键、文本输入等非坐标动作的正确性——这些动作的正确性取决于应用状态而非空间邻近度。论文通过补充人类评估部分缓解了这一问题，但人类评估仅覆盖49个任务576步。其次是数据规模的相对性：虽然55小时视频相比现有数据集是巨大的（2.5倍于ScaleCUA），但相比训练一个真正通用的桌面代理所需的规模，仍然有限。论文的评估也暴露了一个令人担忧的现象：即使是最好的模型在专业桌面应用上的表现仍然很差（约60%任务失败率），且不同应用间的表现差异巨大，说明现有模型对未见过的界面布局泛化能力不足。另外，多层推理标注是使用Claude-Sonnet-4.5自动生成的而非纯人工标注，可能存在幻觉或不准确的情况，虽然经过了专家验证但论文未详细报告标注质量的定量指标。从我的观察来看，论文对GROUNDCUA的评估依赖了GroundNEXT模型的两阶段训练（SFT+RL），这引入了额外的训练复杂性，无法单独评估数据质量的贡献。
独立分析的弱点
CUA-Suite存在几个值得深入分析的弱点。第一，数据集仅覆盖开源应用，尽管论文声称开源软件与闭源软件共享界面元素（如LibreOffice vs Microsoft Office），但实际商业软件中存在大量专有交互模式和定制UI组件，这种泛化假设需要更严格的验证——建议未来工作在闭源应用上进行跨域迁移实验。第二，多层推理标注完全依赖Claude-Sonnet-4.5生成，虽然节省了人工成本，但引入了对特定商业模型的依赖，且标注质量受限于该模型的GUI理解能力——建议结合人工标注和LLM标注的混合策略，并提供标注置信度指标。第三，动作预测评估中排除了moveTo步骤（视为预处理动作），但实际部署中光标移动本身就是重要的交互行为，特别是在需要悬停触发提示或精确定位的场景中——建议保留moveTo并评估连续轨迹预测能力。第四，论文声称VIDEOCUA与OpenCUA和ScaleCUA格式兼容，但未提供实际的跨数据集联合训练实验来验证这种兼容性的实际收益——建议补充数据融合实验。第五，评估中的坐标预测使用像素距离作为主要指标，但不同分辨率和缩放比例下同一像素距离的语义含义不同，建议采用相对于屏幕尺寸的归一化距离或相对于目标元素尺寸的相对距离。
未来方向
论文明确提出了四个基于CUA-Suite的未来研究方向，每个都有广阔的探索空间。通用屏幕解析方向可以利用GROUNDCUA的密集标注训练更强大的屏幕解析器，特别是处理画布自绘控件和非标准UI组件。连续空间控制方向可以利用VIDEOCUA的运动学轨迹训练模仿学习或离线RL策略，实现类似GUI-Cursor的反馈驱动导航，超越当前离散坐标预测范式的精度极限。视觉世界模型方向可以利用连续视频中的 $(s_t, a_t, s_{t+1})$ 三元组训练动作条件视频生成模型，实现桌面工作流的视觉前瞻规划。基于视频的奖励模型方向可以利用专家视频作为正例训练任务完成度评估模型，支持CUA的强化学习训练。基于论文成果还可以延伸出更多研究方向：多模态代理的课程学习（从简单应用逐步到专业应用）、跨平台GUI知识迁移（从开源软件到闭源软件）、以及利用连续视频进行异常检测和错误恢复策略学习。
复现评估
论文在可复现性方面做出了重要承诺：所有数据、基准和模型都将开源。具体而言，VIDEOCUA提供了完整的30fps视频和对应的pyautogui动作代码，GROUNDCUA提供了56K标注截图和360万元素标注，UI-VISION提供了450个评估任务。视频格式使用标准的连续录制而非私有格式，动作标注使用pyautogui代码而非自定义DSL，降低了集成门槛。数据集选择的87个应用均为开源软件且采用宽松许可证，确保数据可以自由发布和使用。复现的主要挑战在于：多层推理标注需要调用Claude-Sonnet-4.5，虽然论文提供了完整的标注格式和管线代码，但需要API访问权限；评估实验需要部署OpenCUA模型并在87个应用上运行推理，计算资源需求不低（32B模型推理需要较好的GPU）；人类评估部分需要专业标注团队，个人研究者难以独立复现。总体而言，论文的开源承诺和详细的方法描述使得核心结果的复现具有较高可行性。
论文图表
