ShowUI-Aloha：人类教导的桌面 GUI 自动化智能体 ShowUI-Aloha: Human-Taught GUI Agent
将人类桌面录屏转化为结构化动作轨迹，实现 60.1% 的 OSWorld 任务成功率
前置知识
GUI 自动化智能体
GUI 自动化智能体是指能够模拟人类在图形用户界面上操作（如点击、拖拽、输入文字、滚动等）的 AI 系统。这类系统通常接收自然语言任务描述，通过视觉感知理解当前屏幕状态，规划执行步骤，并调用底层操作系统接口完成任务。传统方法依赖规则或脚本，而现代方法利用大语言模型（LLM）或视觉语言模型（VLM）实现更灵活的任务理解与执行。GUI 自动化是提升数字生产力、实现软件机器人（RPA）和通用 AI 助手的关键技术方向。
本文提出的 ShowUI-Aloha 是一种新型 GUI 自动化框架，理解 GUI 智能体的基本概念有助于把握本文的创新定位
视觉语言模型（VLM）
视觉语言模型是一类能够同时理解图像和文本的多模态深度学习模型。典型的 VLM 如 GPT-4o、Claude 3.5 Sonnet 等，可以接收屏幕截图和文本提示作为输入，输出对界面元素的识别、任务理解或操作建议。VLM 在 GUI 智能体中扮演核心角色：它负责从屏幕截图中识别按钮、菜单、输入框等 UI 元素，理解当前界面状态，并生成下一步操作的自然语言描述。ShowUI-Aloha 使用 VLM 作为感知和推理的骨干网络。
论文中 Learner 和 Planner 均依赖 VLM 进行语义理解和轨迹生成，是理解方法的核心前置知识
OSWorld 基准测试
OSWorld 是一个用于评估桌面 GUI 智能体的大规模基准测试，包含 361 个真实桌面任务，涵盖浏览器（Chrome）、办公软件（LibreOffice Writer/Calc/Impress）、图像编辑（GIMP）、代码编辑（VS Code）、邮件（Thunderbird）、媒体播放（VLC）等 10 个应用类别。每个任务都有明确的目标状态和评估函数。任务类型从简单的文件操作到复杂的跨应用工作流，全面考察智能体的多步规划、元素定位、精确操作等能力。OSWorld 要求智能体在真实操作系统环境中执行任务，而非模拟器，增加了评估的真实性。
本文在 OSWorld 基准上评估，所有实验结果均基于该基准的 361 个任务，是理解实验部分的基础
人类示范学习（Learning from Demonstration）
人类示范学习是一种机器学习范式，通过观察人类执行任务的过程来训练智能体，而非依赖手工设计的规则或大量试错探索。在 GUI 自动化场景中，智能体观察人类在屏幕上的操作录屏（包括鼠标点击位置、键盘输入、滚动等），学习任务的执行流程。这种方法的优势是数据来源丰富（知识工作者每天都在电脑上操作）、包含真实的用户意图和上下文信息。挑战在于原始录屏数据是未标注的、非结构化的，需要将其转化为机器可理解的语义轨迹。
ShowUI-Aloha 的核心创新就是将原始人类录屏转化为结构化教学轨迹，这一概念是理解论文方法论的关键
动作轨迹（Action Trace）
动作轨迹是一系列有序的语义化操作步骤，每个步骤描述了智能体在特定时刻的观察（Observation）、推理（Think）、操作（Action）和预期效果（Expectation）。例如，一条轨迹可能包含：'观察：文件管理器打开，看到桌面文件列表 → 推理：需要找到目标文件 → 操作：双击 pikachu.png → 预期：文件打开或被选中'。结构化的动作轨迹相比原始像素级操作序列，更易于智能体学习和泛化，因为它抽象出了用户意图，而非仅仅是物理动作。
论文的核心产出就是将原始人类录屏转化为结构化动作轨迹，是连接人类示范与智能体执行的桥梁
研究动机
GUI 自动化智能体的发展面临严重的数据瓶颈问题。尽管视觉语言模型和智能体框架取得了显著进展，但这些方法在复杂桌面环境中的表现仍然受限，根本原因在于缺乏可扩展的高质量训练数据。现有公开数据集如 Mind2Web、AndroidEnv 等需要大量人工标注，且主要局限于网站和移动应用——这些平台的元数据相对容易获取。桌面环境则完全不同：它缺乏自动化的数据收集管线，交互涉及密集的键盘和鼠标输入，数据收集难度远高于 Web 和移动端。与此同时，知识工作者每天在电脑上执行大量任务，产生了海量的真实交互数据，但这些数据以非结构化的录屏形式存在，缺乏标注，时间跨度长且没有明确的任务边界，模型难以直接从中学习。
本文的目标是本文的目标是建立一个完整的管线，将非结构化的人类桌面录屏转化为结构化、可执行的任务轨迹，使智能体能够像人类观察者一样从自然的桌面操作中学习。具体而言，ShowUI-Aloha 旨在：（1）提供一个轻量级、跨平台的录屏工具，同时捕获屏幕视频和精确的用户交互事件（鼠标点击、键盘输入、滚动等）；（2）通过语义理解将原始交互数据转化为描述性的自然语言轨迹；（3）设计一个具备时序记忆的规划-执行系统，能够基于人类示范泛化到新的任务和未见过的 UI 状态；（4）在 OSWorld 风格的 361 个真实桌面任务上验证该方法的有效性，目标是达到或超越现有自主智能体的性能水平。
与已有工作不同的是，ShowUI-Aloha 的独特切入角度在于其'录制-解析-学习'（Record-Parse-Learn）范式。与现有方法相比，本文有三个关键差异：第一，现有 GUI 智能体要么依赖零样本推理（如直接用 LLM 生成动作），要么需要大规模人工标注的训练数据，而 ShowUI-Aloha 直接从自然的人类录屏中提取知识，无需人工标注；第二，现有示范学习方法通常直接在原始像素级操作上训练，缺乏对用户意图的语义理解，而本文通过 VLM 将低级操作提升为包含观察-推理-操作-预期的语义化轨迹；第三，本文设计了专门的视觉标记机制（在截图上叠加半透明红色标记表示点击和拖拽），将动作语义直接编码到视觉域，消除了对坐标级监督的需求。这种'人类教导'（Human-Taught）而非'自主探索'的范式，使智能体能够从单次示范中提取可复用的任务知识，并泛化到界面布局变化、对话框意外出现等情况。
核心方法
ShowUI-Aloha 采用'录制-解析-学习-执行'的四阶段管线，将原始人类桌面录屏转化为可执行的 GUI 操作轨迹。整体思路是：首先通过轻量级录屏工具同时捕获屏幕视频和用户的键盘鼠标事件；然后通过多阶段清理管线将高频、冗余、嘈杂的原始事件流压缩为语义化的交互原语（如点击、拖拽、输入）；接着利用视觉语言模型对每个交互原语进行语义理解，生成包含观察、推理、操作和预期的结构化轨迹；最后由具备时序记忆的规划器根据人类示范轨迹制定执行计划，并由执行器在真实操作系统环境中完成任务。这种方法的核心直觉是：自然的用户交互已经包含了丰富的意图信息、时序结构和视觉定位——关键在于如何可靠地捕获和解释它们。
ShowUI-Aloha 的核心创新是将人类示范从低级像素级记录提升为高级语义化教学轨迹，并通过视觉标记机制消除对坐标监督的依赖。与已有方法的本质区别体现在三个层面：首先，在数据层面，现有 GUI 数据集要么是静态截图配文本描述，要么是自动化爬取的结构化 HTML，而本文直接处理原始的、非结构化的人类录屏，这些数据包含真实用户行为的全部复杂性（包括冗余操作、错误修正、多任务穿插等）；其次，在表示层面，本文设计了四字段的结构化轨迹格式（Observation-Think-Action-Expectation），每个步骤都通过 VLM 进行语义理解，而非简单的坐标序列；第三，在执行层面，本文的 Planner 具备时序记忆能力，能够基于历史决策序列进行上下文推理，而非像现有方法那样进行单步决策。此外，本文的视觉标记机制——在截图上叠加半透明红色 'X' 表示点击、红色折线表示拖拽路径——是一种轻量但高效的方法，将动作语义直接编码到视觉域，使得 VLM 无需坐标信息即可理解用户意图。
方法步骤详情
ShowUI-Aloha 的方法包含四个核心组件，每个组件执行特定的转换步骤：（1）Recorder（录制器）：基于 FFmpeg（macOS 上使用 avfoundation）实现全屏 30FPS 录屏，同时通过 KeyCastOW 代码捕获鼠标点击（左键、右键、滚轮）、鼠标移动、拖拽和键盘输入等事件，所有事件附带精确时间戳，最终打包为 170MB 的跨平台应用（支持 macOS 和 Windows）。（2）Learner（学习器）：包含三个子组件——动作清理器将高频事件流压缩为语义原语（合并连续击键为输入段、重建拖拽为连续轨迹、统一单击/双击等）；截图标记器为每个清理后的动作生成两张图片（全屏上下文 1920×1080 和交互点附近裁剪），并在裁剪图上叠加视觉标记（半透明红色 'X' 表示点击、红色折线表示拖拽）；轨迹生成器使用 VLM 基于标记截图和执行历史生成四字段 JSON 记录（Observation、Think、Action、Expectation）。（3）Actor（行为器）：包含 Planner 和控制逻辑——Planner 接收用户目标、当前截图和示范轨迹，通过结构化模板生成下一步计划（包含 Observation、Reasoning、Current Step、Action、Expectation 字段）；控制逻辑整合环境状态（窗口层级、OS 行为、应用特性），选择合适的执行后端，处理歧义情况，验证执行后状态，并在出现偏差时触发重规划。（4）Executor（执行器）：解析 Actor 输出的动作命令，支持 click、input、drag、scroll、key、hotkey、wait 等标准化动作类型，将相对坐标转换为全局屏幕坐标（通过 screeninfo 或 Quartz 处理多显示器），然后调用 Computer Tool 执行实际的鼠标、键盘和窗口操作，所有操作结果返回给上层用于日志记录和重试逻辑。
技术新颖性
ShowUI-Aloha 的技术新颖性体现在以下几个方面：第一，首次提出'人类教导'（Human-Taught）的 GUI 智能体范式，与传统的零样本推理或大规模标注数据训练形成鲜明对比，开辟了从自然人类行为中学习 GUI 操作的新路径；第二，设计了创新的视觉标记机制，通过在截图上叠加轻量级的半透明红色标记（'X' 表示点击、折线表示拖拽），将动作语义直接编码到视觉域，这种设计经过精心校准（大小、透明度、位置），在精确定位和视觉清晰度之间取得平衡，使得 VLM 无需坐标信息即可理解用户意图；第三，提出了四字段的结构化轨迹格式（Observation-Think-Action-Expectation），每个步骤都包含语义清晰的描述和操作确定性，这种表示既保留了用户意图的语义信息，又为下游执行提供了明确的操作指令；第四，设计了具备时序记忆的 Planner，能够基于历史决策序列进行上下文推理，避免了现有方法中的上下文漂移和状态不一致问题；第五，将整个框架——包括录制器、学习器、规划器、行为器和评估工具——完全开源，支持研究者灵活替换 VLM、执行后端或规划器，或复用单个组件如录制器，为 GUI 智能体研究提供了可复现、可扩展的基础设施。
实验结果
ShowUI-Aloha 在 OSWorld 风格的 361 个真实桌面任务上进行了全面评估，取得了 60.1% 的整体成功率，成功完成 217 个任务。这一结果显著超越了所有现有的无指导智能体基线：CoAct-1（56.4%）、Agent S2.5 w/ o3（54.2%）、Jedi-7B w/ o3（50.6%）、GTA-1-7B w/ o3（48.6%）、Claude 4 Sonnet（43.9%）、OpenAI CUA 4o（31.3%）和 UI-TARS-1.5-7B（29.4%）。在各个应用类别中，Chrome 任务表现最佳（91.3%，42/46），其次是 OS 操作（83.3%，20/24）和 Thunderbird（80.0%，12/15）。VS Code（73.9%，17/23）、LibreOffice Writer（69.6%，16/23）、GIMP（65.4%，17/26）和 VLC（64.7%，11/17）表现良好。LibreOffice Calc（57.4%，27/47）和 Impress（42.6%，20/47）难度中等，跨应用协调任务最具挑战性（Multi-apps，37.6%，35/93）。消融实验在 30 个任务的子集上进行，完整模型成功率为 63.3%，去除 TeachTrace 后骤降至 36.7%（下降 26.6 个百分点），去除 PlannerMemory 后降至 50.0%（下降 13.3 个百分点），表明人类示范轨迹和时序记忆都是系统性能的关键贡献因素。错误分析显示，在 144 个失败案例中，元素定位错误占 53.5%，文本/字段编辑错误占 16.0%，动作执行偏差占 14.6%，轨迹停滞或循环占 8.3%，其他失败占 7.6%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OSWorld 361 个桌面任务 | 二值成功率（任务完全完成为 1，否则为 0） | 60.1%（217/361） | CoAct-1: 56.4%, Agent S2.5: 54.2%, Jedi-7B: 50.6% | 相比最强基线 CoAct-1 提升 3.7 个百分点 |
| Chrome 浏览器任务 | 任务成功率 | 91.3%（42/46） | 未报告具体类别基线 | 接近完美的浏览器任务执行能力 |
| OS 操作任务 | 任务成功率 | 83.3%（20/24） | 未报告具体类别基线 | 操作系统级别任务表现优异 |
| 跨应用协调任务 | 任务成功率 | 37.6%（35/93） | 未报告具体类别基线 | 最具挑战性的任务类别，仍有较大提升空间 |
| 消融实验（30 任务子集） | 成功率 / 归一化进度 | 63.3% / 0.89 | 去除 TeachTrace: 36.7%/0.56, 去除 PlannerMemory: 50.0%/0.68 | 完整模型相比去除 TeachTrace 提升 26.6 个百分点 |
局限与改进
尽管 ShowUI-Aloha 取得了强劲的整体表现，但仍存在几个显著的局限性。首先，在元素定位方面，当应用（如 GIMP 和 LibreOffice Impress）的工具栏中存在多个视觉相似的图标时，底层模型偶尔会混淆语义相关的操作，因为模型仅接收有限的文本或结构描述。其次，文本编辑操作对精确的光标拖拽行为高度敏感——由于缺乏对文本边界的语义感知，运动级控制器经常选择过少、过多或完全未选中文本，导致删除或输入操作后出现残留字符、格式错误或不完整的值替换。第三，系统需要每个工作流至少一次人类示范，这限制了其在新任务类型上的即时适用性。第四，跨应用协调任务的成功率仅为 37.6%，表明在需要多个应用程序协同工作的复杂场景中，系统的规划和执行能力仍有较大不足。第五，实验使用 GPT-4o 作为 VLM 和 OpenAI Computer Use API 作为执行后端，这意味着系统性能可能受到商业 API 能力和成本的限制。作者自己也承认，细粒度的图标消歧、噪声敏感的拖拽文本选择以及对至少一次示范的依赖是主要挑战。
独立分析的弱点
ShowUI-Aloha 存在几个值得深入分析的弱点：（1）示范依赖性：系统需要每个工作流至少一次人类示范，这在实际部署中可能成为瓶颈——如果用户需要为每个新任务类型都提供示范，那么系统的易用性和扩展性将受到限制。改进方向包括开发少样本或零样本泛化能力，例如通过任务描述的语义相似性匹配已有的示范轨迹，或通过大规模预训练学习通用的 GUI 操作模式。（2）文本编辑脆弱性：错误分析显示 16% 的失败源于文本编辑错误，这是因为系统缺乏对文本边界的语义感知，依赖像素级的拖拽操作。改进方向包括集成 OCR 或文本结构分析模块，使系统能够理解文本的逻辑结构而非仅依赖视觉坐标。（3）相似图标混淆：53.5% 的失败源于元素定位错误，特别是在工具栏密集的应用中。改进方向包括引入更丰富的 UI 元素元数据（如工具提示文本、可访问性标签）和更强的视觉-文本对齐模型。（4）跨应用任务薄弱：Multi-apps 类别仅 37.6% 的成功率，表明系统在需要多个应用协同工作的场景中规划能力不足。改进方向包括设计专门的跨应用状态跟踪机制和更强大的长程规划算法。（5）商业 API 依赖：使用 GPT-4o 和 OpenAI Computer Use API 带来了成本和供应商锁定风险。改进方向包括支持开源 VLM 和本地执行后端。
未来方向
论文作者提出了几个有前景的未来研究方向：（1）扩展任务组覆盖：通过收集更多类型的工作流示范，扩大系统能够处理的任务范围，特别是针对跨应用协调等薄弱环节。（2）改进图标级和文本结构理解：开发更强的视觉-文本对齐模型，增强对密集工具栏中相似图标的区分能力，以及对文本边界的语义感知。（3）向少样本或无示范泛化：探索如何从单次示范泛化到整个任务族，或在没有示范的情况下通过任务描述直接生成执行计划。（4）将结构化轨迹转化为紧凑的视觉-语言-动作模型：通过微调或蒸馏，将 ShowUI-Aloha 生成的结构化轨迹转化为端到端的 VLA 模型，减少运行时对示范的依赖。（5）基于本文成果可延伸的方向包括：将录制器工具独立用于其他 GUI 研究任务的数据收集；将 Learner 的轨迹生成能力应用于 GUI 智能体的训练数据增强；将时序记忆规划器应用于其他需要长程规划的智能体任务；以及探索人机协作模式，让用户能够实时纠正智能体的操作并提供增量示范。
复现评估
ShowUI-Aloha 在可复现性方面表现优异。首先，作者将整个框架——包括录制器、学习器、规划器、行为器和评估工具——完全开源，研究者可以灵活替换 VLM、执行后端或规划器，或复用单个组件如录制器。录制器是一个轻量级的 170MB 跨平台应用（支持 macOS 和 Windows），易于部署。评估基于 OSWorld 基准的 361 个任务，任务规范已公开。然而，复现存在一定挑战：（1）实验使用 GPT-4o 作为 VLM 和 OpenAI Computer Use API 作为执行后端，这需要相应的 API 访问权限和费用；（2）评估在真实桌面环境（macOS 和 Windows）中进行，而非模拟器，这意味着环境配置（操作系统版本、应用版本、屏幕分辨率等）可能影响结果的可复现性；（3）每个任务需要新的人类示范，这意味着完整的评估流程需要大量人工参与。尽管如此，开源的代码库和详细的论文描述为研究者提供了良好的复现基础。
论文图表
对比展示 Aloha 范式与传统试错交互方式的区别：传统方法依赖反复试错，而 Aloha 利用单次人类示范提取可复用的任务指导，然后将其一致地应用于新的任务变体和界面布局，实现稳定且可泛化的执行。
这张图清晰地阐释了 Aloha 的核心设计理念——从示范中学习而非通过试错探索，是理解论文方法论哲学的关键。
表格展示 10 个应用类别的详细性能：Chrome（91.3%，42/46）、OS（83.3%，20/24）、Thunderbird（80.0%，12/15）、VS Code（73.9%，17/23）、LibreOffice Writer（69.6%，16/23）、GIMP（65.4%，17/26）、VLC（64.7%，11/17）、LibreOffice Calc（57.4%，27/47）、LibreOffice Impress（42.6%，20/47）、Multi-apps（37.6%，35/93），整体 60.1%（217/361）。
提供了按应用类别的详细性能分解，揭示了系统在不同任务类型上的强弱分布，是理解系统能力边界的关键数据。
对比表格展示 ShowUI-Aloha（60.1%）与七个基线的性能：UI-TARS-1.5-7B（29.4%）、OpenAI CUA 4o（31.3%）、Claude 4 Sonnet（43.9%）、GTA-1-7B w/ o3（48.6%）、Jedi-7B w/ o3（50.6%）、Agent S2.5 w/ o3（54.2%）、CoAct-1（56.4%）。注释说明 OSWorld 基线报告分级基准分数，而 Aloha 使用二值端到端成功率，使其性能在严格意义上更难达到。
这是论文最核心的结果对比表，证明了人类教导模式相比自主和智能体方法的显著优势，是支撑论文贡献的关键证据。
消融实验表格，在 30 个 OSWorld 任务子集上的结果：完整模型（63.3% 成功率，0.89 归一化进度）、去除 TeachTrace（36.7%，0.56）、去除 PlannerMemory（50.0%，0.68）。两个组件对稳定的长程执行都至关重要。
通过消融实验量化了人类示范轨迹和时序记忆两个核心组件的贡献，证明了两者都是系统性能的关键因素，移除任一组件都会导致显著性能下降。