VLAA-GUI：知道何时停止、恢复与搜索，一个面向 GUI 自动化的模块化框架

三件套（完备性验证器+循环打破器+搜索代理）把 OSWorld 推到 77.5%，首次超过人类。

前置知识

GUI Agent 与视觉-动作代理

指基于多模态大模型（MLLM），通过观察屏幕截图并以鼠标/键盘动作（点击、滚动、热键等）操作桌面应用来完成任务的一类代理。它既可以是端到端模型（UI-TARS、AGUVIS），也可以是 MLLM+规划/记忆/工具的模块化框架（OS-Symphony、Agent S 系列）。

全文围绕 GUI 代理的两个失败模式展开。读者若不熟悉 GUI 代理的观察-推理-动作循环以及它与经典 VLA 的差异，就无法理解作者为什么要把搜索、编码、接地等作为'一等公民'动作而非子模块调用。

完备性验证（Self-Verification / Completion Checking）

指在代理结束前，用独立的判断模型或规则来核查任务是否真的完成，避免过早返回 done。与 CoT 自检不同，完备性验证要求基于可观察的 UI 证据（如状态栏文字、文件后缀、Toast）逐条核对成功标准，要求只有全部满足才放行。

本文核心组件之一。本文把 Completion Gate（系统提示级）和外部 Verifier 模型级联合起来，并对'过早宣告完成'这一失败模式做定量诊断（>86% 的失败属于误报 done），所以读者必须先理解 verifier 的接受/拒绝语义以及与 ReAct/Self-Refine 的层级差别。

反循环启发式与重复行为检测

指当代理在同一屏幕/同一动作上反复触发而没有进展时，主动切换交互模态（如从菜单点击改为快捷键）或整体策略。常见启发式包括动作计数器 $n_t^a$（动作级重复计数）和屏幕状态计数器 $n_t^o$（屏态级重复计数），以及外部 judge 给出的 reflection 信号 $w_t$。

这是 Loop Breaker 三级递进架构（Tier 1 切换模态、Tier 2 切换策略、Tier 3 由外部反射模型决定）的基础。理解 $n_t^a$ 与 $n_t^o$ 的递进触发以及为什么需要把硬性指令直接注入下一步，是把握本文方法的关键。

OSWorld 与 WindowsAgentArena 桌面基准

OSWorld 是 Ubuntu 虚拟机上 369 个跨五大应用域的桌面任务（Verified 版 361 任务）；WindowsAgentArena 是 154 个 Windows 跨平台任务。两基准均提供 Docker 镜像，以任务完成成功率作为唯一评测，人类基线约 72.4%。

文中几乎所有表格均围绕这两个基准展开。理解'100/50/15 步预算'以及按域（OS/Office/Workflow 等）的分桶，才能看懂为什么 Opus 4.6 在 15 步就超过所有 50 步方法、以及为什么 Sonnet 4.6 在 15 与 50 步领先却在 100 步被 Opus 反超。

研究动机

近年来 MLLM 驱动的 GUI 代理在 OSWorld、WindowsAgentArena 等基准上取得显著进展，但作者通过系统诊断发现两类基础失败长期未解：第一类是'过早宣告完成'，代理在打开保存对话框后就返回 done、或者只切换设置却未确认状态生效，把'是否完成任务'完全交给 MLLM 的隐式判断，导致最终表现虚高；第二类是'重复循环'，代理在某个错误动作上反复点击而无进展，现有 anti-loop 启发式粒度单一，只在单一交互模态内打转，无法跨模态或跨策略升级失败恢复。具体数据上，作者发现失败任务中超过 86% 属于前者（false completion），弱模型 Gemini 3 Flash 在 15 步预算下更是有 38.7% 的任务在并未真正完成时就误报 done；同时 Loop ratio 在弱模型上达到 12.5%，废步率 4.9%，意味着即便成功 60% 多的部分也被大量冗余动作稀释。这一双重失败的根本原因是：先前的框架（OS-Symphony、Agent S3、CoAct 等）把'何时结束'与'何时恢复'这两个元决策完全交给主代理本身，缺乏证据驱动的外部监督。

本文的目标是本文的具体目标是把 GUI 代理的 STOP、RECOVER、SEARCH 三种元决策从主代理的隐式判断中解放出来，落到三个独立、可审计的机制上：(1) 一个强制执行的 Completeness Verifier，在每一步要求主代理写出 UI-observable 成功标准，再用独立 MLLM judge 拒绝任何缺乏直接视觉证据的完成声明；(2) 一个强制三级的 Loop Breaker，从同一动作重复、同屏态重复到反射模型信号逐步升级恢复策略；(3) 一个按需调用的 Search Agent，直接调用带搜索能力的大模型而不是走浏览器+视觉接地，返回纯文本流程知识注入到主代理上下文。作者期望通过这一强制+按需的混合设计，把 OSWorld 成功率推过人类基线 72.4%，并证明框架在 Windows 平台同样具备可迁移性。

与已有工作不同的是，与已有工作（OS-Symphony 走视觉浏览器搜索、Agent S3 的 best-of-N 轨迹选择、CoAct 的以代码代动作）相比，本文的关键切入角度是把'完成验证'与'循环打破'上升为与 UI 动作并列的一等公民，且必须强制执行：主代理每一步都要先做自我证据检查、再由外部模型复查；任何'切换/保持'都必须由外部反射模型 judge 后才注入指令。作者还刻意去掉了显式的层次化规划器和跨任务记忆模块（OS-Symphony、Agent S 系列都有），意图验证在更加精简的主代理 + 强制监督的组合下，是否就能自然超越现有 SOTA，形成与'加模型规模 vs 加工具调用'截然不同的第三条路。

核心方法

VLAA-GUI 采用'强制 + 按需'的双层架构：主代理是一个标准的 observe–reason–act 循环中的 Manager，与三个必须强制调用的 post-action 工具（实际为两个：Completeness Verifier、Loop Breaker）和三个按需工具（Searcher、Coder、Grounder）协同工作。直觉上是把 GUI 任务的两大痛点——'何时停'与'何时换打法'——从主代理的模糊判断中抽离出来，分别交给两个独立的判断模型，并且每次都根据动作级与屏态级计数器升级，从'换一种动作模态'升级到'整体换策略'，再让外部反射模型最终拍板；遇到陌生操作流程则直接让具备原生搜索能力的大模型返回纯文本教程，避免了 OS-Symphony 等方法中'浏览器搜索+视觉接地'带来的两步开销。技术上，作者去掉了传统的层级化规划器和经验记忆，把整个系统收敛到 (Manager + 2 个强制监督 + 3 个按需工具) 这套最小可工作集合，并保留了 Coding Agent 与 Grounding Agent 用于编程密集与像素坐标定位场景。

本文核心创新不在新模型架构，而在把完成性验证与循环恢复作为强制的、一等公民的监督机制。与已有工作的本质区别有三点：(1) Verifier 不是 LLM '事后问一句'，而是两段式结构——系统提示级的 Completion Gate 先把每个成功准则改写为 UI-observable（按钮状态、文件后缀、Toast），然后由独立 MLLM judge 二次核查且双重一致才允许 done；(2) Loop Breaker 三级递进 —— Tier 1 切交互模态（$n_t^a \geq \tau_a$）、Tier 2 切整体策略（$n_t^o \geq \tau_o$）、Tier 3 由外部反射模型 $w_t = \text{SWITCH}$ 后把'禁用当前动作'硬注入下一步动作空间；(3) Searcher 不走 OS-Symphony 式'浏览器搜索+视觉接地'两步管线，而是把搜索请求直接喂给具备原生 search grounding 的大模型（Gemini 3 Pro），返回文本片段即可被 Manager 直接消费，把工具开销从'多步浏览器 agent'压到'一次 LLM 调用'。

方法步骤详情

每步 $t$，Manager 接收信念状态 $b_t$（任务+轨迹+截图+工具返回），用 Completion Gate 派生 $K$ 个 UI-observable 成功准则逐条核对：全部满足才 done，否则输出 $a_t$。动作后两个强制工具触发：(a) Loop Breaker 同步跟踪 $n_t^a$ 与 $n_t^o$：$n_t^a \geq \tau_a$ 切交互模态（点击→快捷键→命令行），$n_t^o \geq \tau_o$ 切整体策略；外部 Reflection Agent 发 $w_t = \text{SWITCH}$ 时下一步直接黑名单当前动作。(b) Completeness Verifier MLLM judge 给二元 accept/reject，仅当每条准则都有视觉证据且 UI 稳定时接受，拒绝则理由回灌 Manager。按需工具：Searcher 把查询交给 Gemini 3 Pro 原生搜索并返回纯文本注入；Coder 在 20 步独立 Python/Bash 循环中执行；Grounding Agent 将元素描述翻译为像素坐标。

技术新颖性

技术新颖性体现在三个'强制+证据驱动'设计哲学上：第一，二段式 Completeness Verifier 把 '任务是否完成'显式化为 UI-observable 准则列表（按钮状态、文件后缀、Toast 出现），并用独立 MLLM 强一致核对，把 false completion 比例在 15 步 Gemini 3 Flash 上降到 13.7%；第二，Loop Breaker 的三级递进每层都把'硬指令'注入下一步动作空间而非仅作反思，使 Gemini 3 Flash 下废步从 4.9% 近乎减半到 2.8%；第三，Searcher 砍掉浏览器路径，把工具开销压到一次 LLM 调用。工程层面，作者在 5 个不同家族/能力 backbone（Opus 4.5/4.6、Sonnet 4.6、Gemini 3/3.1 Flash/Pro）做系统 ablation，证明该结构对强弱模型均正面贡献，但也暴露了 15 步紧预算下弱模型承担不起工具开销（Loop Breaker -6.15%）的'工具-预算'权衡。

**Fig. 2**: Overview of VLAA-GUI (Manager Agent + 2 mandatory tools + 3 on-demand tools).

**Fig. 5**: Case study: changing slide number color to red in LibreOffice Impress.

实验结果

OSWorld 100 步下 VLAA-GUI w/ Opus 4.6 取 77.45%，首次让 MLLM 系统超过 72.4% 人类基线；Opus 4.5 与 Gemini 3.1 Pro 也跨过人类线（74.89% / 72.47%）。15 步紧预算下 Sonnet 4.6 与 Opus 4.6 分别 64.13% 与 64.75%，超过最强 50 步系统 OS-Symphony (63.61%)。WAA 上 Gemini 3 Flash 100/50 步 61.0% / 60.4%，比 Agent S3 w/ GPT-5 (56.6%)、GTA1 (51.2%) 高 4–9 pp。Ablation：Sonnet 100 步 Verifier +2.86、Search +1.63；Gemini 50 步 Loop +2.78 但 Verifier -2.86。失败诊断：Sonnet false completion FDA -3.9（95.5→91.9%）、Gemini -5.7（91.9→86.2%）；Loop Breaker 让 Gemini 废步由 4.9% 减至 2.8%。

**Table 1**: Verification rules by action type in the Completeness Verifier.

**Table 2**: Success rates (%) on OSWorld-Verified under 15/50/100 step budgets.

**Table 3**: Results on WindowsAgentArena (WAA), 50 vs 100 step configurations.

**Table 4**: Overall success rate under different step budgets on OSWorld (ablation).

**Table 5**: Model assignments for each component across experimental configurations.

**Table 6**: Action space exposed to the Manager Agent in the full-system configuration.

**Table 7**: False completion breakdown across step budgets on OSWorld (w/ vs w/o Verifier).

**Table 8**: Loop Breaker ablation across step budgets on OSWorld (with Δ).

**Fig. 1**: Advantages of VLAA-GUI (a) surpasses human performance on OSWorld, (b) Completeness Verifier reduces false completions, (c) Loop Breaker reduces loops & wasted steps.

**Fig. 3**: The Completeness Verifier reduces false completion rates and the Loop Breaker reduces loop incidence and wasted steps ratio on OSWorld.

查看结构化数据

任务	指标	本文	基线	提升
OSWorld-Verified (100 steps, overall)	平均任务成功率 (%)	VLAA-GUI w/ Opus 4.6 = 77.45%	HIPPO w/ Opus 4.5 = 74.49%, Agent S3 w/ Opus 4.5 = 67.46%, 人类 = 72.4%	+2.96 over best prior + 首次跨过人类
OSWorld-Verified (50 steps, overall)	平均任务成功率 (%)	VLAA-GUI w/ Opus 4.6 = 73.85%, w/ Sonnet 4.6 = 71.11%	OS-Symphony w/ GPT-5 = 63.61%, EvoCUA = 56.73%, CoACT-1 w/ GPT-5 = 56.39%	+7.5–10.2 over best published 50-step baseline
OSWorld-Verified (15 steps, overall)	平均任务成功率 (%)	VLAA-GUI w/ Opus 4.6 = 64.75%, w/ Sonnet 4.6 = 64.13%	OS-Symphony w/ GPT-5 (50 步) = 63.61%	用 1/3 步预算比肩或超过最强 50 步系统
WindowsAgentArena (100 steps, overall)	整体成功率 (%)	VLAA-GUI w/ Gemini 3 Flash = 61.0%	Agent S3 w/ GPT-5 = 56.6%, GTA1-32B w/ o3 = 51.2%	+4.4 over Agent S3, +9.8 over GTA1
WindowsAgentArena (50 steps, overall)	整体成功率 (%)	VLAA-GUI w/ Gemini 3 Flash = 60.4%	Agent S3 w/ GPT-5 (50 步) = 54.1%, UI-TARS-2 = 50.6%	+6.3 over Agent S3
OSWorld-Verified Loop Breaker Ablation (Gemini 3 Flash, 50 steps)	成功率 (%)	VLAA-GUI = 63.14%	− Loop Breaker = 58.90%	+4.24 (三级递进监督对弱模型大幅红利)
OSWorld-Verified Loop Breaker Ablation (Gemini 3 Flash, 15 steps)	成功率 (%)	VLAA-GUI = 43.15%	− Loop Breaker = 49.30%	-6.15（工具开销挤占紧预算下的任务动作）

局限与改进

作者坦承几点局限：第一，框架刻意省略跨任务长期记忆与层次化任务分解，复杂多步任务能力上限受限于主代理上下文长度；第二，工具开销是双刃剑——15 步紧预算下 Gemini 3 Flash 的 Loop Breaker 反成 -6.15% 拖累，暴露'工具监督与动作预算'在弱模型上的张力；第三，Verifier 仍依赖 MLLM judge，且不同 backbone 表现差距大（Sonnet -3.9 / Gemini -5.7 FDA），根因（代理不知'任务已完成'）未被解决，Verifier 只能缓解 false completion 而非根治；第四，本文未与 ReflAct 等反循环基线做统一条件 head-to-head，仅以'机制新颖'姿态展示，缺少竞赛式比较；第五，没有跨任务知识迁移，与 EvoCUA 等合成经验方法形成能力反差；最后，整个 benchmark 主要在 MLLM（Anthropic/Google）上加系统层而没有端到端训练，泛化到未见应用/操作系统的能力存疑。

独立分析的弱点

独立审视仍有几处可改进：第一，三种组件互不共享上下文，可统一为一个信号化的反射模型以提升一致性；第二，Verifier 仍依赖 MLLM judge，可引入轻量规则（OCR + 关键文本规则 + 程序性二次校验）降低对最强 MLLM 的依赖；第三，Loop Breaker 的阈值 $\tau_a,\tau_o$ 为固定值，未根据任务难度或模型自适应调整，紧预算下无差别升级反而浪费动作，可学习化或动态化是方向；第四，Search Agent 仅调单一 Gemini 3 Pro，无失败回退，且 backbone 评测中 Sonnet/Opus 都把 Search 替换成 Gemini，下游差异未充分展现；第五，Coding Agent 20 步独立预算与主代理 100 步全局预算存在嵌套消耗，若无显式记账会高估可用步数；第六，作者承认没有跨任务记忆，意味着在新任务每次都需从零摸索 app 语义，效率受限。

未来方向

作者提出两条主要延伸：(1) 用这些高质量、已验证的执行轨迹做监督数据，训练统一端到端多模态模型，把 agentic 框架的可靠性与端到端模型的低延迟融合——这是把'架构创新'转化为'模型资产'的关键路径；(2) 引入更复杂的记忆与规划机制（树搜索、跨任务知识图谱、human-in-the-loop 中间反馈），补足 long-horizon 与 OOD workflow 的能力天花板。除此之外，基于现有监督信号可继续：(a) 把 Completion Gate 形式化为可微 verifier，与主代理联合训练；(b) 设计 budget-aware 工具调度器，根据剩余步数与任务难度动态决定调用时机；(c) 在接地层引入可访问性树或 UI XML，与纯像素路线并行增强正确率；(d) 把 Loop Breaker 的硬注入升级为 RL 风格的策略正则化项，避免 hard blacklist 破坏正常任务分布。

复现评估

作者公开代码仓库 https://github.com/UCSC-VLAA/VLAA-GUI 与项目主页 https://ucsc-vlaa.github.io/VLAA-GUI。所有 prompts 在 Appendix A.3 全文公开（Reflection / Verifier / Manager），Action Space 见 Table 6（14 个动作含工具调用），模型分配见 Table 5（Manager/Reflection/Verifier/Coder/Searcher/Grounder 六个角色对应的 Claude/Gemini/Seed/MAI-UI 映射）。评测跑在官方 Ubuntu Docker 与 WindowsAgentArena 官方 Windows 环境（AWS 部署），截图 1920×1080，温度 Verifier T=0.2、其余 T=1.0，预算 15/50/100。复现门槛中等偏高：(1) 多 MLLM 供应商账号；(2) Windows 镜像的 AWS 部署许可；(3) 多组件 prompt 与 temperature 的精细调参。

VLAA-GUI：知道何时停止、恢复与搜索，一个面向 GUI 自动化的模块化框架 VLAA-GUI: Knowing When to Stop, Recover, and Search, A Modular Framework for GUI Automation