ANCHOR：基于分支点的桌面 GUI 智能体轨迹扩展数据生成框架 ANCHOR: Branch-Point Data Generation for GUI Agents
从少量种子轨迹出发，在 UI 状态变化点分支扩展，生成大规模高质量桌面 GUI 训练数据。
前置知识
GUI Agent（图形界面智能体）
GUI Agent 是一类能够通过观察屏幕截图、理解界面语义并执行鼠标点击、键盘输入等底层操作来自主完成复杂多步骤任务的 AI 系统。它将视觉感知、语言理解和物理动作融为一体，广泛应用于 Web 浏览、桌面办公和移动端自动化场景。典型代表包括 Claude Computer Use、UI-TARS 等端到端模型，它们直接从原始像素输入映射到可执行的 GUI 动作序列，无需手工编写规则。
本文的研究对象就是桌面 GUI Agent，理解这一概念是理解论文动机和方法的前提。ANCHOR 的核心贡献就是为这类智能体提供更好的训练数据生成方案。
轨迹扩展（Trajectory Expansion）
轨迹扩展是一种数据增强策略，其核心思想是从少量经过验证的高质量种子轨迹（seed trajectories）出发，利用模型能力在关键状态节点生成新的任务变体并执行，从而将一条轨迹扩展为一族多样化的轨迹。与从零开始生成任务不同，轨迹扩展以已有的可靠执行前缀（prefix）为基础，只需模型解决局部子任务，降低了对模型完美执行能力的依赖。
这是 ANCHOR 方法的核心机制。理解轨迹扩展与任务驱动合成、交互式探索等范式的区别，是理解本文技术贡献的关键。
分支点（Branch Point）
在本文中，分支点被定义为种子轨迹中某个时间步 t，在该时刻 GUI 界面发生了显著的状态变化（如新窗口弹出、面板展开、滚动后出现新内容），使得从状态 s_t 出发可以自然地定义多个新的、目标不同的子任务。分支点本质上是 UI 定义的决策节点：当前屏幕暴露了新的可供性（affordance），多个不同的用户级目标都可以从同一个已验证的前缀出发。
分支点是 ANCHOR 区别于其他数据合成方法的核心概念。通过在 UI 定义的决策节点进行分支，而非从零开始生成任务，ANCHOR 实现了系统化的多样性覆盖，同时避免了无约束探索带来的噪声。
步骤级过滤与意图一致性去噪（Step-Level Filtering & Denoising）
这是 ANCHOR 在轨迹级别验证之上额外施加的两步质量控制。(1) 任务条件推理过滤（Task-conditioned reasoning filtering）：对于多个分支任务共享的前缀步骤，针对每个下游任务生成特定的推理解释，只保留与当前任务一致的步骤，丢弃不相关的。(2) 后分支意图一致性去噪（Post-branch intention-consistency denoising）：对分支点之后的每一步，检查动作是否合理且与观察到的视觉变化一致，过滤掉误点击、不必要的等待或临时偏离等噪声操作。
实验表明，移除这两步质量控制会导致所有模型的性能一致性下降（例如 Qwen3-VL-8B 从 20.56% 降至 19.15%），证明它们对于生成高质量监督信号至关重要。
VLM（Vision-Language Model，视觉语言模型）
VLM 是同时具备视觉理解和语言推理能力的多模态大模型，能够接收图像和文本输入并生成文本或结构化输出。在 GUI Agent 领域，VLM 被用作感知和决策的核心骨干（backbone），接收屏幕截图作为视觉输入，输出下一步的 GUI 动作。本文实验中使用了三个 VLM 骨干：GLM-4.1V-9B-Base、Qwen2.5-VL-7B-Instruct 和 Qwen3-VL-8B-Instruct。
ANCHOR 的最终目标就是通过更好的数据来微调 VLM，使其成为更强的桌面 GUI Agent。理解 VLM 的工作方式有助于理解训练流程和实验设计。
研究动机
端到端桌面 GUI 智能体的训练高度依赖大规模高质量的交互轨迹数据，但现有数据获取方式存在严重瓶颈。人工标注方案（如 AgentNet）需要专家逐条指定任务、录制逐步操作并验证成功，成本极高且难以覆盖应用程序、配置和任务目标的组合空间。现有合成数据管道也各有不足：任务驱动方案（如 Explorer）依赖执行模型自身能力来生成任务并完成执行，导致结果与执行器能力紧密耦合——失败的执行会截断轨迹，数据偏向更简单的任务，任务多样性受限于模型对 UI 可供性的认知。交互式探索方案（如 OS-Genesis、AutoPlay）从自由探索出发，虽然提升了状态覆盖，但无约束探索容易产生短小的低级操作片段或长距离的低信噪比漫游，难以提炼为有意义的长程监督。教程回放方案（如 AgentTrek、TongUI）则受限于网络教程的可用性和多样性。尤其值得注意的是，现有合成管道主要集中在 Web 和移动端设置，桌面环境的轨迹生成相对未被充分探索。
本文的目标是本文的目标是设计一个可扩展的桌面 GUI 轨迹生成框架，能够从少量经过验证的高质量种子轨迹出发，系统性地生成大量多样化、长程、高信噪比的桌面 GUI 交互轨迹。具体而言，ANCHOR 旨在：(1) 实现系统化的多样性和状态覆盖，通过在多个 UI 定义的决策点枚举替代性分支来实现，而非依赖无约束探索；(2) 减少漫游、提高信号质量，因为每条轨迹都从一个具体的分支点出发并带有明确目标；(3) 降低对模型完美执行的依赖，通过步骤级过滤和意图一致性去噪来丢弃噪声或任务无关的操作。
与已有工作不同的是，ANCHOR 的独特切入角度在于“锚定扩展”（anchored expansion）：它不从零开始生成任务，也不依赖自由探索，而是从已有的高质量种子轨迹中识别出 UI 界面揭示新可供性的分支点，然后在这些状态点生成目标不同但共享有效前缀的新任务。这种方法将扩展锚定在经过验证的前缀上，智能体只需解决局部子任务，从而大幅降低了对完美执行策略的依赖。同时，分支点是 UI 定义的（UI-defined），而非模型假设的，这意味着多样性来源于界面本身暴露的决策空间，而非模型的知识边界。此外，ANCHOR 引入了任务条件化的步骤级质量控制机制——这是先前工作所缺乏的——能够在共享前缀中为不同下游任务保留任务相关的解释并过滤噪声步骤，从根本上提升了监督信号的质量。
核心方法
ANCHOR 的整体思路可以类比为“从一棵树的主干出发，长出茂密的分支”。给定少量人工验证的高质量种子轨迹（主干），ANCHOR 在种子轨迹中找到 UI 界面发生显著变化的关键节点（分支点），然后在每个分支点让模型提出多个目标不同但都基于当前界面状态的新任务（分支），再由执行智能体完成这些新任务并生成新轨迹。最后通过轨迹级别的验证和步骤级的过滤去噪来确保数据质量。技术路线上，整个流水线包括四个阶段：种子轨迹收集、分支点识别与任务生成、任务执行与轨迹总结、轨迹验证与质量控制。ANCHOR 使用 Claude Sonnet 4.5 执行轨迹，GPT-5.1 负责任务提议和验证，Qwen3-VL-32B 负责步骤级过滤、总结和验证。
ANCHOR 的核心创新点在于“在 UI 定义的状态变化点进行受控分支扩展”，这与已有方法存在本质区别。任务驱动合成从初始截图出发让模型从零生成任务，其多样性受限于模型对 UI 的认知且执行失败率高；交互式探索从自由交互出发，容易产生低信噪比的漫游轨迹；教程回放受限于教程的可用性。ANCHOR 则以已验证的种子轨迹为基础，在 UI 界面暴露新可供性的节点（如新窗口弹出、面板展开、滚动后出现新内容）进行分支，这些分支点不是模型假设的，而是由界面状态客观定义的。每个分支共享经过验证的有效前缀，智能体只需解决从当前状态出发的局部子任务。此外，ANCHOR 引入了两项此前工作中缺失的步骤级质量控制：任务条件推理过滤和后分支意图一致性去噪，它们共同确保了即使在共享前缀中也能提供任务相关的、干净的监督信号。
方法步骤详情
ANCHOR 流水线的具体步骤如下：(1) 种子轨迹收集：从 OSWorld 和 WindowsAgentArena 的交互环境中采样 117 个和 51 个任务环境，使用强执行器获取成功运行，然后由人工标注者验证轨迹是否满足指令、操作是否高效且无有害副作用，保留最短的成功轨迹作为种子。(2) 分支点识别：对每条种子轨迹 τ = (s_0, a_0, s_1, ..., s_k)，使用 GPT-5.1 识别 3-5 个分支点——即 UI 界面发生实质性变化（新窗口、新面板）或揭示新内容（滚动、粘贴文本）的时间步 t，使得可以从状态 s_t 定义多个新任务。(3) 分支任务提议：将轨迹前缀 (s_0, a_0, ..., s_t) 喂给 GPT-5.1 生成进度摘要，再结合当前 GUI 状态 s_t 提议一个或多个新任务，要求任务在当前界面上有根据且自然承接前序操作。(4) 任务执行：对每个提议的任务，回放环境至状态 s_t，调用 Claude Sonnet 4.5 完成任务。执行过程中模型可以动态修正任务描述（如点击了错误选项或环境状态不兼容时）。(5) 轨迹总结与验证：执行完成后，由 Qwen3-VL-32B 生成简洁的高层任务描述，然后验证器检查最终 GUI 状态是否满足任务要求——只有执行器明确指示完成且验证器判定成功的轨迹才被保留。(6) 任务条件推理过滤：对分支点之前的共享前缀步骤，针对每个下游任务生成 M=10 个候选动作-推理对，选择与观察到的视觉变化一致且匹配实际执行动作的推理解释，不一致的步骤对被丢弃。(7) 后分支意图一致性去噪：对分支点之后的每一步，检查动作在当前上下文中是否合理且与截图变化一致，不一致的步骤被标记为噪声并从训练中移除。
技术新颖性
ANCHOR 的技术新颖性体现在三个层面。首先，在数据生成范式层面，ANCHOR 提出了“分支点扩展”这一新的数据合成范式，它既不同于从零生成任务的自上而下方法，也不同于自由探索的自下而上方法，而是以 UI 状态变化为锚点进行受控扩展，在系统化多样性和轨迹质量之间取得了更好的平衡。其次，在质量控制层面，ANCHOR 首次在 GUI 轨迹合成中引入了任务条件化的步骤级过滤机制。传统方法只在轨迹级别做成功/失败判断，但 ANCHOR 认识到即使是成功的轨迹也可能包含步骤级噪声——特别是当多个任务共享前缀时，同一动作对不同任务的意义可能不同。通过为每个（任务，步骤）对生成特定的推理解释并验证一致性，ANCHOR 能够精确地为每个下游任务保留最相关的监督信号。第三，在应用场景层面，ANCHOR 是首个专注于桌面环境轨迹合成的分支扩展框架，填补了先前工作主要集中在 Web 和移动端的空白。最终数据集包含 1,777 条成功轨迹，平均 17.24 步，远超先前合成管道（Explorer 7.7 步、OS-Genesis 5.6 步），且这种增长来自结构化的多阶段工作流而非无约束探索。
实验结果
ANCHOR 在两个桌面基准和三个 VLM 骨干上均展现出一致性改进。在 OSWorld 基准上，对于最弱的 GLM-4.1V-9B，ANCHOR 将成功率从零样本的 0.47% 提升至 7.01%，表明合成轨迹为弱 UI 先验模型提供了必不可少的监督信号。对于 Qwen2.5-VL-7B，ANCHOR 达到 7.94%，优于任务驱动合成（5.61%）和人工数据 AgentNet（4.67%）。即使对于最强的 Qwen3-VL-8B，ANCHOR 也将性能从 16.82% 提升至 20.56%。在 WindowsAgentArena 上，ANCHOR 同样在所有骨干上超越零样本和任务驱动基线：GLM-4.1V-9B 从 5.49% 提升至 16.30%，Qwen2.5-VL-7B 从 4.39% 提升至 15.22%，Qwen3-VL-8B 从 23.07% 提升至 30.76%。数据扩展实验显示，增加域内数据（从 0.3K 到 1K 条 Ubuntu 轨迹）对所有模型都带来一致提升，例如 Qwen2.5-VL-7B 从 0.93% 升至 5.14% 再到 7.94%。跨域数据增强（在 1K Ubuntu 数据上追加 600 条 Windows 轨迹）也能提升性能，Qwen2.5-VL-7B 从 7.94% 升至 9.95%，表明额外的 UI 多样性有助于学习更稳健的定位和恢复行为。消融实验证明，移除步骤级过滤和后分支去噪会一致性地降低所有模型的性能（如 Qwen3-VL-8B 从 20.56% 降至 19.15%）。人工审计显示验证器与人类判断的一致率为 87%（95% 置信区间：79.0%-92.2%）。定性分析表明，ANCHOR 训练的模型能正确导航 LibreOffice 的深层嵌套菜单完成“每 3 分钟自动保存”任务，而任务驱动基线会幻觉 UI 结构，人工数据基线则在错误界面中循环。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OSWorld（Ubuntu 桌面，跨应用） | Overall Success Rate (%) | GLM-4.1V-9B: 7.01; Qwen2.5-VL-7B: 7.94; Qwen3-VL-8B: 20.56 | Zero-Shot: 0.47/0.93/16.82; Task-Driven: 5.14/5.61/17.75; Human Data: 5.14/4.67/16.35 | GLM-4.1V-9B: +1.87% over Task-Driven; Qwen2.5-VL-7B: +2.33% over Task-Driven; Qwen3-VL-8B: +2.81% over Task-Driven |
| WindowsAgentArena（Windows 11 桌面） | Full Task Success Rate (%) | GLM-4.1V-9B: 16.30; Qwen2.5-VL-7B: 15.22; Qwen3-VL-8B: 30.76 | Zero-Shot: 5.49/4.39/23.07; Task-Driven: 13.19/14.10/27.47 | GLM-4.1V-9B: +3.11% over Task-Driven; Qwen2.5-VL-7B: +1.12% over Task-Driven; Qwen3-VL-8B: +3.29% over Task-Driven |
| OSWorld 应用级分析（Qwen3-VL-8B） | Per-Application Success Rate (%) | Chrome: 26.67; GIMP: 37.50; Calc: 13.79; Impress: 18.52; Writer: 38.46; OS: 36.37; Thunderbird: 50.00; VLC: 57.14; VS Code: 18.18 | Zero-Shot: 23.33/37.50/6.90/14.81/30.77/27.27/25.00/42.85/27.27 | Thunderbird 从 25.00% 提升至 50.00%（+25%），VLC 从 42.85% 提升至 57.14%（+14.29%），Calc 从 6.90% 提升至 13.79%（+6.89%） |
局限与改进
作者明确指出的局限性包括：(1) 实验仅在桌面环境（OSWorld 和 WindowsAgentArena）上评估，虽然流水线本身不绑定特定平台，但尚未在移动端和 Web 环境中验证。(2) 验证器虽然与人类判断的一致率达 87%，但仍存在约 13% 的分歧，主要来自边界案例，这意味着仍有少量低质量轨迹可能被错误保留或丢弃。此外，作者的消融实验主要针对步骤级过滤组件，对分支点选择策略、任务提议数量、验证器模型选择等其他设计选择的敏感性分析不足。我自己的观察和补充局限包括：(3) 数据生成成本虽然控制在每条成功轨迹 $0.47，但依赖多个闭源模型（GPT-5.1、Claude Sonnet 4.5），存在 API 可用性和成本变化的风险。(4) 种子轨迹仍需人工验证，虽然只需验证少量种子，但人工标注者的一致性和标注质量会影响整个扩展家族的质量。(5) 论文未报告推理时间的比较——ANCHOR 生成的轨迹平均 17.24 步，远长于基线的 5-8 步，更长的轨迹在微调时会增加训练成本，论文未讨论这一权衡。(6) Qwen3-VL-8B 在小规模数据（0.3K）时出现性能下降（从 16.82% 降至 13.08%），论文将其归因于格式不匹配，但未深入分析如何缓解。(7) VS Code 子集的性能出现下降（从 27.27% 降至 18.18%），虽然作者归因于评估方差（仅 11 个任务），但这暴露了在任务数较少的应用上评估的不稳定性。
独立分析的弱点
ANCHOR 存在几个值得改进的弱点。(1) 分支点选择依赖 GPT-5.1 的判断，当前基于启发式标准（UI 变化程度、新内容可见性），可能遗漏某些隐含的决策节点或误选不具代表性的点。改进方向：可以设计基于界面元素变化量的自动分支点检测器，或引入主动学习策略让模型选择最有信息量的分支点。(2) 任务提议模型和执行模型的能力仍然限制了生成轨迹的上限——如果模型无法在某个分支点提出有意义的任务，或无法完成提议的任务，该分支就会被丢弃。改进方向：可以引入迭代式自我改进机制，让模型在失败后分析原因并重试。(3) 步骤级过滤中的候选推理生成使用 M=10 个候选，但论文未分析这一超参数的敏感性。可能在某些复杂场景需要更多候选，而在简单场景则浪费计算。改进方向：可以设计自适应的候选数量策略。(4) 验证器仅检查最终状态是否满足任务描述，无法检测中间步骤中的低效路径（如不必要的绕路）。改进方向：可以引入过程级验证器，在轨迹执行过程中逐步检查进展。(5) 跨域实验中，小规模混合数据（0.3K Ubuntu + Windows）的表现略低于纯 Ubuntu 数据，论文未深入分析负迁移的原因。改进方向：可以研究课程学习策略，先在单一平台训练再逐步引入跨平台数据。
未来方向
作者提出未来工作方向包括：更强的验证机制、改进的分支策略、扩展到更多环境和交互模态。基于本文成果，可以延伸出以下方向：(1) 将 ANCHOR 的分支扩展框架应用到移动端（AndroidWorld）和 Web（WebArena）环境，验证其在不同 UI 原语和可访问性信号下的泛化能力。(2) 研究分支点选择的自动化和优化——当前依赖 LLM 启发式判断，可以设计基于信息论或状态覆盖度量的自动选择策略。(3) 将 ANCHOR 与强化学习结合，利用分支生成的多样化轨迹作为初始策略的预训练数据，再通过在线 RL 微调进一步提升性能。(4) 探索更强的验证器，例如训练专门的验证模型而非使用通用 VLM，或引入人机协作的验证流程。(5) 研究分支扩展与其他数据合成范式的互补组合——例如在 ANCHOR 生成的长程轨迹基础上，结合教程回放来覆盖更多应用领域。(6) 将轨迹扩展框架扩展到多模态交互场景，如结合语音指令、手势操作的桌面自动化。(7) 研究如何利用 ANCHOR 生成的多样化轨迹家族来训练更鲁棒的失败恢复能力——当执行偏离预期时，模型可以从分支中学到多种恢复路径。
复现评估
ANCHOR 的复现性评估需要从多个维度考量。开源方面，作者已在 GitHub（yale-nlp/Anchor）公开了代码和数据，数据和模型权重也将公开，这为复现提供了基础。数据方面，最终训练语料包含 1,777 条轨迹（1,174 条 Ubuntu、603 条 Windows），共 2.3M tokens 和 30K 张图像，数据规模中等。算力方面，训练在 4×NVIDIA H200 GPU 上进行，使用 DeepSpeed ZeRO-3 和混合精度（FP16），对大多数研究机构来说是可以获得的硬件配置。但数据生成阶段依赖三个闭源模型（GPT-5.1、Claude Sonnet 4.5、Qwen3-VL-32B），API 调用成本约 $0.47/条成功轨迹，生成完整数据集约需 $835（1,777×$0.47），加上失败轨迹的消耗，总成本可能在 $1,000-2,000 量级。训练细节充分公开：AdamW 优化器、学习率 5×10^{-6}、全局 batch size 16、训练 1 epoch。复现难度中等——流水线本身步骤清晰，但依赖多个强模型的协作以及 OSWorld/WindowsAgentArena 的可执行环境配置，环境搭建可能需要额外工作。种子轨迹的验证需要人工标注，但工作量较小（约 168 个种子任务环境）。
论文图表
