TreeCUA：通过树结构可验证进化高效扩展GUI自动化 TreeCUA: Efficiently Scaling GUI Automation with Tree-Structured Verifiable Evolution
用树结构组织探索轨迹，高效扩展计算机使用代理的GUI自动化能力
前置知识
计算机使用代理(CUA)
计算机使用代理(Computer-Use Agent, CUA)是一类能够感知并操控图形用户界面(GUI)的智能体系统，模拟人类与计算机的交互方式。CUA接收高分辨率屏幕截图作为输入，通过视觉语言模型(VLM)理解界面内容，然后输出具体的GUI操作指令(如点击、拖拽、键盘输入等)来完成用户指定的任务。与传统的基于DOM树或API的自动化工具不同，CUA采用端到端的视觉感知方式，能够处理任何可见的GUI界面，无需访问底层结构化数据。
本文的核心研究对象就是CUA，理解CUA的基本概念和工作原理是读懂本文的前提。论文提出的TreeCUA框架旨在解决CUA数据合成效率低下的问题。
树结构数据组织
树结构数据组织是一种将探索轨迹以树形拓扑存储的方法。在GUI自动化探索中，每个节点代表一个界面状态，边代表从一个状态到另一个状态的操作。树结构的关键优势在于：1)相同前缀的轨迹可以共享节点，避免重复计算；2)分支点自然形成偏好对，可用于DPO训练；3)可以灵活控制探索的深度和广度。这种组织方式将线性轨迹的时间复杂度从 O(N) 降低到摊销后的 < O(N)。
树结构是本文的核心创新之一，理解树结构如何存储和复用探索节点对于理解整个框架的效率优势至关重要。
直接偏好优化(DPO)
直接偏好优化(Direct Preference Optimization, DPO)是一种从人类偏好数据中学习的强化学习方法。与传统的RLHF需要训练单独的奖励模型不同，DPO直接优化策略模型使其符合偏好数据的分布。其核心损失函数为 L_DPO = -E[(x,y_w,y_l)[log sigma(beta * log(pi_theta(y_w|x)/pi_ref(y_w|x)) - beta * log(pi_theta(y_l|x)/pi_ref(y_l|x)))]，其中 y_w 是优选响应，y_l 是劣选响应，beta 控制偏离参考策略的程度。
本文提出TreeCUA-DPO方法，利用树结构的分支信息自然构建偏好对，无需额外的人工标注成本，这是本文的重要创新点之一。
多智能体协作框架
多智能体协作框架是指多个专门化的AI智能体协同工作完成复杂任务的系统架构。在本文中，框架包含四个专门化的智能体：探索智能体(Exploration Agent)负责生成候选操作，验证智能体(Verification Agent)负责检查每个步骤的执行结果，总结智能体(Summary Agent)负责生成任务描述，评估智能体(Evaluation Agent)负责评估轨迹质量。每个智能体专注于特定的功能，通过协调配合实现高效的轨迹合成。
多智能体框架是TreeCUA的工程基础，理解各智能体的分工对于理解数据合成流程至关重要。
世界知识初始化
世界知识初始化(World-Knowledge Initialization)是一种利用应用程序官方文档引导探索智能体的技术。具体做法是将官方文档结构化为层次化的知识库 W，根据功能依赖关系将任务分类。在探索过程中，知识作为持续的语义上下文，确保采样的操作与目标功能领域对齐，防止探索漂移到无关或随机的UI状态。实验表明，使用世界知识后，智能体在VS Code环境中发现的独特语义任务从344个增加到535个。
世界知识初始化是解决探索偏差和长尾功能发现问题的关键技术，直接影响合成数据的多样性和质量。
研究动机
当前计算机使用代理(CUA)领域面临严重的数据稀缺问题。虽然GUI定位(grounding)数据已经能够大规模扩展——如SeeClick、AMEX、OS-Atlas等方法成功构建了大规模的静态元素识别数据集，但多步规划(Planning)轨迹的高效合成仍然是一个未被充分探索的挑战。现有方法如OpenCUA依赖人类演示收集约22K条轨迹，ScaleCUA结合人工和自动方法收集约19K条轨迹，但这些方法面临两个核心问题：第一是步骤冗余问题，随着轨迹规模增大，不同应用/桌面/网页的轨迹不可避免地重复探索早期功能入口点，导致大量重复计算；第二是轨迹多样性问题，蒸馏模型的内在偏差倾向于高频探索行为，导致生成的轨迹多样性和长尾覆盖不足。人类验证的高昂成本进一步阻碍了可扩展性，使得开源的CUA轨迹数据至今仍然非常稀缺。
本文的目标是本文的具体目标是提出一种高效、可扩展的GUI自动化轨迹合成框架，能够在不依赖大量人工标注的情况下，自动生成高质量、多样化的长程规划轨迹。具体而言，作者希望：1)通过树结构组织消除步骤冗余，将探索成本从线性 O(N) 降低到摊销后的 < O(N)；2)通过世界知识引导和全局记忆机制提升轨迹多样性，确保覆盖长尾专业功能；3)利用树结构的分支信息自然构建偏好数据，用于DPO训练以提升规划能力；4)在OSWorld基准测试和域外(OOD)任务上验证框架的有效性和泛化能力。
与已有工作不同的是，本文的独特切入角度在于将GUI自动化探索建模为树结构问题，而非传统的线性链式轨迹生成。这一视角转换带来了三个关键优势：首先，树结构允许节点复用——相同前缀的轨迹可以共享探索节点，这在概念上类似于Trie数据结构的前缀共享，将重复探索的计算成本分摊到多条轨迹上；其次，分支点自然形成反事实偏好对——在同一节点探索的不同路径可以作为DPO训练的正负样本对，无需额外人工标注；第三，树结构支持自适应的深度-广度平衡——通过时间宽度衰减机制，可以在浅层最大化多样性，在深层集中资源优化有前景的路径。这种将数据结构与学习算法深度结合的思路，是本文与已有工作的本质区别。
核心方法
TreeCUA的整体思路可以概括为"树结构探索 + 多智能体验证 + 偏好学习"的三阶段流水线。直觉上，人类使用计算机完成任务时，早期的操作(如打开应用、进入某个功能模块)往往是共享的，而后期的操作才开始分化。TreeCUA将这一观察形式化为树结构数据组织：根节点代表初始状态，分支代表不同的操作路径。技术路线分为两个阶段：在线并发探索阶段和离线后处理改进阶段。在线阶段，探索智能体从当前节点生成多个候选操作，验证智能体检查每个操作的结果，系统通过确定性重放机制在不可逆的操作系统环境中实现状态回溯。离线阶段，总结智能体从原始轨迹中提取层次化任务描述，评估智能体过滤低质量轨迹，最终生成多层次的训练数据(步骤级、子轨迹级、长轨迹级)。整个流程由Claude-4.5-Sonnet作为探索智能体的骨干，GPT-4o-mini作为辅助智能体。
TreeCUA的核心创新在于将GUI探索轨迹组织为树结构，从而实现三个关键能力：节点复用、自适应分支和自然偏好构建。与已有方法的本质区别体现在：1)拓扑结构上，OpenCUA和ScaleCUA采用线性链式轨迹，每条轨迹独立生成，总成本为 O(N)；TreeCUA采用探索树，共享前缀的轨迹复用节点，摊销成本 < O(N)；2)验证粒度上，已有方法仅在轨迹级别进行质量评估，TreeCUA引入步骤级验证智能体，通过检查实际观测 o_{t+1} 与预期结果 \hat{o}_{exp}^{t+1} 的语义一致性，在生成过程中即时过滤无效分支；3)偏好数据构建上，已有方法需要人工标注偏好对，TreeCUA利用同一分支点的不同成功路径自然构建偏好对，以零额外成本获得16K条高质量偏好数据。这些创新使得TreeCUA在数据规模(50K+101K条轨迹)和质量上都显著超越已有工作。
方法步骤详情
TreeCUA的方法包含以下完整步骤：第一，环境初始化与世界知识注入。将官方文档结构化为层次化知识库，通过初始状态转换函数将环境初始化为非平凡状态，其中函数参数指定任务类别和预配置的资产池(文件、文档、账号等)。第二，在线树探索。定义探索元组包含可执行动作、即时意图、长期目标假设、预期观测和探索理性，探索智能体在每个节点生成K个候选操作，生成过程以当前视觉观测、轨迹历史、任务类别知识和全局前缀记忆为条件。第三，自适应树拓扑。实现时间宽度衰减机制，将轨迹划分为发现、发展、收敛三个阶段，逐步减少分支因子。第四，步骤验证。验证智能体评估实际观测与预期结果的语义一致性，将结果分类为SUCCESS、NO CHANGE、UNEXPECTED CHANGE等状态。第五，全局记忆回溯。维护全局前缀记忆，在浅层探索阶段施加新颖性约束，确保步骤目标不在已探索的语义范围内。第六，离线后处理。通过自底向上的层次化任务总结生成任务描述，然后进行四维度质量评估(任务效用、步骤效率、一致性、连贯性)和后见推理合成。第七，两阶段SFT训练：第一阶段用所有步骤级数据培养基础探索能力，第二阶段用高质量认知意图数据对齐人类行为模式。第八，TreeCUA-DPO训练：在分支节点构建双偏好对，条件于不同目标时正负样本互换，迫使模型对齐特定语义意图。
技术新颖性
TreeCUA的技术新颖性体现在多个层面。首先，在数据组织层面，首次将GUI探索轨迹建模为树结构而非线性序列，这一设计灵感来自GUI探索的自然特性——早期功能入口点被频繁探索，树结构通过前缀共享消除冗余。实验表明，树结构探索的平均推理步骤随样本量增长显著降低，而线性方法的总成本线性增长。其次，在验证机制层面，引入步骤级验证智能体，通过语义一致性检查将评估从模糊的轨迹级别转移到精确的中间状态级别，这使得无效分支可以在生成过程中被即时过滤，而非等到轨迹完成后再丢弃。第三，在偏好学习层面，TreeCUA-DPO巧妙地利用树结构的分支信息构建偏好数据，通过构建双偏好对迫使模型对齐特定语义意图而非仅预测"哪个操作会失败"，有效解耦了界面可供性(affordance)和用户意图。第四，在探索策略层面，自适应树拓扑通过时间宽度衰减和上下文感知调整平衡深度与广度，世界知识初始化和全局记忆机制分别从语义引导和历史约束两个维度提升多样性。这些创新共同构成了一个完整的、可扩展的GUI自动化数据合成框架。
实验结果
TreeCUA在多个维度上展示了显著的性能提升。在OSWorld-Verified基准测试上，TreeCUA-7B达到34.6%的成功率，TreeCUA-DPO-7B进一步提升至36.6%，显著超越同规模的开源模型：OpenCUA-7B(24.3%)、UI-Tars-1.5-7B(25.1%)、ScaleCUA-7B(15.0%)和UltraCUA-7B(28.9%)。值得注意的是，TreeCUA-7B在GIMP应用上达到76.9%的成功率，在操作系统(OS)任务上达到58.3%，展示了强大的跨应用泛化能力。TreeCUA-DPO-7B在逻辑密集型任务上表现尤为突出：Thunderbird从33.3%提升至53.3%(+20.0%)，VS Code从47.8%提升至60.9%(+13.1%)，Chrome从28.3%提升至39.1%(+10.8%)。在域外(OOD)基准测试上，TreeCUA-7B达到26.7%的成功率，TreeCUA-DPO-7B达到30.8%，相比基线Qwen2.5-VL-7B的0.8%有巨大提升。数据效率分析显示，树结构探索通过节点复用分摊计算成本，随着样本量增长，平均推理步骤显著低于线性基线。多样性分析表明，全局历史机制将树间冗余度从0.17降低至0.08。世界知识引导使VS Code环境中的独特语义任务从344个增加到535个。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OSWorld-Verified综合评估 | Success Rate (%) | TreeCUA-7B: 34.6%, TreeCUA-DPO-7B: 36.6% | OpenCUA-7B: 24.3%, UI-Tars-1.5-7B: 25.1%, ScaleCUA-7B: 15.0% | TreeCUA-DPO-7B比最佳基线UltraCUA-7B(28.9%)提升7.7个百分点 |
| OSWorld GIMP应用 | Success Rate (%) | TreeCUA-7B: 76.9%, TreeCUA-DPO-7B: 76.9% | UI-Tars-1.5-7B: 50.0%, OpenCUA-7B: 50.0% | 比最佳基线提升26.9个百分点 |
| OSWorld Thunderbird邮件 | Success Rate (%) | TreeCUA-7B: 33.3%, TreeCUA-DPO-7B: 53.3% | OpenCUA-7B: 53.3%, UltraCUA-7B: 33.6% | DPO版本比SFT版本提升20.0个百分点 |
| OSWorld VS Code编程 | Success Rate (%) | TreeCUA-7B: 47.8%, TreeCUA-DPO-7B: 60.9% | UI-Tars-1.5-7B: 47.8%, UltraCUA-7B: 46.7% | DPO版本比SFT版本提升13.1个百分点 |
| 域外(OOD)基准测试 | Success Rate (%) | TreeCUA-7B: 26.7%, TreeCUA-DPO-7B: 30.8% | Qwen2.5-VL-7B: 0.8% | 比基线提升约25-30个百分点，展示强大泛化能力 |
局限与改进
本文存在以下几个主要局限性。首先，在应用场景上，TreeCUA主要在Linux桌面环境(基于OSWorld基准)上进行验证，虽然包含Chrome、GIMP、VS Code等多种应用，但尚未在Windows、macOS或移动平台上进行系统性评估，泛化到这些平台的能力有待验证。其次，在DPO效果的异质性上，实验显示DPO在不同应用上的提升差异很大：在Thunderbird上提升+20.0%，但在Impress上反而下降-10.6%。作者将此归因于动作空间的离散化程度和拓扑同构性，但这也暴露了方法对应用场景特性的敏感性。第三，在评估方法上，OOD基准测试使用GPT-4o进行自动评估，虽然作者采取了两次连续评估和约束中间状态等措施，但模型评估的可靠性仍可能低于人工评估。第四，在计算成本上，虽然树结构探索降低了摊销成本，但整个数据合成流程仍需要Claude-4.5-Sonnet和GPT-4o-mini的大量API调用，实际的计算和API成本未在论文中详细报告。最后，在模型规模上，所有实验均基于7B参数的Qwen2.5-VL-7B，TreeCUA方法在更大规模模型上的效果尚不清楚。
独立分析的弱点
TreeCUA存在以下几个值得深入分析的弱点。第一，探索智能体依赖闭源模型(Claude-4.5-Sonnet)作为骨干，这限制了方法的可复现性和可控性。探索质量高度依赖于骨干模型的能力，如果使用开源模型替代，性能可能会显著下降。改进方向是研究如何用更小的开源模型通过自举(bootstrapping)或课程学习达到相近的探索质量。第二，步骤验证智能体采用语义一致性检查，但GUI操作的"成功"往往是多义的——某些操作可能产生视觉上不同但功能上等价的结果(如不同的布局方式)，当前的验证机制可能错误地将这些有效操作标记为失败。改进方向是引入更细粒度的功能等价性判断。第三，自适应树拓扑的时间宽度衰减机制是基于经验设计的(发现、发展、收敛三阶段划分)，缺乏理论分析证明其最优性。改进方向是通过信息论或最优控制理论推导出理论最优的分支策略。第四，TreeCUA-DPO在需要连续视觉精度的任务(如Impress中的拖拽操作)上表现不佳，因为DPO偏好对的区分信号较弱。改进方向是结合对比学习或课程学习，先在离散动作上训练再迁移到连续动作。
未来方向
基于TreeCUA的成果，未来研究可以从以下几个方向展开。首先，多平台泛化是自然的延伸方向——将树结构探索框架应用到Windows、macOS、Android和iOS等平台，构建跨平台的统一CUA数据合成框架。作者的实验已经展示了OOD泛化能力，系统性的多平台验证将进一步证明框架的通用性。其次，交互式环境扩展——当前框架假设环境状态可以通过确定性重放恢复，但在涉及网络交互、实时数据变化的环境中，这一假设可能不成立。研究如何在非确定性环境中实现可靠的树结构探索是有价值的方向。第三，与人类反馈的结合——虽然TreeCUA-DPO已经利用树分支信息构建偏好对，但结合少量人工标注的高质量偏好数据可能进一步提升效果。第四，更大规模模型的验证——将TreeCUA数据应用到13B、30B甚至更大规模的模型上，研究数据效率和模型规模的缩放规律。最后，实时推理优化——当前TreeCUA专注于数据合成阶段，但生成的模型在实际部署时的推理效率(如每步操作的延迟)也是一个重要的工程问题。
复现评估
TreeCUA的复现性评估如下。在代码和数据开源方面，作者承诺所有轨迹节点信息和代码将在GitHub仓库(https://github.com/UITron-hub/TreeCUA)上公开，这是一个积极的信号。在数据规模方面，论文报告了详细的统计数据：步骤级数据900K条(过滤后708K条)，子轨迹级数据150K条(过滤后101K条)，长轨迹级数据100K条(过滤后50K条)，以及16K条DPO偏好对。在算力需求方面，论文提到使用全局批大小32进行三阶段训练，基于Qwen2.5-VL-7B作为基础模型，但未详细报告训练时长和GPU数量。数据合成阶段需要调用Claude-4.5-Sonnet和GPT-4o-mini的API，具体的API调用次数和成本未披露，这可能是复现的主要障碍。在环境配置方面，需要搭建Linux虚拟机环境用于GUI探索，并配置VS Code、Chrome、GIMP等多种应用，环境搭建的复杂度较高。总体而言，如果作者兑现开源承诺，核心算法的复现是可行的，但数据合成的完整流水线复现需要显著的API成本和工程投入。
论文图表
展示了一条完整的合成轨迹可视化，包含多个步骤的操作序列、思考过程和验证结果。
这个示例直观展示了合成数据的具体内容和质量，帮助读者理解数据格式和生成过程。
展示了Chrome浏览器任务轨迹的前两步详细信息，包括思考过程(观察、进度、计划、影响)、步骤目标、动作和验证结果。
这个示例展示了生成数据的详细结构，特别是思考过程的四个维度(观察、进度反思、战略规划、影响评估)，是理解后见推理合成的关键。