OmegaUse：构建面向自主任务执行的通用GUI智能体 OmegaUse: Building a General-Purpose GUI Agent for Autonomous Task Execution
MoE架构GUI智能体，SFT+GRPO训练，跨平台SOTA性能
前置知识
GUI智能体（GUI Agent）
GUI智能体是一种能够通过截图感知数字界面状态，并执行点击、输入、滚动等原子操作来完成用户目标的AI系统。它模拟人类与图形用户界面的交互方式，将高层用户意图（如「发送邮件」）转化为一系列底层GUI操作序列。根据目标平台不同，可分为phone-use（手机端）和computer-use（电脑端）两类。核心挑战在于准确理解屏幕内容并规划合理的操作序列。
本文的核心就是构建一个跨平台通用GUI智能体，理解GUI智能体的基本概念是阅读本文的前提。
UI定位（UI Grounding）
UI定位是指将自然语言指令（如「点击设置按钮」）映射到屏幕上具体的GUI元素坐标位置的过程。这是GUI智能体的基础能力，需要模型理解语言描述并在复杂的UI布局中精确定位目标元素。通常以屏幕截图和文本指令作为输入，输出目标元素的坐标或边界框。代表性评估基准包括ScreenSpot-V2和ScreenSpot-Pro。
本文将模型分为Grounding和Navigation两个子模型，UI定位是其中一个核心组件，论文中专门设计了针对性的训练策略和奖励函数。
混合专家模型（Mixture-of-Experts, MoE）
MoE是一种参数高效的神经网络架构设计。与密集模型（所有参数都参与计算）不同，MoE模型包含多个「专家」子网络，但每次前向传播只激活其中一小部分专家（通过门控网络选择）。这样可以在保持大参数模型推理能力的同时，大幅降低实际计算开销。例如，一个30B参数的MoE模型可能每次只激活3B参数。本文使用的30B-A3B VL模型即为这种设计。
OmegaUse采用MoE骨干网络是其核心架构选择，直接影响模型的计算效率和性能上限，论文在实验中多次与密集模型进行对比。
Group Relative Policy Optimization（GRPO）
GRPO是一种强化学习训练算法，属于策略优化方法。与传统PPO需要单独的critic网络不同，GRPO通过在同一prompt下采样一组rollout响应，计算组内相对奖励来估计优势函数（advantage），从而省去了critic模型的计算开销。具体地，对每个训练prompt采样G个响应，优势值通过组内奖励的均值和标准差进行归一化：$\hat{A}_i = \frac{r_i - \text{mean}(\{r_1, \ldots, r_G\})}{\text{std}(\{r_1, \ldots, r_G\})}$。本文在SFT之后使用GRPO进行强化学习阶段的训练。
GRPO是本文训练范式的核心算法，论文为其设计了专门的奖励函数来优化空间定位和序列规划能力。
监督微调（Supervised Fine-Tuning, SFT）
SFT是在预训练模型基础上，使用高质量标注数据进行有监督训练的方法。在GUI智能体场景中，SFT阶段通常使用包含屏幕截图、任务指令和正确操作序列的数据来训练模型学习基本的交互模式。SFT通常作为强化学习之前的初始化阶段，帮助模型建立基础的指令理解和操作输出能力。
本文采用SFT+GRPO的两阶段训练范式，SFT是第一阶段的基础训练，为后续强化学习提供良好的初始化。
状态转换图（State Transition Graph）
状态转换图是一种将UI交互过程建模为有向图的方法。图中每个节点代表一个唯一的UI状态（通常用截图表示），每条有向边代表从一个状态到另一个状态的具体操作（如点击某个按钮）。在GUI智能体的数据合成中，通过在模拟器中自主探索应用并收集交互三元组（pre-state, action, post-state），可以构建这样的图结构，进而从中提取多样化的执行轨迹。
本文的Bottom-up数据合成方法核心就是构建状态转换图，这是理解其创新性数据管线的关键概念。
研究动机
当前GUI智能体面临三个关键瓶颈：性能、训练数据质量和跨平台评估不完善。在数据质量方面，约40%的开源数据存在显著噪声，包括边界框错位和模糊的文本描述。特别是从HTML或辅助功能树自动提取的标签，由于渲染偏移经常产生空间不准确的定位。在导航数据中，现有数据集存在不一致的执行轨迹和过多冗余动作，为长期规划提供了弱或不连贯的监督信号。此外，现有基准测试无法全面评估智能体在多样化数字环境中的能力，特别是缺少针对中文移动应用和多步骤桌面工作流的评测体系。这些问题导致当前GUI智能体在真实场景中的表现远低于预期。
本文的目标是本文的目标是构建一个通用的GUI智能体模型OmegaUse，能够跨移动和桌面平台自主执行任务，支持computer-use和phone-use场景。具体而言，论文追求三个子目标：第一，建立高质量的训练数据构建管线，通过严格的数据清洗和创新的自动合成框架解决数据质量问题；第二，设计有效的两阶段训练范式，结合SFT和GRPO强化学习来优化空间定位和序列规划能力；第三，提出跨平台离线评测基准OS-Nav，填补中文移动生态和Ubuntu桌面环境评测的空白。最终目标是实现96.3%的ScreenSpot-V2准确率和79.1%的AndroidControl步成功率。
与已有工作不同的是，本文的独特切入角度在于三个方面。首先，在数据层面，不同于简单使用开源数据或依赖单一合成方法，论文提出了混合方案：结合底部向上的自主探索（Bottom-up）和顶部向下的分类引导生成（Top-down），既保证了数据多样性又确保了任务覆盖度。其次，在训练层面，采用解耦设计将定位和导航分开优化，避免了两个不同粒度任务之间的干扰，并为每个任务设计了专门的奖励函数。最后，在评估层面，首次提出中文Android移动生态和Ubuntu桌面的离线导航基准，填补了现有评测体系的空白。这种从数据、训练到评估的全链条设计是其核心差异化所在。
核心方法
OmegaUse的整体架构如论文Figure 2所示，分为四个层次：数据处理、SFT训练、强化学习微调和多平台部署。直觉上，构建有效的GUI智能体需要两个关键因素：高质量数据和有效训练方法。为此，论文将模型分为两个专用子模型：Grounding模型负责高精度视觉感知（将文本指令映射到精确坐标），Navigation模型负责序列决策（多步骤任务规划）。两个子模型都采用两阶段训练：先用SFT建立基础交互能力，再用GRPO强化学习提升精确度。整体架构基于MoE骨干网络（30B-A3B VL），在保持大参数推理能力的同时降低计算开销。技术路线为：数据构建、SFT初始化、GRPO精调、跨平台评估。
OmegaUse的核心创新在于三个层面的解耦设计。首先，Grounding和Navigation模型的解耦使低层空间定位和高层逻辑规划可以独立优化，避免相互干扰。其次，训练策略的解耦采用SFT+GRPO两阶段范式，SFT负责基础能力建立，GRPO负责精度精调，两者各自有专门的损失函数和数据集。最重要的是数据构建管线的创新：对于导航数据，提出了Bottom-up自主探索与Top-down分类引导相结合的混合合成框架。Bottom-up方法在模拟器中通过DFS探索应用，收集交互三元组并构建状态转换图；Top-down方法基于分层任务分类法生成多样化任务描述并由专家模型执行验证。这与已有方法的本质区别在于，已有方法要么只依赖开源数据（质量不可控），要么只使用单一合成策略（多样性不足），而OmegaUse通过多源融合实现了数据质量、多样性和覆盖度的平衡。
方法步骤详情
方法的具体步骤如下。第一阶段，数据构建。Grounding数据方面，聚合Aguvis、UI RefExp、Widget Captioning、SeeClick、Uground、OS-Atlas六个公开数据集共166万样本，经过人工检查和修正管线，去除约40%的噪声样本，最终得到11.1万高质量样本。Navigation数据有三条路径：开源数据审计（从AGUVIS stage-2集合出发，经规则过滤和MLLM轨迹审计）、自动轨迹合成（Bottom-up探索生成状态转换图并提取路径，Top-down基于桌面/移动分类法生成任务并由专家模型执行）、跨终端专家演示（LLM生成指令，人工执行，双层质量审核）。第二阶段，SFT训练。Grounding模型学习标准坐标格式输出；Navigation模型学习O、T、A管线（观察、思考、动作）。第三阶段，GRPO强化学习。Grounding模型使用格式奖励 $R_{fmt}$ 和边界框内奖励 $R_{pos}$ 的加权组合；Navigation模型使用格式奖励 $R_{fmt}$ 和动作奖励 $R_{act}$（含类型准确、坐标精度、内容保真度等多个子奖励）的加权组合。
技术新颖性
本文的技术新颖性体现在多个方面。在数据构建方面，Bottom-up探索方法创新性地使用了MLLM驱动的状态聚类和压缩机制，能够将结构冗余的UI状态（如视觉差异微小的设置页面）合并为虚拟节点，大幅提高计算效率。同时，轨迹提取中实现循环避免策略，避免无意义的UI循环（如设置到返回再到设置）。Top-down方法则构建了分层任务分类法（如桌面环境覆盖办公、浏览器、通信、文件管理、系统操作等9大域），确保任务覆盖的全面性。在奖励设计方面，Navigation模型的坐标精度奖励 $R_{coord}$ 采用了阶梯式设计（阈值 $\theta_1$ 和 $\theta_2$），而非简单的二值奖励，提供了更细粒度的梯度信号。对于拖拽动作，奖励 $R_{drag}$ 同时考虑起点和终点的精度；对于滚动动作，$R_{scroll}$ 额外考虑方向正确性。这种按动作类型设计差异化奖励的方式在已有工作中较为少见。
实验结果
OmegaUse在多个基准上取得了SOTA或极具竞争力的结果。在ScreenSpot-V2定位基准上，OmegaUse-G以96.3%的平均准确率建立新纪录，超越UI-Venus-Ground-72B（95.3%）和Seed1.5-VL（95.2%），其中移动端文本定位99.3%、桌面端图标定位96.4%表现尤为突出。在AndroidControl离线导航基准上，OmegaUse以87.6%的类型准确率和79.1%的步成功率超越所有基线，包括UI-Venus-Navi-72B（85.9%/77.2%）和UI-TARS-72B（85.2%/74.7%）。在AndroidWorld在线交互基准上，尽管仅使用截图而不借助外部规划器或辅助功能树，仍达到55.7%成功率，超越UI-TARS-72B（46.6%）。在自建的OS-Nav基准上，ChiM-Nav中文移动端达到87.78%类型准确率和74.24%步成功率，显著领先UI-Venus-72B（81.23%/67.51%）；Ubu-Nav桌面端平均55.9%，领先Holo2-30B-A3B（50.0%）。这些结果表明OmegaUse在不同平台和任务类型上都具有强泛化能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ScreenSpot-V2 GUI定位 | 平均准确率(%) | 96.3 | UI-Venus-Ground-72B: 95.3 | +1.0% |
| ScreenSpot-Pro专业软件定位 | 平均准确率(%) | 55.47 | UI-Venus-Ground-72B: 61.9 | -6.43%（72B模型领先） |
| AndroidControl离线导航 | 步成功率(%) | 79.1 | UI-Venus-Navi-72B: 77.2 | +1.9% |
| AndroidControl离线导航 | 类型准确率(%) | 87.6 | UI-Venus-Navi-72B: 85.9 | +1.7% |
| AndroidWorld在线交互 | 成功率(%) | 55.7 | UI-TARS-72B: 46.6 | +9.1%（对比同级别模型） |
| ChiM-Nav中文移动导航 | 步成功率(%) | 74.24 | UI-Venus-72B: 67.51 | +6.73% |
| Ubu-Nav Ubuntu桌面导航 | 平均成功率(%) | 55.9 | Holo2-30B-A3B: 50.0 | +5.9% |
局限与改进
尽管OmegaUse取得了优异的结果，但仍存在多方面局限。首先，在ScreenSpot-Pro专业软件定位基准上，OmegaUse-G（55.47%）明显落后于UI-Venus-Ground-72B（61.9%）和GTA1-72B（58.4%），说明在高分辨率专业界面的小目标定位上，MoE架构的模型容量仍然不如大参数密集模型。其次，在AndroidWorld在线交互基准上，与UI-Venus-Navi-72B（65.9%）存在约10%的差距，表明在动态实时环境中，OmegaUse的恢复和纠错能力仍有不足。论文指出模型仅基于截图输入，未利用辅助功能树等结构化信息，这在一定程度上限制了在复杂场景中的表现。此外，论文未提供模型的推理延迟和实际部署效率的定量分析，MoE架构的实际加速效果在论文中缺乏详细报告。数据构建管线虽然创新，但人工审核环节（11.1万样本的手动校准、专家演示的双层审核）的人力成本较高，可扩展性存疑。
独立分析的弱点
OmegaUse存在几个值得深入分析的弱点。第一，Grounding模型在专业软件（如CAD、科学计算工具）上的表现仍然较弱（ScreenSpot-Pro平均55.47%），特别是图标定位在多个领域低于30%。改进方向可以是针对专业软件UI进行专项数据增强，或引入分辨率自适应机制。第二，论文的两阶段解耦训练虽然避免了任务干扰，但也限制了Grounding和Navigation之间的信息共享，可以探索联合训练或多任务学习方案。第三，奖励函数的设计依赖手工设置的阈值（如 $\theta_1$、$\theta_2$、$\alpha_1$、$\alpha_2$），这些超参数的敏感性分析不足。可以考虑自适应阈值或基于课程学习的渐进式奖励调整。第四，Bottom-up探索的效率问题——DFS策略在复杂应用中可能产生大量低价值状态，且MLLM聚类的质量直接影响最终数据质量。第五，论文缺乏对模型错误模式的深入分析，如在哪些具体场景下容易失败、是定位错误还是规划错误等。
未来方向
论文作者提出的目标包括将OmegaUse扩展到更复杂的真实工作流，并探索更先进的安全约束和自纠错机制。基于本文成果，可以延伸多个研究方向：第一，将OmegaUse的训练范式推广到Web场景，结合浏览器DOM信息进行更精准的定位；第二，探索在线交互式强化学习，利用AndroidWorld等在线环境的实时反馈来提升模型的错误恢复能力；第三，引入多模态记忆机制，使智能体能够在长期任务中保持状态一致性；第四，将MoE架构的效率优势与模型压缩技术（如量化、蒸馏）结合，实现在移动设备上的高效部署；第五，基于OS-Nav基准开展跨语言和跨文化GUI交互研究，探索UI设计差异对智能体泛化能力的影响；第六，引入人机协作模式，在智能体不确定时请求人类确认，提升实际应用中的可靠性。
复现评估
在复现方面，论文的开源情况较好。OS-Nav基准已在HuggingFace开源（baidu-frontier-research/OS-Nav），包括ChiM-Nav和Ubu-Nav两个子基准的完整数据和专家标注推理轨迹。然而，OmegaUse模型本身的权重和训练代码未见开源，这会显著增加复现难度。数据构建管线虽然描述详细，但依赖于商业模拟器环境和MLLM API调用，复现成本较高。训练方面，30B-A3B MoE模型的SFT和GRPO训练需要大量GPU资源（论文使用了批量大小64、8个采样响应的GRPO设置），估计需要数十张高端GPU。开源数据集（Aguvis、SeeClick等）可以获取，但论文中描述的人工审核和标注过程难以完全复现。总体而言，评估基准的复现性较好，但模型训练的复现面临资源和环境的双重挑战。
论文图表