UI-Venus-1.5：面向真实场景的统一端到端GUI智能体技术报告 UI-Venus-1.5 Technical Report
通过四阶段训练流程（中期训练、离线强化学习、在线强化学习、模型合并）构建统一的GUI智能体，在多个基准测试中达到SOTA
前置知识
GUI Grounding（GUI定位）
GUI定位是指将自然语言描述或指令映射到屏幕GUI元素精确位置的能力。例如，当用户说'点击右上角的设置图标'时，模型需要在截屏图像中准确定位该图标的位置并输出坐标。这要求模型理解GUI布局、组件功能以及空间关系，是GUI智能体执行操作的基础能力。评估通常采用点在框内（point-in-box）的方式判断预测坐标是否落在正确元素的边界框内。
GUI定位是UI-Venus-1.5的核心能力之一，论文在ScreenSpot-Pro、VenusBench-GD等多个定位基准上取得了SOTA结果。理解这一概念才能理解模型的评估指标和改进方向。
强化学习中的GRPO算法（Group Relative Policy Optimization）
GRPO是一种策略优化算法，与传统的Actor-Critic框架不同，它直接从一组采样轨迹中估计相对优势，无需单独的价值函数网络。对于每个任务，策略生成G条完整交互轨迹，通过组内归一化计算轨迹级优势值。这种方法大幅降低了计算复杂度，并有效解决了GUI任务中稀疏奖励信号带来的收敛挑战。优势值通过轨迹奖励与组均值的差除以标准差计算得出。
GRPO是UI-Venus-1.5在线强化学习阶段的核心训练算法，理解其工作原理对于理解模型如何从环境交互中学习至关重要。
Mid-Training（中期训练）
中期训练是在预训练和强化学习之间插入的一个额外训练阶段，目的是为模型注入领域特定知识。UI-Venus-1.5的中期训练使用100亿token、涵盖30+个数据集的GUI数据，通过继续预训练的方式让模型获得GUI布局理解、组件功能识别、导航推理等基础能力。这类似于给模型进行一次'专业教育'，使其在进入强化学习前就具备GUI领域的基本素养。
中期训练是UI-Venus-1.5相比前代版本的关键改进之一，实验证明它将ScreenSpot-Pro准确率从52.3%提升到59.0%（8B模型），为后续RL训练提供了更好的初始化。
Model Merging（模型合并）
模型合并是一种将多个专业模型的参数整合为单一统一模型的技术。UI-Venus-1.5先分别训练定位、网页导航、移动导航三个专业模型，然后通过TIES-Merge方法合并。TIES-Merge首先计算任务向量（微调模型与基础模型的参数差异）并剪枝低幅更新，然后为每个参数选择主导符号方向，只聚合与该方向一致的更新。这种方法通过剪枝噪声更新和解决符号冲突，显著降低了性能回归。
模型合并使UI-Venus-1.5成为真正的端到端统一模型，无需部署多个专业模型。理解TIES-Merge的工作原理才能理解为什么合并后定位任务略有下降但导航任务反而提升。
Step vs Trace准确率不匹配问题
在GUI智能体训练中，单步准确率（step accuracy）衡量每个独立动作是否正确，轨迹准确率（trace accuracy）衡量整个多步任务是否成功完成。论文发现离线强化学习训练过程中，单步准确率持续上升但轨迹准确率达到峰值后会下降。这是因为离线RL的奖励仅优化单个动作，无法有效指导完整轨迹的正确组合。这一观察直接推动了在线强化学习阶段的引入。
这一发现是UI-Venus-1.5训练流程设计的核心动机，理解它才能理解为什么需要在线RL阶段，以及为什么单纯的离线训练不足以解决复杂GUI任务。
DaaS（Device as a Service）基础设施
DaaS是UI-Venus-1.5为支持大规模在线强化学习而构建的统一设备服务层。它包含两个核心组件：群控网关（GCGW）和统一客户端SDK。GCGW作为高性能反向代理，通过二次哈希路由算法处理ADB、CDP、SSH等异构协议，支持数十万并发连接。统一SDK封装设备生命周期管理、交互协议标准化等复杂操作，屏蔽底层基础设施细节。系统集成数千台异构设备，每日处理数百万操作请求。
DaaS是实现大规模在线强化学习的关键基础设施，没有它就无法在真实设备上进行大规模的轨迹采集和策略优化。
研究动机
当前GUI智能体面临的核心挑战是同时实现广泛通用性和一致的高性能。现有方法在离线强化学习阶段存在显著的单步准确率与轨迹准确率不匹配问题：单步准确率持续提升，但轨迹准确率达到峰值后会下降。这种不匹配主要源于个体步骤奖励的稀疏性以及训练数据与真实世界基准之间的固有领域差异。此外，现有GUI智能体通常需要部署多个专业模型（定位模型、网页导航模型、移动导航模型），这增加了部署复杂性。用户需要的是一个真正端到端的单一模型，能够处理各种GUI交互场景而无需复杂的多模型协调。
本文的目标是本文提出UI-Venus-1.5，旨在构建一个统一的端到端GUI智能体，能够同时处理GUI定位、网页导航和移动导航任务。具体目标包括：(1) 通过大规模中期训练为模型注入GUI领域知识，解决强化学习探索困难问题；(2) 通过在线强化学习直接优化轨迹级奖励，解决单步-轨迹准确率不匹配问题；(3) 通过模型合并技术将三个专业模型统一为单一检查点，简化部署；(4) 在ScreenSpot-Pro、AndroidWorld、WebVoyager等多个基准上达到或超越现有SOTA，同时针对40+中文移动应用进行实际场景优化。
与已有工作不同的是，UI-Venus-1.5的独特切入角度是其四阶段训练流程设计，特别是将中期训练与在线强化学习相结合。与UI-Venus-1.0仅依赖强化学习不同，1.5版本认识到单纯RL不足以建立GUI语义基础，因此引入中期训练进行'知识注入'。与现有SFT方法不同，它认识到离线数据的局限性，因此引入在线RL进行环境交互。与多模型方案不同，它通过TIES-Merge将专业能力统一到单一模型。这种'先注入知识、再分阶段优化、最后统一合并'的系统性方法，解决了现有方法要么知识不足、要么部署复杂的根本问题。
核心方法
UI-Venus-1.5采用四阶段训练流程，从直觉上可以理解为'先学理论、再练专项、后实战、最后融会贯通'。第一阶段中期训练通过100亿token的GUI数据建立基础GUI语义理解；第二阶段离线强化学习针对定位、移动导航、网页导航三个方向分别优化，建立专业能力；第三阶段在线强化学习通过与真实设备交互解决长序列决策问题；第四阶段模型合并将三个专业模型融合为统一检查点。技术路线上，基于Qwen3-VL系列架构，将空间目标映射到[0,1000]归一化坐标空间，使用统一的动作空间（包含点击、输入、滚动、悬停、双击、热键等原语）。
UI-Venus-1.5的核心创新在于三个技术突破的协同作用。首先是中期训练的知识注入策略：不同于前代版本直接进入RL，1.5版本认识到通用视觉模型缺乏GUI结构细粒度理解，中期训练使用30+数据集、100亿token建立GUI语义基础。其次是在线RL的规模化：受T-GRPO启发，进行全轨迹rollout和奖励计算，专门解决离线RL无法优化轨迹级性能的瓶颈。最后是TIES-Merge的统一策略：通过剪枝噪声更新和解决符号冲突，将三个专业模型合并为单一端到端模型，实现'一个模型解决所有GUI任务'的部署理想。这三个创新分别解决了知识不足、轨迹优化困难、部署复杂的根本问题。
方法步骤详情
第一步中期训练：聚合Mind2Web、ShowUI、AITW等30+数据源，构建100亿token语料库，覆盖语义感知（20.8%）、GUI-VQA（22.1%）、定位（24.8%）、混合导航-推理任务。采用迭代数据精炼流程，使用Qwen3-VL-235B-A22B作为教师模型对样本打分（0-10分），高质量样本（7分以上）进入金池，中等样本（4-6分）重写，低质量样本丢弃。还通过DaaS系统在真实设备上生成3万+条验证轨迹。第二步离线强化学习：定位任务使用格式奖励R_format和点在框内奖励R_point-in-box的加权组合；导航任务使用格式奖励和动作奖励（动作类型匹配+内容/坐标匹配）的组合。第三步在线强化学习：使用GRPO算法，对每个任务生成G条完整轨迹，通过组内归一化计算轨迹级优势值。奖励函数包含任务完成奖励R_comp、动作约束惩罚R_p、轨迹长度衰减系数eta，支持规则验证和MLLM-as-a-Judge双轨验证。通过自适应KL约束和退火熵正则化保证训练稳定性。第四步模型合并：使用TIES-Merge将定位、网页、移动三个专业模型合并，通过计算任务向量、剪枝低幅更新、选举主导符号方向、聚合对齐更新等步骤完成。
技术新颖性
UI-Venus-1.5的技术新颖性体现在多个层面。首先，中期训练的迭代数据精炼流程是创新的：使用MLLM-as-a-judge对训练样本打分、重写、重建，将高质量样本比例从69.7%提升到89.7%。其次，拒绝能力的引入是GUI定位的新范式：当指令指向不存在的元素时，模型输出[-1,-1]而非强制预测坐标，这在VenusBench-GD和OSWorld-G-Refine上带来了显著提升。第三，DaaS基础设施的设计解决了在线RL的关键瓶颈：二次哈希路由解决长连接协议的M乘N连接爆炸问题，零拷贝I/O保证近零额外延迟。第四，TIES-Merge在GUI领域的应用是首次，实验表明它在跨任务融合场景下显著优于线性合并：30B-A3B模型在AndroidWorld上，线性合并下降2.3%，TIES-Merge反而提升2.1%。第五，轨迹级优势分配策略是针对GUI长序列决策的创新：放弃逐步奖励，改为评估完整轨迹质量，通过组内竞争过滤环境随机性。
实验结果
UI-Venus-1.5在多个GUI基准测试中建立了新的SOTA。在GUI定位任务上，30B-A3B模型在VenusBench-GD达到75.0%（超越MAI-UI-32B的65.2%），ScreenSpot-Pro达到69.6%（超越MAI-UI-32B的67.9%），OSWorld-G-R达到76.4%（超越Holo2-30B-A3B的76.1%），OSWorld-G达到70.6%（超越MAI-UI-32B的67.6%），UI-Vision达到54.7%（超越MAI-UI-32B的47.1%）。在导航任务上，AndroidWorld达到77.6%（超越MAI-UI-32B的73.3%），AndroidLab达到68.1%（人工验证），VenusBench-Mobile达到21.5%（超越UI-Venus-1.0-72B的15.4%），WebVoyager达到76.0%。模型展现出一致的规模效应：ScreenSpot-Pro上2B/8B/30B-A3B分别达到57.7%/68.4%/69.6%。消融实验证明每个阶段的贡献：离线RL在ScreenSpot-Pro上带来约6-7%提升，Online-RL在AndroidWorld上为2B模型带来+14.5%的显著提升。中期训练的潜空间分析显示聚类可分性提升34.0%（Silhouette Score从0.235到0.315）。模型合并后，30B-A3B在AndroidWorld上反而提升2.1%，说明统一过程帮助模型利用跨任务知识。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GUI定位 - VenusBench-GD | 准确率 | 75.0% | MAI-UI-32B: 65.2% | +9.8% |
| GUI定位 - ScreenSpot-Pro | 准确率 | 69.6% | MAI-UI-32B: 67.9% | +1.7% |
| GUI定位 - OSWorld-G | 准确率 | 70.6% | MAI-UI-32B: 67.6% | +3.0% |
| GUI定位 - UI-Vision | 准确率 | 54.7% | MAI-UI-32B: 47.1% | +7.6% |
| 移动导航 - AndroidWorld | 成功率 | 77.6% | MAI-UI-32B: 73.3% | +4.3% |
| 移动导航 - VenusBench-Mobile | 成功率 | 21.5% | UI-Venus-1.0-72B: 15.4% | +6.1% |
| 网页导航 - WebVoyager | 准确率 | 76.0% | WebVoyager基线: 59.1% | +16.9% |
局限与改进
论文承认的主要局限性包括：首先，模型合并虽然简化了部署，但会导致专业任务的轻微性能下降，ScreenSpot-Pro在合并后下降约1.4%。其次，在线强化学习需要大规模设备资源和计算成本，DaaS系统集成数千台设备、每日处理数百万请求，这对大多数研究团队而言难以复现。第三，AndroidLab评估存在官方代码bug，需要人工验证才能获得准确结果，说明评估基础设施本身存在可靠性问题。第四，虽然论文针对40+中文应用进行了优化，但缺乏在这些真实场景的定量评估结果。第五，模型在WebVoyager上的表现（76.0%）落后于Holo2-30B-A3B（83.0%）和OpenAI-CUA（87.0%），说明网页导航仍有提升空间。第六，论文未提供训练成本、推理延迟、能耗等效率指标，难以评估实际部署的可行性。此外，轨迹级优势分配虽然解决了长序列问题，但可能导致对关键步骤的信用分配不够精细。
独立分析的弱点
独立分析的弱点包括：(1) 模型合并的理论基础不足：论文采用TIES-Merge但未深入分析为什么合并后某些任务提升而其他任务下降，缺乏对参数冲突模式的系统性研究。改进方向是探索自适应合并权重或基于任务相关性的动态合并策略。(2) 在线RL的样本效率问题：论文提到轨迹生成成功率从17.9%迭代提升到70%，但仍有30%的轨迹失败，大量计算资源被浪费。可以引入课程学习或基于模型置信度的任务难度自适应采样来提高效率。(3) 拒绝能力的权衡：引入拒绝机制虽然提升了VenusBench-GD等含拒绝样本的基准，但在ScreenSpot-Pro等无拒绝样本基准上可能带来边际下降。改进方向是条件化拒绝输出，根据任务类型动态决定是否启用拒绝能力。(4) 缺乏多轮对话能力：论文仅评估单轮指令执行，未涉及多轮对话场景下的GUI交互，这在实际助手应用中是常见需求。(5) 动作空间扩展：当前动作空间虽包含悬停、双击、热键等新原语，但仍缺少拖放、多指手势等复杂交互，限制了在绘图、游戏等场景的应用。
未来方向
作者提出的未来方向包括继续优化模型在真实场景中的应用能力，特别是在中文移动生态系统中的任务自动化。基于成果可延伸的方向包括：(1) 多模态输入扩展：当前仅使用截屏，可探索结合UI树结构、触摸轨迹、语音指令等多模态信息；(2) 持续学习机制：GUI界面会随应用更新而变化，需要在线适应新布局和功能；(3) 安全性与可控性：自主操作用户设备涉及隐私和安全风险，需要引入操作确认机制和异常检测；(4) 跨设备泛化：从手机/网页扩展到桌面、智能家居、VR/AR等新平台；(5) 长期记忆与规划：当前模型缺乏对用户习惯和历史操作的学习能力，引入长期记忆可提升个性化服务水平；(6) 高效推理优化：30B-A3B模型虽为MoE架构，但在边缘设备部署仍需进一步压缩，可探索知识蒸馏或量化技术。
复现评估
复现评估方面存在明显挑战。开源情况：论文提供了GitHub代码仓库和HuggingFace模型集合，支持社区复现。数据方面：中期训练使用30+公开数据集，但迭代数据精炼流程需要Qwen3-VL-235B-A22B作为教师模型，这对算力要求较高。算力需求：在线强化学习需要DaaS基础设施支持大规模真实设备交互，论文集成数千台设备、每日处理数百万请求，这是普通研究团队难以复现的核心瓶颈。训练难度：四阶段流程（中期训练、离线RL、在线RL、模型合并）每阶段都有大量超参数和设计决策，消融实验虽展示了每阶段贡献，但缺乏详细的超参数敏感性分析。评估复杂性：AndroidLab存在官方代码bug需要人工验证，部分基准（如VenusBench系列）为作者团队构建，可能存在评估偏向。总体而言，中期训练和离线RL阶段相对可复现，但在线RL阶段因设备资源需求成为复现的主要障碍。
论文图表
