Qwen-UI-Agent：面向真实世界的通用基础 GUI 智能体技术报告 Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents

完整流程如下：**阶段一：领域能力 Bootstrapping**——用强基础模型分析各域所需知识与能力，构建层级化功能树和能力画像，编译成可复用的'任务合成技能'，自动生成初始任务池与环境上下文；按 MAI-UI 范式做拒绝采样、聚合得到统一 SFT 语料。**阶段一·SFT 细节**——为每个域训练专家模型（域条件专家训练，含跨域数据混合防过拟合），再做模型合并得到单一 checkpoint；为保留通用能力，混合'起始模型自己能解对'的 in-distribution 数据（数学、代码、问答、工具使用），实验证明这种比喂难题更有效；用滑动窗口训练（窗口 $n=5$，步长 $n-1=4$，一步重叠）压缩长轨迹 SFT 的重复上下文成本。**阶段二：Action RL**——挖掘 6 类复发错误（易混淆元素定位、排序、数量完备性、过早完成、重复循环、长尾动作选择失败），结合历史轨迹挖掘 + 主动环境探索构造针对性数据，按上述动作感知奖励训练，并用熵正则与推理长度上下界防止策略坍缩。**阶段三：Online RL**——用统一环境基础设施在阿里云上部署最多 10000 并发 rollout；通过环境状态合成→任务合成→验证器合成三步自动产出约 10000 个已验证任务-验证器对；对每任务采样 $K$ 条轨迹，验证器评估最终状态得二值奖励，按 GRPO 相对优势更新；模型自适应课程把'中等成功率'任务放活跃池、'太难'任务放监控池小预算监测，一旦开始出现成功就升级到活跃池。**阶段四：Harness 层**——基于通知流的事件感知→关联持久化 affair（事件/事务/任务三层抽象）→affair 级推理生成决策就绪的任务卡→低风险准备性动作先行、敏感动作（支付/预订）需用户确认→从用户反馈持续演化画像记忆。跨平台执行用 OpenClaw 式分层规划器，移动子任务在虚拟屏上并行不阻塞用户。

技术新颖性体现在多个维度。**环境侧**：首次系统化构建真实中文移动生态的真机运行时（100+ 设备、150+ App、健康感知调度器、动态黑名单、虚拟屏 1 机多显、VLM 判官区分模型失败与环境失败），并用同一接口统一异构环境生命周期（acquire/reset/step/evaluate/tear_down/release）。**动作侧**：把 cli_command 直接嵌入 OSWorld VM 内的非交互 shell（而非打开终端 App 操作），CLI 输出作为结构化观察与截图一起返回；批量动作在 GUI 与 CLI 间自由组合，超过 40% 动作为批量。**数据侧**：步级 VLM-as-Judge 从成功和失败轨迹中抢救三种监督信号，作者发现其 SFT 效果'相当或优于'用可执行验证器筛选完整轨迹——这是对'高质量 outcome 标注稀缺'这一痛点的重要回应。**训练侧**：Action RL 专门针对 6 类复发动作错误做局部修正，Online RL 用 100+ 步轨迹和模型自适应课程优化长程决策，并观察到'Bash 作手、GUI 作眼'的跨模态协作模式自发涌现（执行-验证转移从 40.2%→52.4%）。**系统侧**：Harness 层把通知流转化为 affair 级推理，是'从被动执行到主动服务'这一新维度的早期探索。

**弱点一：执行延迟与每步成本未解决。** GUI 智能体每一步都要'观察-推理-动作'循环，长程任务延迟累积严重，文中恐龙游戏案例就揭示了单步模型推理无法跟上实时游戏，必须靠 CLI 写本地控制器绕开。改进方向：自适应观察（仅在状态显著变化时截图）、异步执行、推测解码、把高频小决策蒸馏成轻量策略。**弱点二：长程任务的绝对完成度仍低。** OSWorld-v2 binary 仅 13.9%，说明大多数复杂桌面工作流仍做不完。改进方向：把 Harness 的上下文压缩、任务分解、记忆管理、进度跟踪做成显式机制，作为模型能力之外的补充支撑（作者自己也列为未来方向）。**弱点三：评测依赖 VLM 判官。** AutoJudge 的 92.8% 精度意味着约 7% 真机结果可能被误判，且判官与被评模型可能共享偏见。改进方向：构建可在真实 App 上注入和读取状态的更高保真合成环境（作者提到已建未用），配合确定性验证器；公开 AutoJudge 的提示与 disagreed 案例供社区审计。**弱点四：主动服务的安全性与个性化尚浅。** Harness 会基于通知发起预订、改签等敏感操作，目前靠 ask_user 兜底，但缺少系统的安全训练目标、可解释性约束与用户可控的画像记忆审计。改进方向：安全导向的 RL 目标、行为可解释性方法、让用户能查看/删除/纠偏画像。**弱点五：35B-A3B 与 CUA/DeepSearch 的训练未完成。** 当前开源友好版（35B-A3B）的能力图谱不完整，影响部署选型。改进方向：尽快补齐并开源权重与数据合成方法。

作者明确提出的方向：(1) **高效 GUI 执行**——通过更快推理、自适应观察、异步执行、减少交互轮次来降低每步延迟，这是走向实用的最大障碍。(2) **Harness 辅助的长程工作流**——在模型之外用 Harness 做上下文压缩、任务分解、记忆管理、进度跟踪、结构化工具调用。(3) **大规模跨域 Online RL**——开发更高效稳定的训练策略应对慢且变长的 rollout 与稀疏延迟奖励，并在浏览器/移动/桌面环境上联合训练以提升数据效率和跨域泛化。(4) **高保真环境的可扩展合成**——真机昂贵难重置难验证，合成高保真环境是缩小 sim-to-real 鸿沟的互补路径，作者承诺开源环境合成方法。(5) **安全、用户控制与个性化**——更系统的安全评测与训练目标、可解释性约束；构建可靠的用户记忆与画像、并让用户可控。**基于成果可延伸**：可探索把 Harness 的 affair 抽象推广到桌面通知/IoT 事件流形成全设备主动助理；可研究 Action RL 的奖励 shaping 与 Online RL 的课程学习联合优化；可把 GUI-CLI 跨模态'Bash 作手、GUI 作眼'模式显式建模为分层策略以加速收敛；可在 4B 小模型上验证该方法能否下沉到端侧部署。

**复现难度高，属于工业级系统工程。** 关键阻碍：(1) 真机运行时需要 100+ 物理手机、150+ App、健康感知调度器、虚拟屏、用户接管机制——这是普通学术组无法负担的硬件与工程投入。(2) Online RL 依赖阿里云上 10000 并发沙箱环境，rollout 吞吐量本身是工程壁垒。(3) 数据飞轮依赖强基础模型生成任务/环境/验证器，约 10000 个验证任务-验证器对、约 10000 并发环境，数据生成代码与验证器细节未公开。(4) 论文提供了模型规模（27B/35B-A3B/4B）、关键公式（动作感知奖励、GRPO 相对优势）、训练超参（窗口 $n=5$、entropy 正则、推理长度界）、评测协议（AutoJudge 三分类、5 个 VLM 投票、环境错误单独报告）等关键信息，但 SFT 数据配比、课程学习阈值、各 RL 阶段的具体步数/学习率均未给出。(5) 报告发布时模型权重、代码、MobileWorld-Real 数据集、AutoJudge 协议均未明确开源计划（仅项目页 tongyi-mai.github.io/Qwen-UI-Agent）。AutoJudge 在 666 条人工标注上 92.8% 精度为真机评测提供了可审计基础，是少数可被外部部分验证的组件。整体上，独立复现完整系统近乎不可行，复现单一基准上的小规模结果也需要相当工程能力。