小米GUI-0技术报告：真实移动环境下的原生端到端多模态GUI代理

首个基于真实设备闭环训练的移动GUI代理，在RealMobile基准上达到72.0%成功率

前置知识

GUI代理

图形用户界面代理是能够感知屏幕观察、理解自然语言指令，并通过点击、滑动、文本输入和页面导航等界面级操作完成用户任务的智能系统。与依赖应用程序编程接口（API）或函数调用的代理不同，GUI代理直接作用于图形交互表面，原则上可以广泛适用于现有应用。现代GUI代理通常基于视觉-语言模型（VLM）构建，能够理解屏幕截图和用户指令，并生成相应的操作动作。

GUI代理是本文的核心研究对象，理解其工作原理、挑战和训练方法是读懂本文的基础。论文围绕如何提升GUI代理在真实设备环境中的可用性展开，涉及感知、规划、执行和反思等多个方面。

强化学习

强化学习是一种机器学习范式，智能体通过与环境交互，在获得奖励或惩罚的反馈下学习最优策略。在GUI代理场景中，智能体（代理）执行一系列界面操作，环境（移动应用）返回新的屏幕状态，最终根据任务完成情况获得奖励。强化学习通过优化长期累积奖励，使代理学会在长序列任务中做出正确决策。本文采用的Group Sequence Policy Optimization（GSPO）是一种序列级别的强化学习算法，针对GUI代理响应的结构化特点进行了优化。

强化学习是本文训练方法的核心组成部分，特别是步骤级强化学习（Step RL）和代理强化学习（Agentic RL）两个阶段。理解强化学习的基本概念、奖励设计和优化目标对于把握论文的技术路线至关重要。

视觉-语言模型（VLM）

视觉-语言模型是能够同时处理图像和文本输入的多模态模型，通常通过在视觉编码器和语言编码器之上训练跨模态注意力机制实现。在GUI代理场景中，VLM负责理解屏幕截图（视觉输入）和用户指令（文本输入），并生成结构化的推理过程和操作动作。Xiaomi-GUI-0采用Qwen3-VL-30B-A3B-Instruct作为骨干模型，这是一个大规模的视觉-语言模型，具备强大的感知和推理能力。

VLM是GUI代理的感知和推理基础，理解其架构、能力和限制有助于理解模型的设计选择和性能边界。论文中提到的屏幕理解、元素定位、动作生成等能力都依赖于VLM的多模态处理能力。

离策略学习

离策略学习是指智能体使用与当前策略不同的策略生成的数据来进行学习。在GUI代理场景中，离策略问题表现为：标注者演示的历史数据与当前模型在执行过程中实际访问的状态分布不匹配。例如，训练数据主要由成功轨迹组成，而模型在真实执行中会遇到各种失败状态。离策略学习可以通过重要性采样等方法缓解分布偏移，但在GUI任务中，状态空间复杂且状态转移成本高，使得离策略学习面临挑战。

离策略问题是GUI代理训练面临的核心挑战之一。论文通过构建错误驱动的数据飞轮，在真实执行中收集失败状态数据，从而减少离策略偏移。理解这一概念有助于理解论文为何强调真实设备闭环训练的重要性。

研究动机

现有GUI代理的训练和评估主要依赖离线成功轨迹、模拟环境和标准化基准，这些资源与真实应用在界面布局、交互逻辑和异常状态分布方面存在显著差异。在真实设备上，账户状态、权限对话框、支付认证、风控机制等因素持续重塑执行时的状态分布，导致基准测试高分与实际可用性之间存在持续差距。例如，AndroidWorld等公共基准在模拟器上运行，无法捕获主流商业应用中的异常状态，如验证码、支付认证、登录过期、风控拦截和手动验证等。这使得模型在这些受控环境中获得的高分无法预测其在真实设备上的表现。

本文的目标是本文的目标是构建一个真实移动环境下的原生端到端多模态GUI代理，通过真实设备闭环训练和评估，缩小基准测试得分与实际可用性之间的差距。具体而言，旨在开发一个能够在真实设备、真实应用、真实用户请求和真实失败状态下可靠运行的移动GUI代理，并设计相应的评估基准来量化其在真实条件下的性能。

与已有工作不同的是，本文的独特切入角度是将真实执行作为训练和评估的核心，而非仅在部署时考虑真实环境条件。与主要优化静态基准或模拟环境性能的现有工作不同，Xiaomi-GUI-0围绕真实设备执行构建闭环，持续吸收真实执行中暴露的错误模式，并将其转化为监督、反思和奖励信号用于后续训练。这种以真实执行为中心的范式使模型的训练分布与部署分布保持一致，从而提升了稳定性和鲁棒性。

核心方法

Xiaomi-GUI-0的整体思路是构建一个真实设备主导的训练和评估闭环，通过物理设备作为主要执行环境，沙箱提供辅助支持，确保数据收集、模型训练、在线推出和评估共享接近真实部署的执行分布。在此基础上，构建多源训练数据，包括高频任务数据、高泛化数据和代理能力增强数据。进一步引入错误驱动的数据飞轮，将推出过程中暴露的失败轨迹转化为修正动作、反思说明和恢复演示，为异常状态识别和自我恢复提供直接监督。训练采用三阶段渐进式流水线：监督微调（SFT）、步骤级强化学习（Step RL）和代理强化学习（Agentic RL），逐步发展基本界面操作、长视野规划和错误恢复能力。

Xiaomi-GUI-0的核心创新点在于将真实设备执行作为训练和评估的中心，构建错误驱动的数据飞轮，围绕模型自身的错误分布生成反思和纠正数据。与传统主要强调数据规模扩展的飞轮不同，Xiaomi-GUI-0的飞轮明确围绕真实推出过程中暴露的错误分布组织：通过交互式标注定位关键错误步骤，通过教师模型评分和接管生成从错误状态恢复到正确路径的演示轨迹。这使得监督信号直接针对模型的能力瓶颈，而不是仅仅扩展成功轨迹的规模。此外，三阶段渐进式训练从密集到稀疏反馈逐步发展模型能力，避免了将稀疏的长视野奖励应用于尚不能产生结构化有效响应的策略。

方法步骤详情

方法步骤的完整描述包括四个主要部分：基础设施构建、数据收集与构建、模型训练和评估。首先，构建真实设备主导的混合基础设施，数百部物理手机和平板作为主要执行基质，辅以数百个沙箱实例用于可扩展和可重现的收集。资源层管理设备和沙箱，调度层动态匹配任务、设备和账户状态，执行和收集层将任务决策转化为具体设备操作并记录完整交互轨迹。其次，构建多源训练数据：高频任务数据针对头部用户任务及其异常状态；高泛化数据通过功能树和行为桶扩展到长尾意图；代理能力增强数据强化反思和记忆等核心能力；错误驱动的数据飞轮将失败轨迹转化为纠正动作、反思说明和恢复演示。再次，采用三阶段训练流水线：SFT使用约120万GUI步骤级样本和440万定位样本进行监督微调；Step RL采用GSPO优化步骤级响应，使用级联奖励评估动作格式、参数、推理结构和一致性；Agentic RL在真实或近真实移动交互环境中进一步改进长视野规划、状态记忆、反思性错误纠正和恢复导向执行。最后，在AndroidWorld和RealMobile两个基准上评估模型性能。

技术新颖性

Xiaomi-GUI-0的技术新颖性体现在多个方面。首先，真实设备主导的混合基础设施将物理设备作为主要执行环境，能够与真实应用、真实账户状态、原生系统行为、真实网络条件和不同设备类型的UI布局进行交互，这与此前依赖模拟环境的工作（如CUA-Gym或MobileGym）形成对比。其次，错误驱动的数据飞轮明确围绕模型自身的错误分布组织，通过交互式标注和教师模型评分与接管生成反思和纠正数据，这与传统主要扩展数据规模的飞轮不同。再次，三阶段渐进式训练流水线从密集到稀疏反馈逐步发展模型能力，避免了将稀疏长视野奖励应用于尚不能产生结构化有效响应的策略。最后，RealMobile基准从真实用户流量构建，在物理设备上对真实应用执行，通过细粒度子目标评分任务，跨越跨应用场景评估模型在真实条件下的可用性，这与此前依赖模拟器或受控环境的基准形成对比。

**Figure 1**: Our hybrid infrastructure. Hundreds of physical phones and dozens of physical tablets form the primary execution substrate, complemented by hundreds of sandbox instances for scalable and reproducible collection.

**Figure 2**: High-generalization data construction pipeline: from function-tree construction through behavior-bucket query synthesis, trajectory rollout on the hybrid infrastructure, and trajectory- and step-level cleaning, with function-point back-tagging closing the loop on coverage.

**Figure 3**: Query synthesis pipeline. Behavior buckets are built from the function tree and used, together with the tree itself for long-tail coverage, to sample queries by type: function-point, complex, and summary queries within a single application, and relay, contrast, and parallel queries across applications. The candidates then pass through LLM-judge filtering, natural-language polishing, and function-point back-tagging.

**Figure 4**: The four-layer architecture of the annotation platform, spanning the interaction interface, execution and scheduling, the device and sandbox service pool, and trajectory storage. Annotators replay failed trajectories, locate the first key error, and record the corrected action and reason.

**Figure 5**: The student rolls out on the cluster while the teacher scores each step. Sustained below-threshold scores trigger a bounded takeover that produces a deviation–diagnosis–recovery segment before control returns to the student.

**Figure 6**: Online training framework for Agentic RL.

实验结果

实验表明，Xiaomi-GUI-0在真实设备基准RealMobile上达到72.0%的成功率，在AndroidWorld上达到78.9%的成功率，两个数字均为四次运行的平均值以考虑这些基准上相对较大的评估方差。在AndroidWorld上，Xiaomi-GUI-0在评估模型中获得最佳结果，超越了UI-TARS、GUI-Owl和UI-Venus系列，超过了此前最强的UI-Venus-1.5-30B-A3B的77.6%，这表明提出的训练流水线在保持公共基准泛化能力的同时增强了长视野执行。在更具挑战性的RealMobile上，Xiaomi-GUI-0大幅超越了可本地部署的开源模型如MAI-UI-8B的33%，这表明基于离线轨迹、模拟器或公共基准的范式在账户状态变化、系统对话框、支付认证、风控干预等真实移动条件下的转移效果不佳。在闭源系统中，Xiaomi-GUI-0超越了Gemini 3.1 Flash的58%、Claude Opus 4.7的60%和Claude Opus 4.6的33%，并接近了Gemini 3.1 Pro的85%和Seed 2.0 Pro的80%等前沿模型，尽管这些模型规模更大，这支持了真实设备闭环在缩小基准测试得分与实际可用性差距方面的价值。在RealMobile的四个能力维度上，Xiaomi-GUI-0在Foundation领域达到100.0%成功率，与最强的闭源模型如Gemini 3.1 Pro和Seed 2.0 Pro持平，表明基本UI操作已接近饱和，不再区分有能力代理；Safety & Reflection是每个评估模型最弱的领域，即使Gemini 3.1 Pro仅达到62.5%成功率，而Xiaomi-GUI-0达到43.8%，在开源模型中最高，表明安全意识和自我纠正行为仍然是当前GUI代理的共同瓶颈；在Memory & Knowledge领域，Xiaomi-GUI-0达到66.7%成功率，大幅领先所有开源模型，但落后于Gemini 3.1 Pro的93.9%和Seed 2.0 Pro的90.9%，表明知识密集型回忆可能更依赖于模型容量，因为更大和更通用的模型倾向于编码更丰富的世界知识；在Complex Reasoning & Planning领域，它达到80.5%成功率，接近Gemini 3.1 Pro的82.9%并超过Seed 2.0 Pro的73.2%，而最强的开源基线仅达到31.7%，表明在可部署模型规模下的长视野规划可以媲美前沿闭源系统。

**Table 1**: The cascade reward. Levels are evaluated top to bottom and the procedure exits at the first failing level, which determines the assigned reward.

**Table 2**: Capability domains, sub-dimensions, task counts, and multi-application statistics in RealMobile. Task counts are reported per sub-dimension, while application statistics are aggregated at the domain level.

**Table 3**: Sub-goal decomposition for three representative tasks. Each sub-goal is annotated with its cumulative score in [0, 1], and triggering any veto condition invalidates the entire trajectory with a score of 0.

**Table 4**: Results on RealMobile and AndroidWorld. Success denotes the fraction of fully completed tasks and progress denotes the mean fraction of completed sub-goals per task.

**Table 5**: Per-domain results on RealMobile across the four capability domains.

查看结构化数据

任务	指标	本文	基线	提升
RealMobile总体任务完成	成功率	72.0%	Gemini 3.1 Pro (85.0%), Seed 2.0 Pro (80.0%), UI-Venus-1.5-30B-A3B (21.0%)	相比最强开源基线提升51个百分点，接近前沿闭源模型
AndroidWorld任务完成	成功率	78.9%	UI-Venus-1.5-30B-A3B (77.6%), UI-TARS-2 (73.3%)	超越此前最强的开源和闭源模型
RealMobile - Foundation领域	成功率	100.0%	Gemini 3.1 Pro (100.0%), Seed 2.0 Pro (100.0%)	与最强闭源模型持平，基本UI操作已接近饱和
RealMobile - Safety & Reflection领域	成功率	43.8%	Gemini 3.1 Pro (62.5%), Claude Opus 4.7 (37.5%)	开源模型中最高，但安全意识和自我纠正仍是共同瓶颈
RealMobile - Memory & Knowledge领域	成功率	66.7%	Gemini 3.1 Pro (93.9%), UI-Venus-1.5-30B-A3B (24.2%)	大幅领先所有开源模型，但知识密集型回忆依赖模型容量
RealMobile - Complex Reasoning & Planning领域	成功率	80.5%	Gemini 3.1 Pro (82.9%), Seed 2.0 Pro (73.2%)	接近前沿闭源模型，显著超越开源基线(31.7%)

局限与改进

作者承认的局限性包括：首先，Safety & Reflection领域仍然是每个评估模型最弱的领域，即使Gemini 3.1 Pro仅达到62.5%成功率，表明安全意识和自我纠正行为仍然是当前GUI代理的共同瓶颈。其次，Memory & Knowledge领域中，Xiaomi-GUI-0达到66.7%成功率，大幅领先所有开源模型，但落后于Gemini 3.1 Pro的93.9%和Seed 2.0 Pro的90.9%，表明知识密集型回忆可能更依赖于模型容量。此外，作者指出模型在处理复杂主观规划任务（如"请为我家五口人计划后天从北京到天津的两日游"）时表现不如复杂客观规划任务，因为指令模糊、目标开放，代理必须独立分解任务。我的观察包括：首先，模型的训练数据主要覆盖100个高频商业移动应用、20个平板和座舱应用以及20个AndroidWorld应用，虽然覆盖面广，但对于新兴应用或小众应用的支持可能有限。其次，模型依赖于真实的账户状态和网络条件，这在提升真实性的同时也引入了环境不确定性，可能导致评估结果的方差较大。此外，模型在处理需要外部世界知识或常识推理的任务时，可能受到预训练模型知识边界的限制。最后，模型的三阶段训练流水线虽然设计合理，但训练成本较高，需要大量计算资源和真实设备支持，这可能限制了其在资源受限环境中的应用。

独立分析的弱点

独立分析的弱点包括：首先，模型在Safety & Reflection领域的表现相对较弱，成功率仅为43.8%，表明在处理需要用户授权、账户变更或不可逆操作的任务时，模型的判断和自我纠正能力仍有提升空间。改进方向可以是增加更多安全约束的训练数据，引入更强的奖励信号来惩罚不安全行为，或者设计专门的安全评估模块。其次，模型在Memory & Knowledge领域虽然领先开源模型，但与前沿闭源模型仍有差距，表明知识密集型回忆可能需要更大的模型容量或更高效的知识检索机制。改进方向可以是引入外部知识库或记忆增强机制，或者在预训练阶段加强多模态知识的学习。此外，模型在处理复杂主观规划任务时表现不如复杂客观规划任务，表明在指令模糊、目标开放的任务中，模型的自主分解和推理能力需要加强。改进方向可以是引入更丰富的规划策略，或者通过演示学习增强模型处理开放目标的能力。最后，模型的训练和部署依赖于大量真实设备，这带来了成本和维护挑战，改进方向可以是优化设备利用率，或者开发更高效的虚拟化技术以减少对物理设备的依赖。

未来方向

作者提出的未来研究方向包括：继续扩展真实设备闭环的规模和覆盖范围，包括更多设备类型、应用场景和用户意图。此外，可以探索更高效的奖励模型设计，以减少对LLM-as-judge的依赖。基于成果可延伸的方向包括：引入更先进的异常状态识别和恢复机制，如基于学习的异常检测模型或自适应恢复策略。可以探索跨设备迁移学习，将在一种设备类型上学到的能力迁移到其他设备类型。此外，可以研究更高效的多模态感知方法，如引入更精细的屏幕理解模型或动态注意力机制。最后，可以探索与用户的协同执行机制，如在不确定时主动请求用户输入，或者在执行过程中提供可解释的决策过程。

复现评估

复现评估：Xiaomi-GUI-0的代码、权重和RealMobile基准已开源，可以在项目主页https://seerray-lab.github.io/Xiaomi-GUI-0/获取。训练数据未完全开源，但论文提供了详细的数据构建方法和规模信息。硬件方面，所有实验在64个NVIDIA H100 GPU上进行，组织为8个节点，每个节点8个GPU。训练流水线基于verl强化学习框架，使用Megatron-Core作为训练后端，SGLang作为推出引擎。SFT阶段使用约120万GUI步骤级样本和440万定位样本，训练一个epoch，全局批次大小为256，序列长度为8192，使用AdamW优化器，学习率为1e-5，采用余弦衰减和10%预热。Step RL阶段引入约40万GUI步骤级样本，使用GSPO目标，每个提示采样16个响应，策略采用恒定学习率1e-6和非对称裁剪比率(3e-4, 4e-4)，训练一个epoch，批次大小为128个提示。Agentic RL阶段在结合数百个并行模拟器和物理设备集群的交互式Android环境中运行，采样16个响应每提示，策略采用恒定学习率1e-6和非对称裁剪比率(3e-4, 4e-4)，课程采样器根据平滑成功率估计分配任务，衰减系数为0.9，α从1.5退火到0.5，β从1.0退火到2.0，温度η=1.0，训练批次大小为32个提示，最大提示长度为8192。整体而言，虽然训练成本较高，但提供了足够的细节和开源资源，使得研究团队能够复现主要结果。

小米GUI-0技术报告：真实移动环境下的原生端到端多模态GUI代理 Xiaomi-GUI-0 Technical Report