Mobile-Agent-v3.5：多平台基础GUI智能体 Mobile-Agent-v3.5: Multi-platform Fundamental GUI Agents
提出GUI-Owl-1.5模型家族，通过混合数据飞轮和多平台RL扩展实现跨设备GUI自动化
前置知识
GUI Agent（GUI智能体）
GUI智能体是一类能够自主与图形用户界面进行交互的AI系统。它通过接收屏幕截图作为视觉输入，理解用户指令，然后输出具体的GUI操作（如点击、输入、滚动等）来完成任务。与传统的脚本自动化不同，GUI智能体基于视觉-语言模型（VLM）进行端到端学习，能够处理动态变化的界面状态和多样化的应用场景。GUI智能体的核心挑战在于需要将自然语言指令映射到具体的像素级操作，同时维持多轮交互中的任务状态追踪。
本文的核心就是构建一个跨平台的GUI智能体模型，理解GUI Agent的基本概念是理解本文技术贡献的基础。
GRPO（Group Relative Policy Optimization）
GRPO是一种强化学习算法，它是PPO的一种变体，通过采样一组轨迹并计算组内相对奖励来更新策略，而不需要训练单独的价值网络。对于每个任务，GRPO生成n个轨迹，然后根据这些轨迹的成功/失败结果计算优势函数。这种方法的优势在于降低了训练复杂度，但面临的一个关键问题是当所有采样轨迹都产生相同结果（全成功或全失败）时，梯度信号会消失，导致训练不稳定。
本文提出的MRPO算法正是为了解决GRPO在GUI场景中的训练不稳定性问题，这是方法论的核心创新之一。
Chain-of-Thought（思维链）
思维链是一种让模型在输出最终答案前先生成中间推理步骤的技术。在GUI智能体场景中，CoT包括对当前屏幕的观察、对任务进度的反思、关键信息的记忆管理，以及对下一步行动的推理。通过在训练数据中注入这些逐步推理内容，模型能够学会更复杂的多步推理和长期规划能力，而不是仅仅学习直接从输入到动作的映射。
本文设计了统一的CoT合成管道来增强模型的推理能力，这是提升GUI智能体长期规划能力的关键技术。
MCP（Model Context Protocol）
MCP是一种标准化的工具调用协议，允许AI模型以统一的接口与外部工具和API进行交互。在GUI智能体场景中，MCP使得模型不仅能够执行GUI操作（点击、输入等），还能调用外部工具完成更复杂的任务，比如查询数据库、执行代码、调用第三方服务等。MCP将GUI操作和工具调用统一在一个框架下，扩展了智能体的能力边界。
本文的GUI-Owl-1.5模型支持MCP工具调用，这是区别于传统GUI智能体的重要能力扩展。
边缘-云协作（Edge-Cloud Collaboration）
边缘-云协作是一种计算架构模式，将计算任务分配到边缘设备（如手机、本地电脑）和云端服务器之间。在GUI智能体场景中，小型instruct模型（如2B、4B）可以部署在边缘设备上处理高频、实时的交互任务，而大型thinking模型（如32B、235B）部署在云端处理需要复杂推理的长期任务。这种架构既保证了响应速度和隐私安全，又能利用云端的强大计算能力。
本文的一个核心设计目标就是支持边缘-云协作，模型家族的多尺寸设计正是为此服务。
研究动机
当前GUI智能体的发展面临三个核心挑战。首先，真实世界数据收集效率极低：收集大规模的交互轨迹需要复杂的智能体工作流程、人工标注和对异常场景的工程级处理，这严重制约了GUI数据集的可扩展性。具体而言，真实应用中的验证码验证、反爬虫机制等会中断或终止智能体的探索过程，而且真实环境无法提供精确的反馈，导致轨迹生成效率低下，经常产生包含错误或冗余步骤的轨迹。其次，多平台适应性不足：原生智能体模型需要在桌面、移动、浏览器和车载系统等多种设备上可靠执行任务，还应支持边缘-云协作和跨设备协调等复杂交互场景。现有模型往往针对单一平台优化，难以实现真正的跨平台泛化。第三，综合智能体能力欠缺：通用GUI智能体不仅要能执行GUI操作，还应支持工具/MCP调用、短期和长期记忆、多智能体适应以及人机交互等高阶技能，但现有模型在这些方面的能力仍有明显不足。
本文的目标是本文的具体目标是构建一个名为GUI-Owl-1.5的多平台基础GUI智能体模型家族，覆盖从2B到235B的完整尺寸范围，同时支持instruct和thinking两种变体。该模型需要在20+个GUI基准测试上达到开源模型的最先进性能，具体包括：在OSWorld-Verified上达到55%+的任务成功率，在AndroidWorld上达到70%+的成功率，在ScreenSpot-Pro定位基准上达到75%+的准确率，在OSWorld-MCP工具调用任务上达到45%+的成功率。此外，模型还需支持桌面、移动、浏览器等多平台环境，并实现边缘设备与云端的协同工作。
与已有工作不同的是，本文的独特切入角度体现在三个方面。第一，数据生成方式的创新：不同于单纯依赖真实环境探索或人工标注，本文提出混合数据飞轮，将模拟环境与云端沙盒环境协同使用，并通过虚拟环境进行可控的轨迹生产，解决了真实环境探索中的验证码干扰和反馈不精确问题。第二，能力增强的统一性：不同于分别优化不同能力，本文设计了统一的思维链合成管道，将观察、反思、记忆管理和工具调用推理整合在每个轨迹步骤中，实现了多种能力的协同增强。第三，RL训练的多平台统一：不同于为每个平台单独训练模型，本文提出MRPO算法，通过设备条件策略、在线rollout缓冲区和交替式多设备优化，在单一策略下统一学习跨平台能力。
核心方法
GUI-Owl-1.5的技术路线可以类比为建造一个'全能工人'：首先通过混合数据飞轮收集高质量的'工作手册'（训练数据），然后通过统一的能力增强管道培养工人的各项技能（推理、记忆、工具使用），最后通过多平台强化学习让工人在不同'工地'（移动、桌面、浏览器）上都能熟练工作。整体架构基于Qwen3-VL视觉语言模型，采用三阶段训练范式：预训练阶段注入GUI理解、世界建模和工具调用的先验知识；监督微调阶段通过带CoT标注的多设备轨迹数据对齐智能体任务；强化学习阶段通过MRPO算法进一步优化长期、工具增强的GUI控制能力。模型家族包含2B/4B/8B/32B/235B五种尺寸的instruct和thinking变体，小型模型适合边缘部署，大型模型适合云端复杂任务。
本文的核心创新点在于三个相互支撑的技术支柱。第一，混合数据飞轮（Hybrid Data Flywheel）：通过DAG任务合成、检查点截断、任务修复和虚拟环境轨迹生产，构建了一个可扩展的高质量数据管道。特别是基于Web渲染的虚拟环境能够提供精确的子任务级反馈，并支持自动化轨迹生成，解决了真实环境探索的效率和质量问题。第二，统一的智能体能力增强：通过GUI知识注入（QA数据和世界建模）、统一CoT合成（在每个轨迹步骤注入观察、反思、记忆和工具推理）和多智能体协作数据，全面增强了模型的高阶能力。第三，MRPO多平台强化学习：针对GUI RL训练中的四个关键挑战（多设备统一学习、GRPO崩溃稳定性、训练-推理一致性、跨设备梯度干扰）分别提出了设备条件策略、在线rollout缓冲区、token-ID传输和交替式多设备优化等解决方案。这三大支柱相互配合，使模型能够在保持跨设备泛化的同时，在每个平台上都达到强大的性能。
方法步骤详情
GUI-Owl-1.5的训练流程分为三个主要阶段。第一阶段是预训练：构建大规模预训练语料库，包含UI识别和轨迹数据、QA和VQA知识数据、世界建模数据（预测GUI状态转换）以及工具调用数据，让模型从最早期就开始熟悉工具调用和MCP语义。第二阶段是监督微调（SFT）：使用多设备轨迹数据（带CoT标注）、增强的定位数据、结构化工具调用监督数据和专门的浏览器交互数据，将预训练模型转化为支持GUI操作、工具调用和浏览器自动化的多设备智能体。第三阶段是强化学习（MRPO）：在移动、桌面、Web三种设备环境下进行大规模RL训练。对于每个任务x，先过采样kn条轨迹构建在线rollout缓冲区，然后通过子采样选择n条轨迹形成训练组，确保组内多样性同时保持在策略性。对于每条轨迹，环境端推理返回token-ID而非仅文本，训练端使用相同的token-ID计算对数概率，保证训练-推理一致性。训练采用交替式多设备优化，在每个阶段s只训练单一设备族ds，循环访问不同设备，减少跨设备梯度干扰。
技术新颖性
本文的技术新颖性主要体现在四个方面。首先，虚拟环境轨迹生产是独创的数据生成方法：不同于依赖真实环境探索或纯LLM合成，本文基于Web渲染构建虚拟环境，能够提供精确的子任务级反馈，并支持自动化轨迹生成，特别是对于办公文档编辑、电子表格操作等高频复杂场景。其次，统一CoT合成管道是新颖的能力增强方式：不同于简单的数据增强，本文在每个轨迹步骤中注入完整的观察-记忆-反思-推理链条，并且能够处理工具调用场景，这在现有工作中是首次实现。第三，MRPO算法是针对GUI场景的RL创新：在线rollout缓冲区通过过采样-子采样策略解决了GRPO中的结果崩溃问题，token-ID传输解决了训练-推理的分词不一致性，交替式多设备优化解决了跨设备梯度冲突，这些技术组合在GUI领域是全新的。第四，边缘-云协作的模型家族设计：从2B到235B的完整尺寸覆盖，instruct和thinking两种变体的并行设计，支持边缘实时交互与云端复杂推理的协同，这在GUI智能体领域是首次实现。
实验结果
GUI-Owl-1.5在20+个GUI基准测试上取得了全面的最先进性能。在端到端任务自动化方面：GUI-Owl-1.5-32B-Instruct在OSWorld-Verified上达到56.5%的成功率，超越了UI-TARS-2（53.1%）和Claude-4-5-sonnet（62.9%但为闭源模型）；在AndroidWorld上，8B-Thinking变体达到71.6%，与UI-TARS-2（73.3%）持平；在OSWorld-MCP工具调用任务上，32B-Instruct达到47.6%，超越了Claude-4-Sonnet（43.3%）和Qwen3-VL-235B-A22B-Think（39.1%）。在浏览器任务上，32B-Thinking变体在WebArena上达到48.4%，在VisualWebArena上达到46.6%，在WebVoyager上达到82.1%，全面超越所有开源模型。在定位任务上，32B-Instruct在ScreenSpot-Pro上达到72.9%（无裁剪）和80.3%（带裁剪精化），超越了Gemini-3-Pro（72.7%）。在综合GUI理解上，32B-Instruct在GUI Knowledge Benchmark上达到75.45%，超越了o3（73.30%）和Gemini-2.5-Pro（71.69%）。值得注意的是，即使是最小的2B变体在OSWorld-Verified上也达到了43.5%，超越了参数量10倍以上的UI-TARS-72B-DPO（27.1%），展示了强大的参数效率。消融实验证实了虚拟环境轨迹生产（PC-Eval从42.0%提升到75.4%，Mobile-Eval从50.0%提升到86.7%）和统一CoT合成（OSWorld从47.4%提升到52.9%，AndroidWorld从65.0%提升到71.6%）的关键作用。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OSWorld-Verified（计算机使用） | 任务成功率 | 56.5% (32B-Instruct) | UI-TARS-2: 53.1% | +3.4% |
| AndroidWorld（移动使用） | 任务成功率 | 71.6% (8B-Thinking) | UI-TARS-2: 73.3% | -1.7%（持平） |
| OSWorld-MCP（工具调用） | 任务成功率 | 47.6% (32B-Instruct) | Claude-4-Sonnet: 43.3% | +4.3% |
| MobileWorld（移动端工具调用） | 任务成功率 | 46.8% (32B-Instruct) | MAI-UI-235B-A22B: 41.7% | +5.1% |
| ScreenSpot-Pro（高分辨率定位） | 准确率 | 80.3% (32B+crop) | Gemini-3-Pro: 72.7% | +7.6% |
| WebArena（浏览器任务） | 任务成功率 | 48.4% (32B-Thinking) | AgentSymbiotic-8B: 43.2% | +5.2% |
| GUI Knowledge Bench | 准确率 | 75.5% (32B-Instruct) | o3: 73.3% | +2.2% |
| WindowsAgentArena | 任务成功率 | 44.76% (32B-Instruct) | UI-TARS-2: 50.6% | -5.84% |
| VisualWebArena | 任务成功率 | 46.6% (32B-Thinking) | SGV+Gemini-2.5-Flash: 54.4% | -7.8% |
| MemGUI-Bench（记忆能力） | 成功率 | 27.1% (32B) | Qwen3-VL-8B: 18.8% | +8.3% |
局限与改进
尽管GUI-Owl-1.5取得了显著成果，但仍存在一些局限性。首先，在WindowsAgentArena基准上，32B-Instruct模型（44.76%）仍落后于UI-TARS-2（50.6%），表明在Windows桌面环境的某些特定场景下仍有提升空间。其次，在VisualWebArena上（46.6%），模型性能与最佳专有系统（SGV+Gemini-2.5-Flash: 54.4%）存在明显差距，说明在复杂视觉网页理解任务上还有改进余地。第三，模型对长尾应用和罕见操作场景的泛化能力尚不明确，论文主要在常见应用上进行评估，对于专业领域软件（如CAD、视频编辑等）的表现未充分验证。第四，虽然论文提出了边缘-云协作架构，但缺乏实际部署场景的性能评估，如延迟、带宽消耗、端到端任务完成时间等实际部署指标。第五，235B-A22B变体的详细实验结果较少，难以评估其相对于32B模型的完整优势。最后，论文的案例研究主要展示成功案例，对于失败模式的分析和错误恢复策略的讨论较少。
独立分析的弱点
从独立分析的角度，本文存在以下几个可改进的弱点。第一，虚拟环境的覆盖范围有限：当前虚拟环境主要针对办公文档编辑和电子表格操作，对于更多样的应用场景（如图像编辑、视频剪辑、开发工具等）的虚拟环境构建方法未充分探索。改进方向是开发自动化的虚拟环境生成框架，通过LLM辅助快速构建新场景的虚拟环境。第二，CoT合成依赖外部模型：论文使用Claude-4.5等专有模型生成世界建模数据和部分CoT内容，这增加了数据生成成本并可能引入模型偏见。改进方向是探索自蒸馏或迭代自我改进的方式，逐步减少对外部模型的依赖。第三，多智能体协作的训练数据有限：论文提到使用Mobile-Agent-v3.5框架收集多智能体协作数据，但具体的训练数据规模和覆盖场景未详细说明。改进方向是系统性地构建更多样化的多智能体任务场景，包括更复杂的跨应用工作流。第四，RL训练的样本效率：虽然MRPO解决了GRPO的崩溃问题，但过采样kn倍的轨迹会增加计算成本。改进方向是探索更高效的采样策略，如基于课程学习的任务难度递增或基于不确定性的主动采样。第五，对实时性能的评估不足：论文主要关注任务成功率，但对于实际部署关键的响应延迟、token生成速度等指标缺乏系统评估。
未来方向
基于本文的成果，未来研究可以向以下几个方向延伸。第一，更广泛平台的扩展：当前工作主要覆盖桌面、移动和浏览器，未来可以扩展到车载系统、AR/VR设备、智能家居等新兴平台，构建真正的全平台GUI智能体。第二，更深度的工具集成：当前的MCP支持仍相对基础，未来可以探索更复杂的工具编排能力，如多步骤工具链、条件分支、错误处理和回滚机制。第三，持续学习和适应：当前模型是静态训练的，未来可以探索在线学习机制，让智能体能够从用户反馈和新场景中持续改进，实现个性化的任务执行。第四，安全性和可控性：随着GUI智能体能力的增强，如何确保其行为的安全性和可解释性变得更加重要，未来需要研究行为约束、意图验证和人类监督机制。第五，多模态记忆系统：当前的记忆机制主要基于文本，未来可以探索更丰富的多模态记忆，包括视觉记忆（记住界面布局）、程序性记忆（记住操作序列）和语义记忆（记住应用知识）。作者在论文中也提到希望GUI-Owl-1.5的开源能够推动GUI智能体在广泛平台上的采用，这表明后续工作将重点放在社区生态建设和实际应用落地上。
复现评估
GUI-Owl-1.5的复现条件相对友好。在开源方面，论文明确提到GUI-Owl-1.5模型已经开源，代码托管在GitHub（https://github.com/X-PLUG/MobileAgent），并且提供了在线云沙盒演示。在数据方面，虽然论文详细描述了数据收集和增强的管道，但训练数据本身是否完全开源尚不确定，这对于完整复现训练过程是一个潜在障碍。在算力需求方面，模型覆盖2B到235B的尺寸范围，其中2B和4B模型可以在消费级GPU上进行推理，8B模型需要约16GB显存，32B模型需要约64GB显存，而235B模型需要多卡或分布式推理。完整训练32B模型预计需要数百GPU小时。在复现难度方面，三阶段训练流程相对清晰，但MRPO算法的实现细节（如在线rollout缓冲区的管理、token-ID传输的具体实现）需要仔细阅读代码。总体而言，对于有中等规模算力资源的研究团队，复现8B模型的SFT阶段是可行的，但完整复现包括RL在内的全流程需要较大投入。
论文图表
该表格展示了GUI-Owl-1.5各变体在MMBench-GUI-L2数据集上的详细性能，该数据集覆盖Windows、MacOS、Linux、iOS、Android和Web等6个平台的基本和高级场景。表格按平台和难度级别展示了详细的准确率数据。
这个表格展示了模型在最全面的多平台定位基准上的性能，反映了其跨平台泛化能力。
该表格对比了GUI-Owl-1.5与现有方法在ScreenSpot-Pro高分辨率定位基准上的性能，涵盖Development、Creative、CAD、Scientific、Office和OS等6个领域的文本和图标定位任务。表格特别标注了使用裁剪工具的精化结果。
这个表格展示了模型在最具挑战性的高分辨率定位任务上的SOTA性能，特别是80.3%的裁剪精化结果。