UI-MOPD：面向持续GUI智能体学习的多平台在线策略蒸馏 UI-MOPD: Multi-Platform On-Policy Distillation for Continual GUI Agent Learning
首次将多教师在线策略蒸馏用于跨平台GUI智能体持续学习，解决行为模式混合和灾难性遗忘问题
前置知识
GUI智能体
GUI智能体是一类能够理解屏幕内容、规划操作步骤，并通过点击、输入、滑动等界面级动作完成用户目标的AI系统。它需要结合视觉理解、语言推理和工具使用能力，在数字环境中执行长周期、平台特定的交互任务。例如，在桌面环境中使用鼠标键盘操作，在移动环境中使用触摸手势导航。
本文核心研究对象，理解其工作原理和挑战是读懂本文的基础。GUI智能体需要适应不同平台的交互约定，这正是本文要解决的核心问题。
在线策略蒸馏
在线策略蒸馏（On-Policy Distillation）是一种知识蒸馏方法，它从学生策略当前采样的轨迹上计算教师分布，通过反向KL散度对齐。与从静态离线轨迹蒸馏不同，OPD的蒸馏信号集中在学生当前决策的状态分布上，而非要求学生模仿教师的所有行为模式。常用K3估计器计算token级别的KL散度，避免全词汇表计算的高昂开销。
本文方法的核心技术，需要理解其工作原理和与传统KL正则化的区别。OPD将KL项从保守的正则器转变为传递平台特定专家行为的目标机制。
持续学习
持续学习是指模型在学习新任务时保留已学习能力的机器学习范式。在GUI智能体场景中，持续学习意味着模型在适应新平台（如从桌面到移动）时，不应忘记旧平台的交互约定。主要挑战包括灾难性遗忘（学习新任务导致旧任务性能下降）和任务间干扰（不同任务的学习信号相互冲突）。
本文要解决的核心问题，理解持续学习的挑战有助于理解为什么需要UI-MOPD这样的方法。跨平台GUI学习本质上是一个持续学习问题。
研究动机
构建多平台GUI智能体面临两个核心瓶颈。首先，高质量的跨平台交互轨迹仍然稀缺。现有数据集往往聚焦于单平台设置，可能包含无效动作、不准确的状态-动作对齐或不一致的任务粒度。论文指出，OpenCUA和OpenMobile等开源数据集虽提供了GUI轨迹，但仍需严格清洗和质量控制。其次，不同平台表现出截然不同的交互约定，使联合训练或持续训练容易产生行为模式混合、平台特定能力退化和灾难性遗忘。例如，桌面和移动平台在动作语义和操作可能性上存在差异：返回上一上下文在桌面环境可能意味着关闭窗口，而在移动应用中则是按下返回按钮。这种异质性导致简单混合训练信号会产生过度平均的策略，持续学习则会遗忘先前学习的平台特定行为。
本文的目标是本文的具体目标是训练一个统一的GUI智能体，使其能够适应异质的桌面和移动环境，同时保留平台特定的交互行为。更具体地说，目标是在学习新平台的同时保持现有平台的能力，实现平衡的跨平台持续优化。这需要解决三个关键问题：防止行为约定混合、避免平台特定能力退化、缓解灾难性遗忘。论文期望通过UI-MOPD方法，在OSWorld和MobileWorld基准上同时提升任务成功率，而不牺牲现有平台的能力。
与已有工作不同的是，本文的独特切入角度是将多教师在线策略蒸馏（MOPD）首次引入GUI智能体的持续学习，并提出平台条件蒸馏框架用于多平台GUI智能体。与现有方法有本质区别：模型合并或混合SFT将异质训练信号直接聚合，而UI-MOPD通过平台条件路由为每个rollout环境动态选择平台特定的教师，并将平台特定的行为先验传递给共享策略。传统持续学习方法通过回放数据或正则化防止遗忘，而UI-MOPD通过平台特定的行为锚点在策略优化期间提供稳定的行为约束。这种设计使KL项从RLHF中常用的保守正则器转变为向共享学生策略传递平台特定专家交互行为的目标机制。
核心方法
UI-MOPD的整体思路分为两个训练阶段。阶段一：在Uni-GUI的高质量轨迹上对视觉语言基础模型进行监督微调（SFT），分别获得桌面教师π_d^ref和移动教师π_m^ref两个专家模型。阶段二：采用多教师在线策略蒸馏（MOPD）将两个专业能力整合到统一的学生模型π_θ中。核心直觉是让共享学生策略在线从其当前策略采样rollout，并根据rollout所属的平台路由到相应的平台特定教师提供反向KL指导。这种平台条件对齐使模型能够在桌面和移动环境中分别与原生交互模式对齐，防止优化期间不同交互约定的行为信号被无差别混合。训练使用GRPO-based DAPO目标，每个提示采样8个rollout，OPD辅助KL损失系数为0.01。
核心创新点在于将多教师在线策略蒸馏（MOPD）用于跨平台GUI智能体持续学习，并提出平台条件教师路由机制。与直接合并多个专家模型或从静态离线轨迹蒸馏不同，UI-MOPD让学生策略在线从其当前策略采样rollout，仅对学生实际访问的状态引入教师监督。这使蒸馏信号集中在学生策略当前做决策的状态分布上，而非要求学生模仿教师的所有行为模式。更重要的是，教师监督以平台条件方式施加：来自不同平台的rollout与对应的平台特定教师对齐。这意味着来自不同平台的教师信号不是简单聚合为单一KL惩罚，而是根据每个rollout所属的平台提供行为约束。这为学生参数空间中的每个平台提供了独特的行为锚点：强化学习将策略推向更高任务奖励，而路由的教师约束这一移动，使原生交互模式不会被另一平台的信号覆盖。
方法步骤详情
方法步骤的完整描述如下：首先，构建统一的跨平台数据收集装置，使用一致的动作接口和日志格式从计算机和移动环境收集交互数据。该装置组织数据构建为四个阶段：查询生成（从目标环境的可执行功能点构建用户查询）、轨迹收集（教师模型与目标GUI环境交互产生执行轨迹）、轨迹清洗（去除格式错误的步骤结构、不支持的动作空间、环境-查询不匹配、未成功完成的轨迹）、后处理（将中间推理重写为结构化思维链格式，为引用视觉UI元素的动作重新标注边界框）。其次，使用清洗后的轨迹在Qwen3-VL-32B-Thinking上进行SFT，获得桌面和移动专家教师。然后，在阶段二中，学生策略从Qwen3-VL-8B-Thinking初始化，使用强化学习和多教师在线策略蒸馏训练。每个RL更新中，学生首先从混合平台提示采样rollout，然后按平台划分mini-batch，每个子集由对应教师评估，教师log概率合并回原始batch顺序。K3估计器提供token级别的蒸馏信号，计算学生到教师的在线KL散度D_KL(π_θ(·|h_t) || π_ref^(i)(·|h_t))。训练目标结合裁剪策略优化与平台条件MOPD惩罚，最大化J(θ) = E_{p,x,y∼π_θ}[Σ_t m_t (ℓ_t^PG(θ) - βμ̂D_{t,p}^KL)]，其中ℓ_t^PG是PG目标，β控制蒸馏强度，μ是自适应KL掩码。
技术新颖性
技术新颖性体现在三个方面：首次将MOPD引入GUI智能体领域，提出平台条件蒸馏框架，使模型能够保留和转移不同GUI平台的交互能力；设计自适应KL掩码机制，当提示组已获得足够奖励时移除教师惩罚，而在低奖励rollout上保留教师指导，实现动态的平衡；使用K3估计器高效计算token级别KL，避免全词汇表计算。与现有工作的本质区别在于，UI-MOPD不是简单聚合多平台数据或合并模型，而是通过环境条件策略整合平台特定专业知识，使共享学生策略能够通过强化学习提高任务成功率，同时通过路由的教师监督保持平台特定的行为锚点。实验表明，相比模型合并（TIES merging）在ScreenSpot-Pro上从43.71%降至37.13%，UI-MOPD保持43.14%的性能，在MobileWorld上从6.8%提升至12.0%。
实验结果
核心发现体现在三个方面：UI-MOPD在OSWorld和MobileWorld上分别达到38.2%和12.0%的任务成功率，比基线Qwen3-VL-8B-Thinking相对提升12.7%和55.8%。重要的是，这些提升在桌面和移动环境中都观察到，表明UI-MOPD提高了新平台的适应性而不牺牲现有平台能力。平台特定SFT导致不平衡转移：在OSWorld上微调8B模型将桌面性能从33.9%提高到35.8%，但MobileWorld性能降至0%；在MobileWorld上微调将移动性能提高到12.8%，但没有提供与UI-MOPD相同水平的桌面改进。UI-MOPD同时在两个平台上提高8B学生模型，在OSWorld上达到38.2%，在MobileWorld上达到12.0%，比原始8B模型分别提升4.3和4.3个百分点。它还在使用更小的8B学生的情况下超过了32B基线模型在MobileWorld上的性能，表明改进不仅来自模型规模。在AndroidControl*上，UI-MOPD达到80.05%的最佳静态移动GUI性能，比Qwen3-VL-8B-Thinking的78.73%有所提高，而模型合并降至74.01%。在grounding基准上，UI-MOPD基本保持基础模型的grounding能力，在ScreenSpot-Pro和ScreenSpotV2上分别达到43.14%和90.88%，接近基础分数43.71%和91.27%，并在OSWorld-G上从52.13%略微提高到52.84%。相比之下，模型合并在所有三个grounding数据集上都明显下降，在ScreenSpot-Pro降至37.13%，在ScreenSpotV2降至88.60%，在OSWorld-G降至47.16%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OSWorld桌面GUI任务执行 | 任务成功率 | 38.2% | Qwen3-VL-8B-Thinking: 33.9% | 绝对提升4.3个百分点，相对提升12.7% |
| MobileWorld移动GUI任务执行 | 任务成功率 | 12.0% | Qwen3-VL-8B-Thinking: 7.7% | 绝对提升4.3个百分点，相对提升55.8% |
| AndroidControl*静态移动GUI理解 | 总体准确率 | 80.05% | Qwen3-VL-8B-Thinking: 78.73% | 绝对提升1.32个百分点 |
| ScreenSpot-Pro GUI grounding | 总体准确率 | 43.14% | Qwen3-VL-8B-Thinking: 43.71% | 基本保持，仅下降0.57个百分点 |
| ScreenSpotV2 GUI grounding | 总体准确率 | 90.88% | Qwen3-VL-8B-Thinking: 91.27% | 基本保持，仅下降0.39个百分点 |
局限与改进
作者承认的局限性包括：实验仅限于桌面和移动两个平台，未扩展到Web等其他GUI平台；训练数据主要来自OSWorld和MobileWorld，平台和应用覆盖可能有限；方法需要两个阶段训练（SFT+MOPD），增加了训练复杂度；需要平台标签来路由教师，在真实场景中可能需要额外推断。我观察到的局限性包括：在MobileWorld上12.0%的成功率仍然较低，有较大提升空间；模型合并基线在MobileWorld上表现很差（0%），可能表明合并方法不适用而非常态；方法依赖于高质量的专家教师，教师质量直接影响学生性能；实验仅在8B学生模型上验证，在其他规模模型上的效果未知；论文未报告训练收敛曲线和稳定性分析；未进行消融实验研究KL系数β、rollout数量等超参数的影响；未报告推理延迟和计算开销。
独立分析的弱点
独立分析的弱点包括：在MobileWorld上12.0%的成功率仍然很低，远低于桌面环境的38.2%，表明移动GUI任务更具挑战性。可能原因包括移动界面布局更复杂、触摸操作更精确、移动应用异质性更高。改进方向可以是增加移动训练数据的数量和质量，设计更适合移动环境的动作表示和奖励函数，或者针对移动平台使用更大的教师模型。方法依赖于平台标签路由，在真实跨平台场景中可能无法预先知道平台类型，需要从视觉特征推断平台，这引入额外的推断误差和计算开销。改进方向可以是学习平台嵌入或使用多任务学习同时学习平台分类和策略。两阶段训练增加了复杂度和训练时间，阶段一需要训练两个32B教师，阶段二需要RL训练，整体计算成本高昂。改进方向可以是探索端到端训练或使用更高效的蒸馏策略。论文未报告各超参数的敏感性分析，如KL系数β、自适应KL阈值τ_KL、rollout数量等，这些超参数对不同任务和平台的影响不清楚。改进方向可以是进行系统消融实验，建立超参数选择指导原则。
未来方向
作者提出的未来方向包括扩展到更多GUI平台（如Web、AR/VR），探索更复杂的多教师路由策略（如动态教师加权或教师集成），研究在零样本跨平台迁移中的应用。基于成果可延伸的方向包括：探索更细粒度的平台条件机制，不仅按平台路由，还按应用类型、任务类型或交互模式路由；将MOPD与其他持续学习方法（如弹性权重巩固、记忆回放）结合，进一步缓解灾难性遗忘；研究在更少标注数据下的跨平台学习，如使用自监督学习或主动学习减少对高质量教师轨迹的依赖；探索在多模态输入下的跨平台学习，如结合语音、手势等交互模式；研究在真实世界部署中的鲁棒性，如处理界面变化、网络延迟、异常情况等；开发更高效的实现，如使用模型并行、流水线并行或分布式训练降低计算成本；研究在在线学习场景中的持续适应，如用户反馈驱动的实时更新。
复现评估
复现评估显示：论文未明确声明代码和开源状态，仅提到使用verl、Megatron-Core、SGLang、vLLM等开源框架，但具体实现细节和训练脚本是否开源未知。Uni-GUI数据集的组成和来源有详细描述，包括自收集部分（桌面约95K步，移动约17K步）和公开部分（OpenCUA约13K步，OpenMobile约35K步），但数据集本身是否公开下载未知。算力需求高昂，使用64个NVIDIA H100 GPU（8个节点，每节点8个GPU）进行训练，学生模型8B使用TP/PP/DP=2/1/32，教师模型32B使用TP/DP=8/8，rollout使用TP=2，训练一个epoch，对大多数研究团队来说难以复现。实验细节较为完整，包括训练超参数（学习率1×10^-6、clip ratio、KL系数0.01等）、评估基准（OSWorld 361任务、MobileWorld 117任务、AndroidControl* 4260步记录）、基线比较（包括通用模型、单平台GUI模型、多平台GUI模型、集成策略），但缺少训练收敛曲线、消融实验、超参数敏感性分析等。总体复现难度较高，主要受限于算力需求和潜在的数据不可得性。
论文图表
Figure 1展示了UI-MOPD的动机，对比了三种方法：模型合并、混合SFT和MOPD。模型合并通过参数空间合并桌面和移动教师，但会引入动作空间冲突。混合SFT混合桌面和移动轨迹，结果导致动作约定崩溃，产生平均化策略。MOPD（本文方法）使用平台条件路由教师，桌面环境的rollout使用桌面教师，移动环境的rollout使用移动教师，从而将平台特定专业知识整合到共享GUI智能体中。
这张图对理解论文至关重要，因为它直观地展示了现有方法的根本问题和UI-MOPD的解决方案。通过对比三种方法，清晰说明为什么简单的模型合并或混合训练会导致行为约定混合，而平台条件的多教师蒸馏可以避免这一问题。