UI-Voyager：通过失败经验自进化的GUI智能体 UI-Voyager: A Self-Evolving GUI Agent Learning via Failed Experience
两阶段自进化框架训练4B模型达81%成功率，超越人类水平
前置知识
多模态大语言模型（MLLM）
多模态大语言模型是能够同时处理文本和视觉信息的基础模型，如Qwen3-VL系列。这类模型通过在大规模图文数据上预训练，获得了对GUI界面截图的理解能力和语言指令的执行能力。在GUI智能体任务中，MLLM作为策略网络 $\pi_{\theta}$，接收屏幕截图观测 $o_t$ 和任务指令 $I$，输出下一步操作动作 $a_t$。本文使用的Qwen3-VL-4B-Instruct就是一个典型的40亿参数量级的多模态大语言模型。
理解MLLM是理解本文方法的基础，因为UI-Voyager的核心就是在MLLM基础上通过自进化训练提升GUI操作能力
拒绝微调（Rejection Fine-Tuning, RFT）
拒绝微调是一种自监督训练策略，模型先生成多个候选轨迹，然后通过规则验证器筛选出成功的高质量轨迹用于微调。其核心思想是生成-过滤-训练的闭环迭代：策略模型 $\pi_k$ 在环境中执行任务生成轨迹，验证器判断成功/失败，只保留成功轨迹构成训练集 $\mathcal{D}_k$，然后用SFT更新模型得到 $\pi_{k+1}$。这种机制避免了人工标注，实现了数据和模型的协同进化。
RFT是本文两阶段训练的第一阶段，从37%提升到73%的关键机制，理解它才能理解整个训练流程
信用分配问题（Credit Assignment Problem）
在长时序GUI任务中，智能体可能需要执行20-30步操作才能完成任务。传统强化学习只在轨迹结束时获得稀疏奖励（成功=1，失败=0），导致无法判断是哪一步决策导致了最终失败。例如一个30步的轨迹，如果第5步犯错导致后续25步全部无效，所有30步都会收到相同的零奖励，这使得学习极其低效。信用分配问题的本质是如何将稀疏的轨迹级反馈转化为密集的步骤级监督信号。
这是本文要解决的核心技术挑战，GRSD方法的设计动机就是为了解决这一问题
分叉点检测（Fork Point Detection）
分叉点是指在同一任务的不同轨迹中，智能体观测到相同的屏幕状态但采取了不同动作的关键时刻。通过SSIM（结构相似性指数）比较截图 $\phi(o_i^+)$ 和 $\phi(o_j^-)$ 来判断状态是否相同，当 $SAME(o_i^+, o_j^-) = 1$ 且后续状态发生分歧 $DIVERGE(i,j) = 1$ 时，该步骤即为分叉点。在分叉点处，成功轨迹的正确动作可以作为失败轨迹的监督信号，实现精确的步骤级纠正。
分叉点检测是GRSD方法的核心创新，是将稀疏奖励转化为密集监督的关键技术
组相对自蒸馏（Group Relative Self-Distillation, GRSD）
GRSD是本文提出的核心训练方法。对于同一任务的多条轨迹（一组rollout），GRSD选择最短的成功轨迹作为教师，通过分叉点检测找到失败轨迹与成功轨迹共享相同状态但采取不同动作的时刻，然后将成功轨迹在分叉点的正确动作蒸馏到失败轨迹中。训练目标是标准的自回归语言建模损失 $\mathcal{L}_{GRSD} = -\frac{1}{|D|} \sum_{x \in D} \frac{1}{T_x} \sum_{t=1}^{T_x} \log \pi_{\theta}(y_t | s_1, \ldots, s_{P_x}, y_{<t})$，只在替换后的response token上计算。
GRSD是本文的核心贡献，将轨迹级稀疏奖励转化为步骤级密集监督，是超越GRPO/PPO的关键
AndroidWorld基准测试
AndroidWorld是一个移动端GUI智能体评测基准，包含116个多样化的实际手机应用任务，涵盖文件管理、浏览器导航、蓝牙设置、音频录制等场景。任务难度各异，最优交互步数从几步到30步不等。该基准提供随机化的初始化参数，支持程序化生成大量训练任务，并通过Android Debug Bridge（adb命令）进行自动化的规则验证，判断任务是否成功完成。
这是本文唯一的实验评测平台，理解其任务特点有助于理解实验结果的意义
研究动机
现有的移动端GUI智能体训练面临两个核心问题。首先，失败轨迹的学习效率极低。在移动设备交互过程中，尤其是复杂任务上，失败轨迹占据了智能体经验的很大比例，但传统训练流程通常直接丢弃这些失败经验，严重浪费了数据。以AndroidWorld为例，初始的Qwen3-VL-4B模型仅能达到37%的Pass@1成功率，意味着超过60%的轨迹都是失败的，如果这些失败经验不能被有效利用，训练效率将大打折扣。其次，长时序GUI任务的信用分配问题极其严重。在AndroidWorld的任务中，智能体可能需要执行多达30步操作才能完成任务，但环境只在轨迹结束时提供稀疏的二值奖励（成功/失败）。这意味着一个30步的轨迹中，如果第5步犯错导致任务失败，所有30步都会收到相同的零奖励，其他29个正确步骤也无法获得正向反馈。这种粗粒度的轨迹级奖励使得标准的强化学习算法如GRPO和PPO难以有效优化策略，训练曲线显示它们需要约175步才能达到单轮RFT迭代的性能（64%），效率极为低下。
本文的目标是本文的目标是构建一个高效的自进化移动端GUI智能体训练框架，能够同时解决失败轨迹利用和信用分配两个问题。具体而言，作者希望设计一种机制，使得智能体不仅能从成功轨迹中学习，还能从失败轨迹中提取有价值的纠正信号；不仅在轨迹结束时获得反馈，还能在每个关键决策步骤获得精确的监督。最终目标是在AndroidWorld基准上训练出一个参数量仅为40亿（4B）的轻量级模型，其性能能够超越参数量远大于它的基线模型（如235B参数的MAI-UI-235B-A22B），甚至超越人类水平（80%）。
与已有工作不同的是，本文的独特切入角度在于将失败经验视为宝贵的训练资源而非需要丢弃的噪声。与现有方法不同，UI-Voyager提出了一个关键洞察：当对同一任务执行多条轨迹（group rollout）时，不同轨迹往往会访问相同的屏幕状态但在关键决策点做出不同的选择，这些分叉点正是实现步骤级信用分配的天然锚点。成功轨迹在分叉点处的正确动作可以直接蒸馏到失败轨迹中，无需任何外部模型或人工标注。这种自蒸馏机制与现有的在线策略蒸馏（OPD）方法也不同，它不需要显式的教师策略，而是巧妙地从自身生成的成功轨迹中提取知识，通过SFT实现高效的自我纠正。此外，本文还发现直接从基础模型进行RLVR训练效率极低，RFT作为热启动策略是必不可少的，这为训练流程设计提供了重要见解。
核心方法
UI-Voyager的训练框架采用两阶段自进化流水线设计。第一阶段是拒绝微调（RFT），通过多轮迭代实现数据和模型的协同进化。在每一轮迭代中，当前策略模型在AndroidWorld环境中执行任务生成多条轨迹，规则验证器筛选出成功的高质量轨迹用于监督微调（SFT），同时种子任务生成器通过扰动原始任务模板的关键参数（时间约束、数量、文件实体等）合成新任务，确保训练数据的多样性。经过三轮RFT迭代，模型的Pass@1成功率从37%显著提升到73%。第二阶段是组相对自蒸馏（GRSD），针对RFT模型在复杂任务上仍然存在的失败案例，通过分叉点检测机制在同组rollout的成功和失败轨迹之间建立精确的步骤级对应关系，将成功轨迹的正确动作蒸馏到失败轨迹中，实现密集的步骤级监督学习。整个流程如图2所示，两个阶段交替迭代，持续提升智能体性能。
本文的核心创新是GRSD方法，它与GRPO和PPO等传统强化学习方法有本质区别。GRPO通过组内轨迹的奖励统计量 $\hat{A}_{i,t} = \frac{R^{(i)} - \text{mean}(\{R^{(i)}\}_{i=1}^G)}{\text{std}(\{R^{(i)}\}_{i=1}^G)}$ 来估计优势函数，但这个优势值在同一轨迹的所有token上是相同的，无法提供步骤级的监督信号。PPO虽然使用价值网络估计GAE优势，但在稀疏奖励场景下价值网络本身也难以学习。GRSD的关键洞察是：在同一任务的多条轨迹中，成功轨迹可以作为失败轨迹的教师，通过分叉点检测找到两者共享相同状态但采取不同动作的关键时刻，然后直接将成功轨迹的正确动作作为监督信号。这实现了三个突破：（1）将稀疏的轨迹级奖励转化为密集的步骤级监督；（2）有效利用了被传统方法丢弃的失败轨迹；（3）无需任何外部模型或人工标注，完全自给自足。
方法步骤详情
GRSD方法包含三个关键步骤。第一步是分叉点检测（Algorithm 1）：给定成功轨迹 $\tau^+ = \{(o_0^+, a_0^+), \ldots, (o_{T^+}^+, a_{T^+}^+)\}$ 和失败轨迹 $\tau^- = \{(o_0^-, a_0^-), \ldots, (o_{T^-}^-, a_{T^-}^-)\}$，首先通过预处理函数 $\phi(\cdot)$（裁剪状态栏、缩放为低分辨率缩略图、转换为灰度图）处理截图，然后用均值哈希预过滤（相似度阈值0.80）快速排除明显不同的帧，再用SSIM进行精确匹配：$SAME(o_a, o_b) = \mathbf{1}[\text{SSIM}(\phi(o_a), \phi(o_b)) \geq \theta]$。在匹配前还要进行转移对齐检查，如果连续两步都匹配则跳过。第二步是教师步骤选择：对每个失败步骤 $j$，搜索满足观测等价且转移发散条件的候选教师步骤 $C(j)$，选择SSIM分数最高的作为教师步骤 $i^*(j)$，并强制执行单调性约束保持时序一致性。第三步是步骤级自蒸馏：对每个分叉点 $(j, i^*(j))$，保留失败轨迹的prompt（包含步骤 $j$ 的上下文历史），将其response替换为成功轨迹在步骤 $i^*(j)$ 的response，构造训练样本 $x_{\text{train}}^j$，然后用标准自回归损失 $\mathcal{L}_{GRSD}$ 进行监督微调。
技术新颖性
UI-Voyager的技术新颖性体现在多个层面。首先，在方法论层面，GRSD提出了一种全新的自蒸馏范式，与现有方法有本质区别：不同于GRPO依赖组内统计量估计优势、PPO依赖价值网络估计GAE，GRSD直接利用成功轨迹作为教师，通过分叉点检测实现精确的步骤级知识迁移。与在线策略蒸馏（OPD）变体相比，GRSD不需要显式的教师策略，而是从自身生成的成功轨迹中提取知识，更加简洁实用。其次，在工程层面，分叉点检测采用SSIM而非预训练视觉编码器的余弦相似度，通过裁剪-缩放-灰度预处理和均值哈希预过滤实现了高效计算。第三，在训练策略层面，本文发现RFT作为热启动是必不可少的，直接从基础模型进行GRPO/PPO训练需要约175步才能达到单轮RFT的性能，这一发现对GUI智能体训练流程设计具有重要指导意义。第四，在实验层面，4B参数的模型在AndroidWorld上达到81.0%的成功率，超越了235B参数的MAI-UI-235B-A22B（76.7%）和人类水平（80.0%），证明了方法的高效性。
实验结果
本文在AndroidWorld基准上进行了全面的实验验证，核心发现如下。首先，UI-Voyager（4B）达到了81.0%的Pass@1成功率，在64个随机种子上取平均，超越了所有基线方法和人类水平（80.0%）。值得注意的是，这个4B参数的轻量级模型超越了参数量远大于它的模型，包括235B参数的MAI-UI-235B-A22B（76.7%）、UI-Tars-2（73.3%）和Qwen3-VL-235B-A22B（63.7%）。其次，RFT的自进化效果显著，经过四轮迭代，Pass@1从初始的37%提升到73%，每轮都有稳定的性能增益。第三，GRSD相比GRPO和PPO有显著优势：三者都从73.2%的RFT模型出发，GRSD成功提升到81%，而GRPO和PPO进展缓慢，最终停滞在76%左右。第四，在十个低成功率的困难任务上，GRSD一致性地取得最高成功率，而PPO和GRPO由于成功样本稀缺和缺乏有效的信用分配机制，难以取得显著改进。第五，分叉点检测的可视化案例（BrowserMaze和SystemBluetoothTurnOff任务）直观地展示了该机制如何在关键决策点（如第12步或第0步）识别成功和失败轨迹的分歧，并提取正确的动作作为监督信号。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AndroidWorld（116个移动端任务） | Pass@1成功率（64个随机种子平均） | UI-Voyager（4B）：81.0% | 人类水平：80.0%；MAI-UI-235B-A22B（235B）：76.7%；UI-Tars-2（230B）：73.3%；Qwen3-VL-235B-A22B（235B）：63.7% | 超越人类水平1.0个百分点；超越最大基线MAI-UI-235B-A22B 4.3个百分点；超越同尺寸Step-GUI-4B（63.9%）17.1个百分点 |
| RFT自进化迭代 | Pass@1成功率 | 第三轮RFT：73.2% | 初始Qwen3-VL-4B-Instruct：37% | 经过三轮RFT迭代提升36.2个百分点 |
| GRSD vs GRPO/PPO对比 | 从RFT模型出发的最终Pass@1 | GRSD：81.0% | GRPO：约76%；PPO：约76% | GRSD比GRPO/PPO提升约5个百分点，且收敛更快 |
局限与改进
本文存在若干值得关注的局限性。首先，实验仅在AndroidWorld一个基准上进行评测，虽然该基准包含116个多样化任务，但仍然局限于移动端Android环境，未能验证方法在iOS、桌面OS或Web浏览等其他GUI场景的泛化能力。其次，基于SSIM的分叉点检测存在对异步执行敏感的问题：移动GUI交互本质上是异步的，截图可能在动画、键盘弹出或加载过程中被捕获，导致SSIM匹配不准确。动态UI元素（如光标闪烁、通知提示、时钟更新）也会影响匹配质量。第三，AndroidWorld使用的预定义动作空间（click、swipe、type等高级原语）抽象掉了底层的触摸动力学（手势时长、轨迹形状、释放时序），可能导致训练出的策略在更细粒度控制的场景中泛化能力不足。第四，RFT阶段需要大量轨迹生成和验证，计算开销较大；GRSD阶段虽然更高效，但仍需要多条轨迹的rollout。第五，方法依赖于任务环境中存在可对比的成功-失败轨迹对，对于极高难度任务（初始成功率接近0%），可能难以获得足够的成功轨迹作为教师。
独立分析的弱点
本文在技术实现和实验设计上存在几个值得改进的弱点。第一，SSIM匹配的鲁棒性不足：论文自己也承认异步执行和动态UI元素会影响匹配质量，但未提出具体的解决方案。一个改进方向是引入时间窗口匹配（而非单帧比较）和高方差UI区域（状态栏、键盘、临时覆盖层）的掩码机制，或者结合OCR/布局token和无障碍树信号来增强匹配鲁棒性。第二，分叉点检测的计算效率有待优化：虽然使用了均值哈希预过滤，但对于长轨迹（30步）和大组rollout（G条轨迹），两两比较的复杂度仍然较高。可以考虑更高效的近似匹配算法或分层匹配策略。第三，训练流程的端到端效率：RFT需要三轮迭代才能达到73%，每轮都需要大量的轨迹生成和验证，这在实际部署中可能成本过高。可以探索更高效的预热策略或课程学习方法。第四，缺乏对不同backbone模型的消融实验：论文仅使用Qwen3-VL-4B作为backbone，未验证方法在不同规模（2B、7B、32B）或不同系列（如InternVL、LLaVA）模型上的普适性。第五，成功轨迹选择策略过于简单（选择最短的成功轨迹），可以考虑更智能的选择机制，如选择与失败轨迹最相似的成功轨迹，或选择在多个分叉点都有清晰区分度的轨迹。
未来方向
本文的未来研究方向可以从多个维度展开。首先，作者提出将UI-Voyager框架扩展到其他GUI任务，如iOS、桌面OS（Windows/macOS）和Web浏览场景，这将验证方法的通用性。其次，探索更自适应的推理和自我纠正机制，例如让智能体在执行过程中主动检测潜在的错误并进行回溯修正，而非仅在训练阶段进行离线纠正。第三，改进分叉点检测的鲁棒性，结合多种信号（SSIM、OCR文本、布局结构、无障碍树）进行更精确的状态匹配，并引入时间窗口机制处理异步执行问题。第四，探索层次化动作建模，在高层动作（click、swipe）的基础上引入低层手势和扰动，提升策略在真实设备上的鲁棒性。第五，研究更高效的训练策略，如将GRSD与在线RL方法结合，或探索主动学习机制来选择最有价值的训练任务。第六，将方法扩展到多模态交互场景，如结合语音指令和手势操作的GUI任务。最后，研究如何将训练好的GUI智能体部署到真实用户设备上，处理隐私保护、个性化适应等实际问题。
复现评估
本文的复现条件相对较好。作者在论文中明确提供了代码和模型的开源地址（github.com/ui-voyager/ui-voyager），这大大降低了复现门槛。训练数据方面，AndroidWorld基准本身是公开的，包含7000多个训练任务，且支持程序化生成更多任务，数据获取没有障碍。模型backbone使用的是开源的Qwen3-VL-4B-Instruct，权重可公开下载。然而，复现仍面临一些挑战：（1）计算资源需求：虽然4B模型相对轻量，但多轮RFT迭代和GRSD训练仍需要相当的GPU计算资源，论文未明确报告具体的训练时长和硬件配置；（2）环境搭建：需要完整的Android模拟器环境和AndroidWorld评测框架，环境配置有一定复杂度；（3）随机性控制：论文报告了64个随机种子的平均结果，说明实验存在一定的方差，复现时可能需要多次运行取平均。总体而言，本文的复现难度属于中等偏低水平，开源代码和公开基准是关键的可复现性保障。
论文图表