← 返回 2026-06-01

恢复策略诱导错误：鲁棒GUI智能体的基准测试与轨迹合成 Recovering Policy-Induced Errors: Benchmarking and Trajectory Synthesis for Robust GUI Agents

Tianpeng Bu, Xin Liu, Qihua Chen, Hao Jiang, Shurui Li, Hongtao Duan, Lu Jiang, Lulu Hu, Bin Yang, Minying Zhang 📅 2026-05-28 👍 21 2026-07-13 08:36
GUI智能体 基准测试 轨迹合成 错误恢复 鲁棒性
arXiv HuggingFace PDF

提出GUI-RobustEval基准和RoTS数据合成框架，提升GUI智能体的错误恢复能力

前置知识

POMDP（部分可观测马尔可夫决策过程）

POMDP是一种强化学习框架，用于描述智能体在无法完全观测环境状态的情况下进行决策。它由元组 $(U, A, S, O, T, R)$ 定义，其中 $U$ 是任务指令集合，$A$ 是动作空间，$S$ 是环境状态空间，$O$ 是观测空间（在此论文中是截图），$T$ 是状态转移函数，$R$ 是奖励函数。智能体在每一步 $i$ 根据历史 $h_{i-1} = (o_1, a_1, \ldots, o_{i-1}, a_{i-1})$ 和当前观测 $o_i$ 采样动作 $a_i \sim \pi_\theta(\cdot | u, o_i, h_{i-1})$。由于GUI环境的复杂性和视觉输入的限制，智能体只能通过截图部分观测环境状态，因此使用POMDP建模是合适的。

论文使用POMDP框架来形式化GUI智能体与环境交互的过程，理解这一概念有助于理解RoTS方法如何在树形结构中扩展轨迹树，以及如何通过重放历史动作来恢复特定状态

策略诱导错误（Policy-Induced Errors）

策略诱导错误是指智能体在执行任务过程中，由于其自身的策略决策所产生的错误，而非外部环境扰动或人为注入的噪声。这类错误通常具有组合性和高阶性，例如错误理解任务目标、选择错误的子目标、误判屏幕状态等。论文中定义了11种错误类型，包括错误UI元素选择、基础失败、无效动作、输入错误、遗漏必要步骤、错误工具使用、错误目标、错误参数、误解任务目标、未能终止和知识缺乏。与简单的执行错误（如坐标不准确）不同，策略诱导错误往往需要多步回溯和重新规划才能恢复。

策略诱导错误是本文的核心研究对象，理解这一概念能够解释为什么现有GUI智能体在实际部署中表现脆弱，以及为什么需要专门的基准测试和数据合成方法来解决这个问题

UCB（Upper Confidence Bound）选择策略

UCB是一种在探索-利用权衡中常用的策略，用于在不确定的情况下选择下一个行动。它通过估计每个候选的平均奖励和不确定性（通常用访问次数的倒数来表示）来计算一个上界置信分数，并选择分数最高的候选。在论文中，UCB被用于两个场景：Fragility-Driven Exploration（FDE）中选择脆弱节点的分数 $f_i = (1-r_i) + c \sqrt{\frac{\ln(V_p(i)+1)}{V_i+1}}$，以及Experience-Informed Recovery（EIR）中选择恢复节点的分数 $s_i = p_i + c \sqrt{\frac{\ln(V_p(i)+1)}{V_i+1}}$。其中 $r_i$ 是平均正确率，$p_i$ 是优先级，$V_i$ 和 $V_p(i)$ 是访问次数，$c$ 是探索常数。

UCB策略是RoTS方法树形扩展的核心机制，理解这一概念能够解释RoTS如何平衡探索新的错误模式和利用已知的高优先级恢复点，从而高效地生成多样化的训练数据

研究动机

现有GUI智能体在实际部署中频繁遭遇策略诱导错误，即由其自身行动产生的错误，如错误的grounding、对屏幕状态的误判或错误的子目标选择。当智能体陷入错误状态后，往往无法识别错误并采取适当的恢复措施，导致任务失败。作者通过分析12个最先进的GUI智能体在OSWorld上的1500条轨迹发现，现有训练数据存在两个关键差距：错误覆盖不匹配——训练数据主要集中在低层次的、人工策划的错误，而真实的失败往往涉及组合性的感知和规划错误；错误视界不匹配——现有评估协议和反思数据大多是短视界的（如无效点击），而许多策略诱导错误只在多步之后才变得可识别，需要长视界的回溯和恢复。这两个差距使得GUI智能体在真实部署中缺乏鲁棒性，阻碍了其在实际场景中的应用。

本文的目标是本文的具体目标是在评估和训练两个层面上同时解决GUI智能体对策略诱导错误的鲁棒性问题。在评估层面，目标是建立一个能够系统化测量GUI智能体错误检测和恢复能力的基准测试，提供细粒度的诊断指标，揭示智能体在哪些错误类型和错误深度上表现薄弱。在训练层面，目标是开发一个高效的数据合成框架，能够主动发现多样化的错误模式并合成相应的恢复步骤，生成高质量的、覆盖真实错误分布的训练数据。通过这两个贡献，本文旨在提升GUI智能体在长视界错误场景下的鲁棒性，使其能够在实际部署中更好地应对自身策略产生的错误，从而提高任务成功率和整体性能。

与已有工作不同的是，本文的独特切入角度是聚焦于策略诱导错误的两个系统性不匹配问题：错误覆盖不匹配和错误视界不匹配。与现有工作关注外部扰动（如环境噪声、对抗攻击）或短视界执行错误不同，本文发现真实部署中的失败往往是组合性的、高层次的，并且需要多步才能显现。通过分析推理失败和训练数据的分布差异，本文识别出这两个不匹配，并针对性地提出了GUI-RobustEval基准测试（覆盖真实的错误类型和可控的错误深度）和RoTS数据合成框架（通过树形探索-恢复协同扩展来发现多样化错误模式和生成长视界恢复轨迹）。这种从错误分布分析出发、同时在评估和训练两个层面解决问题的思路，使得本文能够有效地填补现有方法的空白，为提升GUI智能体的鲁棒性提供了新的方向。

核心方法

RoTS方法的整体思路是采用树形数据合成框架，通过在GUI环境中迭代扩展轨迹树，主动发现多样化的错误模式并生成长视界的失败-恢复轨迹对。直觉上，就像一个经验丰富的用户在探索应用程序时会尝试不同的操作路径，当发现错误时能够回溯并尝试替代方案。技术路线上，RoTS将每个任务的所有rollout组织成一个可重放的轨迹树 $T = (O, A, E)$，其中节点是截图观测，边是动作。方法采用探索-恢复协同扩展策略：在初始的N个并行采样后，进行K轮协同扩展，每轮通过奖励模型 $R$ 将树划分为成功子树 $T^{corr}$ 和失败子树 $T^{fail}$，然后分别对两侧进行扩展：Fragility-Driven Exploration（FDE）在成功子树中识别脆弱节点并继续rollout以发现新的失败模式；Experience-Informed Recovery（EIR）在失败子树中定位错误状态并生成恢复rollout以获得长视界恢复轨迹。这种协同扩展策略有效地同时解决了错误覆盖和错误视界的差距。

RoTS的核心创新点在于其探索-恢复协同扩展策略，这与已有方法有本质区别。现有方法通常采用单一方向的探索（如并行采样或离线增强），或者仅在框架层面添加反思和回溯子智能体，而非在训练层面解决策略诱导错误的检测和恢复问题。RoTS的创新在于同时从两个方向扩展轨迹树：在成功分支上，通过FDE识别那些策略正确率较低的脆弱节点（即容易发生错误的节点），重放到这些节点并继续rollout，以主动发现新的失败模式；在失败分支上，通过EIR利用相邻分支的轨迹经验来定位错误状态并生成恢复建议，然后启动一个建议条件的恢复actor来生成长视界的恢复轨迹。这种双向协同扩展的策略使得RoTS能够高效地生成多样化且覆盖真实错误分布的训练数据，从根本上提升智能体的错误恢复能力。

方法步骤详情

RoTS方法的步骤包括环境准备、探索-恢复协同扩展、数据集构建和训练四个阶段。首先，在环境准备阶段，方法在云端托管Ubuntu和Windows系统，策划20k具有可重现系统快照的任务，并采用WebJudge作为奖励模型 $R$ 来评估任务完成正确性，同时引入进度批评模型 $R_p$ 和动作批评模型 $R_a$ 来评估规划和步骤级执行正确性。其次，在探索-恢复协同扩展阶段，方法对每个任务初始化轨迹树并进行N个并行采样，然后进行K轮协同扩展：每轮通过 $R$ 将树划分为成功子树和失败子树，在成功侧使用FDE（计算每个节点的fragility-score并通过UCB选择节点），在失败侧使用EIR（利用相邻分支经验定位错误状态并通过UCB选择恢复点）。再次，在数据集构建阶段，方法应用VLM-based后过滤去除环境随机性导致的状态转移不一致，使用 $R_p$ 和 $R_a$ 移除不正确步骤，并使用VLM-based反思验证器 $R_f$ 将过滤后的数据分为反思无关和反思相关子集，最后应用规则去重得到最终数据集。最后，在训练阶段，方法按照 $D_{train} = D_{agn} \cup \lambda_{ref} D_{ref}$ 的比例混合反思无关和反思相关数据，使用teacher forcing和负对数似然损失进行监督微调。

技术新颖性

RoTS方法的技术新颖性体现在多个方面。首先，其树形在线数据合成框架是首个针对GUI智能体策略诱导错误的系统化数据合成方法，与离线增强或在线强化学习相比，能够更高效地生成覆盖真实错误分布的训练数据。其次，其探索-恢复协同扩展策略是创新性的，通过同时扩展成功和失败分支，能够同时解决错误覆盖和错误视界的差距，这不同于单一方向的探索或仅添加反思模块的方法。第三，其经验感知的错误定位和建议条件恢复机制是新颖的，利用相邻分支的轨迹经验来指导错误定位和恢复，这与传统的随机或启发式恢复策略有本质区别。第四，其细粒度的数据后处理管道是创新的，通过多个critic模型和VLM验证器来过滤和分类数据，确保训练数据的高质量。最后，GUI-RobustEval基准测试提供了可控错误深度和多样化错误类型的评估，这与现有的关注外部扰动或短视界错误的基准有显著区别。

Overview of our method. It includes (i) the pipeline for constructing our benchmark, GUI-RobustEval, and (ii) RoTS, the pipeline for synthesizing diverse error-recovery trajectories that cover the policy-induced error distribution. We also build a highly parallel infrastructure that supports high-throughput evaluation and data synthesis.
Figure 2: Overview of our method. It includes (i) the pipeline for constructing our benchmark, GUI-RobustEval, and (ii) RoTS, the pipeline for synthesizing diverse error-recovery trajectories that cover the policy-induced error distribution. We also build a highly parallel infrastructure that supports high-throughput evaluation and data synthesis.
Visualization of the FAR-Tree, illustrating policy-induced errors via parallel sampling and FDE and their subsequent recovery through EIR advice.
Figure 15: Visualization of the FAR-Tree, illustrating policy-induced errors via parallel sampling and FDE and their subsequent recovery through EIR advice.

实验结果

论文在三个基准测试上进行了全面评估，揭示了RoTS方法的有效性。在GUI-RobustEval上，RoTS-7B和RoTS-32B在错误感知率和错误后成功率两个指标上都达到了开源模型中的最高分数：错误感知率分别为51.9%和58.8%，平均成功率分别为34.2%和40.3%，超越了OpenCUA-32B。更重要的是，在最具挑战性的设置下（错误深度为5），RoTS-7B和RoTS-32B分别保持26.7%和33.2%的成功率，性能下降最小（分别为38%和33%），突显了RoTS在识别和恢复长视界策略诱导错误方面的优势。在OSWorld上，RoTS-7B和RoTS-32B在最大步数50的情况下分别达到36.3%和47.4%的成功率，超越了其他同规模的开源权重GUI模型。特别是在衡量鲁棒性的All-Pass@4指标上，RoTS-32B达到33.8%，准确率下降仅为28.7%，而OpenCUA-32B的All-Pass@4仅为15.5%，下降幅度高达54.5%。在WindowsAgentArena上，RoTS-7B和RoTS-32B在最大步数50的情况下分别达到28.2%和39.1%的成功率，超越了之前的开源权重GUI智能体。这些结果表明，RoTS不仅提升了智能体的鲁棒性，还提升了整体任务性能，验证了长视界错误恢复能力的改进对鲁棒性和整体性能都有贡献。

Comparison with existing GUI Agent Benchmarks.
Table 1: Comparison with existing GUI Agent Benchmarks.
Evaluation results on GUI-RobustEval of different GUI agents. The best and second best performance for open-sourced models are highlighted by bold and underline.
Table 2: Evaluation results on GUI-RobustEval of different GUI agents. The best and second best performance for open-sourced models are highlighted by bold and underline.
Comparison of the state-of-the-art methods on the OSWorld benchmark. We report the success rate (%) under maximum step 15 and ≥50 as the evaluation metrics. All-Pass@4 is reported to show the success rate across all 4 independent runs with max steps 50.
Table 3: Comparison of the state-of-the-art methods on the OSWorld benchmark. We report the success rate (%) under maximum step 15 and ≥50 as the evaluation metrics. All-Pass@4 is reported to show the success rate across all 4 independent runs with max steps 50.
Ablation on different rollout strategies under the similar budget.
Table 4: Ablation on different rollout strategies under the similar budget.
A study on the data quality under a fixed dataset size of 100k samples from different data mixtures.
Table 5: A study on the data quality under a fixed dataset size of 100k samples from different data mixtures.
The impact of different ratio of reflection data.
Figure 4: The impact of different ratio of reflection data.
The scaling curve of RoTS with respect to the expansion round and dataset size.
Figure 5: The scaling curve of RoTS with respect to the expansion round and dataset size.
查看结构化数据
任务指标本文基线提升
GUI-RobustEval Post-Error Success Rate 40.3% (RoTS-32B) 25.9% (OpenCUA-32B) +14.4
OSWorld All-Pass@4 33.8% (RoTS-32B) 15.5% (OpenCUA-32B) +18.3
OSWorld Success Rate (Max Steps 50) 47.4% (RoTS-32B) 34.1% (OpenCUA-32B) +13.3
WindowsAgentArena Success Rate (Max Steps 50) 39.1% (RoTS-32B) 32.9% (Jedi-7B w/ GPT4-o) +6.2

局限与改进

论文的局限性体现在几个方面。首先，论文目前聚焦于桌面计算机使用任务，对移动设备和边缘设备的评估留待未来工作。其次，在GUI-RobustEval中，从错误状态评估需要向具有异构格式的智能体注入前缀历史，这不可避免地涉及跨格式转换。虽然这种转换在同一智能体的所有深度上是一致应用的，确保了智能体内退化趋势的有效性，但仍可能引入一些不准确性。第三，论文观察到的性能饱和主要由于当前的树形扩展设置（N=4，32轮扩展迭代）无法生成足够多样化和有效的轨迹，进一步扩展扩展参数（如使用更大的N和更多扩展轮次）可能会有益。第四，RoTS模型偶尔表现出过度反思行为，浪费推理预算，如论文中所示的一个案例，智能体错误地将未完全渲染的网页状态解释为错误页面，执行了两次连续的返回操作。最后，论文的方法依赖于多个LLM-as-judge组件（奖励模型、进度批评、动作批评等），虽然通过人类一致性研究验证了它们的可靠性（一致性在88%-90%之间），但这些组件的质量仍然对整体性能有重要影响。

独立分析的弱点

论文的方法存在几个独立分析的弱点。首先，FDE模块仅使用UCB准则选择脆弱节点，可能忽略了一些潜在的错误模式。改进方向是引入更多样化的节点选择策略，如基于熵的不确定性估计或基于梯式的探索，以发现更多样化的错误模式。其次，EIR模块依赖于相邻分支的轨迹经验，如果相邻分支都失败或经验不足，错误定位可能不准确。改进方向是引入更丰富的经验来源，如跨任务的经验共享或基于检索的经验库，以提高错误定位的准确性。第三，数据合成 pipeline 目前使用固定的扩展参数（N=4，K=32），这可能不适合所有任务，一些任务可能需要更多的探索，而另一些任务可能需要更多的恢复。改进方向是引入自适应的扩展策略，根据任务的复杂度和树形扩展的动态调整扩展参数。第四，反思相关数据的比例 $\lambda_{ref}$ 目前设置为0.1，虽然论文通过实验发现这是最优值，但对于不同的任务或模型，最优比例可能不同。改进方向是引入任务相关或模型相关的自适应 $\lambda_{ref}$ 选择机制。最后，RoTS模型偶尔表现出过度反思行为，这可能是由于反思训练数据中包含了一些不必要的反思。改进方向是在数据后处理中引入更精细的反思质量过滤，只保留真正有效的反思行为。

未来方向

论文提出和可以延伸的未来研究方向包括：1）扩展到移动设备和边缘设备，评估RoTS方法在不同平台上的泛化能力；2）研究数据飞轮或强化学习方法，迭代改进合成和模型性能，形成自我进化的闭环；3）探索更高效的错误定位和恢复策略，如基于学习的错误预测器或基于规划的恢复策略；4）研究更细粒度的错误分类和诊断机制，提供更详细的错误分析和恢复建议；5）探索跨任务和跨应用的经验迁移机制，提高数据合成的效率；6）研究降低过度反思行为的方法，如反思成本惩罚或反思效果验证机制；7）探索将RoTS方法与现有的agent框架（如反思和回溯子智能体）结合，形成更完整的鲁棒性解决方案；8）研究更轻量级的LLM-as-judge组件，降低计算成本和部署复杂度；9）探索将RoTS方法应用于其他类型的智能体（如Web智能体、代码智能体）以验证其通用性；10）研究更先进的去重和多样性保持机制，进一步提高训练数据的质量和多样性。

复现评估

论文的复现评估可以从开源情况、数据、算力和难度四个方面分析。在开源情况方面，论文承诺代码将在GitHub上公开（https://github.com/AlibabaResearch/RoTS），这为复现提供了基础。在数据方面，GUI-RobustEval基准测试包含1216个测试用例，覆盖11种错误类型和4个错误深度，虽然具体的测试用例构建涉及人工标注（成本约$400，耗时7天），但论文提供了详细的构建流程和标准，其他研究者可以按照相同流程构建类似的基准测试。RoTS数据集包含800k训练样本（720k来自$D_{agn}$，80k来自$D_{ref}$），论文提供了详细的数据合成pipeline和统计信息，但由于数据合成需要在云端环境中进行（20k任务，每个任务68条轨迹），完全复现数据合成过程需要相当的计算资源和时间。在算力方面，论文报告数据合成在云端服务器上进行，自部署模型在32张NVIDIA A100 GPU上，通过API访问专有模型，总体成本约为$48,100，端到端耗时约16天。训练方面，Qwen2.5-VL-7B在64张A100 GPU上训练一个epoch，Qwen2.5-VL-32B在128张A100 GPU上训练一个epoch，这对研究团队来说是可以承受的。在难度方面，论文提供了详细的实现细节和超参数设置（如N=4，K=32，c=0.25，$\lambda_{ref}$=0.1等），并提供了所有关键组件的prompt模板，这降低了复现难度。然而，构建云端环境、策划20k任务和进行大规模数据合成仍然是一个挑战，需要相当的时间和资源投入。总体而言，论文的复现难度属于中等到困难级别，主要挑战在于数据合成的规模和复杂性，但代码和数据的公开承诺以及详细的文档将大大降低复现门槛。

论文图表

Policy-induced errors exhibit diverse types and delayed error detectability. GUI agents struggle to identify and recover from such errors (upper part of Fig. (a)), while RoTS improves this by synthesizing reflection-related data matching policy-induced error distribution (lower part of Fig. (a)). Benefit from this, RoTS achieves lower accuracy drop on All-Pass@4 (Fig. (b)) compared with other methods.
Figure 1: Policy-induced errors exhibit diverse types and delayed error detectability. GUI agents struggle to identify and recover from such errors (upper part of Fig. (a)), while RoTS improves this by synthesizing reflection-related data matching policy-induced error distribution (lower part of Fig. (a)). Benefit from this, RoTS achieves lower accuracy drop on All-Pass@4 (Fig. (b)) compared with other methods.

图1的上部分展示了两个策略诱导错误的例子：左侧是错误的子目标选择导致陷入循环，右侧是无效操作和基础失败导致任务失败，智能体无法识别错误。下部分展示了RoTS通过合成与策略诱导错误分布相匹配的反思相关数据来改进这一情况，包括回退、移动光标和按Enter等恢复步骤。右侧的柱状图比较了不同智能体在OSWorld上的All-Pass@4准确率和准确率下降，RoTS-7B在准确率下降方面表现最佳（-10.0%），表明其鲁棒性优势。

这张图对理解论文非常重要，因为它直观地展示了策略诱导错误的多样性和延迟可检测性，以及现有GUI智能体在识别和恢复这类错误方面的困难。更重要的是，它展示了RoTS方法的核心贡献：通过合成与真实错误分布相匹配的反思数据来提升智能体的错误恢复能力，并通过实验结果验证了这种改进的有效性（准确率下降更小）。这张图将问题、方法和结果联系在一起，为读者提供了论文核心思想的直观理解。

(a): Error type distribution of policy-induced errors and existing datasets. (b): Error-horizon distribution of policy-induced errors and existing datasets. (c): Error type percentage in GUI-RobustEval, which is colored by post-error success rate. (d): The post-error success rate w.r.t. the error depth of SOTA agents on GUI-RobustEval.
Figure 3: (a): Error type distribution of policy-induced errors and existing datasets. (b): Error-horizon distribution of policy-induced errors and existing datasets. (c): Error type percentage in GUI-RobustEval, which is colored by post-error success rate. (d): The post-error success rate w.r.t. the error depth of SOTA agents on GUI-RobustEval.

图3的(a)子图通过t-SNE可视化展示了策略诱导错误和现有数据集的错误类型分布，策略诱导错误（彩色点）主要集中在组合性的感知和规划错误区域，而现有训练数据（灰色点）主要覆盖低层次的执行错误。(b)子图展示了策略诱导错误和现有数据集的错误视界分布，策略诱导错误往往需要多步才能变得可识别，而现有数据主要集中在立即可识别的错误。(c)子图展示了GUI-RobustEval中的错误类型百分比，颜色表示错误后成功率（1减去平均成功率），规划和感知错误的恢复难度更大（颜色更红）。(d)子图展示了最先进智能体在GUI-RobustEval上相对于错误深度的错误后成功率，随着错误深度增加，性能下降明显。

这张图对理解论文非常重要，因为它提供了策略诱导错误和现有训练数据之间两个关键不匹配的定量可视化证据：错误覆盖不匹配和错误视界不匹配。这两个不匹配是论文的核心动机，也是GUI-RobustEval和RoTS方法设计的出发点。特别是，(c)子图展示了哪些错误类型更难恢复，(d)子图展示了错误深度对恢复性能的影响，这些洞察直接指导了RoTS方法的设计（FDE发现多样化错误模式，EIR生成长视界恢复轨迹）。这张图将问题分析、方法设计和实验结果紧密联系在一起，为读者提供了论文核心逻辑的直观理解。