← 返回 2026-06-30

GUICrafter：利用海量未标注截图的弱监督GUI智能体 GUICrafter: Weakly-Supervised GUI Agent Leveraging Massive Unannotated Screenshots

Sunqi Fan, Lingshan Chen, Runqi Yin, Qingle Liu, Yongming Rao, Meng-Hao Guo, Shi-Min Hu 📅 2026-06-29 👍 16 2026-07-13 08:37
Computer Vision Curriculum Learning GUI Agent Reinforcement Learning Weakly-Supervised Learning
arXiv HuggingFace PDF

通过两阶段课程学习，用大量未标注截图和少量高质量数据训练高效GUI智能体

前置知识

Visual Grounding

视觉定位是指从图像中根据自然语言描述定位到相应的区域或对象。在GUI场景中，这对应于根据任务指令找到需要交互的具体界面元素，如按钮、输入框、菜单项等。传统方法通常需要标注数据来学习这种定位能力，标注人员需要准确标记每个界面元素的边界框坐标。

论文的核心问题就是提升GUI Agent的视觉定位能力，这是所有GUI交互任务的基础。定位错误会导致几乎所有GUI任务失败，因此理解这个概念对于论文的核心贡献至关重要。

Reinforcement Learning with Verifiable Rewards

RLVR是一种强化学习范式，使用可验证的奖励信号来训练智能体。与需要复杂奖励模型的方法不同，RLVR利用环境中可以明确验证的反馈作为奖励。在GUI场景中，这包括预测动作类型是否正确、点击位置是否在目标区域内、输入文本是否匹配等。对于位置预测，奖励通常基于预测点与目标区域中心的高斯分布距离计算。

GUICrafter使用RLVR算法进行训练，通过简单的环境交互信号而不是复杂的奖励模型来学习，这显著降低了设计难度并提高了可扩展性。理解这个概念有助于理解论文如何避免传统RL方法的复杂性。

Meta-Task

元任务是对一类任务的抽象和归纳。在GUICrafter中，元任务如点击页面上任何可点击区域（如按钮，但不是空白处）是对所有点击类任务的抽象。与具体任务如点击登录按钮相比，元任务不需要具体语义信息，只需要区分交互与非交互区域。这种抽象使得模型可以学习通用的GUI交互模式而不依赖具体任务描述。

元任务是论文避免人工标注的关键创新，它允许利用未标注截图自动构建训练数据，大幅降低数据收集成本。理解这个概念有助于理解论文如何解决数据稀缺问题。

Curriculum Learning

课程学习是一种逐步增加难度的学习策略，模仿人类从简单到复杂的学习过程。GUICrafter的两阶段训练体现了课程学习思想，Stage 1先从大量未标注数据学习GUI的基础视觉定位能力，Stage 2再用少量高质量数据校准模型在具体任务上的表现。这种策略让模型能够先建立基础知识再进行精细化调整。

这种渐进式训练策略是论文框架的核心，理解这个概念有助于理解为什么两阶段训练比直接训练效果更好。

GRPO Algorithm

GRPO是一种强化学习策略优化算法，适用于奖励信号可以验证但不一定可微分的场景。论文使用GRPO来优化模型参数，通过奖励信号指导模型学习正确的交互策略。算法的核心是利用奖励估计来计算策略梯度，从而更新模型参数使得期望奖励最大化。GRPO特别适合像GUI交互这样的离散动作空间场景。

GRPO是论文实际使用的优化算法，它使模型能够从可验证的奖励信号中有效学习，而传统监督学习需要标注的ground truth。理解这个概念有助于理解论文的技术实现细节。

研究动机

当前GUI智能体训练面临严重的数据稀缺问题。标注细粒度的grounding位置和多步操作任务非常劳动密集，例如需要人工标注每个交互元素的准确坐标以及多步任务的完整轨迹。基于MLLM的自动标注方法往往产生不可靠或低质量的标签，这导致数据收集成本极高且难以扩展。由于训练数据不足和不全面，当前GUI智能体面临两个主要问题，一是视觉定位能力仍然不足，可能忽略截图中的细微细节，无法准确定位GUI元素，定位错误几乎导致所有GUI任务失败，二是跨GUI和跨领域泛化能力有限，只在训练数据覆盖的GUI类型上表现良好。以UI-TARS为例，它使用了约1840万条训练数据才获得领先的性能，但这样的数据收集成本极高，普通研究团队难以复现。这种数据瓶颈严重制约了GUI智能体技术的发展和普及。

本文的目标是本文提出GUICrafter，旨在让GUI智能体通过观察大量未标注的截图来泛化其能力。具体目标包括：大幅降低对昂贵人工标注的依赖，利用海量的未标注网页和设备截图来增强智能体的视觉定位能力和泛化能力，同时保持与现有先进方法相当甚至更优的性能。作者希望证明，只要策略得当，智能体可以从大量未标注数据中学到GUI交互的基础知识，再用少量高质量数据进行校准。论文的目标不是完全消除人工标注，而是将标注量从百万级降低到千级，同时不损失性能。这种数据效率的提升将使GUI智能体技术更加普及和可及。

与已有工作不同的是，本文的独特切入角度在于首次系统性地利用未标注截图进行GUI智能体的弱监督预训练。现有方法要么依赖大量人工标注数据如UI-TARS，要么依赖LLM生成的任务或复杂的奖励模型如ZeroGUI和WebAgent-R1。本文的创新点在于构造元任务替代人工标注任务，直接利用网页和移动平台的交互信号作为奖励信号，而不是设计复杂的奖励模型或世界模型。这使得框架概念上更简单，更易扩展，更容易迁移到真实GUI环境。与GUI-R1等RL方法的关键区别是引入了无需标注的GUI预训练阶段，这显著降低了数据收集成本并增强了模型的泛化能力。论文的创新之处在于提出了一种全新的数据利用范式，即从大规模未标注数据中提取弱监督信号进行预训练，然后用少量高质量数据进行校准。

核心方法

GUICrafter采用两阶段课程学习框架来训练GUI智能体。Stage 1是弱监督GUI预训练阶段，收集大量未标注的网页和设备截图，自动提取交互信号，构造相应的元任务，使用RLVR算法训练模型学习视觉定位。这一阶段的关键是不需要任何人工标注，完全依靠自动化的信号提取和元任务构造。Stage 2是高质量强化学习微调阶段，使用少量高质量人工标注数据进行精细校准。整个框架的核心思想是先让模型从大规模未标注数据中学习GUI的基础知识和视觉定位能力，建立对GUI界面的一般理解，然后用少量高质量数据进行任务特定的校准。这种渐进式训练策略确保模型先学会识别可交互元素，再学会根据具体任务选择正确的交互元素。实验证明这种两阶段框架比直接训练更有效，Stage 1提供的基础知识显著提升了模型的泛化能力。

核心创新点包括构造元任务替代人工标注任务，这彻底避免了Stage 1对人工标注的依赖，使得预训练阶段可以完全自动化。利用网页和移动平台的自然交互信号作为可验证的奖励，而不是复杂的奖励模型或世界模型，这大大简化了框架设计。采用渐进式两阶段训练策略，先弱监督预训练再高质量微调，这模仿了人类从基础到专业的学习过程。与GUI-R1等方法的本质区别是引入了无需标注的GUI预训练阶段，这显著降低了数据收集成本并增强了模型的泛化能力。元任务设计的巧妙之处在于它抽象了所有同类任务，模型只需要区分交互区域与非交互区域，而不需要理解具体的任务语义。这种抽象使得元任务可以自动构造，无需人工参与。另一个关键创新是奖励设计中的高斯位置奖励，它比简单的二值奖励能提供更精细的指导信号。

方法步骤详情

Stage 1的数据准备包含三个步骤。收集真实世界网页和截图，对于网页平台爬取流行网站并保存为MHTML格式以防止资源丢失，采用树结构搜索模式模拟真实GUI任务中的网页分布，对于移动平台使用AndroidControl和AITZ数据集的截图，这些数据集跨越各种应用并包含丰富的截图。提取交互信号，对于网页平台使用Playwright等浏览器模拟工具识别clickable、typable、selectable元素并存储为边界框位置，对于移动平台从无障碍树中提取clickable、checkable、editable元素，应用自动规则过滤误标注页面。构造元任务，基于三种动作类型设计对应的元任务，click元任务是点击页面上任何可点击区域如按钮但不是空白处，select元任务是从页面上的下拉菜单中选择任何有效选项，type元任务是在页面上的输入框中输入任何文本。训练阶段使用RLVR算法，模型先在thinking标签内生成推理过程，然后在answer标签内输出格式化为JSON的答案，包含action type、predicted position和可选的input text三个字段。奖励设计包括格式奖励、动作类型奖励、基于高斯分布的位置奖励和文本奖励。Stage 2使用高质量人工标注数据，采用与Stage 1相同的GRPO算法和类似的奖励设计，但每个样本只有一个ground truth边界框或点来计算位置奖励。

技术新颖性

技术新颖性体现在多个方面。首次将弱监督学习系统性应用于GUI智能体预训练，构造元任务的概念避免了人工标注。奖励设计上采用基于高斯分布的位置奖励，比简单的二值奖励更精确，能提供更细粒度的指导信号。数据收集策略上采用MHTML格式保存网页防止资源丢失，采用树结构搜索模拟真实GUI任务中的网页分布，这使得训练数据更贴近真实使用场景。训练框架上证明了两阶段课程学习的有效性，Stage 1提供GUI基础知识，Stage 2进行语义校准。与需要1840万训练数据的UI-TARS相比，GUICrafter只用约千分之一的数据量就达到了相当甚至更优的性能，展示了极高的数据效率。在相同的标注数据量下，GUICrafter超越了所有之前的RLVR方法如GUI-R1。另一个新颖之处是提出了一种全新的数据利用范式，即从大规模未标注数据中提取弱监督信号进行预训练，然后用少量高质量数据进行校准。这种范式可以推广到其他需要大量标注数据的领域。

Left: The pipeline of our Stage 1 weakly-supervised GUI pretraining, including data preparation and training process. Right: Our GUICrafter model achieves a higher average grounding accuracy than all baselines on both Mind2Web and ScreenSpot-Pro benchmarks.
Figure 1: Left: The pipeline of our Stage 1 weakly-supervised GUI pretraining, including data preparation and training process. Right: Our GUICrafter model achieves a higher average grounding accuracy than all baselines on both Mind2Web and ScreenSpot-Pro benchmarks.
In Stage 1, we first collect GUI screenshots, extract interactive signals and craft meta-tasks. Then, we use RLVR algorithm to train the GUI agent. This stage successfully enhances the agent's visual grounding and generalization ability.
Figure 2: In Stage 1, we first collect GUI screenshots, extract interactive signals and craft meta-tasks. Then, we use RLVR algorithm to train the GUI agent. This stage successfully enhances the agent's visual grounding and generalization ability.

实验结果

实验在六个不同平台的基准测试上评估了GUICrafter的性能，包括Mind2Web、ScreenSpot-Pro、OmniACT、AndroidControl、AITW和AndroidWorld。在Mind2Web基准上，仅Stage 1训练就让模型在所有子类别上平均提升了超过10%的定位准确率，相比Qwen2.5-VL-3B基线从27.3%提升到39.7%，且整个过程无需人工劳动。Stage 1和Stage 2结合后，GUICrafter-3B在跨网站和跨领域子集上表现显著优于UI-TARS，这展示了更强的泛化能力，主要受益于Stage 1中模型接触了大量真实世界网页。两阶段课程学习比仅Stage 2训练提升了3%到4%的定位准确率，证明GUI预训练为模型提供了坚实基础。使用全部Mind2Web训练集复现GUI-R1作为基线，GUICrafter显著超越了这个基线。在ScreenSpot-Pro基准上，仅Stage 1就让模型相比Qwen2.5-VL-3B基线提升了约10%的平均准确率，从14.1%提升到24.4%。Stage 1和Stage 2结合后，GUICrafter-3B取得了同尺寸模型中的最佳性能，相比第二好的GUI-R1-3B提升了4%到5%的平均准确率，达到33.5%。在AndroidControl基准上，Stage 1后GUICrafter在不使用任何标注数据的情况下，在AndroidControl-Low上达到62.35%的Step SR，在AndroidControl-High上达到44.65%，这与使用人工标注数据训练的GUI-R1-3B性能相当。Stage 1和Stage 2结合后，GUICrafter在AndroidControl基准上超越了同尺寸的其他模型。在AITW基准上采用零shot设置，GUICrafter使用仅3B参数和3200条人工标注数据实现了50.89%的整体性能，这与依赖闭源模型或其他辅助方法如GPT-4V加history和OmniParser的方法性能接近。在AndroidWorld在线端到端基准上，仅Stage 1训练就达到与GUI-R1相当的性能，完整的Stage 1加2训练后，在Episode Success Rate上超越GUI-R1约11%，达到25.43%。这些结果充分证明了GUICrafter方法的有效性和数据效率。

Comparison between our method and prior GUI-agent RL approaches. Prior methods typically rely on explicit task annotation and additional reward or world modeling, while our method uses meta-task and avoids explicit reward or world model design.
Table 1: Comparison between our method and prior GUI-agent RL approaches. Prior methods typically rely on explicit task annotation and additional reward or world modeling, while our method uses meta-task and avoids explicit reward or world model design.
Results on Mind2Web. All experiments are conducted under the same zero-shot prompt for fair comparison. The best results are in bold. The improvement brought by our Stage 1 is highlighted in blue background.
Table 2: Results on Mind2Web. All experiments are conducted under the same zero-shot prompt for fair comparison. The best results are in bold. The improvement brought by our Stage 1 is highlighted in blue background.
GUI grounding accuracy on ScreenSpot-Pro. All experiments are conducted under the same zero-shot prompt for fair comparison. * denotes supervised fine-tuned on GUI-R1-3K.
Table 3: GUI grounding accuracy on ScreenSpot-Pro. All experiments are conducted under the same zero-shot prompt for fair comparison. * denotes supervised fine-tuned on GUI-R1-3K.
Results on AndroidControl.
Table 4: Results on AndroidControl.
Zero-shot results on AITW.
Table 5: Zero-shot results on AITW.
Results on AndroidWorld.
Table 6: Results on AndroidWorld.
Ablation on Task Formulation.
Table 7: Ablation on Task Formulation.
Model Performance of Different Noise Ratios.
Table 8: Model Performance of Different Noise Ratios.
As the amount of Stage 1 data increases, the model's grounding accuracy on both Mind2Web and ScreenSpot-Pro benchmarks consistently improves.
Figure 4: As the amount of Stage 1 data increases, the model's grounding accuracy on both Mind2Web and ScreenSpot-Pro benchmarks consistently improves.
查看结构化数据
任务指标本文基线提升
Mind2Web Element Accuracy 60.2 (3B) 59.5 (UI-TARS-2B) +0.7
Mind2Web Cross-Website Element Accuracy 59.2 (3B) 58.5 (UI-TARS-2B) +0.7
Mind2Web Cross-Domain Element Accuracy 60.7 (3B) 58.8 (UI-TARS-2B) +1.9
ScreenSpot-Pro Average Accuracy 33.5 (3B) 28.6 (GUI-R1-3B) +4.9
AndroidControl-Low Step Success Rate 70.73 (3B) 64.41 (GUI-R1-3B) +6.32
AndroidControl-High Step Success Rate 56.50 (3B) 46.55 (GUI-R1-3B) +9.95
AITW Overall Step Success Rate (Zero-Shot) 50.89 (3B) 43.60 (GUI-R1-3B) +7.29
AndroidWorld Episode Success Rate 25.43 (3B) 14.22 (GUI-R1-3B) +11.21

局限与改进

作者承认的局限性包括Stage 2仍然依赖少量人工标注数据，虽然相比现有方法已经大幅减少到约1万条，但仍然存在一定的人力成本。观察到的其他局限性包括Stage 1的元任务缺乏交互区域的语义信息，只能区分交互区域与非交互区域，不能识别哪个交互区域是正确的，这在需要深度语义理解的任务中可能成为瓶颈。Stage 1数据包含噪声，手动检查发现84.9%的样本完全正确，其余样本存在缺失、重叠或错序的视觉交互元素，这会影响仅Stage 1训练时的性能。两阶段训练框架增加了训练复杂度和时间成本，需要分别进行两个阶段的训练和调优。当前方法主要针对视觉定位和单步交互，对于复杂的多步推理任务的能力可能有限，元任务设计虽然简单有效，但可能限制了模型在需要深度语义理解的任务上的表现。另外，方法对网页结构的假设可能在某些特殊场景下不成立，例如动态加载的内容或复杂的单页应用。最后，论文主要在相对标准的GUI界面上评估，对于非传统界面如游戏界面或自定义绘制界面的泛化能力尚未充分验证。

独立分析的弱点

第一个弱点是Stage 1元任务缺乏语义理解能力。元任务只能教模型区分交互与非交互区域，但不能教模型理解交互区域的语义含义，这在需要复杂推理的任务中可能成为瓶颈。改进方向是探索从GUI元素和交互信号自动合成语义丰富的任务，例如通过LLM反向生成自然的任务描述，或者在Stage 1中加入一些语义级别的弱监督信号。第二个弱点是Stage 1数据存在噪声。自动提取的交互信号可能包含缺失、重叠或错序的问题，虽然实验证明框架对噪声有一定鲁棒性，但噪声仍然影响Stage 1的性能。改进方向是改进自动提取算法的质量，例如引入更鲁棒的视觉检测算法或多模态融合方法，或者在Stage 1中加入自监督学习从隐式用户行为信号中学习更鲁棒的特征表示。第三个弱点是对需要多步推理的任务支持有限。当前方法主要关注单步视觉定位，对于需要理解任务上下文和规划多步操作的任务能力不足。改进方向是引入任务记忆和规划模块，让模型能够处理更复杂的多步交互序列，或者在Stage 2中增加多步任务的训练比例。第四个弱点是对跨平台泛化的支持仍有提升空间。虽然GUICrafter在跨平台泛化上表现良好，但在从未见过的全新平台或界面风格上可能仍有困难。改进方向是增加更多样化的未标注数据，特别是来自小众平台、特殊界面和非传统GUI的数据，以及设计更具泛化能力的特征表示。

未来方向

作者提出的未来工作方向是探索LLM驱动的从GUI元素和交互信号反向合成GUI任务，目标是建立一个数据飞轮，使GUI智能体能够持续自我进化，最终解决GUI智能体发展中的数据瓶颈问题。基于论文成果可以延伸的其他研究方向包括将两阶段框架扩展到更多平台如桌面应用、游戏界面、虚拟现实界面等，探索更复杂的元任务设计，加入层次化的任务抽象和语义理解能力。研究如何进一步减少或消除Stage 2对人工标注的依赖，例如通过主动学习选择最有价值的样本进行标注，或者通过半监督学习利用少量标注数据和大量未标注数据。将GUICrafter与其他GUI Agent技术如系统2推理、多模态大模型、任务规划器等结合，构建更强大的GUI智能体。研究如何从交互历史中自动发现和学习GUI交互模式，实现真正的零样本学习和持续学习。另一个有趣的方向是探索如何将该方法应用于其他需要大量标注数据的领域，如视频理解、机器人控制等。

复现评估

论文承诺开源所有数据、代码和模型，GitHub仓库地址为https://github.com/fansunqi/GUICrafter，这对复现性非常有利。论文详细描述了数据收集、训练流程和实验设置，包括具体的超参数和硬件配置，训练在8张NVIDIA H20 GPU上进行。但未提供计算成本的具体信息，如训练时长和GPU小时数，这对资源有限的复现者可能是个问题。从数据角度看，Stage 1的弱监督数据收集涉及网页爬取和自动信号提取，这对复现者的技术能力和资源有一定要求，需要处理反爬虫、网络异常等技术挑战。Stage 2的高质量数据需要人工标注，虽然量不大约1万条，但标注质量要求高，可能需要领域专家参与。从算法角度看，RLVR和GRPO算法的实现细节相对清晰，但论文将部分技术细节放在附录中，如GRPO算法的完整描述和奖励计算的具体公式，复现者需要仔细阅读附录。从实验角度看，论文在多个基准测试上评估了模型，结果详细且包含充分的消融研究，这增强了结果的可靠性。总体而言，复现难度中等，主要挑战在于数据收集和计算资源需求，但有了开源代码和数据后复现应该是可行的。

论文图表

The top part shows raw screenshots, meta-tasks and extracted signals highlighted in red. The bottom shows the thoughts and actions at different stages.
Figure 3: The top part shows raw screenshots, meta-tasks and extracted signals highlighted in red. The bottom shows the thoughts and actions at different stages.

展示了Stage 1训练和推理的具体例子。顶部显示同一个网页截图，但针对不同的元任务用红色高亮了不同的目标区域：Click Meta-Task高亮了Change Location按钮，Select Meta-Task高亮了下拉菜单，Type Meta-Task高亮了输入框。底部展示了四个阶段的详细内容：Stage 1 Training展示了元任务和模型输出，Stage 1 Inferencing展示了复杂任务Find all events taking place in New York City during the month of September下模型的推理和动作失败，Stage 2 Training展示了人工标注的任务和模型输出，Stage 2 Inferencing展示了同样复杂任务下模型的推理和动作成功。模型输出包含thinking标签内的推理过程和answer标签内的格式化JSON答案，答案包含action、point和input_text字段。

这张图通过具体例子展示了Stage 1和Stage 2的区别和作用，特别是为什么Stage 1缺乏语义信息可能失败，而Stage 2有语义校准能够成功。这对于理解两阶段框架的必要性和有效性非常有帮助。