← 返回 2026-05-28

GUI-CIDER：通过因果内部化和密度感知示例重选择进行 GUI 智能体中间训练 GUI-CIDER: Mid-training GUI Agents via Causal Internalization and Density-aware Exemplar Reselection

Zheng Wu, Chengcheng Han, Zhengxi Lu, Tianjie Ju, Yanyu Chen, Qi Gu, Xunliang Cai, Zhuosheng Zhang 📅 2026-05-27 👍 24 2026-07-13 08:36
GUI智能体 中间训练 因果推理 多模态大语言模型
arXiv HuggingFace PDF

中间训练方法显式内化 GUI 世界知识

前置知识

中间训练

中间训练是介于预训练和后训练之间的训练阶段，旨在将特定领域的知识融入模型中，同时保持模型在通用任务上的能力。这个概念源于对领域适配方法的研究，与预训练（学习通用知识）和后训练（学习特定技能）形成三段式训练范式。

GUI-CIDER 的核心方法，理解它才能明白本文如何在不破坏通用能力的前提下注入 GUI 知识。

因果显著性

因果显著性是衡量文本中因果推理强度的指标，通过统计 if、because、due to、unless 等因果逻辑标记的数量来计算。它反映了文本中显式表达的因果关系的密度和深度，是评估推理结构质量的重要量化标准。

GUI-CIDER 使用它来选择富含因果推理结构的样本，这是过滤数据的核心机制之一。

密度感知重选择

密度感知重选择是基于样本在语义空间的局部密度进行过滤的方法，高密度样本因与许多其他样本语义相似而被判定为冗余，从而受到惩罚。它通过 K-最近邻距离比率来计算密度分数，确保保留多样化且独特的信息。

GUI-CIDER 用它来降低语料库冗余，保证训练数据的质量和多样性。

GUI 智能体

GUI 智能体是能够理解图形用户界面并模拟人类操作（点击、滚动、输入文本等）来自动控制计算机、手机、平板等设备的多模态大语言模型。它们通过分析屏幕截图和用户指令来决定下一步操作，是自动化人机交互的关键技术。

本文的研究对象，理解它的能力和局限才能明白为什么要显式内化 GUI 世界知识。

研究动机

现有的 GUI 智能体在现实世界任务完成中受到缺乏 GUI 操作世界知识的根本性瓶颈。虽然多模态大语言模型在推理、感知和决策方面取得了快速进展，但研究指出 GUI 智能体的真实能力瓶颈越来越源于缺乏与 GUI 操作相关的世界知识。现有解决方案通常依赖昂贵的多智能体脚手架系统或传统的后训练范式（如监督微调 SFT 和强化学习 RL）。然而，后训练只允许智能体通过动作注释或奖励信号隐式吸收世界知识，导致低效的轨迹记忆而非真正的理解。

本文的目标是本文的目标是提出一个能够显式学习 GUI 世界知识的方法，使 GUI 智能体能够真正理解界面操作而非简单记忆轨迹。具体而言，GUI-CIDER 旨在通过三个阶段——数据合成、示例重选择和中间训练——将静态规划知识和动态因果知识从 GUI 轨迹中提取并显式内化到智能体中。作者希望在保持智能体通用能力的同时，大幅提升其在 GUI 知识基准测试和任务完成基准测试上的表现。

与已有工作不同的是，本文的独特切入角度是提出中间训练方法来显式内化 GUI 世界知识，这与依赖外部多智能体脚手架或直接进行后训练的现有工作有本质区别。GUI-CIDER 创新性地将 GUI 轨迹转换为纯粹的文本知识样本，通过因果内部化和密度感知的示例重选择来构建高质量语料库。与传统的 post-training 只能通过动作标签或奖励信号隐式编码知识不同，GUI-CIDER 通过因果语言建模将环境转移动力学和底层世界知识直接嵌入模型的参数记忆中。

核心方法

GUI-CIDER 是一个三阶段的中间训练方法，整体思路是从原始 GUI 轨迹中合成知识丰富的文本样本，然后通过质量感知的重选择过滤出高质量语料库，最后通过因果语言建模将知识显式内化到模型中。第一阶段数据合成将静态规划知识和动态因果知识从 GUI 轨迹中蒸馏到文本中。第二阶段示例重选择通过奖励因果结构和惩罚语义冗余来过滤语料库。第三阶段中间训练使用精细数据将获取的知识嵌入模型参数。

核心创新点是提出了一个显式内化 GUI 世界知识的中间训练框架，与现有后训练方法的本质区别在于 GUI-CIDER 将 GUI 轨迹转换为纯粹的文本知识样本，并通过精心设计的保留函数来选择高质量数据。具体而言，GUI-CIDER 创新性地提出了因果显著性函数和语义密度，并通过保留函数将两者结合，该函数满足四个关键性质。

方法步骤详情

GUI-CIDER 包含三个完整阶段。第一阶段数据合成：给定原始 GUI 轨迹数据集，通过专家模型的规划函数生成静态规划知识，通过语义行为映射函数和因果分析器生成动态因果知识，最终形成纯文本的知识丰富元组。第二阶段示例重选择：计算每个样本的因果显著性和语义密度，通过保留函数形成高质量语料库。第三阶段中间训练：使用标准的因果语言建模损失对模型进行训练，将环境转移动力学和底层世界知识直接嵌入模型参数记忆中。

技术新颖性

技术新颖性体现在多个方面。首先，GUI-CIDER 是首个专门为 GUI 智能体设计的中间训练框架，通过显式内部化领域知识而非依赖外部脚手架或隐式后训练来解决问题。其次，提出的保留函数具有四个理论证明的性质：因果单调性、密度惩罚、密度顺序保持和密度-因果协同效应。第三，GUI-CIDER 将视觉 GUI 轨迹完全转换为纯文本知识样本，消除了对原始截图的依赖，使得训练过程更加高效和通用。

The pipeline of GUI-CIDER.
Figure 2: The pipeline of GUI-CIDER.
Keyword lexicon used in Stage 1 data synthesis (Part I).
Figure 8: Keyword lexicon used in Stage 1 data synthesis (Part I).
Prompt templates used to instantiate the planning function P, the semantic mapping function B, and the causal analyst C.
Figure 10: Prompt templates used to instantiate the planning function P, the semantic mapping function B, and the causal analyst C.

实验结果

实验结果显示 GUI-CIDER 在多个基准测试中取得了显著提升。在三个任务完成基准测试上，GUI-CIDER 相比后训练基线平均相对提升了 9.70% 的任务成功率。在 AITZ 数据集上，Qwen3-VL-4B 从零拍的 59.58% 提升到 GUI-CIDER 的 60.46%，再提升到 77.43%（加后训练）。在 GUI Knowledge Bench 上，GUI-CIDER-8B 达到了 66.51%，与 Claude-Sonnet-4.5 的 66.53% 几乎持平。在 MMBench-GUI L1 上，GUI-CIDER-8B 在 Easy Level 达到 94.69%，显著超越 Qwen-Max-VL 的 68.15%。模型比较分析表明，使用通用模型时性能持续提升，而使用过度后训练的 GUI 专用模型时性能下降。消融实验验证了示例重选择阶段的重要性。

Overview of datasets and evaluation format.
Table 1: Overview of datasets and evaluation format.
Results of AITZ, AndroidControl and GUI-Odyssey benchmarks.
Table 2: Results of AITZ, AndroidControl and GUI-Odyssey benchmarks.
Results of MMBench-GUI L1 benchmark.
Table 3: Results of MMBench-GUI L1 benchmark.
Results of GUI knowledge benchmark.
Table 4: Results of GUI knowledge benchmark.
Ablation study of exemplar reselection stage.
Table 5: Ablation study of exemplar reselection stage.
Action space in our experiment.
Table 6: Action space in our experiment.
Comparison between a general model and a GUI-specialized model as the base model for mid-training.
Figure 3: Comparison between a general model and a GUI-specialized model as the base model for mid-training.
Examples from GUI Knowledge Bench.
Figure 4: Examples from GUI Knowledge Bench.
Examples from GUI agent task completion benchmarks.
Figure 6: Examples from GUI agent task completion benchmarks.
查看结构化数据
任务指标本文基线提升
AITZ 任务完成 任务成功率 TSR 77.43% (Qwen3-VL-4B + GUI-CIDER + Post-training) 60.43% (Qwen3-VL-4B + Post-training only) +17.00% 绝对提升
AndroidControl 任务完成 任务成功率 TSR 69.77% (Qwen3-VL-4B + GUI-CIDER + Post-training) 68.75% (Qwen3-VL-4B + Post-training only) +1.02% 绝对提升
GUI-Odyssey 任务完成 任务成功率 TSR 75.36% (Qwen3-VL-4B + GUI-CIDER + Post-training) 73.46% (Qwen3-VL-4B + Post-training only) +1.90% 绝对提升
MMBench-GUI L1 内容理解 Easy Level Overall 准确率 94.69% (GUI-CIDER-8B) 68.15% (Qwen-Max-VL) +26.54% 绝对提升
GUI Knowledge Bench 知识理解 Overall 准确率 66.51% (GUI-CIDER-8B) 66.53% (Claude-Sonnet-4.5) 达到接近 Claude-Sonnet-4.5 的水平

局限与改进

作者承认的主要局限性是由于计算资源限制，GUI-CIDER 在中间训练阶段采用 LoRA 而非全参数微调，这可能会限制模型对知识的吸收深度。此外，用于训练的模型参数范围仅从 4B 到 8B，未能在更大规模的模型上验证方法的有效性。从独立观察的角度看，还存在一些潜在局限：首先，数据合成阶段使用的原始数据集主要集中在 Android 平台，对其他平台（如 iOS、Windows）的覆盖仍然有限；其次，保留函数在低密度区域对低因果显著性样本的保留可能过于严格；最后，GUI-CIDER 主要关注 GUI 操作的知识理解，但对多模态感知能力的提升相对有限。

独立分析的弱点

独立分析发现 GUI-CIDER 存在几个可改进的弱点。首先，数据合成阶段虽然生成了约 1 亿 token 的语料库，但主要基于 Android 平台的数据，对 iOS、Windows、Web 等其他平台的覆盖不足，这限制了模型的跨平台泛化能力。改进方向是扩展数据来源，纳入更多样化的 GUI 平台数据。其次，保留函数在低密度区域对低因果显著性样本的保留可能过于严格，某些虽然因果推理不强但包含有价值界面信息的样本可能被过滤。第三，LoRA 微调虽然节省计算资源，但可能限制知识内化的深度。第四，GUI-CIDER 主要提升 GUI 知识理解，但对视觉感知能力的提升有限。

未来方向

作者提出的未来工作方向包括在全参数微调和更大规模模型上探索方法的有效性。基于现有成果，可延伸的研究方向包括：首先，探索动态调整的保留函数，根据训练进度自适应地平衡因果显著性和密度惩罚。其次，研究如何将 GUI-CIDER 的框架扩展到其他智能体领域（如机器人操作、游戏智能体）。第三，研究如何将显式知识内化与隐式后训练（如 RL）相结合。第四，探索如何将 GUI-CIDER 生成的知识语料库与领域专家的标注知识相结合。最后，研究如何评估 GUI 智能体的因果推理能力。

复现评估

GUI-CIDER 的代码已在 GitHub 上开源。实验使用了 DeepSeek-V4-Flash 作为规划函数，Qwen3-VL-32B-Instruct 作为映射函数和因果分析器。训练使用了 Qwen3-VL-4B-Instruct 和 Qwen3-VL-8B-Instruct 作为基础模型，LoRA 微调在 80G GPU 上进行了约 1,400 小时的训练。实验使用了五个公开基准测试，这些数据集的获取相对容易。总体而言，虽然代码开源且使用公开数据集，但数据合成阶段的具体实现细节和高昂的计算资源需求使得完全复现具有一定难度。

论文图表

The motivation of GUI-CIDER.
Figure 1: The motivation of GUI-CIDER.

该图通过三个子图展示了 GUI-CIDER 的动机。子图（a）展示了当前单智能体方法缺乏 GUI 世界知识，无法理解加号代表添加任务；子图（b）展示了外部脚手架可以通过调用通用智能体获取低级指令，但这很耗时；子图（c）展示了 GUI-CIDER 使单个智能体能够通过对高质量 GUI 世界知识的中间训练来完成任务。

这张图对理解论文至关重要，因为它清晰地展示了研究动机和 GUI-CIDER 要解决的核心问题。通过对比三种方法，读者可以立即理解为什么需要显式内部化 GUI 世界知识。

Figure 5: Examples from MMBench-GUI L1.

该图展示了 MMBench-GUI L1 的示例问题，包括界面截图、问题描述和选项。示例测试模型是否能够读取界面内容并推理 GUI 元素的语义和相对位置。

这张图帮助读者理解 MMBench-GUI L1 如何评估 GUI 内容理解能力，通过具体示例展示模型需要完成什么任务。

Figure 7: Examples of GUI-CIDER Synthetic Data.

该图展示了 GUI-CIDER 生成的合成训练数据示例。从任务和具体的 GUI 转换开始，GUI-CIDER 将注释组织为步骤列表、动作意图、前状态描述、后状态描述、触发器、机制和推理。

这张图对理解 GUI-CIDER 的数据合成阶段至关重要，它展示了原始 GUI 轨迹如何转换为知识丰富的文本样本。通过这个示例，读者可以理解 GUI-CIDER 如何显式提取因果知识。

Figure 9: Keyword lexicon used in Stage 1 data synthesis (Part II).

该图展示了第一阶段数据合成使用的关键词词典的第二部分，重点关注时间标记、推理和证据表达、验证线索，以及比较或类比术语。

这张图补充了数据合成阶段的词汇标记，帮助读者理解 GUI-CIDER 如何全面捕捉 GUI 转换中的因果推理结构。