UI-KOBE：面向轻量级图谱引导 GUI 智能体的知识导向行为探索 UI-KOBE: Knowledge-Oriented Behavior Exploration for Lightweight Graph-Guided GUI Agents
通过自主探索构建应用知识图谱，让小型模型也能高效执行移动 GUI 任务
前置知识
GUI 智能体（GUI Agent）
图形用户界面智能体通过感知屏幕截图、理解指令并执行点击、输入、滑动等操作来完成任务。它结合计算机视觉和自然语言处理，随着视觉语言模型发展而快速进步。典型工作流程是给定任务描述和截图，模型直接规划并执行动作，这是端到端范式。
本文的核心就是改进 GUI 智能体的执行方式，从传统的端到端规划转向图谱引导的逐步决策，理解这个基本概念是理解全文创新点的基础。
端到端 GUI 规划
端到端规划要求模型每步都从头规划后续路径，需要强大的长程推理能力。大型模型可通过预训练获得，但轻量级模型推理负担过重，导致执行不可靠。端到端方法难以利用先验知识，每次执行都需要重新学习应用结构。
本文要解决的核心问题正是端到端规划对轻量级模型的负担。UI-KOBE 的创新就在于用预先构建的知识图谱替代部分运行时推理，降低对模型能力的要求。
知识图谱（Knowledge Graph）
应用知识图谱是有向图 G_A=(V,E)，节点代表语义UI状态，边代表可执行转换。节点存储页面描述、截图和元素，边存储动作、指令和观察。图谱通过自主探索构建，是一次性成本，可跨任务重复使用。
知识图谱是 UI-KOBE 的核心技术创新。理解图谱的定义、构建方式和使用方法，对于理解本文如何将知识获取与任务执行解耦至关重要。
语义状态抽象
UI-KOBE将屏幕抽象为语义状态，功能相同但内容不同的屏幕对应同一节点，视觉相似但功能不同的屏幕对应不同节点。通过比较页面描述嵌入向量和截图验证实现这种抽象，使图谱更紧凑可重用。
这是 UI-KOBE 与现有方法（如 AutoDroid）的关键区别。理解这种语义抽象有助于理解为什么 UI-KOBE 构建的图谱更紧凑、更可重用。
研究动机
现有的移动 GUI 智能体面临两个核心实践挑战。首先，依赖大型开源或专有模型的系统部署成本高昂。大型开源模型（如 70B+）需要大量计算资源，难以在设备上部署；而专有模型（如 GPT-4 系列）API 成本高，不适合大规模应用。其次，适合设备部署的小模型（如 4B 规模）在长程推理和规划方面表现不佳。实验数据显示，Qwen3.5-4B 在 AndroidWorld 基准上的成功率为 58.6%，而 Qwen3.5-Plus（397B）为 66.8%，小模型与大模型之间存在显著性能差距。这种差距主要源于小模型难以从屏幕截图和任务描述中同时推断当前应用状态、可能的导航路径和任务进度，导致任务执行不可靠。
本文的目标是本文的核心目标是让轻量级模型（如 4B）能够在移动设备上可靠地执行复杂的 GUI 任务，而不需要增加模型规模或依赖昂贵的 API。具体来说，UI-KOBE 旨在构建一个可重用的应用知识图谱，通过自主探索捕获应用的状态空间和转换规则，然后在运行时用这个图谱引导小型智能体的逐步决策，从而降低端到端推理的负担。理想情况下，一个小型模型在图谱引导下应该能达到或接近大型模型的性能。
与已有工作不同的是，本文的独特切入角度是将应用知识获取与任务执行完全解耦。现有的探索方法（如 AppAgent、AutoDroid）虽然也构建应用知识，但主要用于轨迹检索或生成完整动作序列，本质上仍然是端到端范式的补充。UI-KOBE 则构建了一个语义状态转换图作为可重用的知识工件，然后在运行时将 GUI 任务执行转化为识别当前节点并选择图谱支持的下一步动作的局部决策问题。这种图谱引导的决策范式与传统的端到端规划有本质区别，使得小模型能够专注于局部识别和决策，而不需要从头推理整个应用结构和任务轨迹。
核心方法
UI-KOBE 的整体思路分为两个阶段：离线图谱构建和在线图谱引导执行。第一阶段，一个探索智能体自主与目标应用交互，观察屏幕、执行动作、记录转换，逐步构建一个有向应用知识图谱。图谱经过审计、归一化等精炼后，作为可重用的知识工件保存。第二阶段，在执行用户任务时，一个轻量级运行时智能体使用这个图谱作为外部知识源：给定当前截图和任务，它首先识别图谱中对应的节点，然后从该节点的边中选择下一步动作（包括自环操作、邻居转换、任务完成或自由回退），逐步完成任务。这种设计将长程规划分解为一系列局部决策，大幅降低了模型推理负担。
核心创新点是将 GUI 任务执行从端到端规划转换为图谱引导的逐步决策。与传统方法（如 UI-TARS、Mobile-Agent）每步都从头规划后续路径不同，UI-KOBE 的运行时智能体每步只需要：识别当前 UI 状态在图谱中的对应节点；从该节点的局部边集合中选择下一步动作。这种图谱引导决策有几个关键优势：首先，推理负担从全局变为局部，小模型能够胜任；其次，图谱提供了显式的应用结构知识，提高了决策的可解释性；第三，图谱构建是一次性成本，可跨任务重用，摊薄了探索开销。与 AutoDroid 的 UI 转换图（UTG）相比，UI-KOBE 的图谱强调语义状态抽象而非像素匹配，节点更紧凑，可重用性更强。
方法步骤详情
UI-KOBE 的方法包含四个主要步骤。第一步：图谱表示定义。给定移动应用 A，构造有向图 G_A = (V, E)。节点 v 属于 V 代表语义 UI 状态，存储页面描述、参考截图、可交互元素；边 e 属于 E 代表观察到的可执行转换，存储源节点、目标节点、执行动作 json、自然语言指令和目标观察（包括 schema delta 用于自环边）。第二步：自主探索。采用迭代循环：观察屏幕，生成页面描述和元素列表，通过嵌入比较找到候选节点，截图验证是否匹配，规划未探索动作，执行并记录转换。每一步都记录到图谱，支持中断后恢复。第三步：图谱精炼。包括三种子操作：（a）图谱审计：检测重复节点（通过语义相似度、截图重叠、出边重叠）并合并，标记不可靠边用于重探索；（b）边归一化：将相似指令抽象为参数化模板（如 Type Starbucks 抽象为 Type {query}）；（c）覆盖导向重探索：定期选择探索不足的节点，通过回放已知转换到达后继续探索，提高图谱完整性。第四步：图谱引导运行。给定任务和截图 x_t，运行时智能体首先通过视觉检索和模型验证识别当前节点 v_t；然后从局部边集 E(v_t) 构建选项列表（任务完成、自环、邻居转换、自由动作）；接着基于任务、截图、节点和边选择选项 o_t；最后将选项转换为设备动作执行。维护运行时记忆 m_t 跟踪任务进度。当图谱不匹配或缺少所需边时，回退到自由规划器。
技术新颖性
UI-KOBE 的技术新颖性体现在多个方面。首先，它提出了语义状态抽象的节点定义，与传统基于像素匹配的方法不同，能够处理内容动态但功能相同的页面，使图谱更紧凑。实验显示平均每应用 54 个节点，远少于像素级方法。其次，图谱引导的运行时决策范式与端到端规划有本质区别，将任务执行形式化为局部选项选择问题，这是首次系统性将知识图谱用于引导轻量级 GUI 智能体。第三，图谱精炼机制（审计、归一化、重探索）的完整性设计，确保了图谱质量和覆盖。第四，双模型分离设计：探索阶段用强模型（GPT-5.4、Qwen3.5-Plus）构建图谱，运行时用轻量模型（Qwen3.5-4B/9B）执行，实现了成本与性能的平衡。最后，严格的实验设计验证了图谱引导对各种模型规模的普遍有效性，特别是小模型的大幅提升，这是对现有 GUI 智能体范式的重要补充。
实验结果
UI-KOBE 在两个主流移动 GUI 基准上均取得了显著性能提升。在 AndroidWorld 基准上，使用 Qwen3.5-4B 运行时模型，UI-KOBE 达到 70.7% 的任务成功率，相比相同模型无图谱引导的 58.6% 提升了 12.1 个百分点。这一性能已经接近或超过许多更大的单模型智能体（如 Qwen3-VL-8B 的 47.6%、Qwen3.5-9B 无图谱的 57.8%）。使用 Qwen3.5-Plus 时，UI-KOBE 达到 77.6% 的最佳性能，超越了所有对比的智能体框架。在 A3 基准上，UI-KOBE 的提升更为显著。Qwen3.5-4B 在 UI-KOBE 引导下达到 71.5% 的 ESAR（关键状态达成率）和 61% 的 Overall SR（整体成功率），相比原始 4B 模型的 43.7% ESAR 和 26% Overall SR，分别提升了 27.8 和 35 个百分点。这一大幅提升表明图谱引导在真实在线应用场景（动态 UI 状态）中特别有价值，小模型通常难以处理长程规划和状态变化。使用 Qwen3.5-Plus 时，UI-KOBE 达到 84.8% ESAR 和 78% Overall SR，超越了最强基线 T3A（Gemini-2.5-pro）的 66.4% ESAR 和 53% Overall SR。这些结果共同验证了可重用应用知识图谱的有效性，以及图谱引导决策对各种模型规模的普遍益处。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AndroidWorld 任务成功率 | Success Rate (%) | 70.7 (Qwen3.5-4B + UI-KOBE) | 58.6 (Qwen3.5-4B 无图谱) | +12.1 个百分点 |
| AndroidWorld 任务成功率 | Success Rate (%) | 77.6 (Qwen3.5-Plus + UI-KOBE) | 73.3 (Mobile-Agent-v3 + GUI-Owl-32B) | +4.3 个百分点 |
| A3 关键状态达成率 | ESAR (%) | 71.5 (Qwen3.5-4B + UI-KOBE) | 43.7 (Qwen3.5-4B 无图谱) | +27.8 个百分点 |
| A3 整体成功率 | Overall SR (%) | 61 (Qwen3.5-4B + UI-KOBE) | 26 (Qwen3.5-4B 无图谱) | +35 个百分点 |
| A3 整体成功率 | Overall SR (%) | 78 (Qwen3.5-Plus + UI-KOBE) | 53 (T3A + Gemini-2.5-pro) | +25 个百分点 |
局限与改进
作者承认了三个主要局限性。首先，构建的图谱依赖应用版本。当应用引入重大 UI 或导航变化时，现有图谱可能部分过时，需要增量修复或重新探索。这是一个实践中的维护问题，限制了图谱的生命周期。其次，尽管目标是支持轻量级设备内 GUI 智能体，但当前系统仍依赖外部嵌入模型（Gemini-Embedding-2）进行图谱检索和节点匹配，这阻碍了完全本地部署。要实现真正的端侧部署，需要将嵌入模型也轻量化。第三，实验仅聚焦于移动应用，UI-KOBE 在网站和 PC 应用上的有效性尚未验证。虽然方法原理应可迁移，但不同平台（如鼠标交互 vs 触摸交互）可能需要适配。基于对结果的观察，还可以补充两点：图谱覆盖不完整会导致性能瓶颈（特别是对轻量模型），以及图构建错误（如错误记录的边）可能误导运行时决策。这些都需要通过更完善的图谱审计和重探索机制来改进。
独立分析的弱点
首先，图谱构建阶段的开销较大，平均每个应用需要 300 步探索、约 3.2 小时时间和 6.2 美元 API 成本。虽然这是一次性成本，但对于新应用或频繁更新的应用，这个开销可能成为障碍。改进方向可以包括并行化探索、使用更高效的探索策略，或者通过用户演示加速初始图谱构建。其次，回退规划器仍然是性能瓶颈之一。当图谱不覆盖当前状态或缺少所需边时，轻量模型（如 Qwen3.5-4B）产生的回退指令往往错误，导致连锁失败。改进方向可以是增强回退规划器的上下文理解（如提供更多图谱上下文），或者改进图谱覆盖率（如通过主动学习识别并补充缺失边）。第三，图谱审计虽然能合并重复节点，但仍有遗漏。当两个节点因包含不同动态内容而导致描述差异时，审计可能无法识别它们是同一状态，造成边分散。改进方向可以是改进节点表示（如学习更鲁棒的状态编码），或使用更先进的审计模型。第四，当前系统完全依赖外部嵌入服务进行节点匹配，增加了延迟和隐私风险。改进方向可以是量化嵌入模型以适配设备部署，或使用基于轻量视觉特征的匹配方法。
未来方向
作者提出了三个未来方向。第一个是将图谱构建、维护和引导执行扩展到网站和 PC 应用。这需要适配不同的交互模式（如鼠标、键盘）和更复杂的 UI 结构，但原理应可迁移。第二个是实现更轻量化的端到端部署。具体包括将嵌入模型量化到设备规模，或设计基于轻量视觉特征的节点匹配方法，实现真正意义上的设备内 GUI 智能体。第三个是改进图谱维护机制，使其能够自适应应用更新。可以探索增量探索、版本兼容性检测等策略，减少全量重探索的需求。基于本文成果，还可以延伸出其他方向：一是探索跨应用通用知识，如学习可迁移的 UI 模式（搜索、设置、导航等），减少每个应用的探索成本；二是结合用户反馈改进图谱，如通过用户纠错或演示补充缺失边；三是研究图谱压缩和蒸馏，将大型图谱转换为轻量模型可直接使用的形式，进一步降低运行时成本。
复现评估
论文提供了较为完善的实验设置和基线对比，但复现难度中等偏上。论文明确声明模型、数据集和基准均按照各自许可使用，但没有明确声明代码开源。根据论文中的 GitHub 链接，推测代码会开源，这将显著降低复现难度。复现需要的主要资源包括：AndroidWorld 和 A3 基准环境，需要配置 Android 模拟器和评估框架；用于图谱构建的强模型（GPT-5.4、Qwen3.5-Plus），需要 API 访问或本地部署；用于运行时的轻量模型（Qwen3.5-4B/9B），可在消费级 GPU 上运行；嵌入模型（Gemini-Embedding-2），需要 API 访问。按论文数据，图谱构建平均成本 6.2 美元/应用，时间 3.2 小时/应用，这需要一定预算和时间投入。整体而言，对于有资源的研究团队，复现是可行的，但对于资源有限的团队，成本可能较高。如果代码开源且提供预构建的图谱，复现难度会大幅降低。
论文图表