MemGUI-Bench：在动态环境中评估移动GUI代理记忆能力的基准 MemGUI-Bench: Benchmarking Memory of Mobile GUI Agents in Dynamic Environments
首个系统评估移动GUI代理记忆能力的基准，揭示现有代理存在4-10倍能力差距
前置知识
移动GUI代理
基于大语言模型或多模态模型的智能体，能够通过模拟点击、滑动、输入等操作来控制移动设备界面完成任务。这些代理接收屏幕截图或UI层级结构作为输入，输出具体的交互动作，实现自动化操作手机应用的能力。当前主流架构包括基于工作流的代理（如Agent-S2、M3A）和端到端模型（如UI-TARS、GUI-Owl）两类。基于工作流的代理通常包含专门的记忆模块和决策模块，能够维护操作历史和上下文信息；而端到端模型直接从视觉输入生成动作，架构更简洁但记忆能力有限。代理的核心挑战在于如何在复杂多步骤任务中保持信息连贯性，特别是跨应用操作时需要记住之前步骤获取的信息。
理解移动GUI代理的基本概念是评估其记忆能力的前提，因为记忆机制是代理在复杂多步骤任务中保持信息连贯性的关键能力。不同的代理架构对记忆能力有根本性影响，这直接决定了它们在记忆密集型任务上的表现差异。
短期记忆（Short-term Memory）
代理在任务执行过程中临时保留和利用上下文信息的能力，类似于人类的工作记忆。具体表现为：记住验证码用于后续填写、保留多个商品价格用于跨应用比较、维持中间计算结果等。技术实现包括专门的记忆代理模块（Memory Agent）、行动-思考模式（Action-Thought Pattern）和多轮对话上下文管理等。Memory Agent架构通过专门的子模块持续总结和更新动作历史，创建全面的文本摘要作为后续决策的记忆上下文；行动-思考模式则让代理输出动作的同时记录推理过程，形成结构化的操作历史；多轮对话机制利用对话历史累积记忆，但受限于上下文长度约束。短期记忆是GUI代理完成任何复杂任务的基础能力。
短期记忆是GUI代理完成复杂任务的基础能力，实验表明移除短期记忆会导致代理完全失效，成功率从32.5%暴跌至2.5%，信息保留率从35.1%降至0%。这证明了短期记忆不是可选的增强功能，而是代理正常运行的强制性要求。
长期记忆（Long-term Memory）
代理跨会话积累经验的能力，从成功和失败中学习形成可复用的知识和技能。包括成功学习（从成功执行中提取快捷方式和技巧）和失败学习（分析失败尝试以避免重复错误）。例如Agent-S2能够将成功经验提炼为操作提示，Mobile-Agent-E可以创建可复用的快捷操作模式。长期记忆的关键特征是持久性、可转移性和效率提升目标：持久性指记忆在会话间保持不变；可转移性指学到的知识可以应用于类似但不同的任务；效率提升目标指通过经验积累减少未来的错误和探索时间。当前长期记忆实现仍处于早期探索阶段，主要关注简单的经验聚合而非更复杂的认知学习机制。
长期记忆使代理能够从经验中学习并提高操作效率，实验显示具有长期记忆的Agent-S2在多次尝试后成功率提升21.9个百分点（27.3%→49.2%），失败恢复率达到21.5%，而无长期记忆的代理仅为0.8-4.4%。这证明了跨会话学习机制对复杂任务的重要价值。
信息保留率（Information Retention Rate, IRR）
量化代理在任务执行过程中正确回忆和利用所需信息单元比例的核心记忆保真度指标。计算公式为：$IRR_i = \frac{C_i}{T_i} \times 100\%$，其中$C_i$表示任务$i$中正确回忆的信息单元数，$T_i$表示所需信息单元总数。例如，如果任务需要记住9条产品评论，代理正确回忆了7条，则IRR为77.8%。IRR的独特价值在于它提供了比二元成功/失败更细粒度的诊断信息：能够区分完全记忆失效（IRR=0%）、部分记忆丢失（0%<IRR<100%）和完全成功（IRR=100%）。对于涉及多个信息单元的任务，IRR可以精确定位代理在记忆链的哪个环节出现问题，为架构改进提供具体方向。
IRR提供了比二元成功率更细粒度的记忆失败诊断，能够区分部分记忆丢失和完全记忆失效的不同情况。例如，Agent-S2的IRR（39.5%）远高于端到端模型（0.0-5.7%），但成功率仅高5倍，这表明框架代理虽然记忆能力更强但仍存在显著的部分记忆失败，需要针对性优化。
渐进式审查（Progressive Scrutiny）
MemGUI-EVAL采用的三阶段评估流水线，模仿人类专家的高效验证过程：第一阶段成本效益分流（♢Triage Judge仅检查最终三张截图和原始动作日志，采用极其保守的策略，仅在证据无可辩驳时才判定成功）；第二阶段完整语义分析（⋆Step Descriptor为轨迹中的每一步生成详细的文本描述，♡Semantic Judge综合任务目标、丰富的步骤上下文和最后三张截图进行判断）；第三阶段针对性视觉验证（▶Visual Judge接收语义分析阶段请求的特定历史截图，通过按需提供视觉证据避免信息过载）。这种方法的核心优势是从最小证据开始逐步深入，仅在必要时才进行更昂贵的分析，在SPA-Bench上达到99.0% F1分数（基线92.5%）的同时保持成本效益。
渐进式审查解决了传统评估方法在记忆密集型任务上的信息过载问题，在跨应用任务上达到94.1-100%的F1分数，而基线方法仅为40-61.5%。这种按需提供证据的策略特别适合记忆密集型任务，因为关键信息可能出现在轨迹的早期阶段，传统方法容易遗漏这些细节。
研究动机
当前移动GUI代理基准测试系统性地未能评估记忆能力，存在三个根本性限制：首先，任务设计不足，即使是记忆导向最强的SPA-Bench也仅有11.8%的记忆相关任务，而LlamaTouch和MobileAgentBench包含零记忆任务；其次，评估协议限制，缺乏用于长期学习评估的多尝试pass@k协议；第三，判断方法约束，现有LLM-as-Judge方法将完整轨迹提供给视觉语言模型，导致信息过载和关键细节遗漏。这些缺陷导致现有基准严重高估代理能力，在AndroidWorld（5.2%记忆任务）上GUI-Owl-7B达到66.4%成功率，但在MemGUI-Bench（89.8%记忆任务）上暴跌至6.2%，暴露了4-10倍的能力差距。
本文的目标是建立一个严格、全面的评估框架，能够捕捉真实世界移动交互中细微的记忆需求，系统评估短期记忆保留和长期学习能力。具体目标包括：创建系统化的记忆分类法区分短期和长期记忆机制；设计涵盖跨时间和跨空间信息保留的128个记忆密集型任务；开发具有渐进式审查的自动化评估流水线；对11个最先进代理进行全面的RQ驱动评估。
与已有工作不同的是，本文的独特切入角度是从记忆能力的视角重新审视GUI代理评估。与现有基准最小化历史依赖不同，MemGUI-Bench刻意设计需要代理在扩展交互序列中提取、保留和准确回忆特定信息单元的任务。例如，AnalyzeApartmentCommute任务需要从Apartments.com提取公寓详情、通过Bing搜索公司地址、通过Citymapper计算通勤时间、在Joplin记录分析结果，这种跨应用信息转移模式直接挑战代理的记忆能力。此外，引入pass@k评估协议和镜像任务对设计，首次支持系统评估跨会话学习能力。
核心方法
MemGUI-Bench的方法论建立在人类记忆机制的启发之上，将移动GUI代理的记忆能力分为短期记忆和长期记忆两个互补维度。整体技术路线包括四个核心贡献：首先，通过分析11个代理建立系统化的记忆分类法，识别出5种不同的架构模式；其次，设计128个任务的记忆密集型任务套件，其中89.8%挑战记忆能力；第三，开发基于快照的即插即用框架支持高效的多尝试评估；第四，创建MEMGUI-EVAL自动化评估管道，采用渐进式审查策略实现成本-准确性的最优平衡。这种方法从直觉上模仿人类专家的验证过程，从最小证据开始逐步深入分析。
本文的核心创新在于三个方面：第一，引入信息保留率（IRR）作为记忆保真度的细粒度度量，能够量化部分记忆失败的程度，例如区分正确回忆2/3和3/3信息单元的差异；第二，设计渐进式审查评估管道，通过三阶段处理（成本效益分流→完整语义分析→针对性视觉验证）解决传统LLM-as-Judge方法在记忆密集型任务上的信息过载问题；第三，创建镜像任务对支持pass@k评估，使代理能够从早期尝试中学习并提高后续表现。这些创新与已有方法的本质区别在于，现有方法要么依赖规则匹配（可扩展性差），要么一次性提供所有截图（信息过载），而MemGUI-EVAL采用按需提供证据的针对性验证策略。
方法步骤详情
方法的具体步骤包括：（1）记忆分类法建立：分析11个代理识别出5种短期记忆架构（无历史、规则聚合、行动-思考模式、多轮上下文、记忆代理）和2种长期记忆类别（成功学习、失败学习）；（2）任务套件设计：设计128个任务覆盖26个真实应用，任务平均36.2个黄金步骤，78.1%需要跨应用信息转移，平衡覆盖三个难度级别（37.5%简单、32.8%中等、29.7%困难）；（3）快照框架开发：基于Android模拟器快照实现即时环境恢复，通过端口隔离支持并行执行，内置pass@k协议和持久代理状态管理；（4）评估管道构建：第一阶段♢Triage Judge检查最终三张截图进行快速筛选，第二阶段⋆Step Descriptor生成详细文本描述后♡Semantic Judge进行综合分析，第三阶段▶Visual Judge接收请求的历史截图进行针对性验证，必要时▷IRR Analyzer计算信息保留率。
技术新颖性
MemGUI-Bench的技术新颖性体现在多个层面：在评估指标上，引入IRR、MTPR（记忆任务熟练度比率）、FRR（失败恢复率）等7个层次化指标，首次提供记忆能力的多维度量化；在评估方法上，渐进式审查管道通过按需提供视觉证据解决了传统方法的信息过载问题，在SPA-Bench上达到99.0% F1分数（基线92.5%）；在任务设计上，镜像任务对和pass@k协议首次支持长期记忆评估；在框架架构上，快照即插即用设计实现128个任务的高效可重复评估。特别值得注意的是，针对跨应用任务，MEMGUI-EVAL维持94.1-100%的F1分数，而基线方法仅为40-61.5%，验证了渐进式审查在复杂记忆场景下的优越性。
实验结果
实验结果揭示了当前GUI代理在记忆能力上的严重缺陷：（1）RQ1显示现有代理存在4-10倍能力差距，M3A达到最高单次尝试成功率32.8%，Agent-S2展示最高多次尝试性能49.2%，但端到端模型仅为0.0-6.2%，在AndroidWorld上GUI-Owl-7B达到66.4%但在MemGUI-Bench暴跌至6.2%；（2）RQ2消融实验证明短期记忆是强制性的，移除后M3A成功率从32.5%崩溃至2.5%，IRR从35.1%降至0%，而长期记忆提供显著但非必需的收益；（3）RQ3显示跨应用复杂性导致16-40个百分点性能下降，Agent-S2从单应用50.0%降至四应用10.0%；（4）RQ4表明长上下文能力带来+18.8个百分点改进，多轮对话M3A达到51.6%而单轮仅32.8%；（5）RQ5验证长期记忆使Agent-S2提升21.9个百分点（27.3%→49.2%），失败恢复率21.5%；（6）RQ6揭示计算权衡，Agent-S2消耗41,760 tokens/step，在token约束下性能完全崩溃。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 短期记忆评估（pass@1整体） | 成功率SR | M3A: 32.8%, Agent-S2: 27.3% | 端到端模型: 0.0-6.2% | 框架代理比模型代理高5-10倍 |
| 长期记忆评估（pass@3整体） | 成功率SR | Agent-S2: 49.2%, M3A: 47.7% | 无长期记忆代理: 3.9-42.2% | Agent-S2比无长期记忆提升21.9pp |
| 记忆保真度 | 信息保留率IRR | M3A: 39.3%, Agent-S2: 39.5% | 端到端模型: 0.0-5.7% | 框架代理IRR比模型代理高7-10倍 |
| 跨应用复杂性 | 单应用vs四应用SR | Agent-S2: 50.0%→10.0%, M3A: 46.4%→30.0% | N/A | 下降16-40pp，揭示主要瓶颈 |
| 评估管道准确性 | F1分数 | MEMGUI-EVAL M1: 99.0% | SPA-Bench G1: 92.5% | 跨应用任务94.1-100% vs 40-61.5% |
局限与改进
本研究存在以下局限性：首先，评估范围限于128个任务和26个应用，虽然涵盖多种跨应用复杂性，但可能无法完全代表真实世界的所有使用场景；其次，所有评估在Android模拟器上进行，与物理设备的实际交互可能存在差异；第三，评估的11个代理主要使用Gemini 2.5 Pro作为骨干模型，对其他模型架构的泛化性需要进一步验证；第四，长期记忆评估仅支持3次尝试（k=3），更长的学习轨迹可能揭示不同的模式；第五，计算权衡分析基于当前API定价，成本结构可能随时间变化。此外，作者承认代理能力快速发展，当前基准可能需要定期更新以保持评估的挑战性。
独立分析的弱点
独立分析的弱点包括：（1）任务多样性方面，128个任务虽然设计精良但数量有限，可能无法覆盖所有记忆密集型场景，特别是涉及实时数据更新或动态内容的任务；（2）评估环境方面，基于模拟器的评估无法完全模拟真实设备的性能限制、网络延迟和应用状态变化；（3）代理覆盖方面，评估的11个代理主要集中在近期工作，可能遗漏一些具有独特记忆机制的早期或小众系统；（4）指标设计方面，IRR假设信息单元独立，但实际任务中信息单元可能存在依赖关系，简单的比例计算可能无法完全捕捉这种复杂性。改进方向包括扩大任务规模、引入物理设备评估、增加更多架构变体、开发考虑信息依赖关系的复合指标。
未来方向
基于研究发现，未来研究方向包括：（1）多粒度记忆缓冲区设计，为不同类型信息（数字事实、文本描述、UI状态）提供独立存储槽位，解决部分记忆幻觉问题；（2）层次化任务分解与持久目标跟踪，确保高层目标在整个执行过程中持续存在，子目标跨应用边界跟踪进度；（3）超越注意力窗口的长上下文利用，通过战略信息组织、冗余减少和重要性加权上下文管理充分利用200K+ token上下文；（4）显式长期记忆机制标准化，将跨会话学习作为GUI代理的标准组件；（5）混合架构开发，结合框架级记忆管理的灵活性与端到端模型的效率，在能力与计算成本之间取得最优平衡。
复现评估
复现评估显示该研究具有较高的可重复性：所有资源包括代码、基准和评估结果将完全开源并持续维护在项目网站；快照框架基于Android模拟器实现，支持标准化环境恢复；评估管道使用公开可用的Gemini模型，配置明确（M2配置：Gemini 2.5 Flash用于步骤描述，Gemini 2.5 Pro用于判断）；128个任务经过三人交叉验证确保质量。复现的主要挑战包括：需要双NVIDIA L40S-48G GPU进行代理部署、128个任务的完整评估需要显著计算资源、Android模拟器环境配置需要专业知识。总体而言，开源承诺和详细文档使研究具有良好的可复现性。
论文图表
对比了基于规则的方法（状态检测、动作分析、混合方法）和LLM-as-Judge方法（SPA-Bench、A3）的具体问题，包括规则制定需要专家知识、信息过载、关键细节遗漏等。
这张图建立了研究动机，说明为什么需要新的评估方法来处理记忆密集型任务。