AndroTMem：从交互轨迹到长周期GUI智能体的锚定记忆 AndroTMem: From Interaction Trajectories to Anchored Memory in Long-Horizon GUI Agents
提出锚定状态记忆机制解决长周期GUI任务的记忆瓶颈
前置知识
GUI智能体
GUI智能体是能够通过图形用户界面自主完成任务的AI系统，它可以感知屏幕上的UI元素（按钮、文本框、菜单等），理解用户的自然语言指令，并执行点击、滑动、输入等底层操作来完成复杂的多步骤任务。在移动场景下，GUI智能体需要跨越多个应用程序完成跨应用工作流，例如在电商平台比价后分享到社交应用。现有的GUI智能体基于多模态大语言模型（MLLM），能够同时处理视觉和文本信息。
本文研究的核心对象就是长周期GUI智能体在执行跨越数十步的真实任务时的记忆能力问题
交互记忆（Interaction Memory）
交互记忆是指GUI智能体在执行多步骤任务过程中维护和利用历史交互信息的能力。在长周期任务中，智能体需要记住之前步骤中获取的关键信息（如提取的价格、选定的联系人、完成的子目标），并在后续步骤中正确检索和使用这些信息。现有的历史建模方式包括：原始轨迹回放（保留完整的截图-动作序列）和压缩摘要（将历史压缩为文本摘要），但两者在任务长度增加时都会显著退化。
交互记忆是本文研究的核心问题，论文证明它是长周期GUI任务性能下降的主要瓶颈
状态锚点（State Anchor）
状态锚点是AndroTMem框架中用于标记交互轨迹中关键中间状态的结构化表示。每个锚点由四元组定义：$\langle type_k, content_k, evidence_k, links_k \rangle$，分别表示功能类型、语义内容、UI证据和依赖关系。锚点类型包括因果状态、子目标、上下文信息和完成状态等六种，它们稀疏但因果关键，决定了后续步骤的决策。
状态锚点是ASM方法的核心数据结构，理解它对于把握本文的技术贡献至关重要
任务完成率（TCR）
任务完成率（Task Completion Rate, TCR）是本文提出的核心评估指标，用于衡量智能体在长周期任务中维护和重用关键中间状态的能力。与传统的端到端成功率不同，TCR基于状态锚点定义：一个任务被视为成功完成，当且仅当智能体到达最终锚点并满足所有前置锚点之间的因果依赖关系。这意味着TCR能够诊断智能体是否正确保存和复用了任务关键的中间状态。
TCR是本文专门设计的评估指标，直接衡量交互记忆能力，区别于仅关注最终结果的成功率
动作匹配分数（AMS）
动作匹配分数（Action Matching Score, AMS）是步骤级的评估指标，用于衡量智能体预测动作与真实动作的一致性。判断规则包括：对于点击和长按操作，预测点到标注点的归一化距离需在14%以内或落在SAM2分割的目标UI元素内；对于滑动操作，判断方向是否一致；对于文本输入，使用平均归一化Levenshtein相似度（ANLS）。AMS反映了智能体在每个步骤上的动作预测准确性。
AMS是步骤级指标，与任务级的TCR配合，提供了对智能体能力的全面评估
研究动机
长周期GUI智能体在执行真实世界任务时面临严重的记忆瓶颈。现有研究发现，随着交互序列变长，智能体性能急剧下降，而这种下降主要源于任务内记忆失败，而非孤立的感知错误或局部动作失误。具体而言，现有方法存在三个紧密耦合的挑战：首先，现有数据集并非为显式评估长周期记忆而设计，它们的任务长度往往来自松散相关步骤的串联，而非强制的逐步因果依赖；其次，长周期任务的失败难以诊断，端到端的成功率将感知错误、局部动作失误和记忆崩溃混为一谈；第三，历史建模陷入困境——回放完整交互序列既冗余又放大噪声，而粗粒度摘要往往恰好擦除了下游所需的细粒度状态和依赖信息。论文的诊断实验表明，在10-19步、20-29步、30-39步、40-49步、50-59步、60-69步的不同步长范围内，所有评估模型的性能都随着步数增加而持续下降，揭示了记忆作为关键瓶颈的本质。
本文的目标是本文的具体目标是：（1）构建一个专门诊断长周期GUI智能体交互记忆能力的基准测试AndroTMem-Bench，包含1,069个任务和34,473个交互步骤（平均32.1步/任务，最大65步），跨越50个应用程序，通过强制的逐步因果依赖使稀疏但关键的中间状态成为下游决策的决定性因素；（2）系统性地诊断长周期性能下降的根本原因，证明记忆失败而非感知或动作错误是主要瓶颈；（3）提出锚定状态记忆（ASM），将交互序列表示为一组因果关联的中间状态锚点，实现子目标导向的检索和归因感知的决策，从而解决记忆瓶颈问题。
与已有工作不同的是，本文的独特切入角度在于将长周期GUI任务的挑战从「感知-动作」范式转向「记忆-检索」范式。与以往专注于改进UI理解、元素定位或单步动作预测的工作不同，AndroTMem首次将交互记忆作为独立的诊断对象，通过精心设计的因果依赖结构，使得任务的完成必须依赖于正确保存和重用关键中间状态。具体而言，论文构建的任务模板包含70多个跨应用模板，每个模板包含应用功能组槽位和任务参数，通过模板实例化生成的任务天然具有强逐步因果依赖。这种设计使得「成功完成任务」与「正确维护交互记忆」紧密耦合——即使智能体在每个单独步骤上的动作预测正确，如果它无法记住之前步骤中提取的关键信息，任务仍然会失败。这提供了一个独特的诊断视角，能够将记忆失败从其他类型的失败中分离出来。
核心方法
AndroTMem框架的整体思路是：先通过精心设计的基准测试诊断长周期GUI任务中的记忆瓶颈，再提出结构化的记忆机制来解决这一瓶颈。框架包含三个核心组件：（1）AndroTMem-Bench基准测试，通过意图驱动的任务构造、半自动化的数据流水线和因果依赖标注，构建了包含1,069个高质量任务的评估集；（2）诊断评估套件，通过跨步长、跨意图、跨模型的系统性分析，揭示记忆失败是性能下降的主要原因；（3）锚定状态记忆（ASM）机制，将交互历史组织为稀疏但决策关键的中间状态锚点，通过检索-推理-更新的循环实现高效的历史利用。整个方法的设计哲学是：不是让智能体记住更多，而是让它记住对的东西——那些在因果链条上承前启后的关键状态。
ASM的核心创新在于将交互记忆从「序列回放」范式转变为「状态锚点」范式。与原始轨迹回放保留完整截图-动作序列不同，ASM将交互历史表示为一组因果关联的状态锚点；与自由文本摘要压缩历史不同，ASM显式保留了依赖关键的中间状态及其因果关系。每个锚点由四元组 $\langle type_k, content_k, evidence_k, links_k \rangle$ 表示，其中 $links_k$ 字段记录了与其他锚点的因果或依赖关系。例如，在跨应用比价任务中，$Cheaper\_Item$ 锚点依赖于之前提取的 $Price\_JD$ 和 $Price\_Taobao$ 两个锚点。这种结构化的记忆表示使得智能体能够进行子目标导向的检索——在需要决策时，只需检索与当前决策相关的锚点及其依赖链，而非回放整个交互历史。本质上，ASM将长周期交互中的信息管理从「全量存储、全文检索」转向「关键提取、结构索引、精准检索」。
方法步骤详情
ASM的工作流程分为三个阶段：给定交互轨迹 $\tau = \{(s_t, a_t)\}_{t=0}^T$，其中 $s_t$ 表示UI状态，$a_t$ 表示执行的动作。在每个时间步 $t$，给定当前UI状态 $s_t$ 和当前记忆库 $A_{t-1}$，ASM执行以下操作：（1）检索阶段：$\hat{A}_t = \text{Retrieve}(s_t, A_{t-1})$，根据当前UI状态和用户指令从记忆库中检索相关的锚点子集 $\hat{A}_t \subseteq A_{t-1}$，实现子目标导向的信息获取；（2）推理阶段：$a_t = \text{Act}(s_t, \hat{A}_t)$，将检索到的锚点与当前UI上下文结合，预测下一个动作；（3）更新阶段：$A_t = \text{Update}(A_{t-1}, s_t, a_t)$，分析当前步骤以决定是否创建新锚点、是否更新或使现有锚点失效、是否添加新的依赖链接。整个过程通过结构化的锚点集合实现了对交互历史的紧凑表示和精准检索，避免了原始轨迹的冗余和摘要的信息丢失。
技术新颖性
ASM的技术新颖性体现在多个方面：首先，它首次将交互记忆形式化为可复用中间状态的集合，而非观察-动作的逐字序列，这从根本上改变了GUI智能体处理历史信息的方式；其次，ASM显式建模了锚点之间的因果依赖关系，使得非局部推理步骤（如跨应用比价决策）变得可追溯和可检索；第三，ASM的检索-推理-更新循环设计使得记忆库能够动态演化——新锚点的创建、现有锚点的更新和失效都基于当前步骤的分析，而非静态维护；第四，与现有的CoT推理或外部记忆模块不同，ASM的记忆表示与GUI任务的结构特性（跨应用工作流、因果依赖链、中间状态复用）紧密耦合，具有更强的任务适配性。从实验结果看，ASM在保持与摘要方法相当的token使用量的同时，显著提升了任务完成率，表明其在效率-效果权衡上的优势。
实验结果
论文的核心发现可归纳为三个方面：（1）记忆是主要瓶颈：在所有评估的12个GUI智能体中，随着交互步数从10-19增加到60-69，性能持续下降，且这种下降主要由任务内记忆失败驱动，而非感知错误或动作失误。例如，Gemini-3-Flash在不同步长范围内的表现差异显著，揭示了记忆管理的关键性。（2）ASM一致性优于基线：在12个评估的GUI智能体中，ASM在所有模型上都取得了最佳的AMS和TCR表现。在闭源模型中，Gemini-3-Flash使用ASM后TCR从55.21%提升至65.05%；在开源模型中，Qwen2.5-VL-7B的TCR从16.04%提升至46.19%，提升幅度达30.16个百分点。（3）效率与效果的平衡：ASM的token使用量与摘要方法相当（如GPT-4o使用ASM时平均1265.2 tokens，摘要为993.4 tokens），但远低于原始轨迹回放（2671.1 tokens），同时在AMS和TCR上都取得了显著提升。具体而言，ASM改善了TCR 5%-30.16%和AMS 4.93%-24.66%，表明锚定的结构化记忆有效地缓解了长周期GUI任务中的交互记忆瓶颈。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 长周期GUI任务完成 | TCR | ASM: 65.05% (Gemini-3-Flash) | 原始轨迹: 55.21%, 摘要: 56.44% | +9.84pp相比原始轨迹, +8.61pp相比摘要 |
| 步骤级动作预测 | AMS | ASM: 59.03% (Gemini-3-Flash) | 原始轨迹: 46.14%, 摘要: 50.05% | +12.89pp相比原始轨迹, +8.98pp相比摘要 |
| 开源模型长周期任务 | TCR | ASM: 46.19% (Qwen2.5-VL-7B) | 原始轨迹: 16.04%, 摘要: 42.39% | +30.16pp相比原始轨迹, +3.80pp相比摘要 |
| 闭源模型GPT系列 | TCR | ASM: 23.30% (GPT-5) | 原始轨迹: 11.46%, 摘要: 17.08% | +11.84pp相比原始轨迹, +6.22pp相比摘要 |
| 推理效率 | Avg Token | ASM: 2503.6 (Gemini-3-Flash) | 原始轨迹: 6239.1, 摘要: 2021.3 | 比原始轨迹减少60%token |
局限与改进
论文承认的局限性包括：（1）AndroTMem目前仅诊断单会话内的交互记忆，尚未完全捕获跨会话的长期任务，即关键状态需要在中断、跨天间隔或多集工作流中持续保存的场景；（2）基准测试基于策划的轨迹构建，具有固定的任务目标和相对稳定的应用状态，缺乏对UI漂移、内容更新和随机结果的暴露；（3）环境导向的评估还不够紧密，未来需要将智能体行为与演变的外部条件和反馈更紧密地耦合。此外，论文未充分探讨ASM在真实用户交互场景中的泛化能力，以及在应用频繁更新导致UI变化时的鲁棒性。从实验设计角度看，论文主要在Android平台上验证，跨平台（如iOS、Web）的适用性有待验证。
独立分析的弱点
基于论文的实验和分析，可以识别出以下弱点和改进方向：（1）ASM的锚点提取依赖于每个智能体自身的生成能力，不同智能体提取的锚点质量和覆盖度可能存在差异，未来可以探索专门的锚点提取模块或跨模型的锚点标准化机制；（2）当前的检索机制是基于当前UI状态的条件检索，未充分利用锚点间的因果依赖链进行推理，可以引入图神经网络或因果推理模块来增强依赖感知的检索；（3）ASM在处理中断恢复场景（如弹窗、权限对话框、意外UI中断）时仍有不足，论文提到的Interruption Handling Failure是常见失败模式之一，需要专门的中断处理和恢复机制；（4）论文的评估主要基于预定义的任务模板生成的任务，对真实用户自由表达的指令泛化能力有待验证。
未来方向
论文和基于其成果可以延伸的未来研究方向包括：（1）跨会话长期记忆：将ASM扩展到支持跨会话、跨天的状态持久化，使智能体能够处理需要多天完成的复杂工作流；（2）动态环境适应：在UI变化、内容更新和随机结果的环境中评估和增强ASM的鲁棒性；（3）多智能体协作记忆：在多智能体框架中共享和同步锚点状态，支持更复杂的协作任务；（4）记忆压缩与遗忘机制：研究如何智能地压缩过时的锚点或遗忘不再相关的历史状态，进一步优化长周期任务的效率；（5）跨平台泛化：将ASM扩展到iOS、Web和桌面环境，验证其在不同GUI范式下的适用性；（6）与强化学习结合：将ASM的结构化记忆作为强化学习的状态表示，训练专门的记忆管理策略。
复现评估
论文在复现方面提供了较好的支持：代码、基准测试和相关资源已在GitHub公开（https://github.com/CVC2233/AndroTMem）。数据集包含1,069个高质量任务和34,473个交互步骤，以及步骤对齐的辅助标注（推理轨迹、摘要和稀疏状态锚点）。评估框架支持12个GUI智能体的系统性比较，包括5个开源模型（Qwen2.5-VL-7B、UI-TARS-1.5-7B、AgentCPM-GUI-8B、UI-Venus-Navi-7B、InfiGUI-R1）、5个闭源模型（GPT-4o、GPT-5、Gemini-2.5-Flash、Gemini-2.5-Pro、Gemini-3-Flash）和2个多智能体框架（Mobile-Agent-E、COLA）。复现的主要挑战包括：需要Android设备或模拟器进行轨迹标注和验证、需要访问多个闭源API进行对比实验、以及ASM的记忆管理逻辑需要仔细实现以确保与论文描述一致。
论文图表
