PersonalAlign：基于长期用户记录的个性化GUI代理分层隐式意图对齐

提出分层隐式意图对齐任务，通过长期用户记录让GUI代理理解省略的偏好和潜在例程

前置知识

GUI代理（GUI Agent）

基于多模态大语言模型（MLLM）的智能体，能够将自然语言指令转化为可执行的GUI操作序列。代理接收屏幕截图和用户指令，输出点击、滑动、输入等原子动作，逐步完成任务。典型代表包括UI-TARS、Qwen3-VL等。GUI代理的核心能力包括视觉感知（识别屏幕元素）、动作规划（决定下一步操作）和执行监控（判断任务是否完成）。

本文研究的是GUI代理的个性化问题，理解GUI代理的基本工作方式是理解本文的前提。现有GUI代理假设指令完整明确，本文要打破这一假设。

隐式意图（Implicit Intent）

用户在日常交互中省略的、未明确表达的真实意图。隐式意图分为两个层次：偏好意图（Preference Intent）指用户省略了个人偏好细节，如'帮我点个外卖'省略了具体平台和菜品；例程意图（Routine Intent）指用户没有给出任何指令，但根据时间和场景状态可以推测出潜在需求，如每天早上9点打开邮箱。隐式意图的存在是因为用户与长期使用的代理形成了共享上下文，自然会省略重复出现的信息。

这是本文要解决的核心问题。现有GUI代理只能处理显式完整指令，无法理解用户的隐式意图，导致在真实场景中表现不佳。

代理记忆（Agent Memory）

代理用来存储和检索历史交互信息的机制。不同于聊天机器人的对话记忆，GUI代理的记忆需要包含执行轨迹（操作序列）、时间状态、应用场景等结构化信息。现有代理记忆多基于语义相似度检索，适合对话场景但不适合GUI执行场景。代理记忆面临的核心挑战是如何从碎片化的原始交互记录中提炼出稳定的个性化表示。

本文提出的HIM-Agent是一种新型代理记忆架构，理解传统代理记忆的局限性有助于理解本文方法的创新之处。

流式聚类（Streaming Clustering）

一种数据流挖掘技术，用于在数据持续到达的场景下进行增量式聚类。与传统批处理聚类不同，流式聚类需要在不存储全部历史数据的情况下，动态维护聚类结果。MicroCluster是一种经典方法，通过维护微簇的质心和半径来增量更新聚类。本文借鉴这一思想来聚合用户的交互记录，将相似的交互记录合并为'记录原型'，实现记忆的持续演化。

HIM-Agent的流式聚合模块基于MicroCluster思想，理解流式聚类有助于理解该模块如何从原始交互记录中提取稳定的个性化模式。

动态时间规整（Dynamic Time Warping, DTW）

一种衡量两个时间序列相似度的算法，通过寻找最优对齐路径来计算序列间的最小累积距离。与欧氏距离不同，DTW允许时间轴上的非线性伸缩，能够处理速度不同但模式相似的序列。在GUI代理场景中，DTW用于比较两个执行轨迹的相似性，即使某些步骤的执行顺序略有不同也能正确评估。本文用DTW计算GUI动作轨迹的一致性分数。

DTW是HIM-Agent中执行一致性度量的核心算法，理解它的工作原理有助于理解偏好过滤器如何从执行轨迹中识别用户的稳定偏好。

研究动机

现有GUI代理在真实部署场景中面临一个根本性问题：它们依赖完整、明确的用户指令才能正确执行任务，但在日常使用中，用户的指令往往是模糊的、省略了个人偏好细节的。具体来说，当用户说'帮我点个外卖'时，代理无法知道用户偏好美团还是饿了么、喜欢哪家店、要几份餐。论文实验表明，从完整指令切换到模糊指令时，虽然类型准确率（Type Accuracy）只下降约3%，但步级成功率（SSR）下降约20%，累积成功率（CSR）下降约45%。这意味着模糊指令虽然能让代理识别出大致的操作类型（如'打开外卖应用'），但在关键的个性化步骤上（如'选择用户偏好的店铺'）会严重失败。此外，现有代理缺乏主动服务能力，无法根据用户状态预测潜在需求并主动提供建议。

本文的目标是本文提出PersonalAlign任务，目标是让GUI代理能够利用用户的长期交互记录作为上下文，实现分层的隐式意图对齐。具体包括两个层面：第一，偏好意图对齐——当用户给出模糊指令时，代理能从历史记录中推断出省略的偏好信息，确保每一步操作都符合用户的真实意图；第二，例程意图对齐——代理能结合当前用户状态（时间、场景），从历史记录中识别出高频出现的行为模式，主动提供建议而无需用户主动请求。最终目标是将GUI代理从独立的执行工具转变为能够理解用户、与用户共同进化的个性化伙伴。

与已有工作不同的是，本文的独特切入角度在于三个方面。第一，提出分层隐式意图的概念框架，将用户的模糊指令和主动需求统一在一个连续的意图谱系中：显式指令到偏好意图到例程意图，隐式程度逐级递增。已有工作要么只关注模糊指令的偏好推断（如IFRAgent），要么只关注主动建议（如ProactiveAgent），很少将两者统一。第二，强调长期用户记录而非短期历史的重要性。现有方法多基于最近几条交互记录工作，但用户的偏好和例程需要从更长时间跨度的数据中才能稳定提取。第三，提出分层的记忆组织方式，而不是简单的检索或LLM摘要。HIM-Agent将原始交互记录聚合为'记录原型'，再根据执行一致性和状态一致性分别过滤出偏好记忆和例程记忆，实现了从碎片化数据到结构化知识的转化。

核心方法

HIM-Agent的方法可以类比为一个经验丰富的私人助理。这位助理不会每次都问你'你想吃什么'，而是通过观察你过去的点餐记录，逐渐了解你的偏好（比如你总是点某家店的套餐）。当你再次说'帮我点个外卖'时，他能自动选择你常点的店。更进一步，如果他注意到你每天中午12点都会点外卖，他会在11:50就主动问你'要不要帮你点午餐？'。技术上，HIM-Agent包含三个核心模块：流式聚合模块（Streaming Aggregation Module）负责将每天的原始交互记录增量聚合为'记录原型'，消除碎片化噪声；基于执行的偏好过滤器（Execution-based Preference Filter）通过计算语义相似度和动作轨迹一致性，从原型中提取稳定的偏好记忆；基于状态的常规过滤器（State-based Routine Filter）通过分析时间模式、场景一致性和频率，从偏好记忆中进一步分离出可触发主动建议的例程记忆。

HIM-Agent的核心创新在于'分层意图记忆'的设计理念和实现方式。与已有方法的本质区别体现在三个层面。首先，记忆的基本单元不是原始交互记录，而是经过聚合的'记录原型'（Record Prototype），它通过流式聚类将相似的交互记录合并为一个稳定的表示，避免了长尾效应和记忆漂移。其次，偏好过滤不仅依赖语义相似度，还引入了GUI执行轨迹的DTW一致性度量，因为GUI指令往往是短文本且包含大量实体（如应用名），纯语义嵌入容易产生失真。最后，例程过滤引入了主动置信度的概念，综合考虑状态稳定性、记录频率和聚合一致性三个维度，只有超过阈值的原型才会被存储为例程记忆。这种分层设计使得代理能区分一次性行为、重复偏好和可预测例程，实现真正的分层个性化。

方法步骤详情

HIM-Agent的工作流程分为三个阶段。第一阶段是流式聚合：每天将用户的交互记录与现有记录原型计算一致性分数，如果超过阈值则将该记录归入该原型并更新中心表示，否则创建新原型。第二阶段是基于执行的偏好过滤：对每个记录原型，计算其与查询记录的语义相似度（余弦相似度加Jaccard相似度）和动作轨迹一致性（DTW最小对齐距离），将两者相加得到总一致性分数。一致性高的原型被存入偏好意图记忆，其核心意图和核心动作将在后续推理中提供给代理。第三阶段是基于状态的常规过滤：对偏好记忆中的每个原型计算主动置信度，该分数由三部分组成：时间与场景熵的归一化值（越低表示状态越稳定）、原型中的记录数量（反映模式频率）、聚合一致性均值。超过主动边界的原型被存入例程记忆。

技术新颖性

HIM-Agent的技术新颖性体现在以下几个方面。第一，将流式数据挖掘中的MicroCluster思想引入GUI代理记忆领域，实现了从静态日志存储到持续演化的记忆表示的转变。现有GUI代理记忆（如Mirage-1的执行技能记忆）通常是静态构建的，而HIM-Agent的记忆每天都在增量更新。第二，提出了结合语义嵌入和Jaccard相似度的混合相似度度量。这是因为GUI指令的特殊性——指令短但包含大量实体名词（应用名、功能名），纯嵌入向量可能无法捕捉实体层面的精确匹配。第三，引入GUI动作轨迹的DTW一致性作为过滤信号，这是聊天代理记忆中没有的设计。GUI代理的每条记忆都包含可执行的动作序列，这是区别于对话记忆的关键结构化信息。第四，提出主动置信度的多维评估框架，综合考虑了频率、一致性和状态稳定性三个维度，比单一阈值判断更鲁棒。第五，过滤过程中设定的False-Alarm率为49%，相比基线的62%有显著改善，说明分层过滤确实能提高主动建议的精准度。

实验结果

论文在AndroidIntent基准上进行了全面实验，核心发现如下。首先，模糊指令对GUI代理性能的影响远超预期：在6个主流GUI代理（包括GPT-5.1、GLM-4.5V、QwenVL-Max、UI-TARS-1.5、GUI-Owl、Qwen3-VL）上，从完整指令切换到模糊指令时，Type Accuracy平均仅下降约3%，但SSR平均下降约20%，CSR平均下降约45%。这说明代理虽然能识别大致操作类型，但在需要个性化细节的关键步骤上会严重失败。其次，现有代理的主动服务能力普遍较弱：除GPT-5.1外，其他代理的False-Alarm率普遍在90%以上（GLM-4.5V为94%，QwenVL-Max为98%），意味着它们几乎对所有用户状态都触发主动建议，缺乏精准识别能力。第三，HIM-Agent在Qwen3-VL基础上显著提升了性能：Type从49.4提升到52.0（+2.6），SSR从20.6提升到24.0（+3.4），CSR从26.6提升到42.3（+15.7）。CSR的提升尤为显著，因为它衡量的是关键步骤的成功率，说明HIM-Agent确实能帮助代理在个性化步骤上做出正确决策。第四，在主动服务方面，HIM-Agent帮助GPT-5.1将False-Alarm率从62%降至49%，Intent Alignment从49.4%提升到53.5%，Recall保持在81.4%，实现了精准度和召回率的更好平衡。第五，消融实验证明三个组件都有贡献：移除Dense相似度导致CSR从42.3降至36.3，移除Sparse相似度降至37.3，移除Action一致性降至35.9，移除所有过滤器（保留原型但不过滤）会导致False-Alarm率飙升至近70%，甚至高于使用单条最近记录的基线。

查看结构化数据

任务	指标	本文	基线	提升
GUI执行（模糊指令）	Type Accuracy	52.0	49.4 (Qwen3-VL直接执行)	+2.6
GUI执行（模糊指令）	SSR	24.0	20.6	+3.4
GUI执行（模糊指令）	CSR	42.3	26.6	+15.7
主动服务（GPT-5.1）	False-Alarm ↓	49%	62%	-13%
主动服务（GPT-5.1）	Intent Alignment	53.5%	49.4%	+4.1%
主动服务（GPT-5.1）	Recall	81.4%	78.3%	+3.1%
主动服务（GPT-5.1）	F1-score	79.7%	75.8%	+3.9%

局限与改进

论文承认了几个重要局限性。第一，数据集规模受限：由于缺乏大规模公开的长期用户交互记录数据集，评估目前仅限于Fingertip数据集上的91个用户和60天记录，无法验证方法在更大规模、更多样化用户群体上的泛化能力。第二，冷启动问题：当历史交互数据不足时，代理无法准确推断用户意图并提供建议，这在新用户或新设备场景下尤为突出。第三，评估方式受限：由于许多日常应用无法在模拟器中运行，且无法通过Android API自动验证任务是否完成，评估主要依赖离线方式和人工检查，在线评估的稳定性和可扩展性不足。第四，隐私风险：建模用户意图依赖历史交互数据的收集和利用，存在潜在隐私风险。此外，作者还观察到一个关键发现：大多数现有GUI代理难以有效利用长期用户记录进行个性化，倾向于过度主动（high false-alarm），这揭示了一个有前景的研究方向——代理需要更强的长期上下文分析能力。

独立分析的弱点

我对HIM-Agent的独立分析发现了几个值得关注的弱点。首先，流式聚合模块使用固定的相似度阈值来决定是否将新记录归入现有原型，但在实际场景中，用户的偏好可能随时间漂移（比如换了常用的外卖平台），固定的阈值可能导致过时的原型无法被更新或淘汰。改进方向是引入时间衰减机制，让旧原型的影响力随时间自然衰退。其次，偏好过滤中的Jaccard相似度对同义词不鲁棒，例如'麦当劳'和'McDonalds'会被视为完全不同的词，可能导致相似意图被错误分离。改进方向是引入实体链接或同义词映射来增强词汇层面的匹配。第三，主动置信度的三个分量（状态熵、记录数、一致性均值）使用简单的加权求和，没有考虑它们之间的交互效应。例如，一个记录数很高但状态熵也很高的原型（时间不规律但频率高，如'每天点外卖'但时间不固定）可能被错误地判定为低置信度。改进方向是使用学习到的组合函数或引入注意力机制。第四，论文没有探索增量学习的效率问题：随着用户使用时间增长，记录原型的数量会不断增加，检索和更新的计算成本可能成为瓶颈。改进方向是引入原型合并或淘汰机制。

未来方向

基于本文的成果，未来研究可以在以下几个方向延伸。第一，跨平台泛化：当前AndroidIntent仅针对Android环境，但论文提出的过滤-验证策略和HIM-Agent架构是平台无关的，可以自然扩展到Web浏览器、桌面应用等GUI环境。第二，多模态用户状态：当前例程过滤仅使用时间和场景两个维度，但用户的地理位置、生理状态（如步数、心率）、日历事件等信号都可以作为更丰富的用户状态输入，提升主动建议的准确性。第三，隐私保护的个性化：论文提到隐私是重要考量，未来可以探索联邦学习或设备端部署的方式，在不上传用户数据的情况下实现个性化。第四，端到端主动执行（Proactive Executing）：当前的主动服务仅限于提供建议（给出指令），未来可以探索代理自主执行操作的范式，如到达办公室后自动解锁手机并打开工作界面。第五，个性化执行轨迹的强化学习：当前HIM-Agent的记忆是静态提取的，未来可以通过强化学习让代理在与用户交互过程中持续优化执行策略。

复现评估

论文的复现条件较为友好。代码已在GitHub开源，包含完整的数据收集流水线、HIM-Agent实现和评估脚本。数据集AndroidIntent基于公开的Fingertip20K数据集构建，原始数据可获取，但需要运行论文的过滤-验证流水线来生成标注数据。算力需求方面，GUI代理执行实验在单块NVIDIA A100 (40GB) GPU上完成，HIM-Agent本身计算开销不大（每轮推理约1605 tokens，远少于LLM-UM基线的8148 tokens）。主要复现难点在于：需要接入GUI代理模型（如Qwen3-VL、GPT-5.1等）的API；离线评估需要人工检查执行结果，无法完全自动化；如果要在真实设备上进行在线评估，需要配置Android Debug Bridge环境并连接物理设备。总体来说，复现难度中等，核心算法和离线评估流程是可复现的，在线评估则需要额外的设备和人工投入。

PersonalAlign：基于长期用户记录的个性化GUI代理分层隐式意图对齐 PersonalAlign: Hierarchical Implicit Intent Alignment for Personalized GUI Agent with Long-Term User-Centric Records