相关性不等于适用性：面向个人GUI智能体的经验激活 Relevance Does Not Imply Applicability: Experience Activation for Personal GUI Agents
相关≠适用：把个性化重构为决策时逐步激活经验，免训练大幅提升执行与主动建议
前置知识
GUI智能体（GUI Agent）
在手机或电脑屏幕截图上直接操作的智能体：每一步接收当前截图与用户指令，输出点击、滑动、输入文本、打开应用等原子动作，循环执行直到任务完成，通常由视觉语言模型（VLM）驱动。
本文研究的就是个性化GUI智能体：在模糊指令下替用户操作手机App，所有方法都围绕如何把用户交互历史喂给这个冻结的策略模型。
任务级检索增强
当前个性化智能体的主流做法：用文本编码器检索与当前指令语义最相似的历史记录、画像或意图记忆，把整条记录（含完整动作轨迹）拼进策略上下文，并假设它在整个任务过程中持续有用。
这是本文批判的对象。论文用实验证明：整段拼入的检索历史只在开局第一步起作用，对后续约90%的步骤几乎没有增益，从而引出「激活」这一新范式。
语义嵌入与余弦相似度
编码器把文本或图像映射为单位向量，向量夹角的余弦值衡量语义相似度。步级激活用冻结骨干自己的视觉特征做分块余弦匹配，任务级激活用意图嵌入构建习惯任务邻域，要求 $z_j^\top z_i \ge \eta$。
整套ExpActivator没有训练任何匹配器，全靠现成编码器的余弦相似度做检索与激活，理解嵌入空间是理解方法的前提。
MCC（马修斯相关系数）
衡量二分类器整体判别质量的指标，综合真阳、真阴、假阳、假阴四个量计算：$\mathrm{MCC}=\frac{TP\cdot TN-FP\cdot FN}{\sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}$。它对类别不平衡稳健：当数据大多为正样本时，一个「永远建议」的平凡规则F1可以很高，但MCC恒为零，只有真正能区分正负状态的规则才能得到高分。
AndroidIntent的主动建议数据68%为正样本，无差别建议就能拿81.1%的F1；只有BA和MCC能区分真正会判断「何时该开口、何时沉默」的方法，本文全部关键建议结论都建立在这两个指标上。
冻结模型与免训练（training-free）
不更新任何网络参数：策略模型、文本编码器、视觉编码器全部保持原权重，只通过提示词和检索/激活规则注入信息。好处是无需领域数据微调、可即插即用于任意新模型。
ExpActivator的核心卖点就是零训练：只用激活规则复用冻结骨干自身的隐空间表征，与需要训练记忆控制器的MementoGUI、ATMem等形成对照。
主动式建议（Proactive Suggestion）
智能体在用户没有下达指令时，根据历史习惯（routine：在相似时间、相似场景重复执行的任务）判断是否该主动提议某项操作，可以选择建议或保持沉默（弃权）。
这是论文的两个任务之一：任务级激活要解决的正是「这条习惯现在是否到期」的触发时机问题，基线方法在此几乎与随机无异。
研究动机
个人GUI智能体在用户自己的设备上操作，指令往往极度模糊：「点一杯我常喝的咖啡」既不说应用、也不说饮品和门店；用户每天早晨在家点咖啡，甚至期望智能体主动提议。缺失的信息只能从交互历史里补。主流做法是任务级检索：取与指令最相似的历史记录整段拼入上下文（Recent、Retrieve、LLM-UM画像、HIM-Agent层级记忆等）。作者在AndroidIntent基准（82名用户、135个应用、13类场景，历史池15,966条记录，775个评测episode共7,915步）上量化后发现两个尖锐问题。其一，检索历史把开局第一步成功率从28.3%拉到62.3%，但对随后的7,140步，四种记忆基线与完全不用历史（18.43%）在统计上无差别——历史的好处被第一个决策「花光」，因为指令固定而屏幕每步都在变，相关轨迹并不告诉你哪条历史动作适合当前屏幕。其二，主动建议中同一条routine早8点在家和晚间通勤都会被检索到，但只在前者适用；由于68%的状态是正样本，「永远建议」就能拿81.1%的F1，各基线的MCC接近0甚至为负，根本不会判断何时该沉默。
本文的目标是把个性化从「一次检索、全程复用」重构为「决策时的经验激活」：执行时，每观察到一个新屏幕，就从任务相关的历史轨迹中重新挑出与当前屏幕最匹配的历史状态，把其对应动作作为参考喂给冻结策略，且参考随界面变化在多条轨迹间迁移；主动建议时，只有当前时间与场景给某条重复意图足够支持时才激活它，否则明确弃权。整套机制要求完全免训练、即插即用于任意冻结GUI骨干，同时把每步注入的历史token压到远低于整段拼接的水平。作者的目标不止是刷高指标，还希望验证一个可推广的论断：经验应在它被激活之处发挥作用，而不是被拼接进上下文之处，从而为个性化智能体的记忆使用给出新的设计原则。
与已有工作不同的是，独特切入点是提出「相关性不等于适用性」这一区分：相关性在任务层面决定，适用性取决于决策时刻的具体局面。已有工作里，HIM-Agent虽按时间与场景组织routine记忆，但把「是否适用」留给策略自己从上下文里猜；MementoGUI、ATMem等记忆管理方法需要训练记忆控制器。本文不走训练路线，直接复用被评估骨干自己的视觉隐空间做屏幕级匹配，不引入额外模型；并首次把「绝对支持量决定够不够格触发」与「单次情境匹配度决定排名」显式分离，给出带弃权的激活规则，把执行与建议两个任务统一在同一个激活形式化之下，把个性化明确定义为决策时选择问题。
核心方法
直觉：用户历史像一本攻略，与当前任务相关不等于现在这一页用得上，关键是「翻到当前这一页」。技术上统一为一个激活公式：$\mathcal{E}^{(d)}_u(x)=\Gamma_d(\arg\max_{b\in\mathcal{B}^{(d)}_u(x)}\kappa_d(x,b))$，其中 $d\in\{\mathrm{step},\mathrm{task}\}$ 两种粒度，$\mathcal{B}$ 是候选集，$\kappa$ 是兼容度，$\Gamma$ 读出动作或意图。步级激活服务指令驱动执行：先用文本编码器取 $K_\xi=8$ 条任务相关轨迹，再用冻结骨干的视觉隐层特征把当前屏幕与这些轨迹里的所有历史状态匹配，把最匹配状态的 Recorded action 作为参考；每一步重新计算，参考随界面变化迁移。任务级激活服务主动建议：把语义相似的重复意图聚成routine邻域，用场景一致性与环形时间核计算情境质量 $M_j(x)$，只有达到绝对支持门槛的routine才进入候选，按平均情境匹配度排名，输出代表性意图或弃权。全程无任何参数更新，所有表征离线缓存。
核心创新是把个性化从「检索问题」变为「决策时选择问题」，与任务级检索有三个本质区别。第一，参考粒度从整条轨迹细化到单个「屏幕-动作」对，且每个观测都重新匹配——实测92%的episode用到两条以上历史轨迹（平均3.4条），55%的相邻步参考来自不同轨迹，这是整段拼接不可能做到的。第二，匹配在冻结骨干自身的视觉隐空间进行：屏幕表示为中心化分块余弦 $\phi(s)=\frac{1}{\sqrt{B}}[\nu(v_1(s)-\mu_1);\dots;\nu(v_B(s)-\mu_B)]$（四个象限块，MAI-UI加一个全局块），不需要任何训练的匹配模型，换骨干即换特征。第三，主动建议把两个问题拆开：够不够格触发由绝对支持量决定（$n_j\ge n_{\min}$、$n_j^{c_x}\ge n_{\mathrm{ctx}}$、$M_j\ge\delta$），排名由平均情境匹配 $M_j/n_j^\gamma$ 决定，无够格routine则弃权。历史动作始终只是参考而非指令，策略仍观察当前屏幕自行定位目标，可采纳、改造或拒绝。
方法步骤详情
离线阶段：用冻结MiniLM编码器缓存全部目标嵌入（相关度 $\alpha_i(q)=f(q)^\top f(\rho(g_i))$，$\rho$ 去掉开头应用名）与每张历史屏幕的分块视觉表示。执行时：第一步前用 $K_a=10$ 条最相关记录对应用投票得初始参考 $e_0$；此后每步输入 $q$、$s_t$、$H_t$：(1) 取含可读轨迹的 $K_\xi=8$ 条最相关记录（任务内固定）；(2) 在这些轨迹的所有历史状态上求 $\arg\max\,\phi(s_t)^\top\phi(s_{i,j})$；(3) $\Gamma_{step}$ 把历史动作序列化为参考（点击坐标归一到0–999坐标系）；(4) 冻结策略 $\pi_\theta(q,s_t,H_t,e_t)$ 生成动作，可采纳、改造或拒绝；(5) 循环至 finish。主动建议：离线缓存意图嵌入与相似度矩阵；查询时构造邻域 $R_j(x)=\{i:\tau_i\ne\tau_x, z_j^\top z_i\ge\eta\}$（$\eta=0.94$），计算情境质量 $M_j(x)=\sum_{i\in R_j(x)}\mathbb{1}[c_i=c_x]\exp(-d_{24}^2/2\sigma^2)$（$\sigma=1$小时，$d_{24}$ 为环形小时距离）；若 $n_j<12$ 或同场景支持 $n_j^{c_x}<4$ 或 $M_j<0.25$ 则弃权，否则选 $j^*=\arg\max M_j/n_j$，把同场景中最具中心性的成员意图 $g_{i^\dagger}$ 交给骨干生成建议。
技术新颖性
新颖性体现在三个层面。诊断层面：首次系统量化「检索历史在哪一步起作用」，把episode拆成775个开局决策与7,140个途中决策，发现四种记忆基线开局平均提升约34个百分点、途中增益全部与零无异，而ExpActivator途中相对无历史提升45%——这把「经验何时有用」从直觉变成可测量、可优化的问题。机制层面：与MementoGUI、ATMem等学习式记忆选择不同，完全免训练；消融显示中心化分块余弦的记录动作匹配准确率在四个骨干上为35.1%–36.6%，显著高于RGB-MSE的29.6%（McNemar p<0.001）；且「每步刷新参考」不是微调而是机制本身——用前一屏匹配掉15%相对SSR、每4步刷新一次掉13%，参考与记录动作的一致性掉38%。决策层面：支持量与匹配度分离加显式弃权，使MCC从基线的约0–20跃升到39–45；同时每步只加144.6个历史token，约为基线均值的五分之一，做到精度与成本同时占优。
实验结果
个性化执行：四骨干Type/SSR/CSR全面第一，Qwen3-VL-8B上SSR 30.9% vs 最强基线Retrieve 22.6%（相对+37%），CSR 47.9% vs HIM 40.2%；相对无历史Base，SSR平均+44%、CSR约翻倍，全部显著；四开源骨干CSR均超闭源QwenVL-Max约1.6倍。开局/途中分解：开局28.26%→70.06%，途中Base 18.43%，四种基线差值全部跨零，ExpActivator +8.24 [+6.51,+10.16]，且四骨干一致（16组配对中12组基线不显著）。成本：每步历史token 144.6，约为基线（730.6–843.7）的1/5。历史规模：最小四分位（39–111条）相对最强基线+37%，四组均>27%。主动建议：MCC约2.3倍于最强基线（42.7 vs 20.7），BA+24%，精确率四骨干全部第一（均值约84%），记录/画像类基线MCC≈0、MAI-UI上与永远建议行为相同。消融：同一条轨迹整段拼入18.47% vs 激活动作23.84%（相对+29%）；去场景条件BA降8.08pp、误报37%→62%；去时间加权BA降3.34pp、AUROC降6.28pp；频率归一化不改触发、语义分+2.11pp。案例：NextBus参考随屏幕在历史行程间迁移；某用户一天依次激活查天气(08:05)、认植物(15:37)、查运动(20:26)、设闹钟(23:57)，无支持时段正确沉默。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 个性化执行（Qwen3-VL-8B） | 步成功率 SSR (%) | 30.9 | Retrieve 22.6（该块最强基线）；无历史Base 19.4 | 相对最强基线+37%，相对Base+59% |
| 个性化执行（四骨干平均） | CSR（累计成功率） | 47.9/42.7/40.9/45.8（四骨干） | 闭源QwenVL-Max 27.3 | 全部开源骨干超越闭源，平均约1.6倍 |
| 途中7,140步执行（Qwen3-VL-8B） | 相对无历史Base的SSR差值（百分点） | +8.24 [+6.51, +10.16] | Recent −0.07 / Retrieve −0.08 / LLM-UM −0.80 / HIM-Agent −0.17（均不显著） | 基线≈0，本文相对提升45% |
| 主动建议决策（Qwen3-VL-8B） | MCC | 42.7 | HIM-Agent 20.7；其余基线 −5.5~10.5 | 四骨干平均约2.3倍于最强基线 |
| 主动建议精确率（四骨干） | Precision (%) | 82.6 / 82.7 / 86.5 / 82.6（均值约84） | 最强基线70.6–82.4 | 四个骨干全部第一 |
| 上下文成本（Qwen3-VL-8B） | 每步历史token数 | 144.6 | HIM-Agent 417.8；Recent/Retrieve/LLM-UM 730.6–843.7 | 约为基线均值的1/5、最省基线的1/3 |
| 开局第一步（Qwen3-VL-8B） | 步成功率 (%) | 70.06 | Retrieve/LLM-UM/HIM 62.06–62.32；Base 28.26 | +7.7pp vs 最强基线 |
局限与改进
作者承认的局限：其一，步级激活依赖「可读轨迹」且候选固定为 $K_\xi=8$ 条，若相关轨迹里没有与当前屏幕相似的状态则无从激活，匹配是受限候选集上的二次选择而非全库检索；其二，任务级激活有覆盖率上限——$n_{\min}=12$ 时已有27.6%的状态没有任何够格routine只能弃权，$n_{\min}$ 提到16/24时该比例升至41.9%/73.0%，可用范围受用户重复频率硬约束；其三，阈值虽处宽平台（$\eta\in[0.88,0.98]$、$n_{\min}\le12$ 上AUROC均超75），但需在held-out历史上标定分块布局与中心化统计。我自己的观察：绝对性能仍低，最好SSR仅30.9%，个性化执行远未解决；方法本质依赖用户行为重复性，对探索性新任务、界面大改版无益，且记录动作匹配准确率仅约36%，参考错误的下游风险未量化；评测是离线逐步打分（动作前缀来自真值）而非真实交互，误差累积与「跟错参考」的复合效应测不到；只有AndroidIntent单一基准82名用户的移动场景，跨设备泛化未知；主动建议仅315个状态，MCC估计方差大；存储完整用户轨迹亦有隐私成本。
独立分析的弱点
第一，视觉匹配的可靠性：分块余弦在布局雷同的页面（各种列表页、首页）上容易激活语义不符的历史状态，约36%的动作级匹配准确率意味着多数时候只是「近似匹配」，错误参考可能误导策略；改进方向是融合UI控件树或OCR文本做多模态混合匹配，并给参考附加匹配置信度，让策略显式学会拒绝低置信参考。第二，规则全局固定：$n_{\min}=12$、$\eta=0.94$ 等常数对所有用户统一，但用户重复频率差异巨大（附录显示 $n_{\min}$ 的可用上限由个体routine重复次数决定）；应按用户在held-out历史上自适应标定，或在线随行为漂移更新。第三，探索与冷启动：新用户、新任务无历史可激活，虽然最小四分位（39条记录）已有+37%增益，但更稀疏时必然失效，可用群体级先验（相似用户的routine模板）兜底。第四，错误传播无惩罚：提示词只笼统要求「采纳、改造或拒绝」，没有机制度量参考与当前屏幕的一致性；可加参考-观察一致性校验，或同时提供两个候选参考让策略对比。第五，仅在移动端验证：桌面/Web GUI布局更复杂多变，四象限分块表征是否迁移需要实验支撑。
未来方向
作者方向：结论把「经验在激活处起作用，而非在拼接处」定位为个人代理使用历史的通用原则，暗示可推广到更多决策形态。基于成果可延伸的方向：（1）把步级激活从「动作文本参考」扩展到多模态参考，例如把激活到的历史截图本身作为视觉提示供策略对照定位；（2）与工作流/技能库方法结合——被连续激活的动作序列可以在线编译成可复用宏，实现从「逐步参考」到「子程序复用」的升级；（3）引入不确定性量化：用支持量 $M_j$ 与匹配分数做置信校准，输出「建议+置信度」并接入用户反馈形成闭环，用反馈信号在线调整阈值；（4）跨用户联邦式routine共享以解决冷启动，同时保护隐私；（5）在真实交互式环境（如AndroidWorld类模拟器或真机）验证误差累积下参考迁移的稳健性，这是离线评测覆盖不到的；（6）理论上刻画「相关性-适用性」分离在何种分布假设下可证明收益，为检索式记忆研究给出形式化框架。
复现评估
方法完全免训练，无需微调数据与训练算力，门槛在推理与数据获取。骨干为四个开源8–9B VLM（Qwen3-VL-8B、MAI-UI-8B、Qwen3.5-9B、GUI-Owl-1.5-8B），单卡BF16+vLLM、贪心解码即可复现主表；编码器为公开的paraphrase-multilingual-MiniLM-L12-v2，语义分用Qwen3-Embedding-0.6B。基准AndroidIntent来自PersonalAlign（Lyu et al., 2026），历史过滤与HIM-Agent组件已发布；LLM-UM画像因原版未公开而用本地Qwen3.5-9B重生成，需注意与原版差异。超参全部给出（$K_\xi=8$、$\eta=0.94$、$n_{\min}=12$、$n_{\mathrm{ctx}}=4$、$\sigma=1$h、$\delta=0.25$、$\gamma=1$），提示模板附录逐字公开，分块布局在932个途中动作上标定，标定协议与统计检验（2万次配对用户簇bootstrap）均有完整描述。正文提及sealed run文件与分析脚本（analyze_ExpActivator_context_cost.py等），项目页fyzhang1.github.io/ExpActivator，但未见完整代码仓库。最重算力项是历史截图过视觉塔做离线缓存。总体复现难度中等，风险在基准获取与四骨干推理成本。
论文图表
对比图：上排为个性化执行，(a)传统检索供给整条历史轨迹但不指明该跟哪一步，(b)ExpActivator激活与当前屏幕匹配的那一步动作；下排为主动建议，(c)检索返回相关记录但不说明routine是否到期，(d)ExpActivator用当前时间与场景激活匹配的routine，再决定建议或弃权。
一张图讲清论文的核心对比「检索 vs 激活」以及两个任务（执行/建议）各自的痛点，是理解全文动机与方法定位的入口。
左：AUROC在 $\eta\in[0.88,0.98]$ × $n_{\min}\le12$ 的40个格子上均超75，声明设置80.37距网格最大值仅0.33；右：$n_{\min}$ 超过12后无够格routine的状态占比从27.6%升至41.9%(16)、73.0%(24)，AUROC下滑源于覆盖率损失而非评分失稳。
展示方法对阈值的稳健性边界，并诚实暴露覆盖率上限，是评估实用性的关键证据。
完整建议指标（含召回率R、误报率FA、F1）：由于68%状态为正，「永远建议」即达81.1 F1，各基线R接近96–100%且FA高达90–100%（MAI-UI上与永远建议完全相同）；ExpActivator在召回约80%的同时把FA压到约37%。
解释为何必须用BA/MCC取代F1评估建议，并完整呈现「会沉默」这一基线普遍缺失的能力。