学会如何记忆：GUI智能体的记忆模态选择 Learning How to Remember: Memory Modality Selection for GUI Agents

完整流程五步。第一步，检索：为每个状态 $x_i=(g_i,o_i)$（指令+当前截图）用文本嵌入从成功演示库中取top-1演示 $j$，得到带过去指令 $g_j$、过去动作 $a_j$ 的候选，文本与图像两条件共用同一ID。第二步，效用估计：对每个训练状态，两种模态各用温度0.7、seeds 42–48采样7个动作，按基准评分器算 $\hat{u}^z_i=\frac{1}{7}\sum_kS(a^z_{i,k},a^*_i)$，效用完全持平的步从训练集剔除，得到非平局集合 $D_{pref}$。第三步，构造偏好目标：取最终层（第31个transformer块）最后一个输入token的隐藏状态之差 $d_i=h^I_i-h^T_i$，标准化后PCA降至64维，拟合逻辑探针，其决策值 $t_i$ 即软偏好目标（正值偏向图像）。第四步，路由器训练：当前提示的最终token隐状态 $s_i$ 与记忆嵌入 $e^z_i$ 经 $\ell_2$ 归一化后拼接特征 $v^z_i=[\hat{s}_i;\hat{e}^z_i;\hat{s}_i\odot\hat{e}^z_i;|\hat{s}_i-\hat{e}^z_i|]$，共享两层MLP（1024→256→1，GELU，dropout 0.1）输出 $q^z_i$，以 $\mathcal{L}_{route}=\frac{1}{|D_{pref}|}\sum_i(r_i-t_i)^2$ 训练（AdamW，lr 0.001），阈值 $\tau$ 在训练预测上最大化效用后冻结。第五步，推理：一次前向拿当前隐状态，路由器算 $r_i$，按阈值选一种记忆交给冻结执行器生成动作。

技术新颖性体现在四点。第一，D-CoE的迁移创新：Chain-of-Embedding原用于分析LLM推理中输入条件的层间分化，本文首次把它用于对比同一提示在不同记忆模态下的隐藏状态漂移，并证明该漂移含有可读出的偏好信号（AITW上AUROC随层深升至0.7以上）。第二，自监督的目标构造：偏好标签完全来自冻结执行器自身的采样效用与内部表征，无需人工标注，可直接复制到任何提供隐藏状态的模型。第三，路由的粒度与形式：区别于任务级或固定比例的模态策略，SwitchMem在步骤级做硬选择，Table 2显示其在83.8%–90.8%的轨迹内混用两种模态、平均切换1.56–1.79次且连续保持2.42–4.95步，是真正的状态自适应。第四，可迁移性：MobileMiniWoB++没有训练集，直接把LearnGUI训好的路由器零样本迁移仍取得63.043%的成功率；换用UI-TARS-7B-SFT执行器同样全面领先，说明方法绑定的是『表征级偏好信号』而非特定模型。

独立分析的弱点与改进方向：第一，二值模态空间太粗——真实场景中『文本+图组合』『动作区域裁剪』『多条演示』甚至『不提供记忆』都可能是更优选项，Both基线在MobileMiniWoB++上胜过单模态就是信号，可把路由扩展为K路选择或按 $r_i$ 做软加权融合；第二，对隐藏状态的依赖把GPT这类闭源API排除在外，可在开源代理模型上训练路由器，把表征信号蒸馏成API可观察量（检索相似度、OCR元素密度、步骤序号等）的函数；第三，记忆库与路由器都是离线固定，长期部署中记忆库会持续演化，应研究路由器的增量更新与分布漂移检测；第四，效用估计依赖基准评分器与gold动作，真实环境没有逐步标注，可改用自一致性、回滚成功率或critic模型来构造偏好信号；第五，探针在LearnGUI的峰值在第23层而SwitchMem统一用第31层，层选择策略粗糙，按层集成或自适应层选择可能进一步提分；第六，元素密度等效用模式分析依赖基准提供的bounding box标注，需要不依赖标注的复杂度度量才能落地。

作者提出的方向包括：把评测扩展到物理设备与iOS等更广泛的GUI生态，以及在不暴露隐藏状态的API模型上实现模态路由。基于本文成果还可延伸：一是把步骤级模态路由与执行器强化学习联合训练，让路由信号反过来参与塑造策略，而不仅服务于冻结模型；二是把D-CoE偏好分析推广到其他记忆设计维度——检索几条演示、选择哪层抽象（原始截图/区域裁剪/结构化文本/可执行脚本）、何时遗忘旧经验——形成统一的『记忆策略路由器』；三是引入在线学习，让偏好探针与路由器随记忆库增长持续更新并监测漂移；四是研究多模态记忆的软混合而非硬二选一，例如按 $r_i$ 的置信度动态拼接文本与图像证据；五是把『记忆模态是步骤级决策』这一结论推广到桌面/Web智能体乃至更一般的多模态智能体，检验其普适性；六是探索把偏好信号用于记忆库的写入端——决定哪些经验值得存、以哪种模态存。

复现条件总体友好。论文声明代码与项目资源已公开（『Code and project resources are available here』），基础组件全部开源可得：执行器Qwen3.5-9B、检索器Qwen3-VL-Embedding-2B，以及AITW、LearnGUI、MobileMiniWoB++三个公开基准。附录B的细节相当完整：数据划分（AITW把2万步按轨迹切分为10,019个偏好查询步与9,981个记忆步、测试用759条held-out轨迹的5,000步；LearnGUI用101条成功在线演示轨迹共1,500步；MobileMiniWoB++用seed 1001建129步记忆库、seed 43的92个模板初始状态校准阈值、seed 42评测58/92，任务实例互不重叠）、采样配置（温度0.7、seeds 42–48、5-of-7一致性过滤）与超参（MLP 1024→256→1、GELU、dropout 0.1、AdamW lr 0.001、PCA 64维、统一用第31层）。算力上推理只需单卡RTX PRO 6000，路由器训练本身很轻；主要成本在偏好目标构建（每状态约14次采样前向）。整体难度中等：最费力的部分是各基准评分协议（步级动作匹配、在线闭环执行）的实现与对齐。