FocusMem：潜空间 GUI 记忆中内容、读出与信任的解耦 FocusMem: Factorizing Content, Readout, and Trust in Latent GUI Memory

第一步构造证据：情节证据用固定检索器对 episodic bank（25,737 条）做 top-M=3 余弦检索，每条完整轨迹是一个 item；工作证据把当前 episode 的过期前缀按每块 W=4 个交互事件切分，两种来源各至多 3 个 item。第二步共享编码压缩：每个 item 经编码器得 $H_i$，Q-Former 用 K=8 个 query 做掩码交叉注意力，输出 $C_\Phi(s_i;Q)\in\mathbb{R}^{K\times d}$ 的潜块。第三步 Stage A 训内容基：用角色专属基查询得 $Z_i^{fixed}$，最小化语义 KL、功能 QA 和动作模仿损失 $\mathcal{L}_A$。第四步 Stage B 训读出和门：适配器生成残差查询得 $Z_{t,i}^{dynamic}$，信任门打分，用注入负样本训门、用动作损失 $\mathcal{L}_B$ 端到端调通路。第五步推理：阈值 $\gamma=0.3$ 过门，被接受的块拼到冻结策略上下文前面预测动作，策略不动。门监督梯度在潜块处截断，不污染内容。

技术新颖性体现在三处工程与算法设计的耦合上。首先是『角色感知内容基』——用语义 KL 把广义可言语化内容蒸馏进潜块，用四个角色专属功能 QA 子型（情节的摘要+锚点决策、工作的最新状态+观察变化）做功能监督，论文用 content probe 证明两者互补且缺一不可：单用语义在泛化重建上强、单用功能在角色对齐和迁移查询上强，合在一起三个指标都最优。其次是『状态条件读出的零初始化残差设计』——$\Delta Q$ 从零起步，保证 Stage B 初期行为等于已训好的 Stage A，再渐进引入决策依赖，这避免了从头学状态条件导致崩溃，也是『动态读出不是无条件更好、而是在证据要和无关内容竞争有限预算时才显优势』这一结论的方法基础。第三是『信任门梯度隔离』——门监督的梯度在 $Z_{t,i}^{dynamic}$ 处 stop-gradient，让门只学使用模式、不干扰内容；正样本信号完全来自端到端动作损失，负样本靠显式注入的无关情节轨迹。这套设计让三个职责各自独立优化、互不污染。

弱点一：信任门只能拒『整块』记忆，粒度太粗。一条检索轨迹里可能既有可复用的程序又有不兼容的具体数值，一刀切丢弃会损失有用部分。改进方向是把门细化到 token 级或子段级，做软加权而非硬二值决策。弱点二：状态条件读出依赖冻结策略的 pooled 表征 $u_t=\mathrm{Pool}(F_\theta(c_t))$ 作为唯一条件信号，对截图语义理解强的策略才有效；换到弱基座时 $u_t$ 质量差，读出适配器可能学不出有意义的残差。改进方向是引入显式的任务/阶段编码或动作历史摘要作为额外条件信号。弱点三：检索器固定且与记忆通路解耦训练，检索错的东西再聪明的门也救不回来（污染实验里 Working-Only 在 100% 污染时反而最稳就是旁证）。改进方向是让检索与记忆联合优化，或在门拒绝时触发重检索。弱点四：只压成统一 K=8 token，长轨迹和短轨迹用同样预算浪费严重。改进方向是自适应 token 预算或层级压缩。弱点五：训练需要 23,438 条高质量同域轨迹，数据成本高、跨域冷启动困难——可结合合成轨迹或无监督自蒸馏缓解。

作者提出的方向集中在迁移：换更强或更弱的策略基座、迁移到移动端和桌面 GUI、把信任诊断扩展到更隐蔽的不匹配和陈旧工作记忆。基于本成果我认为可延伸的方向有四条：第一，把『内容恢复性、状态条件读出、证据信任』这套三职责框架推广到非 GUI 的长程 agent（机器人操作、工具调用、多轮对话记忆），那里同样存在『同一条经验在不同阶段有用、不相关经验会误导』的问题，LaMem-VLA、MemoryVLA 这类机器人记忆工作可直接套用。第二，信任门目前只学『用不用』，可扩展成『信多少』的连续可信度，与不确定性估计结合做贝叶斯式记忆融合。第三，状态条件读出本质上是一种轻量 cross-attention 适配，可探索用 MoE 给不同决策阶段配专家读出头。第四，把 content probe、oracle 扩展、污染实验这套诊断方法论标准化，变成潜空间记忆的通用评测协议——目前这个领域最缺的就是这种能定位收益来源的细粒度评测。

复现门槛中等偏高。有利因素：作者公开 GitHub 仓库（github.com/stanley-ju/FocusMem）和全部训练超参（Stage A/B 学习率 $1\times10^{-5}$/$5\times10^{-6}$、batch 32、$\gamma=0.3$、K=8、M=3、W=4），可训练参数量写清（Q-Former LoRA 约 174.59M），数据流程和裁判 prompt 都附附录。难点在于：一是算力——训练用 8×RTX PRO 6000 Blackwell（约 768GB 显存），普通实验室复现训练有压力，但推理评估（vLLM、32K 上下文）单卡 8B 可行；二是数据——episodic bank（25,737 条）和训练集（23,438 条）依赖 MolmoWeb 轨迹加 Qwen3.6-27B rollout，需重跑 rollout 和三级泄漏过滤；三是基线是 -style 重实现而非原仓库直接跑，跨组复现有主观空间；四是评估锁定 Gemini-3.1-Pro 裁判，换裁判数字会变。代码加配置可复现，但数据重建和裁判一致性是主要障碍。