通过新颖性信号联合学习智能体记忆与探索 Joint Agent Memory and Exploration Learning via Novelty Signals

方法分四步。(1)记忆架构：对历史每步序列化 $x_i=\text{Format}(o_i,a_i)$，喂入冻结压缩器 $F_\phi$，取EOS最终隐状态 $h_i\in\mathbb{R}^{d_c}$ 作为该步记忆token；记忆状态 $M_t=[h_1,\dots,h_{t-1}]$。(2)奖励计算：通过V8引擎和Istanbul报告采集覆盖率，按上式累加 $C(t)$，无效动作奖励为0，覆盖率基线跨回合不重置。(3)数据采集：部署通用LLM在浏览器中探索，每步产生CoT推理和单一动作；每个会话含多个回合，每回合最多N步后重置浏览器；从每回合选取截至最后一个正奖励步 $t^*$ 的前缀，无正奖励的回合丢弃。(4)训练：对每个保留步 $t\le t^*$ 预计算记忆token，构造三元组 $(o_t,M_t,a_t)$，最大化动作似然并联合更新对齐器 $W$，最终在ScaleWoB的86个应用上收集24k样本微调出JAMEL-9B。

技术新颖性体现在多方面。首先是“记忆-探索相互依赖”的洞察被首次具象为可训练框架：以往潜变量记忆（如MemoryLLM、M+、TokMem）通常将记忆管理与学习目标解耦，JAMEL则把覆盖率奖励直接绑定为记忆是否有用的监督。其次是奖励设计的巧思——代码覆盖率天然确定、持久、跨回合不重置，避免了ICM/RND等预测误差信号可能被反复欺骗的缺陷，并自动形成由浅入深的课程。第三是极简记忆表示：每步历史仅用一个EOS隐状态向量压缩，再经线性对齐器注入策略，既大幅降低长轨迹计算开销，又保留了“软前缀”这一可微分接口让记忆可被端到端训练。最后，整条流水线标注免费、可自动扩展，为“探索-执行”范式和持续学习提供了可复用模板。

独立分析的主要弱点：第一，奖励信号域特异性强——代码覆盖率只适用于可插桩的软件，对原生App、桌面端或非GUI具身环境无法直接获取，限制框架通用性，改进方向是设计可迁移的状态指纹或哈希型新颖性度量。第二，依赖教师模型采样的拒绝微调使探索能力受限于教师上界，难以发现教师都未触及的深层路径，可引入在线强化学习打破上界。第三，每步单token的极简压缩在超长轨迹或极密界面（如Pinduoduo）下信息损失明显，易陷入平台，可考虑分层记忆或动态token分配。第四，评测规模偏小（10应用×50步），方差较大，结论稳定性需更大规模验证。第五，当前是监督学习而非真正RL，未充分发挥新颖性奖励的课程潜力，与RL结合是明显缺口。

作者明确提出两个方向。其一是探索新颖性驱动记忆架构的scaling law：整合强化学习策略，利用新颖性奖励自带的自然课程——从浅层交互平滑推进到深层多步导航，研究更大模型容量、更大数据采集、更多探索步数如何受益于该课程。其二是“记忆条件任务执行与持续学习”：先自主探索未知环境积累结构记忆，再依此执行具体用户指令，形成“探索-执行”范式，推动智能体自我演化、减少对人工标注轨迹的依赖，快速适配长尾场景。基于成果还可延伸：将代码覆盖率新颖性推广到原生App与具身环境的状态指纹；用在线RL替代拒绝微调以突破教师上界；设计分层记忆缓解超长轨迹压缩损失；构建跨域统一新颖性基准，验证记忆-探索闭环的通用性。

复现评估较好。代码与模型已在 https://github.com/MobileLLM/JAMEL 开源。关键组件明确：压缩器为Qwen3-VL-2B-Instruct($d_c=2048$)，策略为Qwen2.5-VL-7B-Instruct($d_{LM}=3584$)，合成JAMEL-9B；训练数据为ScaleWoB的86个应用24k样本，该基准本身公开(GitHub SDK)。奖励计算依赖V8与Istanbul reporter，均为公开工具。复现难点在于：需在浏览器环境(BrowserGym)对Web应用做插桩采集覆盖率，工程链路较长；评测需部署10个未见应用并跑500步；算力上微调9B模型需相当GPU资源。总体属“中等偏难”复现：理论流程清晰、依赖工具开源，但数据采集与评测的工程化和算力门槛较高，且ScaleWoB部分真实应用（如微信、抖音）的稳定性可能影响结果。