持续更新的LLM记忆会从有用走向失灵：Agent记忆巩固的脆弱性研究 Useful Memories Become Faulty When Continuously Updated by LLMs
LLM持续改写记忆库反而会损害性能，应把原始episodes当作一等证据并门控抽象过程。
前置知识
Agentic记忆（智能体记忆）
LLM智能体在固定权重之外维护一段可编辑的文本记忆，用以在多轮交互中存储过往轨迹、反思、技能或抽象经验。常见形态包括反思笔记（Reflexion）、情景流（episodic stream）、技能库、动态备忘单（dynamic cheatsheet）以及ACE中的可演化playbook。智能体每完成一次交互，可选择保留、改写或删除记忆条目。
本文的全部实验对象就是这类系统（CLIN、AWM、Dynamic Cheatsheet、ACE），只有先理解智能体为什么会反复重写记忆，才能明白论文在批判什么。
记忆巩固（Memory Consolidation）
认知科学中指把零散经验稳定化、整合为长期记忆的过程，在神经科学上对应海马体向皮层的迁移；在LLM语境下被借用为：用LLM把多条原始轨迹重写为抽象的、可复用的文本知识条目的过程。每一次巩固都是一次有损改写（lossy rewrite），会丢弃细节、引入规则。
论文的核心主张是：当代LLM并不是可靠的巩固器（consolidator），每一次巩固都可能在损害记忆，这直接挑战了「持续更新记忆=自我提升」的设计哲学。
互补学习系统CLS与Schema形成
McClelland等人提出的认知框架，把记忆划分为快速的情景系统（episodic，存原始事件）和慢速的语义/schema系统（跨多个episode抽象出的可复用结构）。两套系统在神经层面分离，schema形成需受元认知门控，只在schema契合新证据时才触发；非选择性巩固会引发干扰与特异性丢失。
论文的解决思路与CLS对齐，主张把情景缓冲与抽象存储在架构上分离、巩固必须门控、原始episodes要作为一等证据保留，是理解Auto/Force/Episodic-Only三组对比实验的理论基石。
Agent评测环境（ALFWorld/ScienceWorld/WebShop/AppWorld/ARC-AGI）
ALFWorld是文本家庭任务集合（找物、清洁、放置等6类）；ScienceWorld是科学实验模拟；WebShop是模拟在线购物；AppWorld接入真实应用API（邮箱、日历等）；ARC-AGI以抽象视觉推理题著称，本文基于ARCGEN构建了ARC-AGI Stream作为可控记忆研究底座。
论文在不同环境上分别独立验证了记忆退化现象，并专门为ARC-AGI Stream设计了暴露Retain/Delete/Consolidate三种记忆操作的接口，没有这些环境就无法做family-level归因。
研究动机
近年兴起的agentic memory范式鼓励LLM把过往轨迹不断压缩、改写为可复用文本知识条，承诺无需更新参数即可让智能体持续自我提升，CLIN、AWM、Dynamic Cheatsheet、ACE等都采用每次交互后立即巩固（update-after-every-interaction）的设计。然而本文通过在ALFWorld、ScienceWorld、WebShop、AppWorld以及可控的ARC-AGI Stream上的系统实验发现：巩固出来的记忆往往是有缺陷的。具体表现是——ScienceWorld上CLIN的记忆效用随步数先升后降，在约第20步达到峰值后一路下滑，到100步时常跌破无记忆基线（图1a）；WebShop上AWM从8个样本时的0.64一路降到128样本时的0.20，而无记忆基线恰好就是0.20（图1b）；最戏剧化的是GPT-5.4在19道ARC-AGI题上无记忆时100%正确，引入流式巩固后准确率一路跌到52.6%（图2）。换言之，今天的LLM并不是可靠的巩固器，每一步巩固都是一次有损改写，会丢失有用细节、引入虚假规则，并把已抽象的语义进一步偏离任务结构。
本文的目标是本文试图系统性地诊断这条退化曲线，回答三个问题：（1）当输入轨迹本身已被证明有用（甚至由ground-truth solution提供）时，为何巩固反而会损害表现；（2）导致故障的具体机制是什么；（3）能否通过把情景缓冲与抽象存储在架构上分离、让巩固成为可被门控的可选动作来缓解。最终目标是为agentic memory设计提供经验与架构上的处方，让「持续更新记忆」不再等同于「自我提升」，并把错误来源定位到巩固步骤本身而非输入侧。
与已有工作不同的是，既有工作大多默认「持续巩固=持续变好」，把每一次巩固视为至多中性、最多有益；即便有研究注意到记忆管理策略不同时性能存在差异，也未把故障机制定位到巩固这一具体环节。本文的关键切入角度有三：（1）构造ARC-AGI Stream这种「输入一定正确」的极端场景来把故障归因到巩固步骤本身；（2）固定轨迹池不变、只改变更新调度（Static vs. Stream、Homogeneous vs. Heterogeneous batch），从而证明差异来自巩固方式而非数据；（3）直接对比「使用原始episodes作为in-context示例」与「使用巩固后的抽象条目」，把巩固的真实收益从in-context学习的收益中剥离出来。
核心方法
整体思路是「用受控实验锁定故障来源，再用极简架构验证修复方向」。先在五个公开agent基准（ALFWorld、ScienceWorld、WebShop、AppWorld、Mind2Web）以及一个新构造的ARC-AGI Stream上，让LLM按不同调度去巩固同一批轨迹，再用不同的solver独立评估巩固后记忆的效用；通过把「轨迹本身有用但巩固方式不同」做正交化，定位故障是否出在巩固步骤；接着在ARC-AGI Stream上把情景缓冲（episodic buffer）和抽象存储（abstract store）显式拆开，让模型在每一步可以Retain、Delete或Consolidate，对比Auto（自主选择）、Force（强制巩固且不留episodic）、Episodic Management Only（只允许保留/删除，不允许抽象）三种控制回路，检验「门控巩固、保留episodic」是否真的能恢复性能。
核心创新是把「故障」和「经验」解耦，再用架构化的两库记忆来验证修复。已有工作通常把「记忆」当作一个整体，而本文把raw trajectory与abstract lesson显式作为两种独立证据：raw episode保留每个改写丢弃的细节，abstract lesson提供跨episode的压缩知识。关键设计是ARC-AGI Stream的Retain/Delete/Consolidate三动作接口以及三种控制回路：Force强制每步巩固且不留episodic条目，Auto让模型自主选择，Episodic Management Only则禁用抽象。这让作者可以直接回答「强制巩固是祸根」还是「抽象本身是祸根」，并验证CLS的处方——episodic和schema-forming的角色不应被合进同一个重写循环。
方法步骤详情
方法分四步。步骤一：准备轨迹池，在ALFWorld收集128条/类、共6类的ground-truth专家轨迹，在ScienceWorld用GPT-5.4-mini产生4条/批的offline轨迹流，在WebShop/AppWorld用各自原始AWM/AgentGym轨迹，在ARC-AGI用ARCGEN的ground-truth程序化解题。步骤二：构造多种巩固调度——Static-All一次性用整池巩固，Static-Group按任务族分组巩固再拼接，Stream按batch流式更新，batch内部又分Homogeneous（同族）与Heterogeneous（异族），在ARC-AGI Stream中可指定批大小$|B|$、记忆容量$|M|$、是否保留episodic以及是否使用ground-truth。步骤三：评估——把记忆条目放入context用不同solver（Qwen3.5-27B/9B/4B、GPT-5家族、Claude-Haiku-4.5）独立解，ALFWorld/ScienceWorld看任务成功率、WebShop看pass rate与平均得分、AppWorld看TGC%、ARC-AGI按family看准确率，每题跑两轮取平均。步骤四：在ARC-AGI Stream上做三组控制实验——Auto/Force/Episodic-Only，每步记录Retain/Delete/Consolidate动作及buffer组成，并用LLM judge对条目打「过泛化」或「垃圾」标签以解释Cumulative vs. Fresh在ScienceWorld上−203分的差距。
技术新颖性
技术新颖性体现在四个层面。第一，提出「巩固自身即故障源」的归因框架，用「输入一定正确」这一极端条件把数据噪声排除；第二，构造ARC-AGI Stream作为受控的家族级记忆诊断底座，暴露Retain/Delete/Consolidate接口并允许按family追溯误分类；第三，把「raw trajectory作为in-context baseline」升级为与巩固器同等地位的一等基线（Table 2 中 Qwen3.5-27B 在 AppWorld 上原始日志 73% 反而高于 ACE 65%、AWM 68%、DC 68%，GPT-5.4-Mini 在 ALFWorld 上原始日志 90% 也显著高于 ACE 85%、AWM 79%、DC 65%），凸显巩固的净收益常为负；第四，给出与CLS对齐的具体架构建议（episodic-first、gated consolidation、opt-in abstraction），并用Auto模式观察到模型自身就倾向于饱和episodic buffer、稀疏使用abstract store（图7b），为该建议提供了agent自主决策层面的证据。
实验结果
核心发现可归纳为四条。第一，记忆效用非单调且能跌破无记忆基线：ScienceWorld上CLIN曲线在约20步达峰、100步时下滑，$|M|\in\{16,50,\infty\}$均跌破无记忆基线（图1a），WebShop上AWM从8样本的0.64降到128样本的0.20，与无记忆基线持平（图1b），同时Cumulative（累积巩固）在15个ScienceWorld任务序列上比Fresh（仅在当前任务巩固）累计落后+203分（图10）。第二，最干净的反例出现在ARC-AGI：GPT-5.4在19道题上无记忆100%正确，引入流式巩固后Static在$R=10$与$R=50$两轮仍维持94.7%，而Stream到Round 10已跌至52.6%（图2），即同一批ground-truth solution驱动的巩固让模型在原本会做的题上错一半。第三，巩固方式本身影响结局：固定轨迹池下，Stream相比Static-Ungrouped损失17–38分（图3），异族batch比同族batch退化更快（图4）；把memory条目作为初始状态再用GPT-5-nano继续流式更新，Qwen3.5-27B/9B/4B三种solver上utility都出现跨步下降（图4），证明高质量起点也不是不动点。第四，原始episodes是强基线：Table 2 显示Qwen3.5-27B在AppWorld上原始轨迹73%、Incr. 69%、Keep One-Pass 69%都高于ACE 65%、AWM 68%、DC 68%；GPT-5.4-Mini在ALFWorld上原始90%、FS=64时92%也都高于ACE 85%、AWM 79%、DC 65%；在ARC-AGI Stream Auto模式下，400步累计成功在GPT-5.4上达43.2%、在Haiku上达37.8%，而Force仅35.0%与26.0%、No memory更低（图5），且Auto+Episodic在$E=50\;S=3$配置下86%甚至高于In Context (Code)的86%（并列）、In Context (NL)的66%（图9b）。三种失败机制被进一步定位为：误分组（forced consolidation 跨族合并，见图7a）、过泛化（Cumulative过泛化条目≈5×Fresh、垃圾条目≈20×Fresh）、窄流过拟合（同族迭代越多，ID准确但OOD崩塌，见图11）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ScienceWorld（CLIN记忆效用） | 任务成功率随步数 | 效用曲线在约20步达峰，100步时下滑，$|M|=16/50/\infty$均跌破无记忆基线（图1a） | No Memory（虚线基线） | 早期有正向收益，后期为负向：固步长100时已退至无记忆基线之下 |
| WebShop（AWM） | 成功率与平均分 | 8样本成功率0.64→128样本0.20，平均分$(0.94)\to(0.31)$（图1b） | No Memory成功率0.20，平均分$(0.82)$ | 128样本时记忆的边际收益已消失，效用降回基线 |
| ARC-AGI（19题切片，GPT-5.4） | 准确率 | Stream流式巩固在Round 10准确率52.6%（图2） | No Memory 100%准确率，Static在$R=10$与$R=50$仍保持94.7% | 在原本可解的题上引入Stream巩固使准确率下降约47.4个百分点 |
| ALFWorld不同调度下巩固损失 | 准确率差 | Stream相对Ungrouped（Static-All）损失17–38分（图3，含Qwen3.5-27B/9B/4B、GPT-5与Qwen3.5-Nano） | Static-Group（按族分组） | 分组巩固+一次性更新相比流式+跨族更新能保持稳定 |
| AppWorld（Qwen3.5-27B） | TGC% | Trajectory Logs（All/FS=64/Incr./Keep One-Pass）分别73/66/69/69 | ACE 65%、AWM 68%、DC 68%、No Memory 66% | 原始轨迹日志最高比ACE高8个百分点，比No Memory高7个百分点 |
| ALFWorld（GPT-5.4-Mini） | 任务成功率 | Trajectory Logs All 90%、FS=64 92% | ACE 85%、AWM 79%、DC 65%、No Memory 54% | 原始日志最高比DC高27个百分点，比No Memory高38个百分点 |
| ARC-AGI Stream Auto vs Force（GPT-5.4 400步） | 累计成功率 | Auto ($|E|=50$) 43.2%，Auto ($|E|=100$) 37.8% | Force 35.0%，No Memory更低 | Auto相对Force提升8.2个百分点以上，且Auto选择保留episodic为主 |
| ARC-AGI Stream memory source ablation（Auto） | 准确率 | Auto+Episodic 86%（$E=50\;S=3$）、Auto(Episodic) 86%、Auto(Abstract) 70%、Force 56%、Zero-shot 38%（图9b） | In Context (Code) 86%、In Context (NL) 66% | 保留episodic能匹敌in-context ground-truth code，强制巩固反而拖后腿 |
| ScienceWorld任务切换序列（15任务） | Cumulative vs Fresh分差 | Cumulative最终落后Fresh +203分（图10） | Fresh（仅在当前任务巩固） | 把多个任务折进同一记忆库反而系统性降低表现 |
局限与改进
作者明确承认四点局限。其一，实验只覆盖文本类agent基准（ALFWorld、ScienceWorld、WebShop、AppWorld、Mind2Web）与ARC-AGI Stream，多模态、具身或工具密集的生产环境中是否复现尚不明确。其二，只研究自然语言文本形式的记忆，不涉及参数化记忆（权重更新、模型蒸馏）或结构化非文本存储。其三，巩固器与solver都是LLM，故障反映当前模型能力局限，未来更强巩固器或专门微调过的巩固器可能改变曲线。其四，受API成本限制每题只跑了少量重复，给出的是点估计而非带误差棒的均值，作者通过跨模型、跨基准、跨框架的稳健性来对冲这一不确定性。我自己的观察是：论文对「为什么是巩固步骤而非解码」的归因虽有充分对照，但Stream与Auto的对比基本发生在ARC-AGI Stream这一合成环境，向真实长程部署外推时仍需更多真实业务长程轨迹验证；另外论文把原始episodes的强表现作为「巩固的净收益常为负」的证据，但实际上「把整条episodic塞进context」在长程任务里会撞到上下文窗口瓶颈，因此「原始episodes足够好」这一结论需要进一步在超长context场景下重新检验。
独立分析的弱点
独立分析可指出三点可改进的弱点。第一，「强制巩固」与「自主选择」两组的对比虽然在ARC-AGI Stream上明显，但Auto与Force在ScienceWorld 400步曲线上的差距对solver、batch size等超参数较敏感（图4、图5），论文未给出对超参数的鲁棒性扫描，建议未来在更密集的batch size×memory size网格上汇报均值与方差。第二，方法用LLM judge给条目打过泛化/垃圾标签来解释Cumulative与Fresh的+203分差距，但裁判本身是LLM，可能与作者期望同向偏置；建议用规则化或人工抽样来交叉验证标签质量，并报告kappa一致性。第三，原始episodes作为一等基线虽然亮眼，但缺乏对其规模可控性、检索成本与context预算的讨论；当episodic数$|E|$持续增长（Auto最终在$|\text{buffer}|=100$时仍持续增长），把全部条目塞入context本身不可持续，需要进一步研究「如何在episodic-first下做轻量检索或摘要」。
未来方向
作者明确提出的方向是「可靠的抽象需要门控、原始episodes作为一等证据」以及「episodic与schema-forming角色必须架构分离」，并把构建「能巩固而不覆盖证据」的LLM作为开放问题。基于成果可延伸的方向包括：（1）设计「巩固门槛」——为每条新轨迹预测「加入/合并/丢弃」概率，避免每次都触发Consolidate动作；（2）发展结构化schema表示，把「何时适用」的前件显式编码到条目中，从而缓解过泛化；（3）探索与RLHF/RLAIF结合的巩固器微调，让巩固器从失败回放中学会「不过度改写」；（4）把ARC-AGI Stream的family-level归因方法外推到AppWorld等真实环境，建立统一的记忆故障benchmark；（5）研究超长context下的episodic检索与混合存储（episodic + sparse abstract）。
复现评估
论文本身不发布完整代码或模型权重，但描述了ARC-AGI Stream的prompt模板（在Section B）、family与skill taxonomy（在Section A）、各种控制回路的动作空间与评估脚本要点，因此具备中高复现性。数据方面：ALFWorld/WebShop/AppWorld轨迹为公开或作者整理后的中间产物，ScienceWorld可基于GPT-5.4-mini重新生成，ARC-AGI Stream需自行在ARCGEN基础上扩展三动作接口。算力方面：实验横跨GPT-5.4/5/5-Mini/5-Nano、Qwen3.5-27B/9B/4B、Claude-Haiku-4.5，单条ARC-AGI Stream 400步Auto run与多个batch size的ALFWorld网格就已经是中等规模的API+开源模型组合，完整复现Table 2所有格子估计需数千到上万美元API预算加上多卡开源模型推理。复现难度整体偏高，主要瓶颈是API成本与对GPT-5.4等专有模型的访问权限。
论文图表
左图ScienceWorld上CLIN在$|M|=16/50/\infty$三种记忆容量下效用随步数变化，均呈现约20步达峰、100步跌破无记忆基线的倒U型；右图WebShop上AWM从8样本0.64降到128样本0.20，与无记忆基线0.20重合，而原始轨迹保持稳健。
是全篇最核心的现象学证据，把「记忆越来越多=越来越好」这一默认假设打破，是motivation的关键支撑。