记忆越多，智能体越差：LLM 智能体的错误重现与反持久化记忆设计

只存轨迹、按需合成指导并用后即弃，阻断错误在抽象中复现

前置知识

LLM 智能体与轨迹

LLM 智能体以大语言模型为策略 $\pi_\theta$，通过多步“生成动作—接收观察”与环境交互完成任务，一条任务的动作-观察序列称为轨迹 $e$。本文设定模型参数 $\theta$ 全程冻结，智能体的所有适应都来自外部信息而非参数更新。

轨迹是本文记忆系统的存储单元，也是错误重现链条中的中介载体，理解它才能看懂“抽象塑造轨迹、轨迹再生成抽象”的反馈回路。

基于记忆的自我改进

智能体把每次执行的三元组（任务 $\tau_j$、轨迹 $e_j$、结果 $y_j$）写入外部记忆 $M$，遇到新任务时按相似度检索经验注入上下文，从而在不更新参数的情况下跨任务提升。代表工作有 Reflexion（语言反思）、ExpeL（跨任务规则提炼）、AutoRefine（记忆维护）。

本文的研究对象就是这类系统，核心问题是记忆里应该持久保存什么：只存原始轨迹，还是也存从轨迹中提炼的规则与技能。

抽象记忆

指从轨迹中提炼出的规则、总结、技能或启发式，形式化记为 $s=\phi(H)$，$H$ 是被检索的记录子集。压缩让经验更易检索和复用，但提炼需要判断哪些细节重要、模式能否迁移，一条在某任务上成功的规则换到条件缺失的任务就可能失效。

持久保存的抽象正是错误重现的温床，论文的核心主张是抽象只该临时存在，理解抽象的价值与风险是读懂动机的关键。

上下文多臂老虎机与 UCB

在收益不确定时做序贯选择的算法框架：为每个选项维护经验平均收益，并叠加与选择次数成反比的探索项 $c\sqrt{\log t/n_\mu}$，以平衡“利用当前最优”与“尝试冷门选项”。本文用它基于结果日志为新任务挑选指导模式。

Anti-Persistence 的自适应模式选择器（公式 3）就是这一思想的轻量实现，不懂 UCB 就看不懂系统如何决定“何时抽象、如何抽象”。

错误传播 vs 错误重现

错误传播指已存储的错误内容被检索后直接影响当前行为；错误重现是本文提出的新机制：错误抽象先塑造执行轨迹，轨迹再作为素材被二次抽象，生成携带同样错误的新规则 $s_{parent}\to e_j\to H\to s_{candidate}$，使错误绕过删除操作持续存在。

标题中的 Error Reproduction 即指后者，分清二者才能理解为什么删除规则不足以根治问题、为什么需要反持久化这种结构性设计。

研究动机

基于记忆的自我改进系统普遍倾向把从经验中提炼的规则、技能、总结持久保存，以便后续任务直接复用。但提炼本身需要判断“哪些细节重要、模式能否迁移”，一旦判断出错，错误会沿两条路径扩散：一是被检索后直接影响当前决策；二是先塑造执行轨迹，而这些轨迹又成为下一轮抽象的素材，使同样的错误被“再发明”出来。论文给出的例子是：在“找延迟低于 40 毫秒的游戏耳机”任务中，智能体只读了商品描述就假设延迟满足要求（实际 75 毫秒），并把“描述中属性匹配即满足约束”存成规则；此后耳麦、会议耳机、有线游戏耳机等任务里这条规则反复导致错误，且即使删掉原规则，受它影响产生的错误轨迹仍会派生出携带同一错误的后代抽象。现有的记忆维护手段（打分、剪枝、细化，如 AutoRefine）只删除规则条目本身，既不修订在其影响下生成的轨迹，也不清除从这些轨迹派生的后代，错误因此可以长期驻留。

本文的目标是论文要回答的问题是：如何让 LLM 智能体既享受抽象带来的检索与复用收益，又限制错误通过“抽象—执行—再抽象”循环不断重现。具体目标有三：其一，设计一种把“经验积累”与“抽象持久化”分离的记忆架构，轨迹与结果持久累积，而为当前任务合成的规则、策略、纠错指导在执行后即被丢弃；其二，用历史结果自适应地决定当前任务是否值得合成抽象、该用哪种方式合成，避免无谓的合成开销；其三，在 ALFWorld、WebShop、ScienceWorld 三个基准、三个骨干模型上验证该设计能在留出任务上取得更高成功率，同时平均 LLM 调用次数更低，并收集错误在先后生成的抽象之间重现的实证证据。

与已有工作不同的是，已有工作的默认假设是“抽象应当持久存在，问题只在于如何维护它”，因此集中于打分、剪枝、细化等事后净化手段；本文的独特之处是从存储对象层面釜底抽薪，追问“抽象是否需要持久化”，让合成指导成为临时变量，从而在结构上移除“直接检索复用错误规则”的通道。概念上，论文首次区分了错误传播（已有错误影响行为）与错误重现（错误被编码进新生成的抽象），并指出删除原规则不足以清除其轨迹后代。此外，它不只停留在机制假设，还通过来源关联分析考察被标记抽象的暴露、标记候选的生成与持久准入三个阶段，为错误重现提供了经验证据。把“何时抽象”建模为成本感知的上下文老虎机决策，也是此前 Reflexion、ExpeL 等固定流程方法所没有的视角。

核心方法

直觉上，轨迹是“发生过什么”的事实记录，而规则是对事实的有损压缩与推断，更容易出错；与其让易错的推论长期驻留记忆，不如每次按需重算、用完即弃。技术路线上，Anti-Persistence 维护两个持久存储：轨迹记忆 $M_k$ 存三元组 $(\tau_j,e_j,y_j)$，结果日志 $L_k$ 存历史模式选择及其反馈 $(\tau_j,\mu_j,y_j,r_j,t_j)$；抽象存储 $S_k$ 恒为空。新任务 $\tau$ 到来时，控制器先从 $L_k$ 检索最多 $\hat{B}=10$ 条相似记录，用上下文老虎机在 $Z=\{\mathrm{none},\mathrm{imitation},\mathrm{strategic},\mathrm{corrective}\}$ 四种模式中选一种；再按所选模式从 $M_k$ 检索轨迹（预算 $B=5$），none 模式直接把记录作为上下文，其余三种临时合成指导 $\sigma_\tau=\phi(H_\tau,\mu^\star)$；执行后把结果写入 $M_k$，同时丢弃 $\sigma_\tau$。奖励按 $r_\tau=\mathrm{clip}(y_\tau-\lambda\kappa_\tau,-1,1)$ 扣除合成调用成本，反馈给下一轮模式选择；骨干与合成流程固定，变的只有积累的经验与选择。

核心创新是把“抽象的使用”与“抽象的存储”解耦，即按需抽象。已有系统把提炼出的规则持久写入记忆并在后续任务中直接检索复用；本文的合成过程固定、输出临时，每条指导只为当前任务服务，执行后即被销毁，$S_k\equiv\emptyset$ 成为系统不变量。这样，错误规则无法作为存储对象被直接检索，“删除规则即可止损”的脆弱性被结构性消除；虽然错误仍可能经由受影响的轨迹间接影响后续合成（作者明确保留这一通道），但与传播不同，被标记的错误候选不再进入持久存储形成后代。同时，结果日志驱动的成本感知老虎机让系统学会“何时直接复用记录、何时值得花一次合成调用”，奖励 $r=\mathrm{clip}(y-\lambda\kappa,-1,1)$ 中的 $\lambda\kappa$ 项把 LLM 开销纳入选择目标，使“要不要抽象”本身成为可学习的决策而非固定流程。

方法步骤详情

算法 1 分八步。第 1 步：$N_{\hat{B}}(\tau)\leftarrow R(\tau,L_k,\hat{B})$ 从结果日志取最多 $\hat{B}=10$ 条相似记录，权重 $w_i=\max(\mathrm{sim}(\tau_i,\tau),0)\cdot\gamma^{t_{max}-t_i}$，$\gamma=0.998$。第 2 步：按模式汇总使用过该模式的条目，估计 $\hat{r}(\mu|\tau)=\sum w_ir_i/\sum w_i$。第 3 步 UCB：$\mu^\star=\arg\max_\mu\hat{r}(\mu|\tau)+c\sqrt{\log|N_{\hat{B}}(\tau)|/\max(n_\mu,1)}$。第 4 步：按模式从 $M_k$ 取 $B=5$ 条轨迹，corrective 额外附 1 条成功轨迹作对比。第 5 步：构造上下文 $\sigma_\tau=\phi(H_\tau,\mu^\star)$；none 恒等映射即直接用记录、不花合成调用；imitation 提炼成功动作模式及条件，strategic 组织子目标与规划，corrective 从失败轨迹生成规避指导。第 6 步：执行 $(e_\tau,y_\tau)\sim\pi_\theta(\tau;\sigma_\tau)$。第 7 步：$M_{k+1}=M_k\cup\{(\tau,e_\tau,y_\tau)\}$，合格尝试向 $L_k$ 追加 $(\tau,\mu^\star,y_\tau,r_\tau,t_{new})$，$r_\tau=\mathrm{clip}(y_\tau-\lambda\kappa_\tau,-1,1)$，$\kappa_\tau$ 为实际合成调用数、$\lambda=0.05$。第 8 步：丢弃 $\sigma_\tau$；评估阶段两存储冻结。

技术新颖性

新颖性体现在三个层面。概念层面：首次把错误传播与错误重现区分开，并论证后者使“删除原规则”类维护方法天然不完备，因为抽象的后代会经由轨迹再生，除非连轨迹一起修订；这把记忆可靠性研究从“净化存储内容”推进到“质疑存储对象的必要性”。设计层面：反持久化改变了记忆系统的不变量，合成的指导从“持久条目”降格为“临时变量”，持久保留的是不可再生的原始经验，这与模型坍缩研究中“重复使用自生成数据导致分布退化”的观察形成呼应但机制不同。机制层面：把“何时抽象、以何种方式抽象”形式化为成本感知的上下文老虎机，none/imitation/strategic/corrective 四模式覆盖“不抽象、学动作、学规划、学避坑”四种粒度，比 Reflexion 的固定反思、ExpeL 的固定规则库、AutoRefine 的固定维护策略多出一层任务自适应控制；且评估口径同时覆盖成功率与平均 LLM 调用次数，而非只看效果。

实验结果

主实验（Table 1，$K=10$ 轮、3 种子）：Anti-Persistence 在 9 个基准×骨干组合中的 7 个最高，九设置平均 59.9%，高于轨迹记忆 53.5%、抽象记忆 49.0%、联合记忆 49.3% 与最强基线 Reflexion 的 52.9%；它在全部 9 个设置高于轨迹与抽象记忆、8 个高于联合记忆，典型如 Llama/ALFWorld 54.7±2.9（Reflexion 46.7±6.1）、Qwen/ALFWorld 96.0±1.4、Qwen/ScienceWorld 52.6±1.5（轨迹记忆 43.8±3.7）。抽象与联合记忆在 9 个设置中的 7 个反而低于纯轨迹记忆。成本上（Figure 3），其平均每任务约 9.3 次 LLM 调用为四配置最低（轨迹记忆约 10.5）。动态上（Figure 2），10 轮最终均值在全部 6 个设置最高但非每轮领先，Llama 的联合记忆后期在 ScienceWorld 下滑。对比维护方法（Figure 4），AutoRefine 仅在 1/6 设置优于抽象记忆、4 个更差，而 Anti-Persistence 在全部 6 个设置高于它。持久 vs 丢弃（Table 2）：丢弃 4 个设置全胜，Llama/ALFWorld +28.0（54.7 对 26.7）、Llama/WebShop +12.3、Qwen 两设置分别 +3.3 与 +6.7。消融：$\gamma=0.998$、$\lambda=0.05$ 最优，$\gamma=1$ 时 Qwen/ALFWorld 从 96.0% 跌至 88.7%；老虎机在两基准均胜过固定模式与随机；Figure 8 显示 WebShop 上 Qwen 53%、Gemma 39% 偏好 imitation，Llama 45% 偏好 strategic。

**Table 1**: Held-out task success rate (%, mean ± std over 3 seeds) on ALFWorld, WebShop, and ScienceWorld with three backbones

**Table 2**: Held-out success with abstractions persisted or discarded (%, mean ± s.d.; 3 seeds)

**Figure 2**: Per-iteration performance of four memory configurations over ten memory-update iterations across three benchmarks and two backbones

**Figure 3**: Mean LLM-call cost and held-out success across nine settings

**Figure 4**: Final held-out success for abstraction memory, AutoRefine, and anti-persistence

**Figure 5**: Sensitivity to recency decay $\gamma$ on Qwen3-Coder-Next

**Figure 6**: Mode-selection ablation on Qwen3-Coder-Next, comparing anti-persistence's contextual bandit with fixed-mode and random policies

**Figure 7**: Sensitivity to $\lambda$ on Qwen3-Coder-Next

**Figure 8**: Mode-selection frequencies averaged over iterations 1–10

查看结构化数据

任务	指标	本文	基线	提升
ALFWorld（Llama-4-Scout）	留出任务成功率（%，3 种子均值±标准差）	54.7±2.9	Reflexion 46.7±6.1；轨迹记忆 41.6±1.7	+8.0 / +13.1
WebShop（Qwen3-Coder-Next）	留出任务成功率（%）	54.0±2.0	轨迹记忆 50.7±1.2；Reflexion 47.3±1.2	+3.3 / +6.7
ScienceWorld（Qwen3-Coder-Next）	留出任务成功率（%）	52.6±1.5	轨迹记忆 43.8±3.7；Reflexion 33.9±3.5	+8.8 / +18.7
九设置等权平均	平均留出成功率（%）	59.9	轨迹记忆 53.5；Reflexion 52.9	+6.4
九设置平均成本	平均每任务 LLM 调用次数	约 9.3（四配置最低）	轨迹记忆约 10.5	约省 1.2 次调用
ALFWorld（Llama-4-Scout，丢弃 vs 持久）	留出成功率（%）	丢弃 54.7±2.9	持久保存 26.7±6.1	+28.0

局限与改进

作者承认的局限：结果是“总体偏好反持久化”但首选设计依赖具体设定，例如 Gemma-4-31B-it 在 ScienceWorld 上联合记忆 56.3±2.4 反而高于 Anti-Persistence 的 54.1±6.3，Gemma/ALFWorld 上 Reflexion 98.0 也压过 97.3；与 AutoRefine 的对比未隔离维护效应，因为它同时改变了检索与合成；错误重现的证据是来源关联意义上的（与机制一致），并非因果证明；丢弃指导只移除直接复用通道，经轨迹的间接反馈依然存在；UCB 式选择规则对加权非平稳观测没有置信界或遗憾保证。我自己的观察：模式定义与合成提示词全部固定，遇到新任务类型时四种模式未必够用；结果日志的小邻域（$\hat{B}=10$）在任务分布漂移时会让老虎机失准；成本只计调用次数而不计 token 与延迟差异；corrective 模式依赖存在失败轨迹，冷启动行为未充分讨论；只覆盖 3 个基准与 10 轮更新，更长时程下轨迹库增长对检索质量的影响未评估。

独立分析的弱点

独立分析几点弱点。其一，缺少验证机制：指导用完即弃虽然防错误驻留，但也让确实正确的抽象无法沉淀复利，同样的合成成本被反复支付；改进方向是加轻量验证器（如多次采样一致性、环境可验证信号），只把通过验证的高置信抽象选择性持久化，形成“临时默认、验证后晋升”的双层结构。其二，检索与权重依赖嵌入相似度 $\mathrm{sim}(\tau_i,\tau)$，在跨域或表述差异大的任务上易误导老虎机；可引入任务类型聚类或不确定性加权。其三，$\hat{B}=10$ 的邻域在冷启动阶段估计噪声大，虽有 UCB 探索项仍可能浪费轮次；可用分层先验（按任务类型聚合统计）加速收敛。其四，$\gamma$、$\lambda$、$c$ 为固定超参，敏感性实验显示性能随取值波动明显（$\gamma=0.990$ 时 Qwen/WebShop 仅 44.7%），可在线自适应调节。其五，奖励只惩罚合成调用数 $\kappa$，未直接激励更短的执行轨迹，效率收益只能间接经由结果体现，可把轨迹长度或 token 开销纳入奖励。其六，错误重现只给出关联证据，缺少受控实验直接操纵“错误抽象”观察后代生成率。

未来方向

作者明确提出的方向：研究验证在什么条件下可以证明选择性保留抽象的合理性，即当合成内容能通过环境反馈或一致性检验被证实时，持久化或许重新变得划算；附录还把抽象生命周期拆为暴露、标记候选生成、持久准入三阶段，暗示可对每阶段独立设置控制点。基于本文成果可延伸：把反持久化与维护型方法结合，形成“临时合成为默认、高置信抽象经验证后晋升”的混合记忆；用更小的廉价模型承担合成调用以压低 $\lambda\kappa$ 成本；把模式选择从 UCB 升级为可学习策略；对受污染轨迹做显式修订以封堵间接反馈通道；在更长时程与更多基准（代码生成、工具调用类任务）上检验结论普适性；以及研究轨迹库规模增长下的检索质量维护与索引更新。

复现评估

论文未提供开源代码链接。可复现性总体中等偏上：三个基准 ALFWorld、WebShop、ScienceWorld 全部公开，任务划分沿用近期智能体记忆工作的固定划分并给出规模表（Table 4）；方法不更新参数、无需训练算力，主要成本是 LLM 调用，每方法 10 轮迭代、每轮后全量留出集评估、3 个种子（42/43/44），三个骨干（Llama-4-Scout、Qwen3-Coder-Next、Gemma-4-31B-it）需要 API 或本地部署。算法伪代码完整（Algorithm 1），关键超参全部给出：检索预算 $B=5$、日志邻域 $\hat{B}=10$、$\gamma=0.998$、$\lambda=0.05$、探索系数 $c$；模式定义（附录 B.1）、回退与初始化分支（B.4）、合格尝试判定（B.5）、成本核算（B.3）均有单独小节。难度在于检索实现细节（嵌入模型与相似度定义）、合成提示词与来源关联分析协议散布在附录 D/E，需自行拼接；无官方代码意味着对齐到论文数字需要一定调试成本。

记忆越多，智能体越差：LLM 智能体的错误重现与反持久化记忆设计 More Memory, Worse Agents: Error Reproduction and Anti-Persistence in LLM Agents