AutoMem：记忆作为认知技能的自动化学习

将记忆管理作为可训练技能，通过元LLM自动化优化记忆结构和熟练度，在长视界任务上实现2-4倍性能提升

前置知识

元记忆

元记忆是认知科学中的一个核心概念，指的是个体对自己记忆过程的监控和调节能力。它包括知道什么值得记忆、何时检索以及如何组织知识这三个维度。元记忆不同于记忆本身，而是对记忆过程的元认知控制。例如，一个拥有良好元记忆能力的人能够判断哪些信息是重要的需要长期保存，哪些可以忽略，并且在需要时能够高效地检索出相关信息。这种能力是通过学习和实践逐渐发展起来的，是人类智能的重要组成部分。

理解本文必须理解元记忆概念，因为整篇论文的核心思想就是将认知科学中的元记忆概念引入到LLM代理中，把记忆管理视为一个可训练的技能而不是固定架构。论文的所有方法和实验设计都建立在这一理论基础之上。

长视界任务

长视界任务是指那些需要大量步骤才能完成的任务，通常在10的3次方到10的5次方步之间。这类任务的特点是决策的后果往往延迟显现，一个错误的决定可能在几百甚至几千步之后才会导致失败。游戏环境是典型的长视界任务，例如NetHack游戏的一个回合可能需要10的4次方到10的5次方步，人类玩家通常需要数年时间才能掌握。这类任务对LLM的上下文窗口提出了严峻挑战，因为单次对话无法容纳整个任务过程，必须依赖外部记忆来维持状态。

本文的所有实验都是在长视界任务上进行的，理解这类任务的特点对于理解为什么需要专门的记忆管理技能至关重要。长视界任务的延迟反馈特性使得传统的强化学习方法难以有效，而记忆管理的错误可能在数千步后才暴露，这正是论文需要自动化优化的核心原因。

脚手架

脚手架在本文中指的是支撑代理记忆技能的结构要素，包括代码、提示词、记忆文件模式和操作词汇。脚手架决定了代理可以执行哪些记忆操作，以及模型被引导如何使用这些操作。一个精心设计的脚手架会预先定义好记忆文件的格式、验证逻辑以及操作的具体语义。脚手架就像是建筑工地的脚手架，为代理完成任务提供结构化支持，但不同于固定架构，脚手架是可以迭代改进的。

脚手架优化是AUTOMEM框架的第一个核心循环，理解脚手架的概念对于理解论文的双重优化策略至关重要。论文的关键创新之一就是证明通过优化脚手架结构而不改变模型权重就能带来显著的性能提升。

文件系统作为记忆

本文提出的将文件系统操作作为一类记忆操作的设计，包括读取、写入、搜索、追加和创建等。这些操作被提升为与任务动作同等重要的一类操作，模型在每个时间步既可以执行影响世界的动作，也可以执行记忆操作。文件系统作为记忆载体提供了最大的灵活性，模型可以决定创建多少文件、每个文件的格式、何时查询哪些文件、如何组织已知信息等。所有记忆决策都是轨迹中可追踪的动作，这使得外环可以观察、评估和优化它们。

这是论文的核心技术设计，理解文件系统作为记忆的原理对于理解整个方法框架至关重要。统一动作空间的设计使得记忆操作和任务动作在同一个轨迹中可见，这是元LLM能够进行轨迹级审查的基础。

研究动机

现有LLM代理在长视界任务中面临严重的记忆瓶颈。上下文窗口扮演工作记忆的角色，但其固定大小限制了模型一次能关注的信息量。虽然已经探索了各种外部记忆形式，包括检索数据库、向量存储、草稿本和摘要缓冲区，但这些方法通常将记忆视为架构模块，即一个设计到系统中的固定机制。具体数据显示，在NetHack这样的复杂游戏中，一个回合可能需要10的4次方到10的5次方步，人类玩家需要数年才能掌握。使用基本上下文管理策略的Qwen2.5-32B-Instruct模型在Crafter上仅达到25.0%的进展率，在MiniHack上仅7.5%，在NetHack上仅0.42%。这些数字暴露了当前方法的关键问题，单个回合可能运行数万步，而记忆操作或错误的影响可能在许多步骤后隐藏不现，这使得人工审查完整轨迹变得不切实际。

本文的目标是本文的具体目标是将记忆管理作为LLM代理的可训练技能，并自动化这一技能的改进过程。论文证明记忆管理是一个独立可学习的技能，并且是一个高杠杆的目标，能够在长视界任务上带来显著收益。通过仅优化记忆而不修改模型的任务动作行为，作者希望建立一个可泛化的记忆优化框架。具体目标是实现两方面的自动化，一是结构优化，即迭代改进支持记忆技能的脚手架，二是熟练度训练，即基于代理自身的良好记忆决策来训练模型的记忆熟练度。最终目标是让32B开放权重模型在长视界任务上达到与前沿专有系统相当的性能水平。

与已有工作不同的是，本文的独特切入角度是将认知科学中的元记忆概念引入LLM代理设计。与以往将记忆视为固定架构模块的工作不同，本文将记忆管理视为主动的、可训练的技能，模型本身决定存储什么、检索什么以及如何组织记录。另一个关键创新是认识到长视界任务改进可以分解为轨迹级审查和针对性修改，这一工作流由元LLM自动执行，而人工审查完整轨迹是不可行的。论文还区别于之前只关注记忆结构或模型熟练度中一个方面的工作，同时优化这两个互补的轴。此外，论文证明了记忆是可分离的技能，因此可以训练专门的记忆模型而保持任务模型不变，这避免了破坏代理现有任务能力的风险。

核心方法

AUTOMEM框架通过两个顺序的外环循环自动化记忆技能改进，这两个循环操作一个共享的内环代理。内环代理是一个使用文件系统作为外部记忆的LLM代理，在每个时间步执行两个例程，LOG例程询问刚才发生的事情值得记录什么，PLAN例程询问现在需要回忆什么来行动。文件系统操作被提升为与任务动作同等重要的一类记忆操作，处于相同的动作空间中。这种统一动作空间的设计使记忆成为可学习的技能而非固定机制。第一个外环循环由元LLM驱动，它审查完整回合轨迹并迭代修订代理脚手架，即代理代码、提示词和记忆文件模式。第二个外环循环同样由元LLM驱动，它从大量回合中审查代理的自身记忆决策，选择值得强化的决策作为专门的记忆模型的监督训练数据。两个循环共享相同的原则，长视界任务改进可以分解为轨迹级审查和针对性修改，而元LLM可以自主执行这一工作流。

论文的核心创新点是将记忆管理作为一个独立可学习的技能，并通过元LLM自动化优化这一技能的两个互补轴，结构和熟练度。与以往将记忆作为固定架构模块的方法本质不同，本文让模型自己决定如何管理其记忆，并且所有记忆决策都是轨迹中可追踪的动作。最关键的创新是认识到一个足够强大的LLM，作为元LLM，可以审查代理的完整回合并识别记忆决策出错的地方，就像代码审查员阅读完整执行日志一样。这使得自动化记忆改进的两个轴都成为可能。另一个本质区别是记忆作为可分离技能的处理方式，论文使用两个模型实例，专门的记忆专家处理记忆操作，而游戏玩法模型提交世界动作。这种分离使得训练信号保持专注，并且基础模型产生良好格式化世界动作的能力得到完全保留。

方法步骤详情

方法包含两个外环循环，顺序执行。外环#1是脚手架优化器，首先元LLM读取完整回合轨迹，包括每步日志、产生的记忆目录和代理代码本身。然后元LLM识别脚手架导致失败的点，例如在NetHack中识别出无界地图文件累积了数千个重复坐标条目。接着元LLM修订代理脚手架，包括代码、提示词、文件模式和操作词汇。对于NetHack的例子，优化器引入了坐标键控的地图去重格式，使用专门的UPSERT_MAP操作来替换基于追加的地图记录。每次迭代都有测量改进作为门控，重写的代理使用与前一版本相同的固定种子进行游戏，只有当平均进展改善时才保留修订。在实践中，经过2到5次迭代后达到粗略收敛。外环#2是记忆熟练度优化器，首先元LLM读取内环代理代码以及来自许多随机回合的大量回合轨迹池。然后元LLM从代理代码要求模型的内容推导选择标准，并产生监督训练数据。训练集中的每个例子都是内环模型在回合过程中产生的逐字文本，元LLM的角色是选择要强化的响应。同时元LLM编排微调配置以吸收这些数据，包括数据选择逻辑、数据组成和LoRA训练配置作为联合决策。这些都在带有具体评估轨迹反馈的迭代试验中精炼。最后，使用专门的记忆专家作为LoRA微调副本进行训练，处理LOG例程和PLAN例程的记忆咨询部分，而游戏玩法模型保持未修改的基础状态提交世界动作。

技术新颖性

论文的技术新颖性体现在多个方面。首先，这是首次将认知科学中的元记忆概念具体化为LLM代理的优化目标，而非仅仅作为解释性视角或符号规则集。脚手架循环塑造记忆结构，训练循环强化模型的监控控制决策过程能力。其次，论文证明了记忆操作和任务决策在共享动作空间中的设计使得元LLM的轨迹级审查能够在实际任务环境中揭示冗长或冗余记忆的后果。第三，双重优化策略是新颖的，之前的工作通常只关注一个方面。第四，记忆作为可分离技能的处理方式允许LoRA微调的专门记忆专家与冻结的任务模型协同部署，这带来了训练信号保持专注和基础能力完全保留的好处。最后，论文在技术实现上使用文件系统作为记忆载体，提供了最大的决策空间，模型可以决定保留哪些文件、每个文件记录什么、何时查询、如何组织已知信息，而因为每个记忆决策都是轨迹中可追踪的动作，外环可以观察、评估和优化它。

**Figure 3**: Overview of AUTOMEM. Two automated outer loops optimize a shared inner-loop agent that uses the file system as its memory.

**Figure 5**: Example memory file evolution (NetHack). The base schema (v0) logs to an unbounded, append-only dungeon_map.txt that accumulates duplicate coordinate entries.

实验结果

论文在三个程序化生成的长视界游戏上进行了全面评估，证明了记忆管理是一个高杠杆的独立优化轴。使用Qwen2.5-32B-Instruct作为基础模型，仅优化记忆结构而不修改模型的任务动作权重，在所有三个环境中进展大约翻倍或翻三倍以上，Crafter从25.0%提升到47.27%，MiniHack从7.5%提升到27.5%，NetHack从0.42%提升到1.57%。经过脚手架优化的32B代理在所有三个游戏上大幅超越Qwen2.5-72B-Instruct，表明在长视界任务上良好结构化的外部记忆管理是比模型规模或上下文管理更高杠杆的轴。在优化脚手架之上训练记忆专家带来了进一步的提升，Crafter达到51.36%，MiniHack达到30.0%，NetHack达到1.85%。这两个优化轴协同工作，结构修订推动提示词和代理模式的天花板，熟练度训练则针对剩余的模型容量差距。实验还证明记忆操作和任务决策在共享动作空间中同时得到改进。在任务动作侧，无生产动作率在所有三个环境中下降32%到65%。在记忆侧，优化脚手架使记忆操作更高效、更有针对性，冗余记忆文件写入急剧下降68%到83%，空搜索率下降13%到50%，每步输入上下文压缩3%到30%。训练的记忆专家表现出一致的先查后写记忆纪律。在LOG阶段，记忆写入与搜索的比率在所有环境中下降，Crafter从0.84降到0.39，MiniHack从2.89降到0.82，NetHack从4.66降到1.31。

**Table 1**: Performance on long-horizon games from BALROG. AUTOMEM is built on Qwen2.5-32B-Instruct.

**Table 2**: LOG-phase memory writes per SEARCH on the evolved scaffold with baseline model vs. + trained memory specialist (lower = more retrieval before writing).

**Figure 1**: Memory skill optimization with Qwen2.5-32B-Instruct. Starting from a base agent equipped with file-system memory (v0), AUTOMEM progressively improves performance through memory scaffold optimization (v0–v5/v4/v2), followed by memory proficiency training (+train) that yields further gains on top of the optimized scaffold.

**Figure 2**: Long-horizon game environments for evaluating memory skills. All three environments are stochastic worlds, making each episode unique and minimizing the influence of pretraining knowledge.

**Figure 4**: Effect of scaffold optimization on gameplay and memory behavior (v0 →v5 for Crafter, v0 →v4 for MiniHack, v0 →v2 for NetHack).

**Figure 6**: Qualitative behavior across the two optimization stages. Each row is an environment; its three cells show the base scaffold v0, the evolved scaffold, and the + trained specialist on a representative evaluation episode.

查看结构化数据

任务	指标	本文	基线	提升
Crafter	进展率（百分比）	51.36加减3.81	25.00加减5.50基础agent	105.4%相对提升
Crafter	进展率（百分比）	51.36加减3.81	49.5加减3.1 Claude-Opus-4.5	可比性能
MiniHack	进展率（百分比）	30.00加减7.25	7.50加减4.16基础agent	300%相对提升
MiniHack	进展率（百分比）	30.00加减7.25	27.5加减7.1 Claude-Opus-4.5	可比性能
NetHack	进展率（百分比）	1.85加减0.44	0.42加减0.37基础agent	340%相对提升
NetHack	进展率（百分比）	1.85加减0.44	2.0加减0.5 Claude-Opus-4.5	接近水平
Crafter	无生产动作率下降	32%到65%	基础脚手架v0	显著降低
所有环境	冗余写入率下降	68%到83%	基础脚手架v0	大幅减少
所有环境	空搜索率下降	13%到50%	基础脚手架v0	检索更精确

局限与改进

作者承认了几个局限性。首先，论文研究的记忆是回合制的，文件系统在每个回合开始时都是全新的，自然的扩展是跨回合携带知识的持久记忆。其次，实验在游戏环境中进行，这非常适合研究记忆，但该方法也可以应用于真实的、记忆密集型任务。第三，由于三个游戏在结构和目标上不同，论文为每个环境优化了单独的脚手架和记忆专家，单个脚手架或专家是否可以跨环境共享仍有待探索。从独立分析的角度来看，还有几个潜在限制，论文使用的元LLM是专有的前沿模型，这可能限制了开源社区的复现和应用，训练记忆专家的LoRA配置优化依赖于元LLM的判断，这一过程的可解释性和可验证性有限，方法在NetHack上的绝对进展率仍然较低，虽然相对于基线有大幅提升，但距离人类水平仍有很大差距，论文没有提供计算成本分析，两个外环循环的迭代优化可能需要大量计算资源，此外，论文主要关注任务进展率这一单一指标，对于记忆效率、延迟等其他维度的评估相对有限。

独立分析的弱点

论文的第一个弱点是依赖于专有的前沿元LLM。脚手架优化器和训练引擎分别调用Claude Opus模型作为元LLM，这限制了开源社区的复现和应用。改进方向可以是开发开放的元优化模型或研究如何降低对元LLM能力的要求。第二个弱点是LoRA配置优化的可解释性有限。元LLM编排数据选择逻辑、数据组成和LoRA训练配置作为联合决策，但这一过程的内部决策逻辑不透明，难以验证其合理性。改进方向可以是引入更透明的配置搜索机制或提供人类可理解的决策理由。第三个弱点是方法在NetHack等复杂环境上的绝对进展率仍然较低。虽然相对于基线有340%的相对提升，但1.85%的绝对进展率距离人类水平仍有巨大差距。改进方向可以是在更复杂的记忆任务上进一步优化，或者探索结合其他代理能力的综合优化方法。第四个弱点是缺乏计算成本分析。两个外环循环的迭代优化可能需要大量计算资源，但论文没有提供详细的成本分析。改进方向可以是提供成本效益分析，或研究如何减少优化循环的计算需求。第五个弱点是评估指标相对单一。论文主要关注任务进展率，对于记忆效率、延迟、存储占用等其他维度的评估有限。改进方向可以是引入更全面的多维度评估框架。

未来方向

作者提出的未来工作方向包括扩展到持久记忆，使文件系统能够跨回合携带知识，将方法应用于真实世界的记忆密集型任务，而不仅限于游戏环境，探索单个脚手架或专家是否可以跨不同环境共享。基于论文成果，还可以延伸出多个研究方向，一是将双重优化策略应用于代理的其他能力，如推理、规划或决策，而不仅限于记忆管理，二是研究更复杂的记忆操作，如记忆压缩、记忆合并、跨回合记忆迁移等，三是探索多代理场景下的共享记忆优化，多个代理如何协调使用共同的外部记忆，四是研究记忆技能的迁移学习，在一个环境上优化的记忆专家如何迁移到新环境，五是开发自动化的记忆技能评估方法，不仅评估任务进展，还评估记忆决策的质量、效率和可解释性，六是探索实时记忆优化，在任务执行过程中动态调整记忆策略，而不仅限于回合级优化，七是研究记忆技能与推理技能的交互作用，记忆管理和推理决策如何相互影响和促进。

复现评估

论文提供了项目网站，但没有明确说明代码和数据的开源情况。从论文描述来看，实验使用的是公开的游戏环境和BALROG基准，这些环境都是开源可用的。基础模型Qwen2.5-32B-Instruct也是开放权重模型，可以通过vLLM本地部署。元LLM使用的是专有的Claude Opus模型，这可能限制了完全复现。论文在附录中提供了详细的超参数、提示词模板和实现细节，这有助于部分复现。从算力需求来看，内环代理执行长视界回合和两个外环循环的迭代优化可能需要大量计算资源，特别是如果需要在多个随机种子上进行评估。论文使用固定种子列表进行评估，Crafter 10个回合，MiniHack每个任务5个回合共40个，NetHack 5个回合。整体复现难度中等偏高，主要挑战在于对专有元LLM的依赖和计算资源需求。

AutoMem：记忆作为认知技能的自动化学习 AutoMem: Automated Learning of Memory as a Cognitive Skill