通过元学习智能体记忆设计实现持续学习 Learning to Continually Learn via Meta-learning Agentic Memory Designs
用元智能体自动搜索最优记忆设计，取代人工设计，使智能体在多领域持续学习
前置知识
Foundation Model（基础模型）
经过大规模预训练的通用语言模型（如GPT系列），具备广泛的知识和推理能力。它们通过海量文本数据学习语言模式、世界知识和基本推理技能，可以作为下游任务的基础。然而，这些模型在推理时是无状态的——它们不会保留或积累与用户交互过程中获得的经验，每次推理都从零开始。这意味着当智能体系统使用基础模型作为推理引擎时，它无法从过去解决类似任务的经验中受益，必须反复重新学习。
理解基础模型的无状态特性是本文要解决的核心问题。正是因为基础模型无法积累经验，才需要设计外部记忆系统来弥补这一缺陷，使智能体能够持续学习。
Agentic System（智能体系统）
以基础模型为推理引擎的自主决策和任务执行系统。智能体能够感知环境、制定计划、执行动作并根据反馈调整行为。在本文中，智能体通过文本观察环境（如游戏描述），生成自然语言动作（如go to kitchen），并根据环境反馈（如任务完成、失败或中间状态）来学习。智能体系统在对话、编程、游戏等多个领域展现出强大能力。
本文的目标是改进智能体系统的记忆组件，使其能够持续学习。理解智能体系统的架构（感知-推理-行动循环）对于理解记忆设计如何与智能体交互至关重要。
Token-level Memory（令牌级记忆）
一种显式的记忆存储方式，将智能体与环境交互的经验以文本形式存储在外部数据库中。当智能体面临新任务时，它从数据库中检索相关信息作为上下文的一部分。这与参数记忆（将经验编码在模型权重中）和隐式记忆（将经验编码在隐藏状态中）形成对比。令牌级记忆的优势在于无需额外训练、可解释性强、且可跨任务迁移。
本文专注于令牌级记忆的学习，因为这种记忆形式评估速度快（无需额外训练）、记忆表示可解释、且便于在不同系统间迁移。理解这一记忆类型对于理解本文的方法选择和实验设计至关重要。
Open-ended Exploration（开放探索）
一种搜索策略，不是简单地选择当前最优方案进行优化，而是维护一个存档（archive）记录所有已探索的设计，并根据设计的性能和被采样次数的概率分布进行采样。这种策略允许中等性能的设计作为垫脚石，最终发现性能更优的创新设计。与贪心搜索（总是选择当前最优设计）不同，开放探索能够跳出局部最优，发现具有更高性能上限的设计。
开放探索是本文方法的核心创新之一。论文通过消融实验表明，开放探索相比贪心搜索能够发现性能更好的记忆设计。理解这一概念对于理解ALMA的学习过程和设计选择至关重要。
Meta Agent（元智能体）
一个由基础模型驱动的智能体，其任务是探索和设计新的记忆组件。元智能体能够反思已探索记忆设计的性能和日志，提出新的设计想法，通过代码生成实现这些想法，并评估新设计的性能。它本质上是一个学习如何学习的系统——不是直接学习任务策略，而是学习如何为下游智能体设计更好的记忆系统。
元智能体是ALMA框架的核心执行者。理解元智能体的工作流程（反思→规划→实现→评估）对于理解整个学习过程至关重要。
研究动机
基础模型在推理时是无状态的，这严重限制了智能体系统持续学习的能力。当智能体解决连续任务时，它无法积累和复用过去的经验，必须每次从零开始学习。虽然智能体系统通过引入记忆模块来解决这一问题，但现有的记忆设计大多是由人类手工设计的固定架构。由于不同领域对记忆设计的需求差异巨大——例如对话智能体需要记忆用户偏好和个人信息，而策略游戏需要提取抽象技能和策略——为每个领域手动设计最优记忆既困难又费力。以现有的人工设计记忆为例，ReasoningBank需要按任务提取经验，G-Memory需要构建分层图数据库，Dynamic Cheatsheet需要维护全局语义笔记本，每种设计都需要针对特定场景仔细定制。这种手工设计的方式限制了记忆系统适应真实世界任务多样性和非平稳性的能力。
本文的目标是本文的目标是开发一个自动化框架ALMA，通过元学习自动发现针对不同领域优化的记忆设计，从而最小化人工设计的努力，并使智能体系统能够在多样化领域中实现持续学习。具体而言，ALMA希望在四个顺序决策任务基准测试上，发现优于现有最先进人工设计记忆的记忆设计，并且这些设计能够跨不同基础模型迁移、随记忆规模有效扩展、并在计算成本上具有竞争力。
与已有工作不同的是，与已有工作相比，本文的独特视角在于将记忆设计的自动化学习从一次性优化转变为开放探索。虽然已有工作如ADAS和AgentSquare尝试通过代码搜索空间学习智能体组件，但它们主要评估智能体的一次性性能，而非持续学习能力。ALMA明确优化记忆设计促进从过去经验中持续学习的能力，从而发现更有效的记忆设计。此外，与并行工作MemEvolve相比，ALMA不依赖于大量现有手工设计记忆的初始化，也不使用贪心选择策略，而是采用开放探索模式，允许中等性能的设计作为垫脚石向最优设计演进。
核心方法
ALMA的核心思路可以类比为一个记忆设计师的进化过程。想象有一个由AI驱动的记忆设计师（元智能体），它不断审视前人设计的各种记忆系统，从中学习什么有效、什么无效，然后提出新的设计方案。这个过程类似于人类工程师在设计软件时的迭代改进，但ALMA将其自动化并赋予了开放探索的能力。技术路线上，ALMA首先将记忆设计表示为可执行的Python代码，利用代码的图灵完备性确保搜索空间理论上包含所有可能的记忆设计。然后，ALMA维护一个记忆设计存档，记录所有已探索的设计及其评估结果。元智能体从存档中采样先前探索的设计，反思它们的性能和交互日志，提出新的设计想法，通过代码生成实现这些想法，验证其正确性，并评估其在目标领域的性能。评估后的设计及其结果被添加回存档，供未来采样使用。整个过程迭代进行，直到达到最大探索步数。
ALMA与已有方法最本质的区别在于它采用开放探索而非贪心优化来搜索记忆设计空间。在贪心优化中，系统总是选择当前性能最好的设计进行改进，容易陷入局部最优。而ALMA采用类似进化算法的策略：它根据设计的性能和被采样次数的概率分布进行采样，允许中等性能的设计被探索和改进。这些中等性能的设计可能包含某些有价值的特性，经过适当的修改和组合，可能产生性能更优的新设计。论文中的实验表明，这种开放探索策略在ALFWorld上发现了性能更好的记忆设计（GPT-5-mini测试：87.1% vs 贪心搜索的77.1%）。另一个关键创新是将记忆设计表示为代码而非传统的参数化结构。这不仅因为代码的图灵完备性提供了理论上无限的搜索空间，还因为基础模型在预训练过程中已经积累了大量关于编程和智能体系统的知识，可以利用这些先验知识来生成有意义的代码。此外，代码表示的记忆设计具有良好的可解释性和可迁移性。
方法步骤详情
ALMA的学习过程可以分解为以下步骤：（1）初始化：创建一个空的记忆设计存档，以Python抽象类作为初始模板。抽象类定义了两个核心接口：general_update()用于在收集新交互后更新记忆，general_retrieve()用于在面对新任务时检索相关经验。每个记忆设计由多个子模块（Sub_memo_layer）组成，每个子模块可以拥有自己的数据库和更新/检索逻辑。（2）采样：从存档中采样最多五个先前探索的记忆设计。采样概率大致与设计的成功率成正比，与被采样次数成反比，从而优先探索高成功率但较少被采样的设计，同时保持所有设计被探索的可能性。（3）反思与规划：元智能体分析采样设计的源代码、评估日志和交互轨迹，提取成功和失败的模式，提出改进建议。这个过程包括学习过去建议的效果、评估当前轨迹中记忆项的相关性、以及基于分析提出具体的代码修改建议。（4）实现与调试：元智能体根据规划生成新的记忆设计代码，并进行试验运行。试验运行从学习集中随机采样5个任务（2个用于记忆收集阶段，3个用于部署阶段）。如果运行时错误发生，元智能体进行调试反思，最多迭代3次。（5）评估：新设计与固定智能体系统集成，在目标领域进行评估。评估分为两个阶段：记忆收集阶段（智能体在无记忆访问下与环境交互，收集轨迹用于更新记忆）和部署阶段（智能体从记忆中检索知识解决新任务）。学习时使用静态模式（记忆固定）以减少方差，测试时同时评估静态和动态模式。（6）存档更新：评估后的设计及其性能指标和交互日志被添加到存档，供未来采样使用。整个过程迭代进行11步，最终选择存档中性能最好的设计作为学习结果。
技术新颖性
ALMA的技术新颖性体现在多个层面。首先，它是第一个将开放探索引入记忆设计学习的框架。已有工作如MemEvolve依赖于大量现有手工设计记忆的初始化和贪心选择，而ALMA从零开始探索，允许中等性能的设计作为向最优设计演进的垫脚石。消融实验表明，开放探索在ALFWorld上比贪心搜索获得了更好的性能（GPT-5-nano: 12.4% vs 11.9%，GPT-5-mini: 87.1% vs 77.1%）。其次，ALMA采用代码作为搜索空间，并提供了模块化的抽象设计。与简单的端到端函数不同，ALMA的抽象允许记忆模块通过general_update()和general_retrieve()两个主要接口与智能体交互，每个接口可以协调多个子模块，子模块之间可以共享数据库，输出可以作为后续子模块的输入，支持分层和模块化的记忆设计。这种设计既保持了灵活性又提高了探索效率。第三，ALMA的元智能体具备自我调试能力。当新设计的代码出现运行时错误时，元智能体能够分析错误信息、识别根本原因并修复代码，最多迭代3次。这种自动调试机制大大提高了探索的成功率。第四，ALMA明确优化记忆设计促进持续学习的能力，而非一次性任务性能。评估指标是智能体在记忆收集阶段后对新任务的平均成功率，这直接衡量了记忆设计帮助智能体从经验中学习的能力。
实验结果
论文在四个顺序决策基准测试上进行了全面评估，包括ALFWorld（家庭环境中的具身任务）、TextWorld（文本冒险游戏）、Baba Is AI（策略解谜游戏）和MiniHack（程序生成的地牢探索）。实验结果表明，ALMA发现的记忆设计在所有基准测试上都优于所有人工设计的基线。在使用GPT-5-nano作为智能体基础模型的测试中，ALMA的学习记忆设计相比无记忆基线实现了6.2%的整体平均提升，达到12.3%的成功率，优于Trajectory Retrieval（8.6%）、ReasoningBank（7.5%）、Dynamic Cheatsheet（7.2%）和G-Memory（7.7%）。特别值得注意的是，当将基础模型从GPT-5-nano升级到更强大的GPT-5-mini时，ALMA学习的记忆设计展现出更强的性能提升：整体平均成功率达到53.9%，相比无记忆基线提升12.8%，而所有人工设计基线的提升幅度都低于此。这意味着ALMA学习的记忆设计能够为更强大的智能体系统提供更强的支持。在具体基准测试上，ALMA在ALFWorld上达到了87.1%的成功率（基线最高80.0%），在TextWorld上达到75.0%（基线最高68.8%），在Baba Is AI上达到33.3%（基线最高38.0%），在MiniHack上达到20.0%（基线最高16.7%）。论文还展示了学习过程的可视化，通过记忆设计存档树展示了开放探索的过程。树中的每个节点代表一个记忆设计，节点颜色表示成功率，边表示衍生关系。可视化显示，从根节点到最优设计的路径上存在多个中等性能的设计，这些设计作为垫脚石最终导致了最优设计的发现。在ALFWorld上，逐步学习过程中，历史最优性能从最初的约20%逐步提升到最终的27%，同时存档的平均性能也保持在有意义的水平。此外，论文还评估了记忆设计的可扩展性（随记忆收集任务数量增加的性能变化）、适应性（面对任务分布变化时的动态更新能力）和成本效率（端到端记忆成本）。结果显示，ALMA学习的记忆设计在数据有限时就能达到更高性能，并且随着数据量增加展现出更好的扩展性。在面对任务分布变化时，学习设计在ALFWorld上达到84.1%的成功率，优于所有基线。在成本效率方面，学习设计的端到端记忆成本仅为0.09美元，低于大多数人工设计基线。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld (GPT-5-nano) | Success Rate (%) | 12.4 ± 0.5 | G-Memory 7.6 ± 0.5 | +4.8% (相对于无记忆基线+9.5%) |
| TextWorld (GPT-5-nano) | Success Rate (%) | 6.2 ± 1.7 | ReasoningBank 5.3 ± 0.8 | +0.9% (相对于无记忆基线+0.8%) |
| Baba Is AI (GPT-5-nano) | Success Rate (%) | 19.0 ± 2.4 | Trajectory Retrieval 19.0 ± 6.3 | 持平 (相对于无记忆基线+9.5%) |
| MiniHack (GPT-5-nano) | Success Rate (%) | 11.7 ± 2.2 | ReasoningBank 9.8 ± 1.7 | +1.9% (相对于无记忆基线+5.0%) |
| ALFWorld (GPT-5-mini) | Success Rate (%) | 87.1 ± 1.4 | Trajectory Retrieval 80.0 ± 1.4 | +7.1% (相对于无记忆基线+19.5%) |
| TextWorld (GPT-5-mini) | Success Rate (%) | 75.0 ± 2.3 | G-Memory 68.8 ± 4.7 | +6.2% (相对于无记忆基线+14.5%) |
| Baba Is AI (GPT-5-mini) | Success Rate (%) | 33.3 ± 2.4 | Dynamic Cheatsheet 38.0 ± 6.3 | -4.7% (相对于无记忆基线+11.9%) |
| MiniHack (GPT-5-mini) | Success Rate (%) | 20.0 ± 2.9 | Trajectory Retrieval 16.7 ± 0.8 | +3.3% (相对于无记忆基线+5.0%) |
局限与改进
论文承认了几个重要的局限性。首先，当前的记忆设计是在预定义的学习集上学习的，而非动态地在面对新任务时在线学习。理想情况下，自适应持续学习器应该能够从动态数据中在线学习记忆设计，而无需分离学习和测试阶段。虽然ALMA有潜力支持在线学习，但由于计算预算限制，评估每个探索的记忆设计需要大量的轨迹，因此论文没有追求这种方法。其次，当前方法在代码空间中学习记忆设计，虽然有效，但其能力可能受到底层基础模型的限制。未来工作可以探索自动设计和训练具有原生记忆支持的新型基础模型架构。第三，由于演示了在代码空间中学习记忆设计，这种范式引入了独特的安全关切：学习到的组件可能会无意中引入偏离人类意图的行为。论文采取了明确的安全措施，包括在沙箱环境中验证和执行代码、限制访问范围、进行人工审查等，但随着系统规模扩大和部署，需要建立系统的检查机制。从实验结果来看，ALMA在某些基准测试上的提升并不一致，例如在TextWorld上（GPT-5-nano）的提升仅为0.8%，在Baba Is AI上与Trajectory Retrieval持平。这表明在某些领域，现有手工设计的记忆已经相当有效，或者ALMA的搜索空间可能限制了更优设计的发现。此外，论文使用GPT-5系列模型进行实验，这些模型的具体版本和性能可能随时间变化，影响结果的可复现性。
独立分析的弱点
从独立分析的角度，ALMA存在几个可以改进的弱点。首先，当前的评估框架将记忆收集阶段和部署阶段完全分离，这与真实世界的持续学习场景不符。在真实应用中，智能体需要在解决问题的同时不断更新和改进其记忆系统。一个可能的改进方向是开发在线学习机制，允许智能体在部署过程中动态调整记忆设计，例如通过轻量级的适应层或增量式架构搜索。其次，ALMA的搜索空间虽然理论上图灵完备，但实际搜索受限于提供的Python抽象类和工具。如果抽象类的设计不够通用，可能会限制某些创新记忆设计的发现。改进方向包括提供更灵活的底层原语（如可微分的记忆操作）或允许元智能体同时学习抽象类本身。第三，当前的元智能体在反思和规划阶段依赖于文本分析，这可能导致信息丢失。例如，交互日志被压缩为摘要形式，丢失了细节信息。改进方向是开发更结构化的日志表示，保留关键信息同时减少噪音。第四，ALMA的学习过程计算成本较高，每个设计需要执行完整的记忆收集和部署评估。改进方向包括开发快速近似评估方法（如只评估部分任务或使用代理指标）或采用贝叶斯优化等样本高效的搜索策略。第五，论文没有评估学习到的记忆设计在领域间的迁移能力。如果在ALFWorld上学习到的记忆设计能够部分应用于TextWorld，这将大大增强其实用价值。改进方向包括在学习过程中引入跨领域评估或开发可迁移的记忆设计模块。
未来方向
论文和后续研究可以从多个方向展开。作者提出的方向包括：（1）开发在线学习记忆设计的能力，使智能体能够在面对新任务时动态适应，无需分离学习和测试阶段；（2）探索自动设计和训练具有原生记忆支持的新型基础模型架构，超越当前在代码空间中学习的限制。基于论文成果可以延伸的方向包括：（1）将ALMA扩展到更多领域，如对话系统、代码生成、机器人控制等，验证其通用性；（2）开发多目标优化版本，在性能、效率、可解释性等多个目标之间寻找帕累托最优；（3）研究学习到的记忆设计的可解释性，提取跨领域的通用设计原则；（4）将ALMA与其他自动化设计方法结合，如自动设计智能体架构、工具集等，实现端到端的智能体系统优化；（5）开发安全机制，确保学习到的记忆设计不会引入有害行为，如提示注入攻击。
复现评估
论文的复现性评估如下。开源情况：论文提供了完整的代码，托管在GitHub（https://github.com/zksha/alma.git），包括学习过程、评估框架和基准测试设置。数据集：论文使用了四个公开的顺序决策基准测试（ALFWorld、TextWorld、Baba Is AI、MiniHack），其中后三个来自BALROG基准测试。ALFWorld有标准的训练/验证集划分，其他基准测试按照论文描述进行划分。算力需求：论文使用GPT-5系列模型（GPT-5、GPT-5-nano、GPT-5-mini）进行实验，这些是OpenAI的商业模型，需要API访问和相应的计算费用。学习过程进行了11步探索，发现43个记忆设计，每个设计需要执行完整的记忆收集和部署评估。复现难度：中等偏高。虽然代码开源且基准测试公开，但GPT-5系列模型的访问可能受限，且评估过程计算成本较高。此外，论文中的某些细节（如模型的具体版本、温度设置、采样策略）可能影响结果的精确复现。论文提供了详细的附录，包括伪代码、提示词模板和实验设置，有助于复现。
论文图表
