AI 海马体：我们距离人类记忆还有多远？ The AI Hippocampus: How Far are We From Human Memory?
系统综述大语言模型中的记忆机制，构建隐式/显式/智能体记忆三层分类体系
前置知识
隐式记忆（Implicit Memory）
隐式记忆指存储在 Transformer 模型参数内部的知识，类似于人类大脑的新皮层（neocortex）。这些知识通过预训练过程逐步学习并分布式地编码在模型权重中，包括世界知识、语言模式、事实关联等。典型例子是前馈网络（FFN）的键值记忆机制：每个 FFN 层可以看作一个键值存储，其中键向量对应可解释的文本模式，值向量在输出词汇表上诱导一个分布。研究表明，一个充分训练的 Transformer 每个参数可存储约 2 bit 的知识，接近理论上限。
理解隐式记忆是理解 LLM 如何存储和检索知识的基础，本文将其类比为人类新皮层，帮助读者建立整体框架。
显式记忆（Explicit Memory）
显式记忆是指存储在模型外部、可查询的结构化或非结构化知识表示，包括自由文本语料库、知识图谱、密集向量索引等。检索增强生成（RAG）是最典型的显式记忆系统：通过检索器从外部知识库中检索相关信息，拼接到输入中供生成器使用。显式记忆的优势在于支持动态更新、可扩展且可解释，避免了重新训练整个模型的高昂成本。其表达粒度从文档级到句子级不等，向量表示相比文本和图谱具有更好的语义理解、可扩展性和泛化能力。
显式记忆是当前 LLM 应用中最广泛使用的记忆范式，也是本文提出'AI 海马体'类比的核心支撑。
智能体记忆（Agentic Memory）
智能体记忆是面向自主智能体的持久化记忆系统，类比人类大脑的前额叶皮层（PFC）。它在 LLM 交互过程中维护持久状态，管理短期记忆（如上下文窗口中的信息、思维链中间步骤）和长期记忆（事实知识、历史轨迹、用户反馈、对话配置等）。智能体记忆支持跨会话的信息保留与检索，使智能体能够积累经验、持续学习并保持行为一致性。短期记忆受限于 Transformer 的上下文窗口长度，而长期记忆则通过外部存储系统实现，需要高效的检索机制来访问。
智能体记忆是当前 AI 从静态模型向动态交互系统演进的关键，理解它才能把握 LLM 应用的前沿方向。
联想记忆（Associative Memory）
联想记忆是心理学概念，指在两个之前不相关的特征或概念之间建立关联的能力，例如将电话号码与人名关联。在 Transformer 中，联想记忆以嵌入向量外积的形式存储在中间权重矩阵中。Hopfield 网络是经典的能量基联想记忆模型，现代 Hopfield 网络通过修正多项式能量函数加速能量衰减，使相同配置空间可存储更多记忆模式。研究表明 Transformer 的注意力块输出权重矩阵就是联想记忆的存储库，键-查询矩阵引导注意力到相关 token 上。
联想记忆是理解 Transformer 如何将输入映射到输出的核心机制，也是本文隐式记忆分析的重要组成部分。
知识编辑与遗忘（Knowledge Editing & Unlearning）
知识编辑旨在通过查询-响应对将新事实注入语言模型，而不进行完整的重训练。ROME 和 MEMIT 等方法通过因果追踪定位存储相关知识的中间层 MLP，然后修改这些层的权重来插入新关联。知识遗忘则是让模型移除有害或不正确的信息，同时保留其他有用知识。方法包括基于梯度的精确遗忘、两阶段系统性否定有害知识等。评估基准包括 KnowEdit（知识插入/修改/擦除）、MQuAKE（多跳推理）和 Eva-KELLM（多语言）。
知识编辑和遗忘是修改隐式记忆的核心技术，直接关系到 LLM 的可控性和安全性。
研究动机
随着大语言模型从静态预测器向能够持续学习和个性化推理的交互系统转变，记忆机制的整合已成为其架构和功能演进的核心主题。然而，现有的记忆研究综述存在明显局限：一些工作仅从人类记忆的角度进行类比（如 Khosla et al. 2023 关注 Hopfield 网络和神经图灵机），另一些专注于特定形式的记忆（如 Zhang et al. 2024d 仅关注 LLM 智能体的历史轨迹记忆，Jiang et al. 2024a 聚焦长期记忆）。这些综述都没有提供一个统一的视角来涵盖纯 LLM、基于 LLM 的智能体以及多模态模型中的记忆研究。此外，已有综述往往忽略了记忆在多模态环境中的整合——在视觉、语言、音频和动作模态之间保持一致性是关键挑战，但在现有文献中缺乏系统性梳理。
本文的目标是本文旨在提供一个全面且结构化的记忆机制综合分类体系，将分散在 LLM、智能体和多模态 LLM 中的记忆研究文献组织成一个连贯的整体框架。具体目标包括：（1）建立隐式记忆、显式记忆和智能体记忆三大范式的分类学；（2）为每个范式提供从基础概念到前沿进展的完整发展脉络；（3）将记忆研究从纯文本扩展到多模态环境；（4）通过实际基准评估不同记忆框架的性能；（5）识别关键研究方向和开放挑战，为记忆增强型 LLM 的发展提供指导。
与已有工作不同的是，本文的独特切入点在于提出了一个受人类大脑启发的统一类比框架：将隐式记忆对应新皮层（neocortex），显式记忆对应海马体系统（hippocampus），智能体记忆对应前额叶皮层（prefrontal cortex）。这一框架基于互补学习系统理论（Complementary Learning Systems theory），不同于以往综述仅关注单一维度。更重要的是，本文首次将记忆研究的覆盖范围从纯 LLM 扩展到 LLM 智能体再到多模态 LLM，涵盖了视觉、音频、视频和机器人等多模态场景。此外，本文不仅停留在文献梳理层面，还通过统一的实验评估框架对多个主流记忆框架（ChromaDB、LangChain、Haystack、LlamaIndex、Mem0、Zep）进行了系统性的性能对比，揭示了实际表现与官方文档之间的差距。
核心方法
本文是一篇综合性综述论文，其核心方法论是构建一个三层分类体系来组织和理解 LLM 中的记忆机制。论文采用了类比人类认知系统的框架来串联整个论述：想象大脑有三个关键区域协同工作——新皮层存储长期稳定的泛化知识（隐式记忆），海马体快速编码和索引特定事件的记忆（显式记忆），前额叶皮层作为执行控制中心协调工作记忆和目标导向规划（智能体记忆）。论文的技术路线是按照这三大范式逐层展开：首先深入分析 Transformer 参数内部的知识存储机制，然后讨论外部检索系统如何增强模型能力，接着探讨智能体如何在持久化交互中积累和利用记忆，最后将视野扩展到多模态环境中的记忆整合。每个范式下，论文都涵盖了表示形式、训练方法、修改技术和评估基准等完整的技术图景。
本文最核心的创新在于提出将互补学习系统理论（Complementary Learning Systems theory）作为理解 LLM 记忆的统一框架。该理论最初由 McClelland et al. 1995 提出，描述了人类大脑中新皮层和海马体的协同工作机制。本文将这一神经科学理论系统性地映射到 AI 系统中：隐式记忆（新皮层）通过缓慢学习和分布式存储来获取泛化知识，显式记忆（海马体）提供按需查询的索引来快速编码新信息，智能体记忆（前额叶皮层）负责工作记忆、目标规划和跨系统信息整合。这一类比不仅仅是概念上的映射，它还揭示了不同记忆范式之间的互补性——正如新皮层和海马体在人类记忆巩固过程中协同工作，隐式记忆和显式记忆在 LLM 中也需要相互配合。这种统一视角使得研究者能够跨越纯 LLM、智能体和多模态模型的边界，以连贯的方式理解和设计记忆系统。
方法步骤详情
作为综述论文，本文的方法步骤体现为文献组织和分析的系统流程。第一步是定义和分类：论文首先明确了隐式记忆、显式记忆和智能体记忆三大范式的定义边界，建立分类学。第二步是对每个范式进行深度剖析：对于隐式记忆，分析 FFN 的键值记忆机制、注意力头中的知识存储、知识电路中的信息流、记忆的缩放定律（如知识容量与模型大小的线性关系）以及联想记忆的能量基模型；对于显式记忆，从三种表示形式（自由文本、图谱、向量）出发，讨论预训练和微调阶段如何利用外部记忆，以及如何将隐式知识外部化；对于智能体记忆，从短期记忆（思维链、思维树、思维图、ReAct）和长期记忆（事实知识、历史轨迹、用户反馈、对话配置）两个维度展开。第三步是跨模态扩展：将记忆机制扩展到音频、视频、图像等多模态环境，讨论视频理解（物体级、动作级、通用级）、视频生成和机器人领域的记忆应用。第四步是实证评估：通过统一的基准测试框架对多个主流记忆框架进行性能对比。第五步是综合讨论：识别各范式的局限性、开放问题和未来研究方向。
技术新颖性
本文的技术新颖性体现在三个层面。首先，在分类框架上，以往综述要么按记忆形式（如 Du et al. 2025 按原子操作和表示类型分类），要么按应用场景（如 Zhang et al. 2024d 聚焦智能体）组织，而本文首次将神经科学的互补学习系统理论系统性地引入 LLM 记忆研究，建立了三个范式之间的逻辑联系和功能互补关系。其次，在覆盖范围上，本文是第一篇同时涵盖纯 LLM、LLM 智能体和多模态 LLM 记忆研究的综述，特别是将记忆机制从文本扩展到视觉、音频、视频和机器人等多模态场景，填补了多模态记忆研究综述的空白。第三，在实证贡献上，本文不仅停留在文献梳理，还提供了系统性的实验评估，在 LongMemEval 基准上对比了 ChromaDB、LangChain、Haystack、LlamaIndex、Mem0 和 Zep 等主流框架的实际表现，使用 Llama-3-8B-IT 和 GPT-4o-mini 作为推理引擎，从知识更新、多会话推理、单会话推理、时序推理等多个维度进行量化评估，揭示了各框架的优势和不足。
实验结果
本文作为综述论文，其核心发现体现在文献分析和实验评估两个方面。在隐式记忆方面，论文揭示了 Transformer 的知识容量缩放定律：一个充分训练的 Transformer 每个参数可存储约 2 bit 的知识（Allen-Zhu & Li 2024a），接近理论最大值；事实知识容量与模型大小呈线性关系，与训练轮次呈负指数关系（Lu et al. 2024），公式为 C = C* - alpha_E * exp(-beta_E * Epoch)；联想记忆的错误率与模型容量和训练样本数之间的关系遵循特定的缩放定律。在实验评估方面，论文在 LongMemEval_s_cleaned 数据集（2500 道问题）上对 7 个记忆框架进行了系统评估。使用 Llama-3-8B-IT 作为推理引擎时，LlamaIndex 表现最佳（整体正确率 64.6%），ChromaDB 次之（47.0%），Haystack 为 53.0%，Mem0 为 55.5%，而 LangChain 几乎完全失效（3.2%）。使用 GPT-4o-mini 时，LlamaIndex 达到 66.7%，Haystack 为 63.0%，ChromaDB 为 60.0%。一个关键发现是：最简单的 ChromaDB 框架表现意外地好，而许多更复杂的框架并未带来预期的性能提升。多会话推理任务对所有框架都是最具挑战性的，每个问题平均涉及 47 个会话、约 10 轮对话。在处理时间方面，Haystack 表现最佳（平均 1.00 秒/问题），ChromaDB 次之（6.41 秒），LlamaIndex 为 28.34 秒，而 Mem0 高达 2106.53 秒。在智能体记忆的专门评估中，RAM（基于外部反馈的持续改进记忆）在泛化能力和鲁棒性方面表现突出（泛化 52%，鲁棒性 54%），而标准 RAG 在可控性方面领先（54%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LongMemEval 多维问答（Llama3-8B-IT） | 整体正确率 | LlamaIndex 64.6% | 无记忆基线 0% | 从完全无法回答到 64.6% 正确率 |
| LongMemEval 多维问答（GPT-4o-mini） | 整体正确率 | LlamaIndex 66.7% | 无记忆基线 1.0% | 66.7 倍提升 |
| LongMemEval 多维问答（Llama3-8B-IT） | 平均处理时间（秒/问题） | Haystack 1.00s | Mem0 2106.53s | Haystack 比 Mem0 快 2100 倍以上 |
| 智能体记忆评估-泛化能力 | 正确率 | RAM 52% | ICL 20% | 提升 160% |
| 智能体记忆评估-鲁棒性 | 正确率 | RAM 54% | ICL 20% | 提升 170% |
| 联想记忆错误率缩放 | 错误率公式 | E(fq) ~ d^(-alpha+1) + T^(-1+1/alpha) | Kaplan et al. 2020 缩放定律 | 将嵌入维度 d 纳入容量衡量，更全面 |
局限与改进
本文作为综述论文存在以下局限性。首先，在评估框架方面，论文虽然对多个主流记忆框架进行了对比实验，但仅使用了 LongMemEval 一个基准数据集，且由于 Mem0、LangChain 和 Zep 处理时间过长，仅在 10% 的随机样本上进行了评估，这可能影响结果的统计可靠性。作者也承认，许多框架的实际表现与其官方文档声称的效果存在显著差异（如 Zep 的表现指标与原始研究 Rasmussen et al. 2025 的结果不一致），但未深入分析差异原因。其次，在覆盖范围方面，论文承认没有提供一个统一的评估框架来涵盖所有记忆类型，也没有提出一个整合各种记忆机制的统一平台或系统。第三，在隐式记忆研究方面，作者指出当前研究往往局限于特定任务（如关系三元组预测）或特定类型的知识（如事实、常识），结论的泛化性有待验证；知识电路探索因大量组件间消融实验而效率低下；知识遗忘存在无意中破坏相关知识的风险。第四，在多模态记忆方面，视觉 token 的高维度带来的计算挑战、多轮推理对长期记忆的需求、时序数据的时间依赖建模等核心问题仍未得到充分解决。
独立分析的弱点
本文有几个值得深入分析的弱点。第一，评估实验的深度不足：虽然论文提供了框架对比实验，但仅在单一数据集上进行，且每个框架的超参数调优情况不明确。在实际应用中，记忆框架的性能高度依赖于嵌入模型选择、分块策略、检索 top-K 值等配置，论文未进行消融研究来分离这些因素的影响。改进方向：应在多个多样化基准上进行评估，并系统性地调整每个框架的关键超参数。第二，对隐式记忆修改方法的讨论缺乏统一评价标准：论文讨论了增量训练、记忆编辑和知识遗忘三大类方法，但没有在统一基准上比较它们的效果。例如，ROME、MEMIT 和 KE 等编辑方法在可扩展性、精确性和副作用控制方面的权衡没有被量化分析。改进方向：应设计统一的评估协议，在相同的数据集和模型上比较不同编辑方法的编辑成功率、可移植性和局部性。第三，智能体记忆的评估仅涵盖四种简单的设置（ICL、RAG、RAM 和通用智能体），而没有覆盖论文中讨论的许多先进系统（如 MemGPT、Zep、Mem0）。改进方向：应将实验评估扩展到更多智能体记忆系统，并在更复杂的交互场景中进行测试。第四，论文对多模态记忆的讨论偏向文献罗列，缺乏深入的技术分析和统一的比较框架，使得读者难以判断不同方法的相对优劣。
未来方向
论文和基于论文成果可延伸的未来研究方向包括以下几个方面。第一，深入理解 Transformer 的内部机制：需要开发更有效和高效的计算框架来建模隐式记忆，特别是理解知识在不同组件间的流动机制（知识电路），以及如何在不进行大量消融实验的情况下高效探索这些机制。第二，长上下文处理能力的提升：RAG 能否真正解决长上下文的局限仍是一个开放问题。对于时间序列分析和时空数据科学等领域，历史序列极长，需要开发超越简单语义匹配的记忆检索机制来避免记忆过载。第三，动态记忆自适应：受人类学习策略（如递归检索和经验反思）启发，开发在推理过程中动态更新记忆的方法，如 RAM 框架所示的通过用户反馈持续更新记忆的范式。第四，多模态记忆的统一架构：针对视觉 token 高维性、多轮推理的长期记忆需求、时序数据的时间依赖建模等挑战，开发可扩展的、记忆高效的架构，支持连贯、自适应的多模态长期学习。第五，智能体记忆的通信学习：确保多智能体系统中自适应的网络结构和健壮的通信框架，以促进有效的记忆同步。
复现评估
作为综述论文，本文的可复现性主要体现在实验评估部分。论文提供了开源的综述网站（https://github.com/bigai-nlco/LLM-Memory-Survey），便于读者获取文献索引和分类信息。实验评估使用的 LongMemEval_s_cleaned 数据集来自官方 LongMemEval 基准，该基准包含 2500 道问题，覆盖知识更新、多会话推理、单会话推理和时序推理等维度。推理引擎使用了 Llama-3-8B-IT 和 GPT-4o-mini 两个模型，评估指标包括正确率和处理时间。复现难度方面，实验需要部署 7 个不同的记忆框架（ChromaDB、LangChain、Haystack、LlamaIndex、Mem0、Zep），每个框架都有不同的安装和配置要求，且部分框架的 API 版本可能已更新。Mem0 的本地版本和 Zep 的 API 版本在处理时间上差异巨大（Mem0 平均 2106 秒/问题），表明复现这些结果可能需要大量计算资源。总体而言，文献综述部分完全可复现（基于公开论文），实验评估部分需要中等到较高的计算资源和框架配置经验。
论文图表
