MAGMA：基于多图的智能体记忆架构

提出通过语义、时间、因果、实体四图正交表示的智能体记忆架构，实现意图感知的长期推理。

前置知识

Memory-Augmented Generation (MAG)

记忆增强生成是一种通过外部记忆模块扩展大语言模型上下文窗口的范式。与传统 RAG 不同，MAG 维护一个时变记忆 $M_t$，通过反馈循环 $o_t = LLM(q_t, Retrieve(q_t, M_t))$ 和 $M_{t+1} = Update(M_t, q_t, o_t)$ 持续演化，使智能体能积累知识、保持身份一致性并支持跨会话推理。

本文基于 MAG 范式，解决其内存结构单一、检索不精准的问题，是理解 MAGMA 的基础。

多关系图 (Multi-relational Graph)

多关系图是一种有向多重图 $G = (N, E)$，其中边集 $E$ 被划分为多个语义子空间。MAGMA 将边分为四类：时间边 $E_{temp}$（严格时间顺序）、因果边 $E_{causal}$（逻辑蕴含）、语义边 $E_{sem}$（概念相似性）和实体边 $E_{ent}$（对象恒常性）。每个节点 $n_i = \langle c_i, \tau_i, v_i, A_i \rangle$ 包含内容、时间戳、向量化表示和属性集合。

这是 MAGMA 的核心数据结构，理解正交关系如何解耦是掌握方法的关键。

意图感知路由 (Intent-Aware Routing)

意图感知路由通过查询分析将用户查询 $q$ 映射到意图类型 $T_q \in \{WHY, WHEN, ENTITY\}$，并据此调整检索策略。通过自适应权重向量 $w_{T_q}$，系统为不同意图分配边类型偏好，例如 $w_{causal}$ 在 WHY 查询中权重较高，分数函数 $S(n_j|n_i, q) = \exp(\lambda_1 \cdot \phi(type(e_{ij}), T_q) + \lambda_2 \cdot sim(\vec{n_j}, \vec{q}))$ 动态平衡结构对齐和语义亲和度。

这是 MAGMA 区别于静态检索的关键机制，理解意图如何引导图遍历对掌握查询过程至关重要。

Reciprocal Rank Fusion (RRF)

RRF 是一种融合多个检索结果的排名算法，公式为 $S_{anchor} = \sum_{m \in \{vec, key, time\}} \frac{1}{k + r_m(n)}$，其中 $r_m(n)$ 是在模态 $m$ 中的排名。RRF 不需要对原始分数进行归一化，对不同检索系统具有鲁棒性，MAGMA 用它来融合密集语义检索、稀疏关键词匹配和时间过滤三种信号，确定锚节点。

RRF 是 MAGMA 锚点识别的核心算法，理解它如何融合多信号是掌握检索流程的基础。

双流记忆演化 (Dual-stream Memory Evolution)

双流机制将内存更新分为快路径（突触摄取）和慢路径（异步整合）。快路径执行低延迟操作：事件分割、向量索引、更新时间主干（$n_{t-1} \rightarrow n_t}$），确保响应性；慢路径作为后台工作进程，分析局部邻域 $N(n_t)$，使用 LLM 推断潜在连接 $E_{new} = \Phi_{reason}(N(n_t), H_{history})$，构建高价值的因果和实体边。

这是 MAGMA 平衡响应性和推理深度的重要设计，理解双流如何协同工作对掌握系统性能关键。

研究动机

现有 Memory-Augmented Generation (MAG) 系统存在结构性缺陷：A-MEM 虽然采用 Zettelkasten 风格的记忆单元链接，但检索管道仍主要依赖语义嵌入相似度，忽略了时间、因果等关系；Nemori 引入了认知启发的情节分割，但记忆结构仍以叙事为主，缺乏对不同关系维度的显式建模。这些方法在超长对话（LoCoMo 平均长度 9K token，LongMemEval 超过 100K token）中表现不佳，导致上下文衰减、"迷失在中间"现象和令牌干扰。实验显示，Full Context 基准在 LoCoMo 上仅获得 0.481 的 LLM-as-a-Judge 分数，而 A-MEM 在对抗性问题上得分仅 0.616，说明现有方法在复杂推理场景下存在严重局限性。

本文的目标是本文目标是设计一个能显式建模语义、时间、因果和实体关系的智能体记忆架构，实现意图感知的检索控制。通过解耦记忆表示与检索逻辑，MAGMA 旨在提供透明的推理路径、细粒度的记忆选择控制，并提升查询意图与检索证据之间的对齐度。具体而言，系统需要在 LoCoMo 和 LongMemEval 等长期推理基准上超越现有最先进的记忆系统，同时降低检索延迟和令牌消耗，实现高效的长距离推理。

与已有工作不同的是，本文的独特切入角度是将智能体记忆建模为多关系图，并提出意图引导的图遍历作为检索机制。与 GraphRAG 等基于图的方法不同，MAGMA 不只是组织静态知识，而是动态构建正交关系视图；与 A-MEM 等语义检索方法不同，MAGMA 不是在平面向量空间中查找相似内容，而是根据查询意图在特定图视图中导航。这种设计使系统能够检索"发生了什么"（时间视图）、"为什么发生"（因果视图）和"涉及谁"（实体视图），从而支持更丰富的推理模式。

核心方法

MAGMA 整体思路是将智能体经历表示为多关系图，然后将检索问题转化为策略引导的图遍历。系统分为三层：查询处理层（意图分析、自适应拓扑检索、上下文合成器）、数据结构层（四个关系图 + 向量数据库）、写入/更新层（双流记忆演化）。核心直觉是：不同类型的问题需要访问不同的关系结构。例如，"为什么"查询应该优先遍历因果边，"何时"查询应该使用时间主干，"涉及谁"查询应该关注实体邻域。技术实现上，MAGMA 采用启发式束搜索进行图遍历，通过动态分数 $S(n_j|n_i, q)$ 平衡结构对齐和语义亲和度，最终通过图线性化生成连贯的叙事上下文。

核心创新点是四图正交表示 + 意图感知遍历。四图正交表示将每个记忆节点在语义、时间、因果、实体四个独立维度进行索引，避免了传统方法将所有信息纠缠在单一嵌入空间的问题。意图感知遍历通过 Intent-Aware Router 将查询映射到意图类型 $T_q$，并使用自适应权重向量 $w_{T_q}$ 动态调整边类型偏好。例如，对于 WHY 查询，系统会赋予 $w_{causal}$ 高权重（3.0-5.0），使遍历偏向因果边；对于 WHEN 查询，$w_{temporal}$ 权重增加（0.5-4.0），引导遍历遵循时间顺序。这种设计使检索机制与推理需求紧密对齐，避免了检索与意图不相关的信息。

方法步骤详情

MAGMA 的完整流程分为四步：(1) 查询分析与分解：系统分析原始查询 $q$，提取三种互补表示——意图分类 $T_q \in \{WHY, WHEN, ENTITY\}$、时间解析 $[\tau_s, \tau_e]$ 将相对表达式转换为绝对时间戳、表示提取同时生成密集嵌入 $\vec{q}$ 用于语义搜索和稀疏关键词 $q_{key}$ 用于精确匹配。(2) 多信号锚点识别：使用 RRF 融合密集语义检索、关键词匹配和时间过滤，确定锚节点集合 $S_{anchor} = TopK \sum_{m \in \{vec, key, time\}} \frac{1}{k + r_m(n)}$。(3) 自适应遍历策略：从锚点出发，使用启发式束搜索扩展上下文，计算动态转移分数 $S(n_j|n_i, q) = \exp(\lambda_1 \cdot \phi(type(e_{ij}), T_q) + \lambda_2 \cdot sim(\vec{n_j}, \vec{q}))$，其中结构对齐 $\phi(r, T_q) = w_{T_q}^\top \cdot 1_r$ 通过意图感知权重奖励特定边类型。每步保留 top-k 节点，应用衰减 $\gamma$ 累积分数，直到达到最大深度或预算。(4) 叙事合成与图线性化：将检索子图 $G_{sub}$ 转换为连贯上下文，包括拓扑排序（时间查询按 $\tau_i$ 排序，因果查询在 $E_{causal}$ 上应用拓扑排序）、上下文脚手架（每个节点序列化为包含时间戳、内容和引用 ID 的结构块）和显著性令牌预算化（基于相关性分数 $S(n_j|n_i, q)$ 动态分配预算，低显著性节点摘要为简洁代码）。最终生成的上下文 $C_{prompt} = \bigoplus_{n_i \in Sort(G_{sub})} [ n_i.content ]$。

技术新颖性

MAGMA 的技术新颖性体现在三个方面：(1) 正交关系解耦：首次在智能体记忆中明确分离语义、时间、因果、实体四个正交维度，避免了传统方法将所有信息纠缠在单一嵌入空间的问题，使系统能够在推理时选择最相关的视图。(2) 意图引导的策略检索：与静态查找不同，MAGMA 将检索表述为策略引导的图遍历，通过查询意图动态调整边类型偏好，使检索机制与推理需求对齐。转移分数 $S(n_j|n_i, q)$ 融合了结构对齐（$\phi$）和语义亲和度（$sim$），其中结构对齐函数 $\phi(r, T_q) = w_{T_q}^\top \cdot 1_r$ 使用意图感知权重 $w_{T_q}$ 动态奖励特定边类型。(3) 双流记忆演化：快路径（突触摄取）执行低延迟事件分割、向量索引、时间主干更新，确保响应性；慢路径（异步整合）作为后台工作进程，分析局部邻域 $N(n_t)$，使用 LLM 推断潜在连接 $E_{new} = \Phi_{reason}(N(n_t), H_{history})$，构建高价值的因果和实体边。这种设计平衡了短期响应性和长期推理深度，计算复杂度与边数和最大深度成线性关系。

**Figure 2**: Architectural Overview of MAGMA

**Figure 3**: Query process with adaptive hybrid retrieval pipeline

实验结果

MAGMA 在 LoCoMo 和 LongMemEval 基准上均取得了最先进的性能。在 LoCoMo 上，MAGMA 获得了 0.700 的整体 LLM-as-a-Judge 分数，显著超过 Full Context (0.481)、A-MEM (0.580)、MemoryOS (0.553) 和 Nemori (0.590)，相对提升幅度达 18.6% 到 45.5%。细分来看，MAGMA 在 Temporal 类别上得分 0.650，仅次于 Nemori (0.649)，在 Adversarial 类别上大幅领先（0.742 vs. 0.205-0.616），证明其在对抗性条件下的鲁棒性来自自适应遍历策略，该策略优先考虑因果和实体一致路径，避免语义相似但结构不相关的干扰。在 LongMemEval 上，MAGMA 达到 61.2% 的平均准确率，超过 Full Context (55.0%) 和 Nemori (56.2%)，表明其能有效泛化到超长交互历史（超过 100K token）。同时，MAGMA 在使用仅 0.7K-4.2K token 的情况下达到 83.9% 的准确率（single-session-assistant 任务），相比 Full Context 的 101K token 减少了超过 95%，证明了其高效的上下文压缩能力。系统效率方面，MAGMA 的平均查询延迟为 1.47 秒，比次优的 A-MEM 快约 40%，令牌消耗为 3.37K，在保持竞争性能的同时实现了最低延迟。消融实验显示，移除自适应策略导致 Judge 分数从 0.700 降至 0.637（下降 8.9%），说明意图感知路由至关重要；移除因果边或时间主干分别导致分数降至 0.644 和 0.647（下降约 8%），说明因果结构和时间排序提供互补的推理轴；移除实体边导致分数降至 0.666（下降 4.9%），说明实体边在维持对象恒常性和减少实体中心查询的幻觉中发挥作用。单图消融显示，仅因果图得分 0.590，仅时间图在时间问题上表现最佳（0.620），仅实体图得分最低（0.531），说明没有单一关系类型能恢复 MAGMA 的完整推理能力。

**Table 1**: Performance on the LoCoMo benchmark evaluated using the LLM-as-a-Judge metric

**Table 2**: Performance comparison on LongMemEval dataset across different question types

**Table 3**: System efficiency comparison with total memory build time, average token consumption per query, and average query latency

**Table 4**: Breakdown analysis on the performance impact of different schemes in MAGMA

**Table 5**: Single-graph ablation study on LoCoMo

**Table 8**: Case study for failure analysis comparing MAGMA against baselines across three reasoning types

**Table 10**: Quantitative Failure Analysis of Lexical Metrics

查看结构化数据

任务	指标	本文	基线	提升
LoCoMo - Overall	LLM-as-a-Judge	0.700	Nemori: 0.590	18.6% 相对提升
LoCoMo - Adversarial	LLM-as-a-Judge	0.742	Full Context: 0.205	262% 相对提升
LoCoMo - Temporal	LLM-as-a-Judge	0.650	MemoryOS: 0.422	54% 相对提升
LongMemEval - Average	Accuracy (%)	61.2%	Full Context: 55.0%	11.3% 绝对提升
LongMemEval - single-session-assistant	Accuracy (%)	83.9% (0.7K-4.2K tokens)	89.3% (101K tokens)	95%+ token 减少，仅损失 5.4% 准确率
系统效率 - Query Latency	Seconds	1.47	A-MEM: 2.26	35% 延迟降低

局限与改进

作者承认的主要局限性包括：(1) 图构建质量依赖底层 LLM 的推理保真度，异步整合过程中可能提取错误或缺失的关系，这些错误可能传播到下游检索。虽然 MAGMA 采用结构化提示和保守推理阈值来减少虚假链接，但问题仍未完全解决。(2) 多图基质可能引入额外的存储和工程复杂性，与平面向量存储系统相比，维护多个关系视图和双流处理需要更高的实现和内存开销，这可能限制在高度资源受限环境中的适用性。(3) 评估范围有限，现有智能体记忆系统包括 MAGMA 主要在长期对话和智能体基准（LoCoMo 和 LongMemEval）上评估，虽然这些基准有效强调时间和因果推理，但未覆盖智能体记忆可能需要的全部场景（如多模态智能体或异构观察流环境）。

独立分析的弱点

独立分析的弱点：(1) 构建因果依赖的计算成本高。慢路径需要 LLM 分析局部邻域 $N(n_t)$ 并推断潜在连接 $E_{new} = \Phi_{reason}(N(n_t), H_{history})$，对于大规模记忆系统这可能成为瓶颈。改进方向可以引入增量式因果推断，只在新事件与历史事件的特定交互模式出现时触发因果分析，或使用轻量级因果模型进行初步筛选，再由 LLM 精炼。(2) 锚点识别可能存在偏差。RRF 融合虽然对多种检索模态具有鲁棒性，但当密集语义检索、稀疏关键词匹配和时间过滤三种信号高度相关时，可能导致过度强调某些模态。改进方向可以引入信号多样性加权，降低冗余信号的贡献，或使用更高级的融合策略如学习到的融合权重。(3) 图线性化的拓扑排序可能丢失部分上下文。虽然系统根据查询意图选择排序策略，但复杂查询可能同时需要多种排序逻辑。改进方向可以引入混合排序，根据节点在不同排序中的位置动态调整其序列化权重，或生成多个候选线性化并由 LLM 选择最佳。

未来方向

未来研究方向：(1) 作者提出的扩展包括将 MAGMA 适配到其他场景，如多模态智能体或异构观察流环境，这可能需要额外的适配和校准。(2) 基于成果可延伸的方向包括：引入自适应边权重学习，根据检索反馈动态调整 $w_{T_q}$ 中的权重，使系统能够自我优化意图-边映射；探索层级记忆抽象，在原子事件之上构建情节级和主题级记忆节点，支持更粗粒度的推理；集成因果发现算法，自动从事件序列中推断因果结构，减少对 LLM 推理的依赖；研究跨会话实体一致性维护，解决长期交互中实体演化（如状态变化、关系变化）的跟踪问题。

复现评估

复现评估方面，MAGMA 已开源（https://github.com/FredJiang0324/MAGMA），提供了完整的模块化三层架构实现，抽象了物理存储后端，允许无缝替换存储实现（如内存数据结构 vs. 生产级图或向量数据库）。实验使用统一的基础模型（OpenAI gpt-4o-mini）和统一的评估框架（LLM-as-a-Judge，温度设置为 0.0），确保了公平比较。超参数已在 LoCoMo 基准上经验优化，包括嵌入模型（默认 all-MiniLM-L6-v2，可选 text-embedding-3-small）、维度（384/1536）、RRF 常数 k=60、最大深度 5 hops、最大节点数 200、结构系数 $\lambda_1=1.0$、语义系数 $\lambda_2=0.3-0.7$ 等。数据集为公开基准 LoCoMo（1,986 个样本，涵盖 5 个认知类别）和 LongMemEval（平均上下文长度超过 100K token）。算力需求适中，使用标准 GPU 即可运行，存储需求取决于记忆大小。整体而言，MAGMA 的复现难度中等，开源代码和详细配置为其他研究者在相同设置下验证结果提供了充分条件。

MAGMA：基于多图的智能体记忆架构 MAGMA: A Multi-Graph based Agentic Memory Architecture for AI Agents