重新思考记忆:持续演化的连接性 Rethinking Memory as Continuously Evolving Connectivity
提出FluxMem框架,将智能体记忆建模为持续演化的异构图,通过三阶段进化机制动态优化记忆连接性
前置知识
智能体记忆
指AI智能体在长期任务执行过程中存储、检索和利用历史经验的机制。智能体记忆系统通常包括短期记忆、中期记忆和长期个人记忆等多个层次,用于保留事实信息、可重用的经验和技能,在遇到相似任务时检索相关记忆以支持下游问题解决和智能体演化。
本文的核心是重新设计智能体记忆机制,理解记忆的基本概念有助于把握FluxMem要解决的核心问题及其创新价值。
异构图
一种图结构,其中节点和边可以具有不同的类型。在FluxMem中,异构图包含三种节点类型(语义知识、情景经验、程序技能)和两种边类型(证据支持边、提取边)。这种结构允许表达复杂的层次化关系,不同层级的记忆单元通过特定类型的边相互连接。
FluxMem将记忆建模为三层异构图,理解异构图的概念对于理解FluxMem的架构设计和记忆连接机制至关重要。
闭环细化
一种迭代优化机制,通过执行反馈、失败归因和针对性编辑的循环来改进系统性能。在FluxMem中,当任务执行失败时,系统会分析失败原因是连接层面还是单元层面,然后对记忆图进行相应的拓扑编辑(如扩展缺失链接、修剪干扰连接、重塑单元内容),重复此过程直到任务成功或达到预设迭代次数。
闭环细化是FluxMem第二阶段反馈驱动细化的核心机制,理解这一概念有助于把握FluxMem如何实现动态适应性。
记忆巩固
认知科学中的概念,指短期记忆通过稳定化过程转化为长期记忆。在FluxMem中,长期巩固阶段将成功的任务轨迹聚类,提取共享的推理模式抽象为程序技能,并通过PEMS指标指导的迭代过程验证和优化这些技能,直到收敛。
记忆巩固是FluxMem第三阶段的核心,理解这一概念有助于理解FluxMem如何将分散的经验转化为稳定的可重用技能。
研究动机
现有内存增强的LLM智能体系统存在两个根本性缺陷。第一是记忆连接的自适应失败,它们依赖静态的、手工设计的管道,如Zep、Mem0、A-Mem、MemoryOS、Nemori、LightMem等方法,通过硬编码记忆操作假设刚性的设计。这种静态范式无法为多样化场景建立最优记忆结构,也无法基于环境反馈动态优化它们。这导致两类具体失败:记忆连接不准确,表现为欠连接(由于检索不精确遗漏关键链接)和过连接(无关关联被无差别检索引入噪声和幻觉);记忆单元内容不灵活,系统在单一预定义抽象级别表示记忆单元,当单元内容错位时,要么过于粗糙丢失关键执行细节,要么过于精细模糊高层结构模式,无法自适应整合新经验。第二是记忆连接巩固的失败,现有系统如AWM、Reasoning Bank等虽然保留任务轨迹,但将记忆视为孤立实例而非渐进式巩固,导致智能体重复重建相似关联而非内化持久结构模式。
本文的目标是本文提出FluxMem,一个连接性演化记忆框架,旨在解决静态记忆系统在动态智能体环境中的脆弱性。具体目标是将智能体记忆建模为动态可编辑的异构图,跨越语义、情景和程序三个层次,通过三阶段进化管道使记忆连接持续适应不断演变的任务需求。系统期望在长期推理、网络导航和通用助手任务等各类基准测试中实现最先进的性能,同时具备强大的适应性和泛化能力。
与已有工作不同的是,本文的独特切入点是从认知科学中汲取灵感,将记忆重新定义为长期沉积的记忆单元及其连接,通过环境交互持续塑造。与现有方法将记忆视为静态存储库不同,FluxMem将记忆视为自组织结构,其记忆单元和连接随时间持续适应和演化。这种动态视角使系统能够通过反馈驱动细化和长期巩固机制,自动调整记忆拓扑以适应不同任务需求,这是现有静态范式无法实现的。
核心方法
FluxMem将智能体记忆建模为动态可编辑的异构图G,其中节点集V包含三个功能层:语义知识层存储静态事实知识,情景经验层记录具体的状态-行动轨迹,程序技能层封装提取的推理模板。在任务q的每个时间步t,系统通过动态选择任务特定的节点子集构建局部子图,其中包含来自三个层的激活记忆节点,然后序列化为工作上下文支持推理。这种形式化将优化工作上下文等同于对局部子图进行针对性的拓扑编辑。
FluxMem的核心创新在于将记忆建模为持续演化的连接性而非静态存储,通过三阶段进化管道实现记忆的自适应优化。与现有方法依赖固定检索管道不同,FluxMem通过初始连接形成、反馈驱动细化和长期巩固三个顺序阶段,将脆弱的试探性链接逐步转化为鲁棒的、任务优化的回路。具体来说,第一阶段建立初步的跨层关联,第二阶段通过闭环机制迭代编辑子图拓扑以修复缺失链接、修剪干扰或调整抽象粒度,第三阶段将成功轨迹聚类为稳定的程序技能,通过PEMS指标监控收敛。这种动态演化机制使记忆网络能够自我组织成最优配置,这是与静态系统的本质区别。
方法步骤详情
FluxMem的执行流程包含三个顺序阶段。阶段一:初始连接形成。在时间步t,给定当前观测ot,系统首先通过混合相关性分数融合稠密嵌入相似度、稀疏词汇匹配和LLM验证,从语义层检索top-k节点实例化语义节点集,建立有向边将它们链接到当前步骤锚点。接着通过嵌入相似度从情景层查询k个最相关的过去情节,并通过遍历现有提取连接收集适用技能,形成所有连接的技能节点集。检索到的节点和边形成初始步级子图,序列化为初始上下文。阶段二:反馈驱动的连通性细化。收到执行反馈后,系统将推理失败归因为连接层面或单元层面缺陷,应用针对性编辑到子图。连接层面细化包括为欠连接执行链接扩展,识别语义邻近但未激活的节点并建立新任务中心边;为过连接执行链接修剪,识别干扰边并删除。单元层面细化包括为抽象粒度错位执行内容重塑,通过扩展或抽象冗余组件调整旧节点的内部内容,产生细化单元并更新局部子图。循环在执行成功或达到预设细化轮数T时终止。阶段三:长期连接巩固。任务完成后,轨迹作为情景节点提交。离线巩固时,系统首先基于语义轨迹相似性将情景节点分区为多个聚类,对每个聚类,LLM提取共享技能或推理模式抽象为新的程序技能节点。然后通过PEMS指导的迭代巩固过程验证和优化技能,每次迭代重新运行源episodes,计算程序演化成熟度得分,该得分融合平均成功率、技能文本token长度和版本间嵌入差异。基于执行结果,LLM直接重写低分技能修复逻辑错误或删除冗余内容,测试-得分-细化循环重复直到分数改进低于阈值。
技术新颖性
FluxMem的技术新颖性体现在多个层面。首先,它首次将智能体记忆形式化为动态演化的异构图结构,通过三层节点和两种边类型表达复杂的层次化记忆关联,这与现有的树状、金字塔状或层次结构有本质区别。其次,它提出了PEMS(程序演化成熟度得分)作为记忆可泛化性和演化成熟度的统一度量指标,用于监控离线巩固过程的收敛,这在现有记忆系统中未见报道。第三,它设计了三阶段进化管道,其中阶段二的闭环细化和阶段三的迭代巩固通过反馈机制实现了记忆的持续自我优化,这与现有静态管道形成鲜明对比。最后,它在技术细节上的创新包括混合相关性分数融合稠密、稀疏和LLM验证,以及基于反馈归因的针对性拓扑编辑机制,这些设计使系统能够在复杂动态环境中自适应调整记忆结构。
实验结果
FluxMem在三个基准测试上均取得了最先进性能,展现出强大的适应性和泛化能力。在LoCoMo基准测试上,使用GPT-4.1-mini主干模型,FluxMem达到95.06的平均LMJ得分,显著超过Full Context基线81.23和最强专用记忆系统EverMemOS 93.05。使用Qwen3-30B-A3B-2507-Instruct主干模型时,FluxMem保持高平均LMJ为93.44,而下一最佳Full Context基线下降到74.87,性能差距更加明显。在Mind2Web基准测试上,在无手动元素过滤的现实主义设置下,使用GPT-4.1-mini的FluxMem在Cross-Task场景中达到8.1的成功率,超过AWM基线3.6。使用Gemini-2.5-flash时,FluxMem在Cross-Task评估中达到更高成功率9.6,大幅优于AWM 5.6。在所有子类别和模型主干上,FluxMem一致产生最高的SSR和AF1分数。在GAIA基准测试上,使用Kimi K2时,FluxMem将平均成功率从52.12提升到64.85,实现12.73%的绝对提升。在高复杂度任务Level 3中,FluxMem达到53.85%的成功率(GPT-5-mini),有效匹配或超越更大的闭源智能体框架。消融实验显示,在LoCoMo数据集上,阶段二反馈驱动细化是最关键组件,对于GPT-4.1 mini,移除阶段二导致平均LMJ得分从95.06%下降到85.32%。在Mind2Web数据集上,阶段三长期巩固成为主要性能驱动因素,对于GPT-4.1-mini,移除阶段三导致第一子类别的成功率从8.1%大幅下降到3.2%。细化迭代分析显示,随着细化轮数T从0增加到5,性能持续单调提升,从T=0的85.32%平均分数到T=5的95.06%,在T=4和T=5之间观察到收益递减仅改进0.54%,表明智能体性能在接近最优证据路径时开始饱和。PEMS收敛分析显示,在LoCoMo数据集上,PEMS在前四个轮次内从0.072增加到0.158,并在第5轮稳定在0.159,表明记忆成熟度机制有效识别锚定节点何时达到稳定的知识表示状态。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LoCoMo长上下文推理 | 平均LMJ得分 | 95.06 | EverMemOS: 93.05, Full Context: 81.23 | 比EverMemOS提升2.01,比Full Context提升13.83 |
| LoCoMo长上下文推理(Qwen3-30B) | 平均LMJ得分 | 93.44 | Full Context: 74.87 | 提升18.57 |
| Mind2Web网络导航Cross-Task | 成功率(SR) | 8.1(GPT-4.1-mini), 9.6(Gemini-2.5-flash) | AWM: 3.6(GPT-4.1-mini), 5.6(Gemini-2.5-flash) | GPT-4.1-mini提升4.5,Gemini-2.5-flash提升4.0 |
| GAIA通用助手任务 | 平均成功率 | 64.85(Kimi K2) | Flash-Searcher: 52.12(Kimi K2) | 绝对提升12.73% |
| GAIA Level 3高复杂度任务 | 成功率 | 53.85(GPT-5-mini) | Flash-Searcher: 46.15(GPT-5-mini) | 提升7.70 |
局限与改进
作者承认了几个局限性。闭环操作的计算开销:阶段二和阶段三依赖迭代LLM调用进行上下文验证、拓扑编辑和技能归纳。当前评估优先考虑任务成功和收敛,但没有系统测量相关延迟、API成本或token消耗,这对实时或资源受限部署至关重要。静态基准协议:实验在预收集的静态数据集上进行,虽然多样化,但无法完全模拟连续、开放世界的分布偏移或流式环境,其中任务边界模糊且记忆衰减必须与演化一起主动管理。超参数敏感性:框架引入了几个控制阈值,如细化轮数T、PEMS收敛阈值、检索top-k。消融研究关注组件功效,但缺乏跨不同模型主干和高度异构域的全面敏感性分析。离线巩固调度:阶段三以周期批次离线执行。当前实验设置不评估动态调度策略或巩固频率与在线性能退化之间的权衡,这对实际终身智能体部署至关重要。此外,FluxMem在资源受限环境下的实用性可能受限,因为三阶段进化机制需要额外的计算开销和存储空间。系统的复杂性也增加了调试和维护的难度,在实际部署中可能需要工程优化。
独立分析的弱点
FluxMem存在几个潜在弱点。第一,计算开销和资源需求较高,阶段二的闭环细化和阶段三的迭代巩固都需要多次LLM调用,在实时或边缘设备部署场景中可能成为瓶颈,改进方向包括设计增量式细化和异步巩固机制,减少在线推理延迟。第二,超参数调优复杂,细化轮数T、PEMS收敛阈值、检索top-k等参数需要针对不同任务域和模型主干进行调整,改进方向包括开发自适应参数选择机制或元学习框架来自动优化这些超参数。第三,对长期记忆衰减机制关注不足,现有系统主要关注记忆的形成和巩固,但记忆的遗忘和衰退同样重要,特别是在开放世界环境中,改进方向包括引入记忆重要性评分和基于使用频率的自动遗忘机制。第四,缺乏对多模态记忆的系统性支持,虽然架构理论上可扩展到多模态,但当前实验主要关注文本场景,改进方向包括设计统一的多模态记忆表示和检索机制。第五,在线与离线阶段的权衡策略不足,阶段三的离线巩固频率与在线性能之间的平衡需要更深入的分析,改进方向包括设计动态调度策略根据任务负载和内存使用情况自适应调整巩固频率。
未来方向
作者提出的未来工作方向包括系统测量闭环操作的计算开销,特别是延迟、API成本和token消耗,这对实际部署至关重要。开发动态调度策略来平衡巩固频率与在线性能退化,这是终身智能体部署的关键。基于分析,额外的未来工作方向包括:设计自适应超参数优化机制,通过元学习或贝叶斯优化自动针对不同任务域调整T、PEMS阈值、top-k等参数。引入记忆衰减和遗忘机制,使系统能够主动管理记忆的生命周期,特别是在开放世界流式环境中。扩展到多模态记忆场景,支持图像、音频、视频等非文本记忆单元的表示、检索和演化。开发增量式和分布式记忆巩固机制,使系统能够在边缘设备上高效运行。研究记忆安全性和隐私保护,防止敏感信息在记忆演化过程中泄露。探索记忆与其他智能体能力的协同演化,如工具使用、任务规划、多智能体协作等。设计更鲁棒的记忆演化算法,能够处理对抗性攻击和错误反馈,提高系统在adversarial环境中的稳定性。
复现评估
论文中提到代码将在近期开源,这有助于复现。实验在三个公开基准上进行:LoCoMo提供1540个人工标注问题,覆盖841个单跳、282个多跳、321个时间推理和96个开放域问题,平均每个对话588轮次和16618个token;Mind2Web作为大规模通用网络智能体测试平台,包含来自137个真实世界网站的2350个开放任务,跨越31个域,平均页面大小1135个DOM元素,平均需要7.3个离散动作完成;GAIA评估跨越165个精选任务,包括53个Level 1任务、86个Level 2任务和26个Level 3任务。对于LoCoMo,所有基于检索的方法使用text-embedding-3-small模型生成嵌入,基线方法使用各自的商业API检索记忆上下文。对于Mind2Web,所有基线方法按照各自原生评估管道在离线协议下评估,使用GPT-4.1-mini和Gemini-2.5-flash作为基础模型。对于GAIA,所有方法每个任务运行一次。复现难度中等,需要访问相应的LLM API和基准测试数据集,但系统复杂性较高,调试和优化可能需要较多工程工作。论文提供了详细的实现细节和超参数设置,但缺乏完整的配置文件和预训练模型,这增加了复现的挑战性。
论文图表
这张图展示了静态记忆系统的失败场景,可能包含记忆检索不准确(欠连接和过连接)以及记忆单元内容不灵活导致智能体在任务执行中失败的示例,直观呈现了现有方法的局限性。
这张图对理解论文很重要,因为它直观地展示了FluxMem要解决的核心问题——静态记忆系统在动态智能体环境中的脆弱性,为后续方法动机提供了视觉化支持。
这个表格展示了GAIA基准测试上的评估结果,分为闭源智能体框架和开源智能体框架两组,比较了多种方法在不同模型上的平均成功率以及Level 1、Level 2、Level 3三个难度级别的性能。特别展示了FluxMem相对于Flash-Searcher基线的改进,用彩色箭头表示提升幅度。
这个表格对理解论文很重要,它提供了FluxMem在通用助手任务上的性能数据,特别是在高复杂度任务中的表现,证明了方法的泛化能力。