← 返回 2026-10-15

看见、维持与学习:多模态智能体记忆的演进 Seeing, Maintaining, and Learning: The Evolution of Multimodal Agent Memory

Minghao Guo, Qingyue Jiao, Xiujin Liu, Jianhong Pang, Ruimeng Yang, Naihao Xu, Liwei Che, Haochen Xue, Ziqi Wang, Xinying Cai, Jiaxuan Luo, Jiaxin Deng, Xuesong Ye, Jintao Qu, Wenyao Gao, Jingwen Gu, Chenyang Zhao, Shichun Liu, Guibin Zhang, Zefang Liu, Siyin Wang, Wujiang Xu, Danrui Li, Zeru Shi, Woongyeong Yeo, Shuang Liu, Wei-Chieh Huang, Weizhi Zhang, Tianyu Yang, Kangsan Kim, Yebowen Hu, Bowen Wen, Bowen Jiang, Haohao Su, Ming Yin, Sheldon Yu, Mian Zhang, Yuyan Chen, Hanrong Zhang, Kai Mei, Zihao Zhang, Mingyu Jin, Xi Zhu, Hengyi Wang, Tianxin Wei, Linyong Nan, Zhenwen Liang, Zhendong Chu, Ziqi Huang, Yongye Su, Sixun Dong, Shujian Liu, Kaiqu Liang, Jiaojiao Han, Zhaoye Fei, Kun Wang, Shihan Dou, Zhichun Guo, Xingjian Diao, Zeqi Gu, Heng Wang, Tao Feng, Cheng Qian, Hamid Palangi, Silei Xu, Xi Yun, Yi Zhu, Shilong Liu, Qingsong Wen, Sung Ju Hwang, Zuxuan Wu, Yu-Gang Jiang, Yiyu Shi, Dimitris N. Metaxas, Jiaxuan You, Julian McAuley, Mengdi Wang, Jiawei Han, Philip S. Yu, Ziyi Ye 📅 2026-10-14 👍 49 2026-11-11 18:30
基准评测 多模态智能体 智能体记忆 综述 自演化系统 记忆管理

以双轴框架梳理297个多模态记忆架构与82个基准,刻画记忆从形成、维护到自我演进的完整生命周期。

前置知识

RAG(检索增强生成)

将模型参数与外部可查询信息源分离,推理时检索相关证据拼入上下文,使模型能访问参数知识之外的信息。标准 RAG 只解决'如何访问已存储的信息',不规定智能体如何从自身经验形成记忆、如何长期维护、如何依据后续交互修订记忆。

本文的智能体记忆是对 RAG 的推广:从外部知识检索扩展为持久经验管理。理解 RAG 的能力边界,才能看懂 Axis II 为什么要把存储、访问与更新拆开分析,以及 T1/T2/T3 分层的出发点。

记忆与上下文的区别

上下文是当前暴露给模型的输入信息;记忆是超出产生它的那一步仍然持久存在、并影响后续推理/生成/规划/动作的经验衍生状态。看一次就丢弃的图像只是观察,被存储并可复用的检索图像才既是记忆条目又是上下文。

论文用这一区分界定收录范围(排除瞬时激活与一次性思维链),也是三层记忆管理中'持久变化'这一核心概念的判定基准。

多模态表示与视觉 token

图像、视频、音频经编码器转为特征向量或离散 token(视觉 token、声学特征、体素地图等),再经投影器或交叉注意力供语言模型消费。这类编码保留了感知与时空结构,但压缩通常不可逆,且绑定特定的模型接口(投影器/Q-Former/策略网络)。

Axis I 中'源保持'与'模态专属编码'两类表示都建立在其上;理解其有损性与模型绑定特性,才能明白记忆形成中'恢复力 vs 紧凑性'这一贯穿全文的核心权衡。

结构化记忆:场景图与知识图谱

把经验组织为可寻址的实体节点、属性、关系与时空链接(如 3D 场景图 ConceptGraphs、多分辨率时序知识图谱 WorldMM),支持图遍历、关系传播与字段级更新,而非把每条记忆当独立文本段做相似度检索。

语料统计显示 17 个 T3 自演化系统全部依赖显式表示——可定位、可单独修订的图节点/记录单元是策略能从反馈中被识别和修改的前提。

KV 缓存与潜在状态记忆

Transformer 推理时注意力的键值中间态(KV cache)可被有意保留并跨请求复用;更一般地,隐藏状态、记忆 token、快慢双速循环状态等连续向量可作为持久潜在记忆,经注意力或残差连接融入后续计算,免去重复编码原始观测。

它是 Axis I 第三族(内部化潜在记忆)的技术基础,也是第 6 节系统基础设施(前缀复用、卸载、恢复、失效)讨论的对象,连接了逻辑记忆与真实运行时。

LoRA 与参数化记忆

用低秩适配器等参数高效模块把经验写入权重:冻结主干,为每个视频或任务生成独立 LoRA(如 Frames2LoRA 由超网络一次前向生成视频适配器、VLA-Pro 维护可按相似度组合的任务适配器库),推理时影响输出而无需重放原始观测。

参数化记忆是 Axis I 上离源证据最远的一端,其不可检视、易干涉遗忘的特性直接支撑了论文'表示选择约束管理能力'的中心论点,也解释了为何纯参数系统中找不到 T3 自演化。

研究动机

基础模型驱动的智能体正从单轮预测走向跨越多会话、数小时乃至数周的长时程交互,后续决策依赖的不再是当前上下文,而是累积的经验与状态。文本智能体已有较成熟的记忆方案(MemGPT 的分层记忆、MemoryBank 的遗忘曲线、Reflexion 的语言化教训、Voyager 的技能库),但真实世界智能体要处理图像、长视频、语音、GUI 截图与具身 3D 观测:这些经验高维、连续、异构,无法像文本那样无损压缩成可直接编辑的记录。两个具体困难随之出现。形成阶段要决定记住什么、以什么粒度切分(一帧、一个事件、一条物体轨迹还是完整回合)、用什么形式保存(源媒体、特征、文本摘要、结构图、潜在状态还是参数)——每种选择都在保真、成本、可编辑性与可恢复性之间做交换。管理阶段则要在新证据不断到来时保持记忆有效:家庭机器人记住'马克杯在上层架子'后物品被移走,旧记忆若不更新就会误导动作;而同一经验常同时存于源图像、文本摘要、结构化状态等多重表示,跨表示的一致性维护让问题更难。现有系统各自为战,缺乏统一框架来回答'记什么、怎么表示、在哪里适应'。

本文的目标是本文要为多模态智能体记忆建立一个统一的分析框架,把分散在图像/文档、视频/视听流、音频/语音、GUI 交互和具身/3D 环境五个领域的工作纳入同一坐标系,回答两个耦合的问题:多模态经验如何形成并以何种表示供给下游推理(Axis I:形成与表示),以及经验累积时持久适应发生在哪里(Axis II:记忆管理)。在此框架上,论文构建了含 297 个记忆架构与 82 个基准记录的语料库,综合出可复用的设计原则——源保真与抽象的平衡、时间有效性与来源追踪、记忆使用需可恢复的证据支撑、管理策略随经验演化——并系统梳理系统基础设施(存储、调度、一致性)、评测覆盖缺口与未来方向,为这个快速膨胀的领域提供一张导航地图。

与已有工作不同的是,已有的智能体记忆综述多按来源、表示、功能、时间范围或操作对'记忆组件'做静态分类(如 Zhang et al. 2025e 面向文本 LLM 记忆、Hu et al. 2025b 面向基础模型记忆、Xia et al. 2026a 面向 VLM 记忆),或只覆盖多模态智能体的架构与基准清单(Xie et al. 2025)。本文的独特切入有三:其一,把分析单元从记忆组件换成'操作生命周期'——经验如何变成持久记忆、表示如何约束后续检索/修订/验证/撤销;其二,首次以'部署期持久变化的范围'划分管理层级,明确区分'记忆状态更新'与'管理策略演化'这两个文献中常被混用的概念,并给出形式化定义;其三,联合分析两轴,得到单轴分析看不到的语料级规律——例如部署期策略演化极其稀缺、且只出现在含显式表示的系统中,混合表示已成主流设计模式。

核心方法

直觉上,多模态记忆像一座图书馆:采购编目决定哪些资料进馆、以何种形态上架(原片、摘要还是缩微胶片),馆藏管理决定资料如何被借阅、修补、合并与淘汰,更进一步还能根据借阅反馈改进采购与管理制度本身。对应地,论文提出两轴框架。Axis I(形成与表示)按最终供给下游计算的表示(而非仅作索引的格式)把系统分为源保持/模态专属、交叉表示显式记忆、内部化潜在/参数记忆三族,外加作为系统级组合的混合/源链接架构。Axis II(记忆管理)按持久变化范围分三层:T1 静态记忆构建一次后只复用;T2 动态记忆以稳定策略更新记忆状态;T3 自演化记忆进一步用反馈更新管理策略本身。技术上,作者以此为编码手册对 297 个架构逐一标注(每个架构归入其支持的最高管理层级与表示类别),对 82 个基准标注六项共享能力与各模态专属能力,再通过马赛克图与 Pearson 残差做跨轴统计,并单独用一章把逻辑设计映射到物理存储、数据搬运、索引调度与一致性等系统机制。

核心创新是'以持久变化范围定义管理层级'的形式化。设 $M_t$ 为记忆状态、$\pi_t$ 为管理策略、$x_t$ 为当前经验、$f_t$ 为任务结果/验证器判断/用户反馈,T2 只执行 $M_{t+1} = U_{\pi_t}(M_t, x_t)$ 而保持 $\pi_t$ 稳定;T3 则追加 $\pi_{t+1} = E(\pi_t, f_t)$,让策略本身跨任务持久演化。这一区分切中文献的普遍混淆:更新检索键、改写技能描述、累计使用统计都只改变后续检索结果,策略的选择机制未变,属于 T2;只有反馈持久修改了可复用的规则、指令、工作流、程序或学习到的策略组件才算 T3。第二个关键思想是表示与管理联合分析:T2 要求记忆可编辑、可验证、可逆、更新可传播,T3 还要求策略可寻址、反馈可归因、修订持久且经验证——这些逐层递加的'表示需求'解释了一个 otherwise 费解的统计事实:纯潜在/参数记忆系统中找不到任何 T3 自演化系统。

方法步骤详情

论证分六步。第一步界定范围:记忆定义为'超出产生它的步骤仍持久存在并影响后续推理/生成/规划/动作的经验衍生状态',至少一种非文本模态参与其形成或使用,排除瞬时激活与一次性思维链。第二步按 Axis I 编码:源保持证据(PixelRAG 截图块、HippoMM 视听事件)、模态编码与几何状态(Flash-VStream 视频 token、DynaMem 体素地图)、感知到文本(Video-EM 事件记录、MIRIX 六类组件)、时空跨模态结构(ConceptGraphs 场景图、PolarMem 极化图)、持久潜在状态(TRAM 快慢循环状态、ReKV 视频 KV)、参数化记忆(Frames2LoRA 视频 LoRA、VLA-Pro 适配器库)。第三步按 Axis II 编码:T2 细分为更新、巩固、修订、重组、遗忘五种操作,T3 细分为写、维护、检索三类策略演化。第四步交叉分析:给出各层表示瓶颈与 297 架构的层×表示统计。第五步系统映射:存储驻留、数据搬运压缩、索引调度、物化写回、一致性协调。第六步评测审计:82 个基准按六共享维度加模态维度标注,统计覆盖缺口。

技术新颖性

新颖性体现在四点。第一,生命周期视角:此前综述以记忆类型或组件为分类单位,本文以'什么信息活到未来计算、适应发生在哪'为单位,使 MemGPT 式上下文管理、Voyager 式技能库、Reflexion 式反思记录能在同一坐标下比较(Table 3 显示本文是唯一同时覆盖五模态、四类表示与 T1–T3 全谱系的综述)。第二,T2/T3 边界的形式化与实证:把它变成可检验的结构性事实——297 个架构中仅 17 个(5.7%)达到 T3,且全部依赖显式表示,纯源保持与纯潜在/参数类别中一个都没有,把'自演化记忆很稀缺'从印象变成统计结论。第三,把系统基础设施纳入记忆理论:KV 驻留、前缀复用(RadixAttention、Preble、Mooncake)、物化与写回、跨层一致性通常属于模型服务文献,本文论证逻辑记忆与物理驻留必须区分——层间迁移不等于逻辑重组、缓存命中不等于记忆有效、物理淘汰不等于语义遗忘。第四,提出最小来源包、表示感知预算、生命周期感知评测(形成/维护/访问/使用四阶段)等可操作概念,直接指向后续系统与基准设计。

Two complementary axes of multimodal agent memory. Axis I, Formation and Representation, characterizes the memory representation supplied to downstream computation. Axis II, Memory Management, characterizes the scope of persistent change in memory state and management policy.
Figure 1: Two complementary axes of multimodal agent memory. Axis I, Formation and Representation, characterizes the memory representation supplied to downstream computation. Axis II, Memory Management, characterizes the scope of persistent change in memory state and management policy.
Taxonomy of multimodal agent memory along two complementary axes: Formation and Representation, and Memory Management.
Figure 5: Taxonomy of multimodal agent memory along two complementary axes: Formation and Representation, and Memory Management.
Representations in multimodal agent memory.
Figure 6: Representations in multimodal agent memory.
Progression across the three memory-management tiers. T1 Static Memory stores and reuses fixed memory. T2 Dynamic Memory updates memory through a stable policy. T3 Self-Evolving Memory updates memory through an evolving policy.
Figure 7: Progression across the three memory-management tiers. T1 Static Memory stores and reuses fixed memory. T2 Dynamic Memory updates memory through a stable policy. T3 Self-Evolving Memory updates memory through an evolving policy.
Systems realization and lifecycle of multimodal agent memory.
Figure 11: Systems realization and lifecycle of multimodal agent memory.

实验结果

语料统计给出三个结构性发现。其一,动态更新是绝对主流:297 个架构中 221 个(74.4%)在运行期更新状态或策略,其中 T2 动态记忆 204 个(68.7%)、T1 静态 76 个(25.6%),T3 自演化仅 17 个(5.7%)。其二,混合表示最普遍:139 个(46.8%)架构组合多种表示,为最大单一类别。其三,策略演化只发生在显式记忆上:17 个 T3 系统中 13 个是交叉表示显式系统、4 个是含显式组件的混合系统,纯源保持与纯潜在/参数类别均为零。基准审计(82 个)发现严重不均衡:长程证据 LE 78 个直接覆盖(95%)、跨模态证据 CE 44 个(54%)、状态变化 SC 38 个(46%)、记忆支撑动作 MA 33 个(40%),而不可答查询 UQ 仅 10 个(12%)、冲突记忆 CF 仅 7 个(8.5%),视频/GUI/具身家族对 CF 的直接覆盖率均为 0%。时间尺度从 M3-Bench 约半小时到 EgoMonth 的 20–120 天,但连续部署协议仍缺位;增长上具身与视频最陡,音频/语音最稀疏。

Representational bottlenecks across memory-management tiers: T1 concerns memory formation and access, T2 adds controlled memory-state change, and T3 adds policy evaluation and evolution.
Table 1: Representational bottlenecks across memory-management tiers: T1 concerns memory formation and access, T2 adds controlled memory-state change, and T3 adds policy evaluation and evolution.
Selected benchmarks and evaluation protocols for multimodal agent-memory research, grouped by evaluation setting.
Table 2: Selected benchmarks and evaluation protocols for multimodal agent-memory research, grouped by evaluation setting.
Comparison of our framework with related work on agent and multimodal memory.
Table 3: Comparison of our framework with related work on agent and multimodal memory.
Mosaic plot of representation types across management tiers for 297 multimodal memory architectures. Rectangle area and labels show counts. Colours encode Pearson residuals.
Figure 8: Mosaic plot of representation types across management tiers for 297 multimodal memory architectures. Rectangle area and labels show counts. Colours encode Pearson residuals.
T2 Dynamic Memory predominates across image, video, GUI, and embodied memory systems in our taxonomy.
Figure 9: T2 Dynamic Memory predominates across image, video, GUI, and embodied memory systems in our taxonomy.
Multimodal-agent memory architectures concentrate in T2 Dynamic Memory across modalities.
Figure 10: Multimodal-agent memory architectures concentrate in T2 Dynamic Memory across modalities.
Coverage of shared memory capabilities across selected evaluation resources.
Figure 12: Coverage of shared memory capabilities across selected evaluation resources.
查看结构化数据
任务指标本文基线提升
多模态记忆架构统一盘点 语料覆盖规模 297 个架构(Axis I 表示 × Axis II 层级双重标注)+ 82 个基准记录 Hu et al. 2025b、Xie et al. 2025、Du et al. 2025 等先前综述为定性分类,无统一量化语料 首个可量化、可复用的双轴生命周期分类语料库
记忆管理层级分布测量 各层级架构占比 T1 76 个(25.6%)/ T2 204 个(68.7%)/ T3 17 个(5.7%) 先前工作未区分'记忆状态更新'与'管理策略演化',无对应统计 首次量化部署期策略演化的稀缺性(仅 5.7%),确立自演化为核心缺口
表示类型 × 管理层级交叉分析 混合系统占比与 T3 系统表示构成 混合 139/297(46.8%);17 个 T3 中 13 个为显式交叉表示、4 个为含显式组件的混合,纯潜在/参数为 0 无先例(单轴分析在结构上无法观察到该模式) 揭示显式可寻址单元是策略演化的前提,为潜在/参数记忆指出'语义可寻址化'方向
基准能力覆盖审计 直接评估某能力的基准数占比 LE 78/82(95%)vs CF 7/82(8.5%)、UQ 10/82(12%)、MA 33/82(40%);CF 在视频/GUI/具身家族直接覆盖率为 0% 各基准论文只报告自身任务设定,无跨基准统一能力标注 系统定位冲突记忆、不可答查询、记忆支撑动作三大评测盲区,指出检索型任务覆盖远好于状态维护与冲突处理
长时程评测时间尺度梳理 评测覆盖的时间跨度 梳理出 M3-Bench(约 0.5 小时)→ StreamArena(小时级)→ EgoLife(1 周)→ EgoMonth(20–120 天)的梯度 此前长视频评测多停留在分钟级、且多为离线冻结式查询 指出评测与持久助手时标仍差数个量级,连续部署协议与资源预算约束缺位

局限与改进

作者坦承的局限:taxonomy 标注存在主观性,架构可能横跨多个类别(Figure 5 中代表系统同时出现在多类),每个架构只归入其'最高支持层级'会低估其低层能力;82 个基准是按'评估相关性'的筛选而非穷举,文本型协议(如 CarMem)仅作对照;音频/语音领域本身研究稀疏,相关结论外推性弱。我补充几点观察:第一,T2/T3 边界在边缘案例上依赖对'策略'的定义——SE-GA 通过 RL 更新 LoRA 策略组件算 T3,普通微调后部署的冻结策略算 T2,实践中这条线并不总是清晰,标注者间信度存疑;第二,纯统计的语料分析不运行任何系统,无法回答'哪种表示/层级在具体任务上更优',两轴框架是描述性地图而非预测性理论;第三,大量被引系统为 2026 年预印本、未经社区检验,5.7% 这类比例会随领域成熟快速变化;第四,'质量-资源前沿'只有定性讨论,缺少跨系统统一成本测量,第 6 节的各系统机制来自不同假设,其可组合性恰是作者自己承认的未解问题。

独立分析的弱点

独立分析的弱点与改进方向:(1)T3 的反馈归因是最大瓶颈——写入/合并/遗忘决策的后果延迟且跨模态显现(视觉写入的记忆被后来的文本指令证伪),任务级奖励无法定位该改哪个策略组件;改进方向是为记忆决策建立决策-结果追踪记录,做跨时间、跨模态的信用分配。(2)潜在与参数记忆不可寻址、不可验证、不可逆:更新可能波及无关知识且无法检视;改进方向是结构化潜在记忆(持久状态绑定可识别槽位/实体)与模块化适配器库(VLA-Pro 已示范按需组合)。(3)遗忘与验证存在结构性冲突:保留版本史利于纠错却妨碍删除——信息扩散到摘要、嵌入、图节点、参数后难以保证语义擦除(MemLeak 基准正测此点);改进方向是把遗忘定义为跨表示结果并给出可验证的完成边界。(4)评测与架构脱节:74.4% 的系统在运行期更新状态,却几乎没有基准验证部署反馈能否产生持久的策略改进;改进方向是四阶段生命周期协议加显式资源预算。(5)系统层保证不能组合:引用计数、删除位图等单点机制各有边界,跨源媒体/语义记录/索引/执行状态的原子发布与撤回传播仍是开放问题。

未来方向

作者提出的方向:为形成记忆定义'最小来源包'(记录记忆从哪来、如何产生、由什么证据支撑),把来源当作表示的一部分而非可选元数据;显式建模时间有效性(当前/历史/被取代/不确定等状态标记,而非仅靠时间戳);把策略演化从检索扩展到写入与维护(当前 T3 集中在检索,因反馈最直接);选择性证据保留(轻量来源常备,昂贵源证据只为高影响修订保留);评估策略更新时监控证据路径是否被削弱,防止'准确率不变但隐性失去视觉接地'的退化;表示感知的预算管理;治理遗忘(跨表示删除并协调与可逆性的张力);生命周期感知评测(gold 记忆点覆盖率、幻觉写入率、证据召回/精度、反事实移除检验记忆的因果作用);长时程资源感知评测(报告记忆尺寸/增长率、写入滞后、检索延迟,区分冷热缓存);真实部署协议(实时截止、感知损坏、跨用户隔离、持续世界变化);基础设施层为身份/版本/来源/兼容性/生命周期建立互操作契约(承接 MemOS、MemoryOS)。可延伸的:多智能体共享记忆的一致性与权限模型;被遗忘权在参数记忆中的实现;把 T3 形式化为推理时策略学习并与 test-time RL 建立联系。

复现评估

作为综述,复现成本极低:无训练、无算力需求,论文脚注给出 GitHub 组织 Seeing-Maintaining-Learning/multimodal-agent-memory-evolution 作为项目主页,297 架构与 82 基准的标注语料随 taxonomy 当前版本发布,读者可直接复用分类或在其上追加标注。理解门槛主要在广度——需熟悉 RAG、KV 缓存、LoRA、场景图、serving 系统等多领域概念,对单一方向研究者是很好的补课地图。若要复现其统计(马赛克图、层×表示分布),需按作者规则把每个架构归入'最高支持层级'与表示类别,这一步含人工判断,不同标注者在 T2/T3 边界案例上可能得到略不同的比例。被引系统中 MemGPT、Generative Agents、MemoryBank、Voyager、ConceptGraphs、DynaMem 等均有开源实现,可低成本体验 T1/T2 设计;但相当一部分 2026 年引用(TaskMem、H2-EMV、RRM 等 T3 代表)是预印本,代码与基准可得性需逐一核实,复现 T3 类系统的难度显著高于 T1/T2。

相似论文推荐