结构化情景事件记忆：面向长期交互的层次化记忆框架 Structured Episodic Event Memory
提出双层记忆架构SEEM，通过情景事件帧和图记忆解决LLM长期记忆的检索分散问题
前置知识
检索增强生成（RAG）
RAG是一种通过外部知识库补充大语言模型参数化知识的标准范式。系统将用户查询编码为向量，在预建的文档索引中检索最相关的文本片段，将其作为上下文输入给LLM生成回答。传统RAG依赖向量相似度（如余弦相似度）进行平坦检索，优点是实现简单高效，但缺点是无法捕捉文档间的结构化依赖关系，在需要多跳推理的任务中表现不佳。
SEEM正是为了解决传统RAG在长期交互场景下的'检索分散'问题而提出的，理解RAG的局限性是理解本文动机的关键。
认知框架理论（Frame Semantics）
由Charles Fillmore在1976年提出的语言学理论，认为人类理解事件时会激活特定的认知框架。每个框架包含一组语义角色（如施事者、受事者、时间、地点、原因、方式等），这些角色共同构成对事件的结构化理解。例如'购物事件'框架包含买家、卖家、商品、价格等角色槽位。该理论为SEEM的情景事件帧（EEF）设计提供了认知科学基础。
SEEM的EEF直接借鉴了框架语义学思想，将非结构化对话转化为多属性认知单元，这是方法论的核心理论依据。
情景记忆（Episodic Memory）
由Endel Tulving在1972年提出的记忆分类概念，区别于语义记忆。情景记忆是对特定时空背景下个人经历的记忆，包含'发生了什么、在哪里、什么时候、谁参与了'等情境化信息。例如'上周三我在公司会议上汇报了项目进展'就是一个情景记忆，而'汇报是一种工作沟通方式'则是语义记忆。情景记忆具有时间戳、空间锚点和情感色彩等特征。
SEEM的核心创新就是将LLM的长期记忆从语义层面升级到情景层面，通过保留事件的时空上下文来维持叙事连贯性。
知识图谱与四元组表示
知识图谱是一种以图结构组织知识的表示方式，节点代表实体，边代表实体间的关系。SEEM采用四元组(s, r, o, τ)的形式存储事实，其中s是主语实体，r是关系，o是宾语实体，τ是时间有效性标记。这种表示方式比纯文本更结构化，支持关系传播和图遍历等操作，能够高效地进行多跳推理。
SEEM的图记忆层（GML）使用四元组构建schema无关的知识图谱，这是实现关系推理和事实锚定的技术基础。
溯源指针（Provenance Pointers）
溯源指针是一种将抽象记忆单元链接回原始文本片段的机制。在SEEM中，每个提取的事件帧和关系四元组都通过溯源指针指向其来源的原始对话段落。这确保了即使记忆被高度压缩和结构化，系统仍然能够追溯到原始证据进行验证。在关联融合过程中，溯源指针会被聚合，使得单个融合帧可以指向多个相关源段落。
溯源指针是SEEM解决'检索分散'问题的关键机制，通过反向溯源扩展（RPE）可以将碎片化证据重构成完整叙事。
研究动机
当前LLM智能体的长期记忆系统面临严重的检索分散问题。传统RAG系统依赖向量相似度检索局部文本片段，虽然高效，但在复杂多跳推理任务中表现不佳，因为检索到的上下文往往是碎片化的，无法提供连贯的叙事结构。例如，当用户询问'Melanie读了Caroline推荐的哪本书？'时，答案可能分散在多个对话轮次中，传统RAG只能检索到包含'Melanie'或'书'的片段，而无法将推荐行为和阅读行为关联起来。GraphRAG和Mem0等方法尝试用图数据库组织信息，但它们将语义内容绑定到固定图结构或预定义模式，限制了记忆随新知识到达而动态重组的能力。此外，HippoRAG 2等方法虽然引入了图算法，但仍缺乏对情景维度（时间、因果、参与者）的统一表示。这些系统在处理跨越32个会话、平均16k tokens的长期交互时，往往无法保持事实一致性和叙事连贯性。
本文的目标是本文旨在构建一个层次化的记忆框架SEEM，通过将连续交互流转化为结构化的情景事件帧和关系图谱，解决长期交互中的检索分散问题。具体目标包括：在LoCoMo基准上超越现有最佳方法HippoRAG 2的F1分数（58.3%）和LLM-as-a-Judge分数（76.2%）；在LongMemEval基准上提升准确率超过60%；证明框架在小参数模型（如7B模型）上同样有效；实现增量构建场景下的稳定性能。最终目标是让LLM智能体能够像人类一样，在长期交互中保持叙事连贯性和逻辑一致性。
与已有工作不同的是，本文的独特切入角度在于将认知科学的情景记忆理论与工程化的图表示学习相结合。现有方法要么依赖纯向量检索（丧失结构信息），要么使用固定图结构（丧失灵活性），而SEEM提出了双层互补架构：情景记忆层（EML）捕捉动态叙事进展，图记忆层（GML）组织静态事实关系。关键创新是引入了反向溯源扩展（RPE）机制——当检索到任何事件片段时，通过聚合的溯源指针扩展到所有相关文本支撑，确保激活一个事件片段就能获得完整上下文。这种设计填补了从认知框架到工程实现之间的空白，使得抽象记忆单元既能保持结构化语义，又能追溯到原始证据。
核心方法
SEEM的总体思路可以用'图书馆索引系统'来类比：传统RAG像在图书馆里用关键词搜索卡片目录，只能找到零散的书页；而SEEM像一个智能图书馆系统，既有按主题分类的书架（图记忆层），又有按时间线组织的读书笔记（情景记忆层），还有完整的借阅记录（溯源指针）。技术路线分为四个阶段：首先，对每个对话段落提取情景事件帧（EEF），将其分解为参与者、动作、时间、地点、原因、方式等语义角色；其次，通过关联融合机制合并相关事件帧，减少碎片化；同时，从对话中提取关系四元组构建图记忆；最后，在推理阶段通过混合检索和反向溯源扩展，将图记忆的事实基础与情景记忆的叙事细节整合，生成连贯的回答。
SEEM的核心创新在于'双层互补记忆+溯源锚定'的设计理念。与已有方法的本质区别体现在三个方面：第一，结构分化——现有系统（如GraphRAG）将高层主题摘要和细粒度事实混在一起，而SEEM明确分离了动态情景层和静态图层，让每层专注于不同类型的信息；第二，溯源保持——现有方法在记忆压缩过程中丢失了与原始文本的链接，而SEEM通过溯源指针确保每个抽象记忆单元都能追溯到原始证据，这使得反向溯源扩展成为可能；第三，认知启发——SEEM不是简单的工程堆砌，而是基于认知框架理论设计EEF结构，使其符合人类理解事件的认知模式。这种设计使得系统在激活任何事件片段时，都能通过聚合的溯源指针扩展到所有相关文本支撑，从根本上解决了检索分散问题。
方法步骤详情
SEEM的方法包含以下完整步骤：（1）情景事件帧提取：对每个对话段落p_t，使用LLM代理F_ext解析为结构化事件帧e_t，包含摘要v_sum、参与者v_par、动作v_act、时间v_tmp、地点v_spa、原因v_cau、方式v_man和溯源指针ρ_eml^t。（2）关联融合：当生成新帧e_t时，检索最相关的历史帧e_prev，通过LLM判断器F_judge判断是否属于同一事件（δ_t=1表示相似），若是则由融合代理F_fuse合并两帧属性并聚合溯源指针。（3）图记忆构建：从每个段落提取关系四元组K_t = {(s, r, o, τ)}，合并超过向量相似度阈值的节点，通过溯源指针链接到源段落。（4）关系传播检索：从查询中提取结构化四元组，通过余弦相似度在GML中检索最相关事实形成种子集K_top，执行传播算法扩展到相关段落P_ret。（5）反向溯源扩展：检索与初始段落关联的事件帧E_ret，通过聚合的溯源指针扩展证据集P_final = P_ret ∪ ∪_{e∈E_ret} ρ_eml(e)。（6）上下文合成：将扩展段落、事件帧和关系事实序列化为最终推理上下文C，由LLM生成回答。
技术新颖性
SEEM的技术新颖性体现在多个层面。首先，双层记忆架构的设计打破了现有系统'单层扁平存储'的范式，GML和EML的平均语义相似度仅为0.46（见Table 12），证明两层确实捕获了互补的语义维度。其次，反向溯源扩展（RPE）机制是全新的检索策略，传统方法是'查询→检索→回答'的单向流程，而RPE实现了'片段→帧→所有相关证据'的反向扩展，确保检索到的上下文是完整的。第三，情景事件帧的设计融合了认知框架理论和现代NLP技术，每个帧不仅包含语义角色，还通过溯源指针保持与原始文本的链接，这在现有工作中是独一无二的。第四，关联融合机制通过动态判断和合并相关事件，将记忆单元数量减少了约32%（从629个段落压缩到478个记忆帧），提高了检索密度。
实验结果
SEEM在两个主流基准上取得了显著优于现有方法的性能。在LoCoMo基准上，SEEM的F1分数达到61.1%，超过最佳基线HippoRAG 2的58.3%，提升2.8个百分点；LLM-as-a-Judge分数达到78.0%，超过HippoRAG 2的76.2%，提升1.5个百分点。在更具挑战性的LongMemEval基准上，SEEM的准确率达到65.0%，相比HippoRAG 2的60.6%实现了4.4个百分点的绝对提升。值得注意的是，SEEM在语义一致性指标（J和Acc.）上的提升更为显著，表明其不仅检索到相关文本，还能重建底层叙事逻辑。在按问题类别的细分分析中，SEEM在5个类别中的4个表现最佳：单跳推理（58.2% F1 vs 54.2%）、时间推理（54.6% vs 53.4%）、多跳推理（32.3% vs 31.9%）和对抗性推理（96.9% vs 94.2%）。在开放域类别上（26.6% vs 34.7%）表现较弱，说明对于缺乏具体叙事锚点的查询，纯图检索可能更高效。跨模型验证显示，即使使用7B参数的Pangu-Embedded-7B模型，SEEM仍能超越所有基线，在LoCoMo上F1达到48.6%（vs HippoRAG 2的44.6%），证明其模型无关性和参数效率。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LoCoMo 长期对话理解 | F1 | 61.1% | 58.3% (HippoRAG 2) | +2.8% |
| LoCoMo 长期对话理解 | LLM-as-a-Judge | 78.0% | 76.2% (HippoRAG 2) | +1.5% |
| LoCoMo 长期对话理解 | BLEU-1 | 56.1% | 53.8% (HippoRAG 2) | +2.3% |
| LongMemEval 记忆评估 | Accuracy | 65.0% | 60.6% (HippoRAG 2) | +4.4% |
| LoCoMo (7B模型) | F1 | 48.6% | 44.6% (HippoRAG 2) | +4.0% |
| LoCoMo (GPT-OSS-120B) | F1 | 55.7% | 50.2% (HippoRAG 2) | +5.5% |
局限与改进
论文坦诚地指出了SEEM的几个局限性。首先，计算效率是一个主要问题：系统严重依赖LLM进行帧提取和关联融合，相比标准向量检索增加了延迟和token成本。在实际部署中，处理一个包含629个段落的数据集需要生成478个记忆帧，每个帧都需要LLM调用，这在高频交互场景下可能成为瓶颈。其次，错误传播风险：初始LLM提取或融合阶段的错误会永久损坏结构化记忆存储，因为错误的帧一旦融合就会污染后续检索。第三，框架依赖预定义的语义槽位（参与者、动作、时间等）来表示事件帧，这可能限制了捕获不适合标准认知框架定义的抽象信息的能力。此外，论文未充分讨论在流式增量构建场景下的计算开销，虽然Table 9显示性能稳定，但未报告增量模式下的处理延迟。从实验设计角度看，开放域类别的性能下降（26.6% vs HippoRAG 2的34.7%）表明框架在处理缺乏明确叙事锚点的查询时存在结构性弱点。
独立分析的弱点
基于独立分析，SEEM存在以下几个值得改进的弱点。第一，帧提取的粒度控制问题：当前系统对每个对话段落独立提取事件帧，但在实际对话中，一个完整事件可能跨越多个段落（如'计划-执行-反馈'序列），而关联融合机制的判断标准（δ_t=1表示相似）过于粗糙，可能错误合并语义相关但逻辑独立的事件。改进方向是引入层次化事件检测，先识别事件边界再提取帧。第二，图记忆的schema无关性虽然灵活，但也导致图结构稀疏（平均每个叙事分区1525.8个实体、2233.7个事实），增加了关系传播的计算复杂度。可以考虑引入轻量级schema约束来平衡灵活性和效率。第三，RPE的扩展策略是'扩展到所有相关段落'，但'相关'的定义仅基于溯源指针的聚合，未考虑段落与当前查询的实际语义相关性，可能导致检索到过多噪声。建议引入基于查询的过滤机制。第四，增量构建场景下（Table 9），F1从61.1%降至60.6%，虽然下降幅度小，但未分析下降原因，可能是关联融合在增量模式下未能充分利用全局信息。
未来方向
基于SEEM的成果，可以延伸以下研究方向。第一，多模态情景记忆：当前框架仅处理文本交互，但实际智能体交互常包含图像、语音等多模态信息。可以将EEF扩展为多模态事件帧，通过视觉-语言对齐技术整合图像描述和视觉特征。第二，自适应记忆压缩：SEEM的融合比例约为1.32:1（629段落→478帧），但这个比例是固定的。可以设计动态压缩策略，根据查询频率和重要性分数自适应地调整记忆粒度。第三，跨会话知识迁移：当前实验在单个用户会话内进行，但实际场景中智能体需要在多个用户间迁移知识。可以研究如何构建共享的情景记忆池，同时保护用户隐私。第四，实时流式处理优化：论文展示了增量构建的稳定性，但未探索实时流式处理的效率。可以引入增量图更新算法和在线帧融合策略，降低延迟。第五，可解释性增强：SEEM的溯源指针天然支持可解释性，可以开发可视化工具展示推理路径和证据链。
复现评估
从复现角度看，SEEM的复现条件较为明确但门槛较高。代码和数据方面，论文使用了两个公开基准：LoCoMo（包含32个会话、平均16k tokens的长期对话）和LongMemEval（500个手工标注问题），这些数据集可公开获取。算力需求方面，主要实验使用Qwen3-Next-80B-A3B-Instruct作为骨干模型，这是一个80B参数的模型，需要高端GPU集群；但论文同时验证了7B模型的有效性，使得资源有限的研究者也能复现核心结果。复现难度中等，因为框架涉及多个LLM调用（帧提取、关联融合、事实提取、答案生成），需要精心设计prompt（论文在附录C中提供了完整prompt模板）。关键复现步骤包括：实现EEF提取器、构建GML索引、实现关联融合逻辑、以及RPE检索机制。论文未开源代码，但详细的算法描述和prompt模板降低了复现难度。建议复现者先用7B模型验证核心流程，再扩展到更大模型。
论文图表
该图展示了一个具体的融合EEF实例。摘要描述了Joanna询问Nate拥有多久，Nate回答三年（约2019年1月至今）。下方展示了两个结构化事件：Event 1（参与者Joanna，动作询问，时间2022年1月23日下午2:01，原因表达好奇）和Event 2（参与者Nate，动作陈述，时间2019年1月至2022年1月23日，原因回答问题）。
该示例直观展示了EEF的结构化表示，包括多属性分解（参与者、动作、时间、原因、方式）和时间解析能力（从'三年'推断出具体起始时间），是理解EEF设计的关键。
该图展示了Fext代理使用的结构化prompt，要求LLM分析单个对话轮次，识别不同事件，提取参与者、动作、时间、地点、原因、方式等属性。包含核心ference解析、去冗余等指导原则，输出严格的JSON格式。
该prompt是SEEM实现的关键技术细节，展示了如何将认知框架理论工程化为可执行的LLM指令。
该图展示了Ffuse代理使用的prompt，定义了事件整合策略（LESS合并、EQUAL保持、GREATER揭示新关系），包含保守合并原则、实体对齐、冲突解决、摘要合成等详细指导，以及时间信息处理规则。
该prompt展示了关联融合机制的工程实现细节，特别是如何处理时间冲突和实体对齐等关键问题。
该图展示了最终推理阶段使用的prompt，包含三个输入部分：原始段落（最可信证据）、情景记忆摘要（高信号参考）、相关事实（可选的高信号四元组）。定义了证据优先级策略：原始段落优先，冲突时以原始段落为准。
该prompt展示了SEEM如何将结构化记忆整合为LLM可理解的推理上下文，以及如何处理证据冲突。