基于超图记忆的多步RAG改进用于长上下文复杂关系建模 Improving Multi-step RAG with Hypergraph-based Memory for Long-Context Complex Relational Modeling
提出HGMEM框架，用超图结构演化工作记忆，解决多步RAG中的复杂关系建模问题
前置知识
检索增强生成（RAG）
RAG是一种将大语言模型与外部知识库结合的技术框架。它通过检索相关文档片段，将这些信息作为上下文输入给LLM，从而增强模型的回答准确性和可靠性。RAG的基本流程包括：查询编码→文档检索→上下文构建→答案生成。该方法解决了LLM知识更新滞后和幻觉问题，特别适用于知识密集型任务。
本文提出的多步RAG是基础RAG的扩展，理解单步RAG的原理和局限性是理解本文多步迭代机制的基础。
超图（Hypergraph）
超图是普通图的一般化扩展。在普通图中，一条边只能连接两个顶点（二元关系）；而在超图中，一条超边（hyperedge）可以连接任意数量的顶点（n元关系，n ≥ 2）。形式化定义为 H = (V, E)，其中 V 是顶点集，E 是超边集，每个超边 e ∈ E 都是 V 的子集且 |e| ≥ 2。超图能够自然地建模复杂的多元关联关系，例如论文中的协作关系（作者+会议+主题）或生物学中的蛋白质复合体。
本文的核心创新就是用超图结构表示工作记忆，超边作为独立的记忆点，可以捕获超出二元关系的高阶关联，这是理解本文方法的关键。
工作记忆（Working Memory）
工作记忆是认知心理学中的概念，指在执行认知任务时暂时存储和操作信息的系统。在AI系统中，工作记忆充当动态缓冲区，用于整合多步推理过程中产生的中间结果、检索的证据和思考片段。与长期记忆（静态知识库）不同，工作记忆具有容量有限、快速更新、主动组织等特点。在RAG中引入工作记忆可以使模型在多次检索-推理循环中保持上下文的连贯性，避免重复检索和碎片化理解。
本文的核心贡献就是对工作记忆机制的改进，从被动存储改为动态演化结构，理解传统工作记忆的局限有助于理解本文的改进动机。
多步RAG（Multi-step RAG）
多步RAG是相对于单步检索的改进方法。单步RAG只用原始查询检索一次，容易遗漏需要多方面信息的复杂问题。多步RAG则采用迭代策略：每一步根据当前记忆生成子查询，检索新证据，更新记忆，然后判断是否继续或终止。这个过程类似于链式思维（Chain-of-Thought），但每次推理都伴随检索操作。形式化表示为：给定查询 q_hat，迭代 t=0,1,...,T，在第 t 步根据 M(t) 生成子查询 Q(t)，检索信息 I(t)，更新记忆 M(t+1) = LLM(M(t), I(t))，直到满足终止条件。
本文就是在多步RAG框架下改进记忆机制，理解多步RAG的工作流程是理解本文方法的必要前提。
研究动机
现有工作记忆增强的多步RAG方法在处理长上下文复杂关系建模任务时存在根本性局限。这些方法（如DeepRAG、ComoRAG）将工作记忆视为被动的静态存储容器，用于积累从外部环境检索到的原始事实。然而，人类的工作记忆具有动态重组特性，能够主动将已存储内容组织成高阶关联（Baddeley, 2000）。在需要全局理解的任务中（如Klein et al., 2006; Gutierrez et al., 2025a定义的全局sense-making任务），所需知识往往由超出预定义模式的复杂结构组成，而现有方法在长列表的原始事实上推理效率低下，容易在混合或无关信息中混淆。例如，在NarrativeQA任务中，回答'为什么Xodar被送给Carter当奴隶'需要整合多个片段中的信息（Xodar被Carter击败→给种族带来耻辱→Issus惩罚他），现有工作记忆无法自动建立这些片段间的因果链。
本文的目标是本文的目标是设计一种具有更强表示能力的工作记忆机制，使记忆能够从存储原始事实的简单形式演化为支持复杂关系建模的表达性结构，从而增强LLM在长上下文上的理解能力。具体而言，要让记忆能够形成整合概念，将分散的原始事实连接成围绕焦点问题的统一知识结构，为深度推理提供强有力的命题。记忆演化应该包含高阶关系的逐步形成，而不仅仅是事实的线性累积。
与已有工作不同的是，本文的独特切入角度是引入超图（hypergraph）来表示和演化工作记忆。与现有方法使用关系表、知识图或事件日志等预定义模式不同，超图中的超边可以连接任意数量的顶点，自然编码n元关系（n ≥ 2）。更重要的是，本文将每个超边视为一个独立的记忆点，记忆通过更新、插入和合并三种操作动态演化。这种设计超越了将记忆视为静态存储的观点，将记忆扩展为用于复杂推理和全局理解的动态表达性结构。本文还提出自适应记忆驱动的证据检索策略，根据当前记忆的充分性动态选择局部调查或全局探索，这是现有工作记忆RAG方法未曾考虑的。
核心方法
HGMEM的整体思路是将工作记忆建模为一个超图 M = (V_M, E_tilde_M)，其中顶点 V_M 代表从外部图 G 中提取的实体，超边 E_tilde_M 代表记忆点，每个记忆点从特定角度描述已存储信息的某个方面。在多步RAG的每一步，LLM首先判断当前记忆是否足够回答目标查询 q_hat。如果不够，LLM根据当前记忆生成一组子查询 Q(t)，用于从外部文档 D 和图 G 检索更多信息。检索到的信息（实体、关系、文本块）通过LLM整合进记忆，使记忆从 M(t) 演化为 M(t+1)。这个过程持续进行，直到记忆足够或达到最大步数。最后，LLM基于最终记忆生成响应。关键创新在于记忆的演化机制：通过更新、插入、合并三种操作，记忆中的超边从表示低阶原始事实逐渐演化为表示高阶关联的表达性结构。
核心创新点是使用超图表示工作记忆并设计动态演化机制。与普通图只能编码二元关系不同，超图的超边可以连接任意数量的顶点（n ≥ 2），因此能够自然地建模复杂的高阶关联。每个超边作为一个独立的记忆点，表示 memorized 信息的特定视角。记忆演化通过三种操作实现：更新修改现有记忆点的描述；插入创建新的超边；合并将多个记忆点整合为更高阶的记忆点，这是构建高阶关联的关键。另一个关键创新是自适应证据检索策略：当需要深入调查特定记忆点时，采用局部调查，在该记忆点的关联实体邻域内检索；当需要探索记忆范围之外的未探索方面时，采用全局探索，在当前记忆之外的可用实体范围内检索。这种策略使RAG系统能够灵活组合局部深入和全局广度的信息检索。
方法步骤详情
HGMEM的方法步骤完整描述如下：第一步：离线图构建。将文档 D 分割为200-token的文本块（50-token重叠），使用GPT-4o和LightRAG工具提取实体和关系，构建图 G = (V_G, E_G)，其中 V_G 是实体节点，E_G 是关系边。每个节点/边记录其出现的文本块来源。同时，使用bge-m3将所有实体、关系、文本块编码为向量，用于向量检索。第二步：初始化。设置初始记忆 M(0) = (empty, empty)，将目标查询 q_hat 作为特殊子查询加入 Q(0) = {q_hat}。第三步：自适应记忆驱动的证据检索。在第 t 步，对于每个子查询 q ∈ Q(t)，判断其类型：如果是针对特定记忆点 e_tilde_j 的局部调查，则搜索空间为该记忆点关联实体的邻域 V_cand = N(e_tilde_j) = union_{v ∈ V_e_tilde_j} (N_M(t)(v) ∪ N_G(v))；如果是全局探索，则搜索空间为当前记忆之外的可用实体 V_cand = C(M(t)) = V_G \ V_M(t)。然后使用实体检索操作 V_q = R_V_cand(q) = [argmax_{v ∈ V_cand} sim(h_q, h_v)]_{q ∈ Q(t)} 检索最相关的实体，并通过图索引获取关联的关系 E(V_q) 和文本块 D(V_q)。参数设置为 n_v = 20（每查询检索的实体数），n_e = 5（每个实体的关联关系数），Top-k = 10（检索的文本块数）。第四步：记忆演化。使用LLM分析检索到的信息 I_ret = {V_q, E(V_q), D(V_q)}，通过三种操作演化记忆：更新操作修改现有记忆点的描述；插入操作创建新的超边 e_tilde_new = (V_q, LLM(D(V_q)))；合并操作整合多个记忆点为高阶记忆点 e_tilde_k，其描述和关联实体分别通过和 V_e_tilde_k = V_e_tilde_i ∪ V_e_tilde_j 获得。合并操作是构建高阶关联的关键，它将多个低阶记忆点整合为语义/逻辑一致的单元。第五步：判断与迭代。LLM判断当前记忆 M(t+1) 是否足够回答目标查询。如果足够，直接进入第六步；否则，LLM分析当前记忆并生成下一轮子查询 Q(t+1)，返回第三步。最大步数设为 T_max = 3。第六步：记忆增强响应生成。当达到最大步数或记忆被判定为充分时，LLM基于最终记忆 M(t) = (V_M(t), E_tilde_M(t)) 生成响应。输入包括所有记忆点的描述 E_tilde_M(t) 以及所有关联实体的文本块 D(V_M(t))（最多聚合50个块）。
技术新颖性
HGMEM的技术新颖性体现在三个层面：表示层面，首次将超图用于多步RAG的工作记忆表示，超边作为记忆点自然支持n元关系建模，超越了普通图二元关系的限制；演化层面，设计了更新、插入、合并三种记忆操作，特别是合并操作能够主动构建高阶关联，这区别于现有工作记忆RAG方法中记忆仅作为被动存储的做法；检索层面，提出自适应记忆驱动的证据检索策略，根据当前记忆的充分性动态选择局部调查或全局探索，实现了检索空间的灵活调整。实验表明，这种机制能够有效形成高阶关联：在sense-making查询上，HGMEM的记忆中每个超边平均连接的实体数（Avg-Nv）为7.07（NarrativeQA）、7.97（NoCha）、5.25（Prelude），显著高于不使用合并操作的变体（分别为4.10、3.80、3.74），且准确率更高。这种高阶关联的形成是自动的、查询驱动的，不需要预定义模式，适合处理需要复杂关系建模的全局理解任务。
实验结果
核心发现表明HGMEM在四个 challenging 的基准测试中一致地优于单步和多步RAG基线。在GPT-4o作为骨干模型时，HGMEM在Longbench上获得65.73的Comprehensiveness分数和69.74的Diversity分数，优于最佳基线DeepRAG（63.62/65.98）；在NarrativeQA上达到55%准确率，优于最佳基线LightRAG（44%）；在NoCha上达到73.81%准确率，优于最佳基线HippoRAG v2（72.22%）；在Prelude上达到62.96%准确率，优于最佳基线LightRAG（61.48%）。更重要的是，使用Qwen2.5-32B-Instruct时，HGMEM的性能匹配甚至超过使用GPT-4o的基线，例如在Prelude上HGMEM(Qwen2.5)的62.22%准确率超过NaiveRAG(GPT-4o)的60.00%，这表明结构化记忆可以弥补模型规模的不足，促进资源高效的AI发展。性能分析显示，HGMEM在t=3步时达到最佳性能，超过该步数后不再提升但成本增加。消融实验证明，移除update操作导致性能下降（Comprehensiveness从64.18降至62.48），而移除merge操作导致更大下降（Comprehensiveness从64.18降至61.76），验证了merge操作构建高阶关联的关键作用。检索策略消融显示，仅使用局部调查（w/. LI Only）或仅使用全局探索（w/. GE Only）都显著低于自适应组合策略。深入分析原始查询（primitive query）和sense-making查询的差异发现，对于sense-making查询，完整HGMEM的Avg-Nv（每个超边平均连接的实体数）显著高于无merge变体（NarrativeQA：7.07 vs 4.10；NoCha：7.97 vs 3.80；Prelude：5.25 vs 3.74），且准确率更高，表明形成更高阶关联确实增强了理解。对于原始查询，完整HGMEM的Avg-Nv也略高于无merge变体，但准确率相当或略低，说明模型即使有足够原始事实也会额外关联相关证据，造成冗余。敏感性分析显示，HGMEM对离线图质量适度敏感：当随机删除50%的实体和关系时，HGMEM在NarrativeQA上从51%准确率降至48%，但仍优于LightRAG（33%）；当使用传统LLM-free工具（Stanford OpenIE）构建图时，HGMEM从51%降至50%，仍优于LightRAG（36%）。这表明性能增益主要来自HGMEM框架本身，而非图质量。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Longbench (Comprehensiveness) | Score (0-100) | 65.73 (GPT-4o) / 64.18 (Qwen2.5) | DeepRAG: 63.62 (GPT-4o) / 61.45 (Qwen2.5) | +3.4% / +4.5% |
| Longbench (Diversity) | Score (0-100) | 69.74 (GPT-4o) / 66.51 (Qwen2.5) | DeepRAG: 65.98 (GPT-4o) / 63.56 (Qwen2.5) | +5.7% / +4.7% |
| NarrativeQA | Accuracy (%) | 55.00 (GPT-4o) / 51.00 (Qwen2.5) | LightRAG: 44.00 (GPT-4o) / 40.00 (Qwen2.5) | +11.0% / +11.0% |
| NoCha | Accuracy (%) | 73.81 (GPT-4o) / 70.63 (Qwen2.5) | HippoRAG v2: 72.22 (GPT-4o) / 68.25 (Qwen2.5) | +1.6% / +2.4% |
| Prelude | Accuracy (%) | 62.96 (GPT-4o) / 62.22 (Qwen2.5) | LightRAG: 61.48 (GPT-4o) / 60.74 (Qwen2.5) | +1.5% / +1.5% |
局限与改进
局限性分析包括作者承认的和观察到的限制。首先，HGMEM的性能在一定程度上依赖于离线图的质量：图构建阶段使用GPT-4o提取实体和关系，当图质量下降（随机删除50%实体关系）或使用更简单的工具（Stanford OpenIE）时，性能会下降，尽管HGMEM仍优于基线。其次，merge操作依赖于LLM的语义理解能力，当语义歧义较大或需要领域知识时，merge可能不准确，导致错误的高阶关联。第三，记忆演化操作会增加计算开销：cost分析显示，HGMEM的平均token消费（4436-5422）和推理延迟（15.84-19.36秒）略高于DeepRAG（3904-4724 tokens，13.94-16.87秒）但低于ComoRAG（5083-7828 tokens，18.15-27.96秒），merge操作引入的计算开销是次要的。第四，当前方法在记忆点数量增长时可能面临可扩展性挑战，虽然论文没有明确讨论记忆点上限，但过多的记忆点可能导致上下文窗口溢出和检索效率下降。第五，超图表示的灵活性也是双刃剑：虽然能够适应不同类型的查询，但缺乏预定义模式可能导致记忆结构在可解释性和一致性方面不如基于固定模式的方法（如关系表）。最后，实验主要在长文档理解任务上验证，在其他类型的复杂推理任务（如数学推理、代码生成）上的有效性尚未验证。
独立分析的弱点
独立分析的弱点包括：首先，merge操作的自动性可能导致过度关联问题，当原始事实之间存在弱相关但merge操作强行整合时，可能引入噪声。改进方向可以是引入关联强度评分机制，只有当多个记忆点在目标查询下的语义相似度超过阈值时才进行合并。其次，当前方法没有考虑记忆点的时效性和重要性权重，在长序列推理中早期记忆点可能逐渐过时但仍然占用上下文空间。改进方向可以引入记忆重要性评估和淘汰机制，基于检索频率、查询相关性或时间衰减动态调整记忆点的权重或删除不重要的记忆点。第三，自适应检索策略中的局部调查和全局探索选择基于LLM的判断，可能不够准确或一致。改进方向可以是学习一个检索策略网络，根据查询类型、记忆密度、图结构等特征自动选择最优检索模式。第四，离线图构建阶段使用GPT-4o，成本高昂且速度慢。改进方向可以是探索更高效的图构建方法，如基于规则的提取、弱监督学习或蒸馏小模型来替代GPT-4o。第五，当前方法在处理跨文档的复杂查询时能力有限，因为每个文档独立构建图。改进方向可以是扩展到跨文档场景，构建跨文档的实体链接和关系图谱，形成更完整的知识网络。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的。作者提出可以探索将HGMEM应用于其他需要复杂推理的长上下文任务，如科学文献综述、法律案例分析、医疗诊断支持等深度研究应用。基于本文成果的可延伸方向包括：1) 研究记忆的层次化组织，类似于RAPTOR的树形结构，但用超图表示，可以在不同粒度上形成高阶关联；2) 引入注意力机制来加权不同记忆点的重要性，类似于Transformer中的self-attention，使LLM能够自动关注最相关的记忆点；3) 探索增量式记忆演化，当新证据到来时只更新受影响的记忆点，而不是重新演化整个记忆，以提高效率；4) 研究记忆的可解释性可视化，展示超边的演化过程和关联强度，帮助用户理解模型的推理路径；5) 将HGMEM与参数化记忆（如LoRA adapters）结合，通过参数记忆捕获长期模式，通过结构化超图记忆捕获任务特定的临时关联，形成混合记忆系统；6) 在多模态场景中扩展HGMEM，例如将图像、表格、代码等不同类型的信息也作为超图的节点，实现跨模态的高阶关联建模。
复现评估
复现评估如下：开源情况方面，作者承诺代码开源（https://github.com/Encyclomen/HGMem），但论文投稿时（2025年12月）代码库尚未公开。数据方面，使用的基准测试都是公开的：Longbench V2、NarrativeQA、NoCha、Prelude。NoCha的官方测试集是隐藏的，作者只使用了公开的子集。图构建方面，作者使用GPT-4o和LightRAG工具构建图，这增加了复现成本，因为需要访问OpenAI API。算力方面，实验在NVIDIA A100 80GB GPU上运行，软件环境为PyTorch 2.1.0和vLLM 0.11.2。复现难度中等偏高：主要挑战在于离线图构建阶段需要GPT-4o API访问，成本较高；在线推理阶段需要GPU资源；超图数据库的实现细节（hypergraph-db包）需要进一步了解。为了便于复现，作者在附录中提供了详细的实现细节（超参数、baseline配置）和伪代码（Algorithm 1）。总体而言，一旦代码开源且获得必要的API访问，复现应该是可行的，但成本可能较高。
论文图表
