MemFly: 基于信息瓶颈的即时记忆优化 MemFly: On-the-Fly Memory Optimization via Information Bottleneck
提出基于信息瓶颈原则的LLM智能体长期记忆框架，通过分层记忆和三通路检索提升推理性能。
前置知识
信息瓶颈（Information Bottleneck）
信息瓶颈是一种信息论原理，核心思想是在压缩输入数据 $X$ 的同时保留与目标任务 $Y$ 最相关的互信息。形式化目标为最小化 $\min L_{IB} = I(X; M) - \beta I(M; Y)$，其中 $M$ 是压缩表示，$\beta$ 控制压缩与相关性的权衡。这个原理最初由 Tishby 等人在1999年提出，用于解决高维数据的特征提取问题，其核心洞察是：最优表示应该在保留预测能力的同时最大化压缩率。
本文将智能体长期记忆构建形式化为在线信息瓶颈问题，这是理解整个框架理论基础的关键。没有这个概念，就无法理解为什么需要同时最小化压缩熵和最大化相关性熵。
Jensen-Shannon散度（JS-Divergence）
Jensen-Shannon散度是衡量两个概率分布相似性的对称性指标，定义为 $D_{JS}(P||Q) = \frac{1}{2}D_{KL}(P||M) + \frac{1}{2}D_{KL}(Q||M)$，其中 $M = \frac{1}{2}(P+Q)$，$D_{KL}$ 是KL散度。与KL散度不同，JS散度始终有界且对称，范围在 $[0, \ln 2]$ 之间。在本文中，JS散度被用于量化两个记忆单元之间的语义差异，指导合并决策。
本文使用LLM作为JS散度的近似器来评估记忆单元之间的冗余度，这是实现无梯度优化的关键技术。理解JS散度有助于理解为什么高冗余分数意味着低JS散度，从而触发合并操作。
双聚类框架（Double Clustering Framework）
双聚类框架由Slonim和Tishby在2000年提出，用于处理高维共现数据的最优压缩。该框架采用两阶段抽象过程：首先将单词聚合为"单词簇"（$Y \rightarrow \tilde{Y}$），基于条件分布 $p(x|y)$ 形成分布鲁棒的特征质心；然后基于这些单词簇的分布 $p(\tilde{y}|x)$ 对文档进行聚类（$X \rightarrow \tilde{X}$）。这种中间符号层解决了稀疏性问题，使系统能够通过将数据投影到更密集、更少噪声的表示上实现更好的结构组织。
MEMFLY的三层记忆结构（Note-Keyword-Topic）直接借鉴了双聚类框架的设计原理，Keywords层对应单词簇，Topics层对应文档簇。理解这个框架有助于理解为什么需要中间的Keywords层来桥接连续嵌入空间和离散符号推理。
聚合信息瓶颈（Agglomerative Information Bottleneck, AIB）
聚合信息瓶颈算法是信息瓶颈原理的在线贪婪实现，最初用于文档聚类。AIB算法通过逐步合并相似的聚类来最小化信息损失，每一步选择合并后JS散度增量最小的聚类对。形式化地，对于聚类 $z_i$ 和 $z_j$，信息损失为 $\delta I_Y(z_i, z_j) = \frac{p(z_i) + p(z_j)}{2} \cdot D_{JS}(p(Y|z_i), p(Y|z_j))$。这种贪婪策略虽然不能保证全局最优，但在计算上可行且通常产生高质量的聚类结果。
本文将AIB算法扩展到在线设置，用于智能体记忆的增量构建。理解AIB的原始形式有助于理解MEMFLY如何将其从固定的共现矩阵扩展到流式交互数据。
互信息（Mutual Information）
互信息 $I(X; Y)$ 衡量两个随机变量之间的统计依赖性，定义为 $I(X; Y) = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)}$。在信息瓶颈框架中，$I(X; M)$ 衡量原始输入保留了多少信息，$I(M; Y)$ 衡量压缩表示保留了多少任务相关信息。互信息为零表示变量独立，值越大表示依赖性越强。
本文的目标函数直接由互信息项组成：最小化压缩熵 $I(X_{1:t}; M_t)$ 同时最大化相关性熵 $I(M_t; Y)$。理解互信息是理解整个优化目标数学形式化的基础。
研究动机
现有LLM智能体长期记忆框架面临一个根本性困境：在高效压缩冗余信息和保持下游任务精确检索之间存在不可调和的矛盾。具体来说，以检索为中心的方法（如RAG系列）保留了原始细节但缺乏整合机制，导致信息熵单调增长和检索噪声累积。实验显示，这类方法在LoCoMo基准测试上的平均F1分数仅为9.89%（READAGENT）和6.99%（MEMORYBANK），远低于其他方法。另一方面，以记忆增强为核心的方法（如MemGPT、A-MEM）采用LLM驱动的摘要进行压缩，但牺牲了精确推理所需的细粒度保真度。例如，MemGPT在GPT-4o上的平均F1为41.02%，A-MEM为40.53%，仍有显著提升空间。更关键的是，这两类范式都缺乏一个统一的、有原则的目标来决定保留还是丢弃什么信息，导致记忆系统要么过度保留冗余信息，要么过度压缩丢失关键证据。
本文的目标是本文的具体目标是提出一个基于信息瓶颈原则的统一框架，将智能体长期记忆构建形式化为在线优化问题。具体而言，框架需要同时最小化压缩熵 $I(X_{1:t}; M_t)$（减少冗余）和最大化相关性熵 $I(M_t; Y)$（保留任务相关信息）。目标是通过这种有原则的优化，在LoCoMo基准测试的五个推理类别（Multi-Hop、Temporal、Open Domain、Single Hop、Adversarial）上实现全面性能提升，特别是在Open Domain和Adversarial这类需要复杂推理的任务上。量化目标包括：在GPT-4o上达到44%以上的平均F1分数，在开源模型上实现5个百分点以上的性能提升。
与已有工作不同的是，本文的独特切入角度在于将信息论原理与LLM能力相结合，抓住了现有方法忽视的几个关键点。首先，现有方法将记忆构建和检索视为两个独立问题，而MEMFLY将它们统一在信息瓶颈框架下，通过优化同一目标函数来同时改善两者。其次，现有方法要么完全依赖向量相似性（导致语义稀疏问题），要么完全依赖LLM摘要（导致信息损失），而MEMFLY通过双聚类框架引入中间的Keywords层来桥接连续嵌入空间和离散符号推理。第三，现有方法缺乏对记忆结构的理论指导，而MEMFLY借鉴了双聚类框架的信息论分析，证明了对于高维共现数据，最优压缩不是直接聚类数据点，而是首先聚类特征空间以形成鲁棒的中间表示。这种理论洞察使MEMFLY能够构建出既保留证据结构又支持高效检索的分层记忆架构。
核心方法
MEMFLY的核心思想可以用一个图书馆的类比来理解：想象你是一个图书馆管理员，需要将每天收到的大量新书整理到图书馆中。传统方法要么把所有书都堆在入口处（检索中心方法，信息保留但查找困难），要么把每本书都压缩成简短摘要（记忆增强方法，压缩但丢失细节）。MEMFLY的做法是建立一个三层分类系统：最底层是完整的书籍（Notes层，保留原始内容），中间层是关键词索引（Keywords层，提供快速查找锚点），顶层是主题分类（Topics层，提供宏观导航）。技术路线上，MEMFLY基于信息瓶颈原理构建优化目标 $\min L_{IB}(M_t) = I(X_{1:t}; M_t) - \beta I(M_t; Y)$，通过LLM作为无梯度优化器来近似JS散度，执行合并、链接或追加操作。整个系统采用计算即构建（computation-on-construction）机制，在记忆摄入时就进行优化，而不是等到检索时再处理。
MEMFLY的核心创新点是将记忆构建形式化为在线信息瓶颈问题，并使用LLM作为JS散度的无梯度近似器。与已有方法最本质的区别在于：传统方法要么依赖手工规则（如MemoryBank的遗忘曲线），要么依赖启发式摘要（如MemGPT的上下文交换），都没有理论保证。MEMFLY则从信息论第一性原理出发，定义了明确的优化目标：最小化压缩熵 $I(X_{1:t}; M_t)$ 同时最大化相关性熵 $I(M_t; Y)$。关键的技术突破是观察到JS散度与语义相似性相关，因此可以用预训练LLM隐式地评估记忆单元之间的分布相似性。形式化地，冗余分数 $s_{red}(n_t, n_i) \approx 1 - D_{JS}(p(Y|n_t), p(Y|n_i))$，高冗余意味着低JS散度，表明两个单元会为下游任务提供相似信息。这种设计利用了LLM在预训练期间获得的隐式任务知识，无需显式监督信号即可做出合并决策。实验表明，这种无梯度优化器比基于规则的方法（如w/o Update变体）平均F1提升10.65个百分点（38.62% vs 27.97%）。
方法步骤详情
MEMFLY的方法包含三个主要阶段。第一阶段是语义摄入与去噪：原始输入 $x_t$ 通过LLM转换为结构化Note $n_t = (r_t, c_t, h_t, K_t)$，其中 $r_t$ 保留原始内容，$c_t$ 是去噪后的上下文（自包含的事实陈述），$h_t = \text{Embed}(c_t)$ 是密集嵌入，$K_t \subseteq K$ 是提取的关键词集合。这一步通过解决指代消解和句法噪声来提升信噪比。第二阶段是门控结构更新：系统通过双稀疏-密集索引检索候选邻域 $N_{cand}$，LLM策略评估每对 $(n_t, n_i)$ 生成冗余分数 $s_{red}$ 和互补分数 $s_{comp}$。基于这些分数，执行三种操作之一：当 $s_{red} > \tau_m = 0.7$ 时执行合并操作（$r_i' = r_i \cup r_t$, $c_i' = F_{merge}(c_i, c_t)$）；当 $s_{comp} > \tau_l = 0.5$ 时执行链接操作（添加关联边）；否则执行追加操作（作为独立单元添加）。第三阶段是主题演化：维护Topic层需要周期性地对关键词共现图 $G_{kw}$ 进行约束图分区，使用Leiden算法优化模块度 $Q(T, G_{kw})$，同时满足基数约束 $\delta_{min} \leq |C_i| \leq \delta_{max}$。整个流程是在线的，每一步都使记忆状态向最优信息瓶颈解靠近。
技术新颖性
MEMFLY的技术新颖性体现在三个层面。首先，在理论层面，这是首次将智能体长期记忆形式化为在线信息瓶颈问题，统一了压缩和保真的优化目标。与经典AIB算法相比，MEMFLY扩展了三个结构操作（合并、链接、追加）以处理流式设置，其中信息增量到达且可能呈现互补或新颖内容。其次，在架构层面，MEMFLY的三层Note-Keyword-Topic结构借鉴了双聚类框架，但进行了关键创新：Keywords层通过LLM语义解析而非共现统计来提取，这替代了原始的分布聚类，同时保持了相同的功能角色——提供低维、分布鲁棒的特征空间来稳定语义邻近性。第三，在检索层面，MEMFLY设计了三通路混合检索机制（宏观语义定位、微观符号锚定、拓扑展开）配合迭代证据精炼（IER），这与传统的扁平向量搜索形成鲜明对比。实验表明，这种结构化检索在Adversarial任务上比无拓扑展开的变体（w/o Neighbor）提升12.53个百分点（43.79% vs 31.26%），在Open Domain任务上比无关键词的变体（w/o Keyword）提升7.34个百分点（38.62% vs 31.28%）。
实验结果
MEMFLY在LoCoMo基准测试上的实验结果展示了其在多个维度的显著优势。在闭源模型上，MEMFLY在GPT-4o-mini上达到43.76%的平均F1分数，比最强基线A-MEM（41.97%）提升1.79个百分点；在GPT-4o上达到44.39%，比MEM-0（36.59%）提升7.80个百分点。在开源模型上，优势更加明显：在Qwen3-8B上，MEMFLY达到38.62% F1，比A-MEM（32.76%）提升5.86个百分点；在Qwen3-14B上达到33.65%，比READAGENT（20.63%）提升13.02个百分点。这种在开源模型上更大的性能差距表明，MEMFLY的结构化记忆组织有效补偿了较弱的上下文推理能力。类别分析显示，MEMFLY在Open Domain查询上表现最佳，在GPT-4o上达到25.74% F1（MEM-0为17.73%），这归功于Topic导航在大型记忆中的定位优势。在Single Hop任务上，MEMFLY在Qwen3-8B和Qwen3-14B上均达到最高性能（42.09%和42.25% F1），验证了关键词锚定的有效性。消融研究进一步证实了各组件的贡献：移除整个门控更新（w/o Update）导致平均F1从38.62%下降到27.97%，Recall从62.22%下降到42.11%；移除链接操作（w/o Link）比移除合并操作（w/o Merge）影响更大（33.57% vs 34.79% F1），特别是在Adversarial任务上。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LoCoMo基准测试（GPT-4o-mini） | 平均F1 | 43.76% | A-MEM: 41.97% | +1.79个百分点 |
| LoCoMo基准测试（GPT-4o） | 平均F1 | 44.39% | MEM-0: 36.59% | +7.80个百分点 |
| LoCoMo基准测试（Qwen3-8B） | 平均F1 | 38.62% | A-MEM: 32.76% | +5.86个百分点 |
| LoCoMo基准测试（Qwen3-14B） | 平均F1 | 33.65% | READAGENT: 20.63% | +13.02个百分点 |
| Open Domain查询（GPT-4o） | F1 | 25.74% | MEM-0: 17.73% | +8.01个百分点 |
| Adversarial查询（GPT-4o-mini） | F1 | 51.48% | A-MEM: 50.03% | +1.45个百分点 |
局限与改进
尽管MEMFLY取得了显著性能提升，但仍存在几个重要局限性。首先，作者承认当前实现优先考虑记忆质量而非构建速度，引入了适度的计算开销。具体而言，每个新输入都需要与候选邻域中的所有记忆单元进行LLM评估，这导致构建复杂度为 $O(|N_{cand}| \times C_{LLM})$，其中 $C_{LLM}$ 是单次LLM推理成本。在记忆规模较大时，这可能成为瓶颈。其次，框架依赖于LLM作为JS散度近似器，这引入了两个假设：LLM的隐式任务知识足够准确，且语义相似性确实与JS散度相关。虽然消融研究验证了这些假设，但在分布外任务或领域特定场景中，这种相关性可能减弱。第三，当前评估仅限于文本对话场景，未扩展到多模态（图像、音频）或领域特定（医疗、法律）场景。第四，迭代证据精炼协议使用固定的最大迭代次数 $I_{max} = 3$，缺乏动态停止机制，可能导致在复杂查询上证据收集不充分或在简单查询上过度迭代。最后，框架的超参数（如 $\tau_m = 0.7$, $\tau_l = 0.5$）需要在验证集上调整，虽然论文声称对±20%的变化鲁棒，但在新领域中可能需要重新校准。
独立分析的弱点
从独立分析的角度，MEMFLY存在几个值得改进的弱点。首先，LLM作为JS散度近似器的准确性高度依赖于预训练数据的质量和覆盖范围。在高度专业化领域（如医疗诊断、法律条文），LLM可能缺乏足够的领域知识来准确评估记忆单元之间的语义相关性。改进方向是引入领域适配的微调或检索增强的评估机制，例如在评估前先检索相关领域知识。其次，三层记忆结构（Note-Keyword-Topic）的层次划分是静态的，无法根据查询复杂度动态调整。对于简单查询，Topics层可能足够；但对于需要细粒度推理的查询，可能需要更深层的结构。改进方向是设计自适应层次结构，根据查询类型动态激活不同层次。第三，三通路检索机制的权重是固定的，缺乏根据查询特性动态调整的能力。例如，实体密集型查询可能更依赖Keywords通路，而主题型查询可能更依赖Topics通路。改进方向是引入查询感知的注意力机制来动态加权不同通路。第四，迭代证据精炼协议缺乏终止标准的理论保证，完全依赖LLM的判断。在边界情况下（证据刚好不足或刚好足够），可能导致不稳定的行为。改进方向是引入基于信息论的终止准则，例如当新证据带来的互信息增量低于阈值时停止。
未来方向
作者提出的未来工作包括将评估扩展到多模态和领域特定场景。基于MEMFLY的成果，还可以延伸几个有前景的研究方向。首先，可以探索记忆的持续学习能力：当前框架假设记忆构建是单次过程，但实际应用中可能需要处理分布漂移和概念演化。可以引入记忆的"遗忘-重学习"机制，基于信息瓶颈原理动态更新旧记忆。其次，可以研究多智能体协作记忆：当多个智能体共享记忆空间时，如何优化集体信息瓶颈目标 $L_{IB}^{total} = \sum_i [I(X_i; M) - \beta_i I(M; Y_i)]$。第三，可以探索记忆的压缩-检索联合优化：当前框架将构建和检索视为两个阶段，但理论上可以设计端到端的优化，使构建过程直接优化检索性能。第四，可以引入记忆的"可解释性"层：当前的Keywords和Topics提供了结构，但缺乏对"为什么保留这个信息"的明确解释。可以设计记忆的因果图，记录每个记忆单元的保留理由和检索历史。最后，可以探索记忆的"隐私保护"机制：在共享记忆场景中，如何基于信息瓶颈原理设计隐私保护的压缩，只保留与任务相关但不泄露敏感信息的内容。
复现评估
MEMFLY的复现评估显示其具有较好的可复现性。开源情况方面，论文提供了详细的提示模板（附录A）和超参数设置（表5），但未明确说明代码是否开源。数据集方面，LoCoMo基准测试是公开可用的，包含1,986个样本，分布在五个推理类别中（Multi-Hop 14.2%, Temporal 16.2%, Open Domain 4.8%, Single Hop 42.3%, Adversarial 22.5%）。算力需求方面，框架需要频繁调用LLM进行记忆评估和生成，具体成本取决于LLM的规模和调用频率。论文使用GPT-4o-mini、GPT-4o、Qwen3-8B和Qwen3-14B作为骨干模型，从8B到14B参数不等。复现难度中等：核心挑战在于实现三层图结构（使用Neo4j）和提示工程的细节。论文提供了足够的实现细节（如 $K_{topic}=3$, $K_{key}=10$, $K_{final}=20$, $I_{max}=3$），但提示模板的具体措辞可能需要微调以适应不同LLM。总体而言，具备LLM调用能力和图数据库经验的研究团队应该能够在2-4周内完成基础复现。
论文图表