δ-mem:面向大语言模型的高效在线记忆机制 δ-mem: Efficient Online Memory for Large Language Models
用 8×8 在线联想记忆增强冻结 LLM，平均分提升 1.10×
前置知识
Transformer 注意力机制
标准多头注意力通过查询 $q_t$ 与上下文所有键 $K_{\leq t}$、值 $V_{\leq t}$ 的交互计算输出 $a_t = \text{Attn}(q_t, K_{\leq t}, V_{\leq t})$。其对序列长度 $N$ 具有 $O(N^2)$ 的复杂度,使得超长上下文既昂贵又难以充分利用,这是本文要解决的核心痛点之一。
δ-mem 通过对 $q$ 和 $o$ 分支的低秩修正直接耦合到该计算中,不理解注意力的 $q/k/v/o$ 投影就无法读懂论文第 3.3 节的公式 (8)(9) 与表 3 的 heads 消融。
Delta-rule 联想记忆 (Linear Transformer 风格)
在状态矩阵 $S$ 中以 $S_t = S_{t-1} + (v_t - S_{t-1}k_t)k_t^\top$ 的形式学习键到值的关联,其中预测值 $\hat{v}_t = S_{t-1}k_t$。它可被视作对 $\mathcal{L}_t(S) = \tfrac{1}{2}\|S k_t - v_t\|^2$ 的在线 SGD 更新,新增信息只以残差形式沿当前键方向写入,已学到的关联不再产生更新。
δ-mem 的状态演化公式 (3) 与 (10) 完全建立在该规则之上,加上了维度级遗忘门 $\lambda_t$ 和写入门 $\beta_t$;不理解 delta-rule 就看不懂 $8\times 8$ 状态为何能稳定承载长程信息。
低秩适配 (LoRA 风格的参数高效微调)
通过冻结原有权重并叠加一个低秩分解 $\Delta W = BA$ 来增量更新参数,常见做法是用 $\Delta W x / \alpha$ 缩放后加到主干输出。LoRA 的低秩矩阵在训练后是静态的,对所有输入一视同仁。
δ-mem 在论文第 3.3 节明确将其修正描述为'low-rank correction',并刻意与 LoRA 区分:虽然 $W^q_\Delta$、$W^o_\Delta$ 训练后固定,但其输入 $r_t$ 来自动态状态 $S_{t-1}$,同一组参数在不同历史下能产生不同 steering。
检索增强 (RAG) 与上下文扩展的局限性
RAG 通过 BM25 或向量检索把历史文本注入上下文窗口,MemoryBank、LLMLingua-2 等也属于文本记忆机制。其共同问题包括检索噪声、压缩保真度损失、以及 context rot——上下文越长,模型对其中信息的有效利用率越低,百万 token 窗口也不能根治此问题。
论文第 1 节与表 1 中 BM25 RAG、LLMLingua-2、MemoryBank 等基线正是为了暴露这类方法的瓶颈,δ-mem 的设计动机需要与之对比才能理解'压缩进状态而非注入上下文'的转向。
MemoryAgentBench 与 LoCoMo 长程记忆评测
MemoryAgentBench 包含 AR (Accurate Retrieval)、TTL (Test-Time Learning)、LRU (Long-Range Understanding)、SF (Selective Forgetting) 四大类共 10 个子任务,LoCoMo 是多轮长对话问答基准,含 Multi-hop、Temporal、Open-domain、Single-hop 四类。两者的共同特点是显式上下文被截断或超长,迫使模型依赖历史压缩表示。
表 1 中 δ-mem 在这些指标上的提升幅度(如 TTL 从 26.14 到 50.50)是最具说服力的实验证据,理解其评测结构才能领会论文'压缩进状态'策略的实用价值。
研究动机
大语言模型被越来越多地部署在长程助理与 agent 系统中,需要持续积累与复用历史信息(Yao et al., 2022; Packer et al., 2023; OpenAI, 2026; Anthropic, 2026)。直接拉长上下文窗口是昂贵且无效的:标准注意力对长度 $N$ 是 $O(N^2)$ 复杂度,百万 token 窗口(如 OpenAI、Google)也难以解决 context rot 与 context degradation 问题(Hong et al., 2025; Du et al., 2025)。现有记忆机制可归为三类——文本记忆(TMMs,如 BM25 RAG、LLMLingua-2、MemoryBank)受限于 token 压缩保真度和检索噪声;外部通道记忆(OMMs,如 Memorizing Transformers、LongMem、MLP Memory)经由检索或独立通路与骨干交互,带来融合复杂度和表征失配;参数化记忆(PMMs,如 Prefix-Tuning、LoRA、ROME/MEMIT)虽高效但记忆静态、无法随对话在线演化。表 1 显示 BM25 RAG 在 Qwen3-4B 上 HotpotQA F1 仅 52.83、MemoryAgentBench Avg 24.49,均低于冻结骨干 56.00/29.54 的水平,印证文本压缩在长程任务上会伤害性能。
本文的目标是本文目标是设计一种轻量级的在线记忆机制 δ-mem,使其在冻结的全注意力 Transformer 骨干之外,维护一个紧凑、动态演化的联想记忆状态,并通过该状态直接生成对骨干注意力计算的低秩修正,最终在不进行全参数微调、不替换骨干架构、不显式扩展上下文的前提下,让模型在长程交互场景下显著优于冻结骨干与现有记忆基线。具体而言,论文希望以仅 $r=8$ 的 $8\times 8$ 在线状态在 Qwen3-4B-Instruct 上把平均分从 46.79 提升到 51.66,并在 MemoryAgentBench TTL 子任务上从 26.14 提升到 50.50。
与已有工作不同的是，已有工作的共同短板是记忆与骨干注意力之间缺乏紧密耦合:文本记忆走 token 通道、外部记忆走独立通路、参数化记忆在训练后即固化。δ-mem 的独特切入角度是把记忆压缩到一个固定大小的在线联想记忆矩阵(OSAM),通过 delta-rule 学习持续更新,然后用其读出 $r_t = S_{t-1} q^m_t$ 经 $W^q_\Delta$、$W^o_\Delta$ 两个低秩投影直接修改骨干的 query 与 attention output。这种'状态 + 低秩注意力修正'的设计既保持骨干冻结、又让记忆信号真正参与到 forward pass 的注意力计算中,而非作为旁路或上下文补丁;此外还通过 TSW/SSW/MSW 三种写入粒度和维度级门控 $\lambda_t, \beta_t$ 解决了'以多细的粒度写'与'如何在长程中稳定遗忘'这两个此前未被同时处理的问题。
核心方法
δ-mem 的整体思路是把历史压缩为一个固定大小(默认 $r=8$, 即 $8\times 8$)的联想记忆状态 $S$,并让它在每个 token 位置上依次完成'读—修正—写'三步。具体而言,对当前隐藏态 $x_t$ 先投影为记忆空间下的查询 $q^m_t$、键 $k^m_t$、值 $v^m_t$,以及写入门 $\beta_t$ 与遗忘门 $\lambda_t = 1-\beta_t$;随后用 $r_t = S_{t-1} q^m_t$ 读出上下文相关的联想信号,经 $W^q_\Delta$、$W^o_\Delta$ 生成对骨干注意力 $q$ 和输出 $o$ 的低秩修正;最后用门控 delta-rule $S_t = \text{Diag}(\lambda_t) S_{t-1} + \text{Diag}(\beta_t)(v^m_t - S_{t-1} k^m_t)(k^m_t)^\top$ 把当前信息以残差形式写入状态。骨干全程冻结,所有可学习参数仅为四组小投影与门控,论文默认 $r=8$, 缩放 $\alpha=16$, 只在 query 与 output 两个分支注入,深度上覆盖骨干全部层。
δ-mem 的核心创新在于把'记忆维护'与'注意力计算'用一条直接耦合通道连接起来,这与三类已有方法都有本质区别。文本记忆(BM25/LLMLingua-2/MemoryBank)是把历史再注入上下文窗口,会再次受困于 $O(N^2)$ 与 context rot;外部通道记忆(LongMem/MLP Memory)虽然也用 latent 表示但走独立检索-融合通路,容易出现表征失配;参数化记忆(LoRA/Context2LoRA/ROME)的低秩矩阵训练后完全静态,无法随对话演化。δ-mem 不同之处是:同一组固定参数 $W^q_\Delta, W^o_\Delta$ 的输入 $r_t$ 来自动态状态 $S_{t-1}$,因此同一参数在不同历史下会产生不同 steering,做到'参数静态、状态动态、效果自适应'。再叠加 delta-rule 的残差写入(只写预测误差项)与维度级门控 $\lambda_t, \beta_t$,使 $8\times 8$ 状态能稳定承载上万 token 的长程信息(论文训练时 memory write budget 达 8192)。
方法步骤详情
方法的具体步骤可以拆为四条流水线。第一步是记忆投影(第 3.1 节公式 (4)(5)):对当前隐藏态 $x_t \in \mathbb{R}^d$ 计算 $q^m_t = \text{L2-norm}(\tanh(W^q_m x_t))$、$k^m_t = \text{L2-norm}(\tanh(W^k_m x_t))$、$v^m_t = W^v_m x_t$,以及 $\beta_t = \sigma(W_\beta x_t + b)$、$\lambda_t = 1 - \beta_t$,均落到 $\mathbb{R}^r$, L2 归一化用于抑制长递归中的尺度漂移。第二步是读取(公式 (6)):$r_t = S_{t-1} q^m_t \in \mathbb{R}^r$,代价与历史长度无关。第三步是低秩修正骨干注意力(公式 (7)(8)(9)):$r_t$ 经 $W^q_\Delta$、$W^o_\Delta$ 得到 $\Delta q_t, \Delta o_t$,叠加到骨干 query 上得到 $\tilde{q}_t = W_Q x_t + \frac{\alpha}{r} \Delta q_t$, attention 输出 $a_t = \text{Attn}(\tilde{q}_t, K_{\leq t}, V_{\leq t})$,再叠加得到 $\tilde{y}_t = a_t + \frac{\alpha}{r} \Delta o_t$;骨干的 $k, v$ 保持不变。第四步是写入(公式 (10)(11)(12)):$S_t = \text{Diag}(\lambda_t) S_{t-1} + \text{Diag}(\beta_t)(v^m_t - S_{t-1} k^m_t)(k^m_t)^\top$,三维分别负责保留旧状态、删除当前键方向的旧预测、写入残差信息。写入粒度上,论文比较了 TSW(逐 token)、SSW(对每条 message 的隐藏态取均值 $S^{(j)} = \text{Update}(S^{(j-1)}, \bar{x}^{(j)})$)和 MSW(并行多个子状态 $S^{(i)}_t$, 读出时拼接 $r_t = \text{Concat}(r^{(1)}_t, \dots, r^{(N)}_t)$)。训练时采用标准 SFT 损失 $\mathcal{L}_{\text{SFT}} = -\sum_{j=1}^{|Y|} \log p_{\phi,\theta}(y_j | Q, y_{<j}, S_C)$, 即历史被先压缩进 $S_C$ 而不在生成时回放为骨干输入,只有查询与响应进入骨干,确保学到的是'用记忆替代显式上下文'的能力。
技术新颖性
技术新颖性体现在四个层面。第一,把 delta-rule 与维度级门控首次系统地迁移到 LLM 在线记忆,公式 (3) 同时给出 $\lambda_t$ 控制保留与 $\beta_t$ 控制写入,逐维控制避免传统 delta-rule 在长程中误差累积的问题。第二,提出'状态读出 → 低秩注意力修正'的统一接口,论文第 3.3 节明确指出这是与 LoRA 的本质区别——参数静态、效果动态,这一点在 heads 消融(表 3)中 $qo$ 平均分 47.97 优于 $qkvo$ 的 48.05 但参数更省,验证了效率-性能权衡。第三,系统比较了 TSW/SSW/MSW 三种写入粒度并发现它们在不同骨干上具有互补性:Qwen3-8B 上 SSW 最佳(平均 50.86),SmolLM3-3B 上 MSW 显著领先(26.08 → 36.96),这是过去研究很少同时考察的维度。第四,通过 context recovery 实验(图 2)展示 $8\times 8$ 状态在显式上下文被完全移除后仍能让 HotpotQA Overall EM 从 0.08 提升到 6.48、F1 从 8.27 提升到 15.20,直接证明状态本身承载了可恢复的证据信号。
实验结果
在 Qwen3-4B-Instruct 上的主结果(表 1)显示,δ-mem 的 TSW 变体平均分 51.66,比冻结骨干 46.79 提升 +4.87,比最强非 δ-mem 基线 Context2LoRA(44.90)提升 +6.76, 比 MemGen(30.66)和 MLP Memory(22.85)优势更显著;SSW 与 MSW 分别取得 51.44 和 50.74。HotpotQA 上 TSW 把 EM/F1 从 42.35/56.00 提升到 49.41/63.66(+7.06/+7.66);MemoryAgentBench Avg 从 29.54 提升到 38.85(MSW 最佳),其中 TTL 子任务从 26.14 几乎翻倍到 50.50(+24.36),LRU 从 35.30 提升到 44.40,SF 从 47.08 提升到 49.12;LoCoMo 上 MSW 取得 49.12 的平均,Multi/Temporal/Open/Single 各类均高于其他基线。在跨骨干泛化(表 2)中,Qwen3-8B 从 47.20 提升到 50.86(SSW 最佳),SmolLM3-3B 从 26.08 跃升到 36.96(MSW 最佳),小模型上提升幅度最大。Context recovery 消融(图 2)显示移除显式上下文后,δ-mem 在 HotpotQA 上 Overall EM 从 0.08 提到 6.48、F1 从 8.27 提到 15.20,Bridge 子集 EM 从 0.08 提到 3.97;LoCoMo 平均从 3.49 提到 8.05,证明状态本身携带可恢复证据。Heads 消融(表 3)显示单分支中 $o$ 最佳(47.05),组合中 $qo$ 取得 47.97 与 $qkvo$ 的 48.05 几乎持平但参数更省,论文因此默认采用 $qo$。插入深度消融(表 4)显示全层注入平均 47.97 最优,中 12 层 46.66 次之,前/后 12 层分别为 44.39/44.06。参数与效率方面,δ-mem 仅有 4.87M 可训练参数(SSW/TSW,占 Qwen3-4B 的 0.12%),MSW 也仅 19.47M(0.48%),显著小于 MLP Memory 的 3078M(76.40%);GPU 显存与 Vanilla 接近、明显小于 MLP Memory 与 MemGen(图 3b),解码速度虽慢于 Vanilla/Context2LoRA 但远快于 MemGen(图 3a)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HotpotQA (Qwen3-4B-Instruct) | EM | 49.41 (TSW) | 42.35 (Qwen3-4B-Instruct) | +7.06 (1.17×) |
| HotpotQA (Qwen3-4B-Instruct) | F1 | 63.66 (TSW) | 56.00 (Qwen3-4B-Instruct) | +7.66 (1.14×) |
| MemoryAgentBench Avg (Qwen3-4B) | Accuracy (sample-weighted) | 38.85 (MSW) | 29.54 (Qwen3-4B-Instruct) | +9.31 (1.32×) |
| MemoryAgentBench TTL (Qwen3-4B) | Accuracy | 50.50 (SSW) | 26.14 (Qwen3-4B-Instruct) | +24.36 (1.93×) |
| LoCoMo Avg (Qwen3-4B) | F1 | 49.12 (MSW) | 40.79 (Qwen3-4B-Instruct) | +8.33 (1.20×) |
| IFEval (Qwen3-4B) | Prompt-level Strict Accuracy | 82.99 (TSW) | 81.89 (Qwen3-4B-Instruct) | +1.10,基本保持通用能力 |
| GPQA-Diamond (Qwen3-4B) | Accuracy | 40.40 (TSW) | 39.39 (Qwen3-4B-Instruct) | +1.01,略有提升 |
| Overall Avg (Qwen3-4B) | Composite (HotpotQA-EM 等权) | 51.66 (TSW) | 46.79 (Qwen3-4B-Instruct) | +4.87 (1.10×) |
| Overall Avg (Qwen3-8B) | Composite | 50.86 (SSW) | 47.20 (Qwen3-8B) | +3.66 (1.08×) |
| Overall Avg (SmolLM3-3B) | Composite | 36.96 (MSW) | 26.08 (SmolLM3-3B) | +10.88 (1.42×) |
| Context Recovery on HotpotQA (no-context) | Overall EM | 6.48 | 0.08 (Qwen3-4B no-context) | +6.40,证明状态可恢复证据 |
| Context Recovery on LoCoMo (no-context) | Avg F1 | 8.05 | 3.49 (Qwen3-4B no-context) | +4.56 (2.31×) |
局限与改进
作者承认的局限主要体现在三方面:第一,δ-mem 仍依赖在 QASPER 2,219 条最短子集上做单 epoch SFT,骨干训练上下文被截断到 512、记忆写入预算 8192,这意味着它目前是面向'压缩进状态后查询'的特定训练设定,不能即插即用到任意现成 LLM;第二,论文只覆盖 3B/4B/8B 三个骨干,未在 70B+ 级别或非 Qwen 系模型上验证,泛化性边界仍有不确定性;第三,写入粒度与骨干容量存在耦合(SSW 在 8B 最佳,MSW 在 3B 最佳),实际部署需要按容量选粒度,缺乏统一指导。我自己的额外观察是:解码速度虽优于 MemGen 但仍慢于 Vanilla(图 3a),原因是每步都要读取和更新状态,在高并发在线服务中可能成为瓶颈;另外 MSW 虽然在小模型上效果最好但需要 4 个并行子状态,显存与算子数量同步上升,在 32K 长 prompt 下(图 3)其稳定性也未与 Context2LoRA 做更细粒度对比;最后,门控 $\beta_t, \lambda_t$ 是由 $x_t$ 即时决定的,如果某段历史恰好与查询无关却触发了较高的 $\beta$,仍会写入,缺乏显式的'写入价值'评估。
独立分析的弱点
从独立分析角度看,本文存在四点可改进之处。第一,训练数据单一,只用 QASPER 2,219 条,虽然提供了'长上下文+短查询'的范式但缺少对话/agent 轨迹数据,这或许解释了 MSW 在 3B 模型上的爆发力来自哪里——更接近测试分布则越能受益。改进方向是引入 LoCoMo-style 多轮对话或 MemoryAgentBench 同源数据做混合训练。第二,门控完全由当前 $x_t$ 决定(公式 (5)),没有利用未来查询信号,理论上可能出现'该写的不写、不该写的乱写'。改进方向是引入基于查询相似度的写入决策或稀疏写入机制。第三,解码时仍然每步都更新 $S$,即便用户已经停止说话进入纯生成阶段,这部分更新对最终答案的边际贡献可能很小。改进方向是设计'query-time 写入 vs generation-time 冻结'的两阶段策略,降低稳态开销。第四,论文只在 attention 的 $q, o$ 两个分支注入,表 3 显示 $qkvo$ 还能再涨 +0.08,但论文因参数权衡未采纳;可以设计参数共享或低秩耦合机制,在不显著增加参数的前提下吸收 $k, v$ 注入的收益。
未来方向
作者明确指出的方向包括把 δ-mem 拓展到更长上下文与更大骨干、探索不同写作粒度的自适应选择,以及把 $8\times 8$ 状态外推到更大的 $r$ 看容量-性能曲线。基于成果可延伸的方向有四个:一是把状态替换为多模态联想记忆,把图像、音频等也通过相同 delta-rule 写入,验证跨模态长程检索能力;二是把 OSAM 与 Mixture-of-Experts 路由结合,让不同子状态专门化到不同任务/实体,缓解 MSW 仍存在的相互干扰;三是引入状态压缩/分页机制,把多个会话的 OSAM 串联或层次化组织,使超长跨会话记忆成为可能;四是把低秩注意力修正与 RLHF/DPO 联合优化,在保留记忆能力的同时改善对齐性,这在 MemoryAgentBench 这种 agent 场景中尤为关键。
复现评估
复现评估总体偏正面:论文代码与训练流程给出了相当完整的细节,训练仅在 QASPER 最短 2,219 条样本上做单 epoch,使用 8 块 A800、bfloat16、DeepSpeed ZeRO-2、fused AdamW,峰值学习率 $2\times 10^{-4}$, cosine 衰减, warmup 比例 0.1, per-device batch size 1 + 4 步梯度累积(全局 batch 32),随机种子固定为 42,主干训练上下文长度 512、memory write budget 8192,默认 $r=8$、$\alpha=16$、仅 $qo$ 分支、MSW 使用 4 子状态。评估覆盖 5 个公开基准(HotpotQA、IFEval、GPQA-Diamond、LoCoMo、MemoryAgentBench),指标(EM/F1/Accuracy/F1/Accuracy)与解码设置均按官方 prompt 进行。GitHub 仓库为 Declare-lab 与 MindLab-Research(论文中给出),开源程度较好。主要复现难点在于:MemoryAgentBench 含 10 个子任务,部分需复现其评测脚本与 sample-weighted 平均;LoCoMo 需要按 (Chhikara et al., 2025) 排除 adversarial 类;Qwen3-4B-Instruct 与 SmolLM3-3B 的对话模板需严格对齐;DeepSpeed ZeRO-2 + bfloat16 在不同 A800 拓扑下可能导致数值轻微偏差。整体而言,对具备多卡训练经验的团队属于中等难度复现。
论文图表