MemT-1.0：迈向记忆原生的进化 MemT-1.0: Towards Memory-Native Evolution
把记忆内化为模型原生计算，128K 历史下推理提速 1.86 倍、存储省 66 倍
前置知识
参数化记忆 vs 文本记忆
参数化记忆指把交互历史压缩进模型内部状态（动态状态矩阵、测试时适配的 LoRA 或记忆 token），推理时上下文不含历史文本；文本记忆则把原始文本留在上下文或外部库，查询时检索拼接。Table 2 的两条赛道即据此划分，MemT-1.0 属于前者，记忆状态 $M_t$ 大小固定、随交互更新而不增长。
全文实验的核心设定是'不给历史文本作答'，理解这条赛道划分才能读懂基准对比，以及'参数化最佳但距文本记忆仍有约 18 分差距'的关键结论。
Gated DeltaNet 与 delta rule 状态更新
线性注意力家族的递归记忆更新规则：维护键值外积形式的记忆矩阵，每个 token 先按遗忘门衰减旧状态，再以'写入项减去被该键地址占用的旧值'覆盖更新，配擦除/写入门控制信息去留。GDN-2 是其新版本；本文取 $U=\sqrt{\beta\odot K}$，使转移矩阵 $I-U^\top U$ 具有稳定对称结构（对称化修正）。
MemT-1.0 的记忆存储过程就是改造后的 GDN-2 token 级更新，方法章的全部公式与 Table 4 的更新规则消融都围绕它展开。
KV Cache 与全上下文推理
Transformer 自回归推理会缓存历史 token 的注意力键/值（KV cache），预填充时间与持久存储都随历史长度增长：论文测得 128K 历史端到端 30.07 秒、256K 存储 5.061 GiB、1M 不可行。MemT-1.0 用固定大小记忆状态替代 KV 的持久部分，因此查询 TTFT 不随历史增长。
论文所有效率与存储结论（128K 下 1.86× 加速、66× 存储缩减）都是相对全上下文 KV cache 基线定义的，不知道基线怎么算就无法判断数字含义。
Off-policy Top-K KL 蒸馏
教师（冻结的全上下文骨干）与学生（只见当前输入加记忆状态）在固定教师轨迹上做 teacher forcing；每个监督位置取教师 Top-64 token 构成截断分布（$T_d=1.0$），最小化带 $T_d^2$ 因子的前向 KL，再加对真实 token 的交叉熵，损失只计响应 token。
这是后训练阶段让模型'用记忆逼近全上下文行为'的核心目标函数，也解释了通用能力为何几乎无损——教师本身就是骨干。
稀疏 MoE 与稠密路由
稀疏 MoE 每个 token 只激活少数专家以省算力；MoS 反其道行之：所有 $E$ 个记忆专家都参与读写（稠密），利用与存储两个路由共享专家地址矩阵 $C$，存储概率直接缩放擦除/写入门（$\tilde\beta=\alpha^s\odot\beta$），利用概率加权融合专家读出。
不理解稠密路由就无法理解 Figure 7 的记忆容量扩展实验，以及训练时 MoS 需要窗口化执行来控制显存的原因。
SWE-bench 与 pass^3
SWE-bench Verified（500 题）与 Multilingual（300 题、9 种语言）要求智能体在真实代码仓库中定位并修复 issue，以可执行测试判定成功。pass^3 指三次独立运行全部成功的任务占比，衡量执行稳定性；pass@3 指至少一次成功的占比，衡量能力上限。
第 7 章经验内化实验的增益主要体现在 pass^3（Verified 上 +7.6 个百分点）而非 pass@3，说明原生记忆提升的是重复执行的可靠性，这一指标设计是理解结论的关键。
研究动机
长对话与智能体场景下，主流做法是把历史文本留在上下文或外部系统里，代价随历史线性增长。全上下文推理在 BEAM 历史上，128K token 时端到端延迟约 30.07 秒、256K 时升至 94.47 秒，逻辑存储 256K 达 5.061 GiB、1M 直接不可行；查询首 token 时间（TTFT）也从 128K 的约 257 ms 涨到 256K 的约 445 ms。文本记忆系统（MemOS、Mem0、Graphiti、DenseRAG）虽缓解延迟，但存储的文本块与检索向量同样随交互不断累积，答题时还要显式拼接证据。另一条路的参数化记忆方法普遍很弱：最强基线 Temp-LoRA 在 11 个记忆基准上平均仅 38.1 分，且历史适配需要在查询时做梯度优化，128K 历史端到端延迟高达 700.82 秒；MemoryLLM、ICAE 等平均只有 22.9-25.3 分。此外，把记忆模块接到现成大模型上往往损害通用能力，而即便最强的文本记忆系统，在长历史精确回忆上（LongMemEval-S 约 83.2 分、MemoryAgentBench 约 27.8 分）也远未解决。
本文的目标是本文要打造'记忆基础模型'（memory foundation model），把记忆做成模型计算的固有部分：在模型参数 $\theta$ 之外维护一组随交互演化的动态记忆状态，使模型在不保留历史文本的情况下持续积累并利用信息。具体目标有五：一是在架构上用稳定的 token 级更新机制（基于 Gated DeltaNet-2）替换前作 Metis 的 token 选择，并用 Mixture-of-Storage（MoS）扩展原生记忆容量；二是设计两阶段训练流程——继续预训练（CPT）建立'带记忆的语言建模'能力，后训练用全上下文蒸馏把记忆能力对齐到骨干水平；三是构建保持轨迹隔离的有状态训练与推理基础设施；四是在 11 个记忆基准与 6 个通用基准上系统验证记忆与通用能力；五是探索记忆容量与训练数据两个维度的 scaling 行为，并在智能体编码任务上验证内化程序性经验的可行性。
与已有工作不同的是，独特切入角度有三。其一，'记忆原生'路线：不在推理时检索或拼接文本，而是让记忆以固定大小的状态张量 $M_t\in\mathbb{R}^{E\times H_{kv}\times d_k\times d_v}$ 直接进入每层的前向计算，存储与利用是同一架构的两个并行过程。其二，'骨干准备'（backbone preparation）：先对骨干做能力画像与干预归因——从未在 8 次尝试中解出的任务，准备后准确率也只有 1.6%-4.0%；而在硬知识探针集上，把相关事实放进上下文能把准确率从 27% 提到 91%，据此得出后训练主要提升'可靠性'、'新信息'应由原生记忆供给的分工判断，这是记忆模型设计哲学层面的新视角。其三，把'记忆容量'当作与参数量、数据量并列的独立 scaling 维度，用 MoS 专家数扫描容量 scaling 行为；训练上用 off-policy 蒸馏，以冻结的全上下文骨干为教师，让'无历史文本的学生'逼近'有全部历史的教师'的行为。
核心方法
直觉上，MemT-1.0 在每个选定的 Transformer 层旁边并联一个'原生记忆块'：局部记忆块是随对话在线更新的固定大小状态，超记忆块是离线训练好的读/写参数（多通道查询/键/值投影、擦除/写入/遗忘门、输出门）。每轮交互结束时触发存储过程，用该轮隐藏状态逐 token 更新记忆；生成时每个 token 并行执行'原始注意力 + 记忆注意力'：$A_{t,k}=A^{ori}_{t,k}+A^{mem}_{t,k}$，把历史信息注入当前计算。技术路线上，更新规则采用 GDN-2 并做对称化修正保证数值稳定；容量不足时用 MoS 把记忆块扩展成 $E$ 个专家并稠密路由。训练分两阶段：CPT 用 CE 损失在 2K token 的段间传递记忆，学会'带记忆的语言建模'；后训练冻结骨干，用 Top-64 截断 KL 蒸馏对齐全上下文教师，只训练记忆参数 $\phi$。基础设施上用 chunked WY 更新核、快照读分离与完整步窗口化执行控制显存与计算。
核心创新是与已有方法的三个本质区别。第一，稳定的 token 级写入：Metis 依赖 token 选择，turn-level 聚合又会丢失轮内修订能力（消融显示平均分从 46.97 掉到 40.98）；MemT-1.0 改用 GDN-2 式逐 token 更新 $U=\sqrt{\beta\odot K}$、$\tilde{M}=(I-U^\top U)D\tilde{M}+U^\top(\omega\odot V)$，其中对数遗忘门 $\lambda\le 0$ 防发散，对称化修正保证 $I-U^\top U$ 谱稳定。第二，Mixture-of-Storage：与稀疏 MoE 根本不同，MoS 对所有专家稠密路由，存储路由概率直接缩放擦除/写入门（$\tilde\beta=\alpha^s\odot\beta$），利用路由概率加权融合专家读出，两路由共享专家地址矩阵 $C$。第三，off-policy 全上下文蒸馏：教师看完整历史、学生只见记忆状态，在固定轨迹上做 Top-64 截断 KL（$T_d=1.0$）加交叉熵，把'记忆使用'形式化为对全上下文行为的逼近。
方法步骤详情
流程分五步。第一步，骨干准备（Flash）：对 DeepSeek-V4-Flash 做能力画像（重复尝试分可靠/偶尔/从未解决）、干预归因（放入约定、程序提示或事实看失败是否消失）、能力条件化数据合成（回放、通过验证器的自我样本、引导采样、强模型示范），得到 126.5K 轨迹、2.4B tokens，骨干六基准平均 +6.3 分。第二步，数据构建：20B tokens CPT 语料加 14B tokens 后训练数据（记忆原生语言建模、存储利用监督、记忆任务数据），统一为 context-query-answer 格式。第三步，CPT：序列切成 2K token 段，段内因果语言建模、段间靠记忆状态 $M_t$ 传递，CE 损失。第四步，后训练：冻结骨干作教师，教师看完整历史 $C_{<t}$、学生只见当前输入与 $M_t$，取 Top-64 截断 KL（$T_d=1.0$）加 CE，只更新记忆参数，历史无直接损失但梯度穿过记忆读写。第五步，有状态推理：历史按 2K 切片顺序写入记忆快照，查询只读快照，状态大小 $N_{state}=\sum_l E_l H_{kv,l}d_{k,l}d_{v,l}$ 与历史长度无关。
技术新颖性
与参数化记忆前作相比：MemoryLLM/ICAE 把记忆当压缩 token 塞回上下文，MemT 的记忆是层内递归状态矩阵，读出经 SoftCapSiLU 门控融合进注意力输出，不占上下文窗口；Temp-LoRA/Doc-to-LoRA 需为每个历史做测试时适配（优化 LoRA），MemT 的在线更新只是一次前向，无任何优化过程，端到端延迟从 700.82 秒降到 16.19 秒（128K）。与文本记忆相比，状态是 $O(1)$ 而非 $O(N)$，128K 存储省 66 倍。架构上，把为语言建模设计的 GDN-2 线性注意力改造成跨轮持久的记忆组件并给出稳定性修正与证明（附录 C），是首次系统尝试；MoS 的稠密存储路由（用路由概率缩放门控而非稀疏激活专家）是新的容量扩展方式。工程上，chunked WY 更新核与快照读分离、MoS 完整步窗口化执行把单个记忆块峰值显存从 47.83 GiB 降到 6.03 GiB（-87.4%），使 288B 模型的记忆训练可行。
实验结果
记忆能力（Table 2）：Flash/Nano 在 11 个基准上平均 50.6/47.0 分，包揽参数化记忆前两名，领先最强基线 Temp-LoRA（38.1）12.5/8.9 分；但距最强文本记忆 MemOS（68.6/68.5）仍有约 18 分，长历史差距最大：LongMemEval-S 37.2/32.6 对 83.2/80.8，BEAM-1M 37.0/35.8 对约 72.6。通用能力（Table 3，噪声设定）：Flash 相对骨干平均 $\Delta 0.0$、Nano $\Delta-0.9$；IFEval（+0.9/+3.3）与 BigCodeBench-Hard（+2.0）反升，Nano 在 LiveCodeBench v6 降 5.8。消融（Table 4）：turn-level 更新 -6.0 分最伤，去后训练 -10.7 分、去 CPT -2.1 分，更新规则本身仅差 0.3-0.5 分。效率：端到端 64K/128K/256K 提速 1.20x/1.86x/3.99x，TTFT 稳定 104-112 ms（2.44x/4.19x），128K 存储省 66 倍。Scaling：两个 epoch 平均分 36.65 升至 46.80（LoCoMo 40.39 升至 57.53）；4 专家比 2 专家在 5,500 步 +2.69 分。智能体（Table 5）：Verified 平均成功率 66.07% 升至 69.33%/69.73%，pass^3 54.00% 升至 61.60%/62.80%，追平或超过文本经验；Multilingual pass^3 45.33% 升至 53.67%/55.33%。低秩分解显示 PersonaMem 中间秩即饱和、LoCoMo 缓慢持续上升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 记忆能力（11 个基准平均，参数化记忆赛道） | 平均分（LLM-as-a-Judge，gpt-4.1-mini） | MemT-1.0-Flash 50.6；MemT-1.0-Nano 47.0 | 最强参数化基线 Temp-LoRA 38.1 | +12.5 / +8.9 分 |
| 端到端推理延迟（BEAM，128K 历史，生成 128 token） | 端到端时延（秒，含历史准备） | MemT-1.0-Nano 16.19 s | 全上下文 30.07 s；Temp-LoRA 700.82 s | 1.86x 加速（对全上下文） |
| 持久存储开销（BEAM，128K 历史） | 每轨迹逻辑状态大小 | 约 40 MiB（256K 与 1M 均为 40 MiB，恒定） | 全上下文 KV（256K 达 5.061 GiB，1M 不可行） | 128K 下约 66 倍缩减 |
| 查询首 token 时间（BEAM，256K 历史） | TTFT（ms） | 稳定在约 104-112 ms | 缓存全上下文 445 ms（128K 时 257 ms） | 约 4.19x（128K 为 2.44x） |
| SWE-bench Verified 智能体编码（500 题，3 次运行） | pass^3（三次全解比例） | MemT-1.0-Nano 原生记忆 61.60%（Before Execution）/ 62.80%（Harness-Triggered） | 无经验骨干 54.00%；文本经验 61.60% / 61.80% | +7.6 / +8.8 个百分点（对无经验） |
| SWE-bench Multilingual 智能体编码（300 题，3 次运行） | 平均成功率 / pass^3 | 62.89% / 53.67%（Before Execution）；63.56% / 55.33%（Harness-Triggered） | 无经验 60.00% / 45.33% | pass^3 +8.3 / +10.0 个百分点 |
| 通用能力保持（6 基准平均，噪声设定） | 相对骨干的平均分差 | Flash $\Delta 0.0$；Nano $\Delta-0.9$ | 各自骨干（DeepSeek-V4-Flash 75.4；Qwen3.6-35B-A3B 70.5） | 基本无损（Nano 最大单点下降在 LiveCodeBench v6，-5.8） |
| 记忆容量 scaling（Nano，CPT 400 步后，5,500 后训练步） | 11 基准平均分 | 4 专家配置 44.68 | 2 专家配置 41.99 | +2.69 分（200 步时仅 +0.41，增益随训练放大） |
局限与改进
作者承认的局限：固定大小记忆状态是 $O(1)$ 的，随历史增长必须在新旧信息间取舍，保真度损失使精确回忆困难，这与文本记忆在 LongMemEval-S、BEAM-1M 上的大幅落后（37.2 对 83.2；37.0 对 72.6）相互印证；智能体框架依赖外部构造的经验，效果受经验质量与检索制约；写入经验本身有计算成本，上下文变短不等于总成本下降。我的补充观察：其一，消融显示稳定机制收益很小（-0.5 分）、直接换 GDN 也打平（-0.3 分），说明瓶颈更多在容量与数据而非更新规则，稳定性设计的必要性论证偏弱；其二，效率对比基于 HF 推理、并发 1、batch 1，且全上下文基线复用缓存，换到 vLLM/SGLang 级服务栈或批处理后结论可能改变；其三，通用能力仅 6 个基准、噪声注入方式单一，Nano 在 LiveCodeBench v6 的 -5.8 提示记忆分支对代码生成有干扰；其四，scaling 实验只在 Nano 上做、专家数最多 4，外推证据不足；其五，gpt-4.1-mini 判分对参数化与文本记忆两类输出是否同等公允缺乏校准。
独立分析的弱点
弱点一：长历史保真度。>64K 组平均分仅 32.6-37.2，固定状态在多用户、多主题长会话中会覆盖早期细节。改进方向：查询依赖的读出、记忆分层（近期精确+远期摘要）、或让 MoS 专家演化为'主题分区'并训练路由做归属。弱点二：更新规则不敏感（-0.3 到 -0.5 分）说明'写什么'比'怎么写'更关键，应把火力转向数据侧——更高信息密度的存储监督、按查询类型构造对比式写入训练。弱点三：蒸馏上界受限。全上下文教师自己在 BEAM-1M 上也只有 43.7-44.7 分，学生模仿一个会失焦的教师天花板低；可用检索增强的更强教师或用证据标注构造定向蒸馏目标。弱点四：效率结论依赖 HF 推理、batch 1 的理想化测量，低估了全上下文在真实服务栈的吞吐优化空间；固定状态利于多轨迹分页的论点虽成立，仍应在生产级引擎重测批量场景。弱点五：智能体经验单次写入、静态经验库（1,040 条），无法处理经验冲突与过期；应支持在线累积、合并、遗忘与置信度加权。弱点六：Nano 在 LiveCodeBench v6 退化 5.8 分提示记忆分支对代码生成的干扰，可尝试更保守的层选择、记忆输出稀疏化或对记忆分支加正则。
未来方向
作者提出的方向：一是研究局部记忆与超记忆的关系——交互中积累的经验能否通过继续训练固化为超记忆参数、参数知识又如何被局部记忆实例化，从而把'单次交互内的适应'与'跨任务的记忆能力提升'连接起来，把记忆能力视为一种高阶的'被学习的信息'；二是把固定大小递归状态视为潜在反思（latent reflection）机制，支持经验在状态内的迭代巩固，实现在线自我进化；三是 harness 与模型共同进化、自主经验获取与持续记忆整合，走向长时程任务中通过记忆原生进化来学习的智能体；四是改进长期记忆、扩大记忆容量、降低记忆更新成本。基于本文成果可延伸的方向：定量刻画记忆 scaling law（拟合专家数、$H_{kv}d_kd_v$ 与基准分的曲线，类似 Chinchilla 之于通用模型）；原生记忆与 RAG 的混合架构（记忆管程序性经验、检索管事实证据）以弥补 LongMemEval-S 类精确事实回忆的短板；多轨迹间的记忆共享、隐私与遗忘机制；跨模态记忆状态；利用 1M 历史下全上下文不可行而 MemT 仅 40 MiB 的特性开拓边缘端部署与超长会话产品形态。
复现评估
开源情况较好：代码在 github.com/MemTensor/MemT-1.0，模型在 HuggingFace 的 MemTensor/memt-1 集合，含 Nano（36B 总参/3B 激活）与 Flash（288B 总参/17B 激活）。复现难度分层：推理评测较容易——Nano 单机多卡可跑（论文效率实验仅用 2 GPU、并发 1），附录 D 给出基准、基线、pipeline、prompt 与存储评测细节；训练门槛较高——34B tokens 语料部分来自 MemOS 匿名内部数据未必全量开放，CPT 加蒸馏两阶段需要 Megatron-Core/Bridge 分布式基建与自定义算子（chunked WY、窗口化 MoS）；Flash 的骨干准备涉及五轮全混合、五十余次训练 run 与三轨数据合成，工程量很大。超参披露较完整（batch 64/192 packs、64K pack、2K 段、峰值学习率 1e-4/8e-5、Top-64、$T_d=1.0$、AdamW 配置）。智能体部分依赖公开的 Scale-SWE 轨迹（41,057 条）与 BGE-M3 检索，42,403 个训练样本的构造有附录 E 支撑，但反事实执行需大量推理算力。总体：推理复现中等偏易，全流程复现需较强工程与算力。
论文图表
