Metis：记忆基础模型 Metis: Memory Foundation Model

完整步骤如下。给定第 $t$ 步指令 $X_t$，骨干逐层前向到第 $l$ 个 Transformer block 得到 $H^{(l-1)}_t$。**存储阶段**：(1) 预归一化 $\tilde H^{(l)}_t = \text{PreNorm}(H^{(l-1)}_t)$；(2) 用 $\tilde w^{(l)}_{\text{agg}}$ 对 $L$ 个 token 打分 $p^{(l)}_t = \text{Softmax}(\tilde H^{(l)}_t \tilde w^{(l)}_{\text{agg}}/\tau)$；(3) 取累计概率达阈值 $\rho$ 的 top 位置（至少 $K_{\min}$ 个），用直通估计器（straight-through estimator）反传梯度，得到选中位置集与聚合表示 $\bar H^{(l)}_t = \Pi^{(l)}_t \tilde H^{(l)}_t \in \mathbb{R}^{L'_t \times d}$；(4) 投影 $\tilde K^{(l)}_t = \bar H^{(l)}_t \tilde W^{(l)}_K, \tilde V^{(l)}_t = \bar H^{(l)}_t \tilde W^{(l)}_V$；(5) 用 GDU/线性更新 $M^{(l)}_{t+1} = \lambda M^{(l)}_t + \frac{1-\lambda}{L'_t\sqrt{d_k}}\tilde K^{(l)\top}_t \tilde V^{(l)}_t$，同步更新 $S^{(l)}_{t+1}$。**利用阶段**：当前步前向中计算 $\tilde Q^{(l)}_t = \tilde H^{(l)}_t \tilde W^{(l)}_Q$ 与记忆注意力 $\tilde A^{(l)}_t = \text{diag}(\tilde Q^{(l)}_t S^{(l)}_t)^{-1}\tilde Q^{(l)}_t M^{(l)}_t$，再与原注意力按 $\gamma$ 融合。**训练阶段**：冻结骨干，仅训练记忆参数；用任务加权采样器 $\pi_\tau(e) = w_\tau(e)/\sum_{\tau'} w_{\tau'}(e)$（线性退火 $w_\tau(e) = w^s_\tau + (w^e_\tau - w^s_\tau)\min(e/(E-1),1)$）做课程式退火，对重建 $D_{\text{rec}}$、操作 $D^{e/i}_{op}, D^d_{op}$、正则 $D_{mf}, D_{mp}$ 五个子集施加单步负对数似然监督。层级延迟满足 $T^{(l)}_{\text{parallel}} = \max(T^{(l)}_{\text{orig}}, T^{(l)}_{\text{util}}, T^{(l)}_{\text{store}}) + T^{(l)}_{\text{fuse}}$，三支可并行。

技术新颖性体现在四个层面。**架构上**，首次把 FWP 思想与全注意力骨干结合用于多步交互记忆，提出 Metis block 这种'局部记忆块存状态、超记忆块造过程'的双块结构，记忆注意力作为残差叠加而非替换全注意力，与 TTT 用循环层替换注意力的路线根本不同。**目标上**，设计记忆重建（无损压缩上界）、记忆操作（有损压缩按指令）、正则（抗干扰、抗污染）三类目标，对应五个数据子集，且只用单一似然形式而非多损失加权，靠采样概率 $\pi_\tau(e)$ 实现课程退火，从存储导向数据逐步迁移到长程与正则数据。**数据上**，从 27 个公开基准合成 357,137 条主数据（约 4.06 亿 token，覆盖 remember/forget/update/reflect 四类操作 × 显式/隐式/干扰三风格）和 609,443 条辅数据（多实体绑定、选择性遗忘、记忆后对话、记忆无关对话），全部锚定可验证源事实，经一致性/正交性/捷径三重校验。**理论上**，给出虚拟前缀视角的等价推导和一阶泰勒展开的误差分解，证明记忆查询投影能把无关步误差压在低相似度区间，为 $\tilde W^{(l)}_Q$ 的设计提供了理论依据。

弱点一：记忆容量受限。固定 $d_k \times d_v$ 矩阵难以承载长交互，Figure 3 轨迹级首条事实持续衰减即证据。改进方向是分层/层级化记忆、或引入可动态扩缩的记忆槽与外置记忆混合（作者结论也提到 hybrid 系统）。弱点二：相似事实混淆与遗忘不彻底，可借鉴知识编辑的 rank-one update（如 ROME）思路做更精确定位擦除，或在记忆注意力中加入显式实体绑定/寻址机制。弱点三：激活态下通用能力受损（IFEval 掉 22.18），应在正则目标中强化'记忆无关对话'权重，或引入门控决定何时读记忆、读哪一层记忆。弱点四：低秩虽能压到 rank=64，但 rank=1 掉到 43.5%，说明存在少数关键奇异方向，可研究按层/按任务自适应秩分配而非全局定秩。弱点五：评估以短程为主，缺真实长会话（数千轮）和与生产级 RAG+重排系统的端到端 latency/显存对比；建议补充多轮对话基准与系统级效率实测。弱点六：记忆状态语义不可解释、难调试，可探索记忆注意力可视化与探针分析。

作者明确提出三个方向：(1) 提升记忆容量、可控性与可解释性；(2) 探索原生记忆与外置记忆的混合系统；(3) 把原生记忆训练扩展到更广领域和更长交互。基于本成果还可延伸：把 $\theta_1$ 作为可初始化的'领域基线记忆'（论文 2.5 节已暗示 $\theta_1$ 可捕获可迁移领域知识），实现开箱即用的领域记忆基座；将原生记忆与 Chain-of-Thought、工具调用结合，做原生记忆智能体；把记忆操作目标从 remember/forget/update/reflect 扩展到归纳、抽象、反思等更高阶操作；研究跨模态（图像、视频）的原生记忆；探索原生记忆与持续学习/lifelong learning 的统一框架，把 $\theta_1$ 视为静态知识到动态记忆的过渡点；利用低秩分解（rank=64 即恢复 99.9%）做在线存储压缩以降低部署成本；以及把记忆注意力做成稀疏/分层以突破容量瓶颈。

复现性较好。作者已开源代码（https://github.com/MemTensor/Metis）和模型权重（HuggingFace collection IAAR-Shanghai/Metis）。数据构造流程完整披露：以 27 个公开基准为源，三步流水线（种子抽取→静态合成→质量校验），主数据 357,137 条 / 4.06 亿 token，辅数据 609,443 条，并给出各操作 × 各风格的样本数（Table 2、Table 4）。训练配置详细：基于 Qwen3.5 4B/9B/27B，8×H100，AdamW（lr $2\times10^{-4}$，200 warmup，weight decay 0.01，$\beta=(0.9,0.999)$，grad clip 1.0），BF16，seed 42，每 2000 步存 ckpt；4B 训 14000 步（1 epoch），27B 同样 14000 步（约 0.4 epoch），9B 用 8000 步早停。评估用 gpt-4.1-mini 三次取中位的 LLM-as-judge，提示见附录 F。复现难点：(1) 合成 4.06 亿 token + 60 万条辅数据需大量强模型 API 调用与三重校验，成本与时间不低；(2) 8×H100 训 27B 仍属中重算力；(3) GDU、低秩分解、直通估计器等工程细节需仔细对照附录 C；(4) LLM-judge 的随机性可能影响精确数字复现。整体属'可复现但需显著投入'级别。