MemSFT：用外部参数化记忆缓解微调对齐税

冻结骨干LLM，用可复用的外部参数化记忆+逐token路由器实现零代价领域专精。

前置知识

对齐税 (Alignment Tax) 与灾难性遗忘

在对齐过的指令模型上做领域 SFT 时，新任务的梯度会破坏预训练与后训练学到的指令跟随、数学推理等通用能力，通用基准分数大幅下跌。Ji et al. 2025 把它形容为后对齐模型的『弹性』——一次微调会把模型拉回预训练分布。本文 Qwen3-14B 上做 BioIns 全参 SFT 后 MATH-500 从 96.4 跌到 31.2、IFEval 从 85.7 跌到 18.9、通用平均下降 31.39 分，就是典型对齐税。

整篇论文的出发点就是『如何在不付这笔税的前提下获得领域专精』。理解 SFT/LoRA 的遗忘幅度，才能看懂 MemSFT 『+0.59 通用分、+37.77 领域分』为何被称作突破。

kNN-LM 与非参数化检索式教师分布

kNN-LM (Khandelwal et al. 2019) 在推理时用一个外部 datastore：把训练语料每位置的上下文表征 $\phi(c_t)$ 作 key、下一词作 value，对当前上下文检索最近邻，把邻居的下一词按距离指数加权聚合成分布 $p_\text{teacher}(y|c_t) \propto \sum \mathbf{1}[y=v_j]\exp(-d(k_t,k_j)/\tau)$。MemSFT 不在推理时用它，而是把它当『老师』训练一个小模型去模仿其输出分布，把检索行为烤进参数。

MemSFT 记忆不是直接学 SFT 答案，而是 KL 对齐到 kNN 检索分布。不理解 kNN 教师会给多个领域相关词分配概率，就无法理解记忆训练损失 $\mathcal{L}_\text{mem}=\beta\mathcal{L}_{KL}+(1-\beta)\mathcal{L}_{CE}$ 里 KL 项的作用。

LoRA / 全参 SFT 的遗忘权衡

全参 SFT 更新骨干所有参数，效果好但遗忘严重；LoRA 冻结骨干、只在 attention/MLP 投影上挂低秩 $A,B$ 适配器，参数变化被限制在低秩子空间。Biderman et al. 2024 证明 LoRA 仍存在系统性灾难性遗忘——目标任务提升与通用能力保留间存在强反比线性关系，只是平移权衡曲线。本文 Qwen3-14B 上 LoRA 让 IFEval 从 85.7 掉到 44.0。

论文把 SFT、LoRA 作为主要基线，并加了 MixTraining(1:1)、Wise-FT 两个防遗忘基线。只有先建立『PEFT 也在权衡曲线上』的认知，才能理解 MemSFT 跳出这条曲线的意义。

记忆解码器 / MLP Memory 外部参数化记忆

Memory Decoder (Cao et al. 2026a) 与 MLP Memory (Wei et al. 2025) 把 kNN 检索行为蒸馏成一个可训练记忆模块，再以一个全局插值权重与兼容骨干拼接。它们主要面向预训练 LM、关注困惑度和知识问答。MemSFT 把这范式扩展到最大 235B 的后训练指令模型，并把『全局插值』升级为『逐 token 路由器』。

MemSFT 不是凭空设计，而是 Memory Decoder 范式在后训练指令模型上的延伸。理解这一脉络，才能定位论文真正的几处增量：训练目标 + 逐 token 路由 + 跨骨干复用。

逐 token 路由器与分布融合

路由器是一个两层 MLP，输入骨干和记忆两路冻结模型的当前隐状态，再加它们输出分布的置信度、熵等特征，输出标量 $\lambda_t \in [0,1]$。融合分布 $p_\text{fused}=(1-\lambda_t)p_\text{base}+\lambda_t p_\text{mem}$。训练时除交叉熵外加带符号线性正则 $R(c_t)=s_t\lambda_t$，$s_t<0$ 用于领域样本、$s_t>0$ 用于通用样本，把领域词推向记忆、通用词推向骨干。

MemSFT 的核心机制就是这个动态 $\lambda_t$。Figure 4a 证明固定 $\lambda$ 走权衡曲线，只有逐 token 路由才能同时拿到强领域分和保留通用能力，Figure 5 案例直观显示路由器在数值 token 上接近 1、功能词上接近 0。

研究动机

在生物、地球科学、法律等专门领域部署大模型时，Qwen3 这类强后训练指令模型面对 DNA/RNA/蛋白质序列、地震波数值数组、法条结构化文本等『远超自然语言』的输入，原始骨干分数极低（Qwen3-8B 在 BioIns 仅 5.07、235B-A22B 仅 1.14；OpenSWI 上 8B 的 RMSE 高达 103.07）。最常见的补救是全参 SFT 或 LoRA，但二者都带来对齐税：Qwen3-14B 做 BioIns 全参 SFT 后 MATH-500 从 96.4 跌到 31.2、IFEval 从 85.7 跌到 18.9、通用平均掉 31.39 分；LoRA 也让 IFEval 跌到 44.0。Biderman et al. 2024 进一步证明 LoRA 仍受困于『目标任务性能 vs 通用保留』的强反比线性关系，只是平移权衡曲线。论文还实证把通用数据混入 LoRA（MixTraining 1:1）和 Wise-FT 权重插值都追不上理想区。本质矛盾是：领域专精必然要改参数，而改后训练骨干必然破坏对齐均衡。

本文的目标是本文要回答一个尖锐问题：能否给一个后训练大模型装上某个领域（生物、地质、法律）的专精能力，同时让其通用基准（MATH-500、C-Eval、IFEval、MMLU-Redux、INCLUDE）几乎不变？更进一步，企业里往往同时有 8B/14B/32B/235B 多档骨干，作者希望『训练一次、复用多处』——同一份领域记忆可即插即用地挂到同家族不同尺寸骨干上，无需为每个骨干单独适配。理想目标是把领域分数从 5 提升到 40+ 的同时把通用跌幅压到 0.5 个点以内，并把四档骨干总适配算力压到全参 SFT 的 1/4 以下。

与已有工作不同的是，已有的外部参数化记忆工作（Memory Decoder、MLP Memory）虽能把 kNN 检索行为蒸馏进可训练模块，但只面向预训练 LM、只看困惑度/知识问答，从未验证过『把后训练指令模型冻结、外挂记忆』能否绕开后训练模型的弹性遗忘。已有的防遗忘方法（LoRA、MixTraining、Wise-FT）仍在权衡曲线内部打转，且每个骨干都要单独训练一次。MemSFT 的独特切入是：(1) 记忆训练与骨干彻底解耦，记忆只学 kNN 教师分布；(2) 用逐 token 学习路由器替代全局固定插值，在同一条答案里按 token 角色动态切换『听骨干还是听记忆』；(3) 因记忆训练不依赖具体骨干，同一份 8B 记忆可跨 Qwen3-8B/14B/32B/235B-A22B 复用。三点合起来第一次在 235B 规模跳出遗忘权衡曲线。

核心方法

直觉上 MemSFT 把『领域专家』从被烤进骨干权重的子网，搬到一个独立小模型里——骨干只管通用推理与指令跟随，专家小模型只吐领域相关下一词分布，一个路由器按当前 token 决定两者各占多少。技术分三段。(1) 构造检索式监督：对领域 SFT 语料每个答案位置用冻结教师编码器取上下文隐状态作 key、下一词作 value 建 FAISS L2 datastore，按 kNN 公式 $p_\text{teacher}$ 给软标签。(2) 训练记忆 LM：用 $L_{KL}=\mathrm{KL}(p_\text{teacher}\|p_\text{mem})$ 对齐检索分布，叠 $L_{CE}=-\log p_\text{mem}(y_t)$ 锚金标，总损失 $L_\text{mem}=\beta L_{KL}+(1-\beta)L_{CE}$。(3) 冻结骨干和记忆，训练两层 MLP 路由器输出 $\lambda_t$，融合 $p_\text{fused}=(1-\lambda_t)p_\text{base}+\lambda_t p_\text{mem}$，目标加带符号正则 $\alpha_s s_t\lambda_t$，$s_t$ 对领域样本取负、通用取正。骨干权重始终不动。

与已有方法的本质区别有三处。第一，与全参 SFT/LoRA 相比：MemSFT 不更新骨干一个参数，遗忘根源（梯度扰动对齐均衡）被彻底切断，通用能力几乎零损失。第二，与 Memory Decoder/MLP Memory 相比：后者用全局固定 $\lambda$ 融合，在 Figure 4a 这种全局插值必然走在权衡曲线上（$\lambda=0.1$ 时通用 83.21 但 BioIns 仅 6.28；$\lambda=0.7$ 时 BioIns 29.65 但通用跌到 44.34）；MemSFT 的逐 token 路由器能在同一条答案内按角色分配——数值 token $\lambda$ 均值 0.99、功能词仅 0.20——从而绕开全局权衡。第三，与 LoRA/MixTraining/Wise-FT 相比：这些方法要么每个骨干要单独训练，要么只能平移权衡曲线；MemSFT 的记忆训练与具体骨干解耦，同一份 8B 记忆可挂到 8B–235B-A22B，路由器训练只需一次 8B 级前向的特征，边际成本极低。

方法步骤详情

完整流程五步。(1) 数据准备：从领域 SFT 语料采样（BioIns 500K、OpenSWI 30K、DISC-Law 55K 条），按 label mask 只在答案侧建库。(2) 建 datastore：用固定教师编码器（最终解码块 MLP 输入隐状态）取上下文表征 $\phi(c_t)$ 作 key、下一词作 value，FAISS L2 索引；查询取近邻按温度 $\tau$ 聚合成 $p_\text{teacher}$。(3) 训练记忆 LM：一领域一个 8B 记忆，最小化 $L_\text{mem}=\beta L_{KL}+(1-\beta)L_{CE}$，BioIns 1 epoch、其余 3 epoch，序列长 2048（法律 3072）。(4) 训练路由器：冻结骨干和记忆，用 Nemotron 通用数据+领域数据混合训两层 MLP，目标 $L_{CE}+\alpha_s s_t\lambda_t$。(5) 推理：骨干与记忆并行处理同一输入，路由器逐 token 输出 $\lambda_t$ 按 $p_\text{fused}$ 出词。换骨干只需重训一个小路由器。

技术新颖性

技术新颖性集中在四点。一是首次把『蒸馏 kNN 检索到参数化记忆』的范式从预训练 LM 扩展到最大 235B 的后训练指令模型，并系统量化灾难性遗忘的缓解。二是把全局固定插值升级为逐 token 学习路由器，并设计带符号线性正则 $s_t\lambda_t$ 这种『领域样本拉高、通用样本压低』的极简监督，使路由器天然按 token 角色分化。三是把记忆训练与具体骨干解耦，证明同一家族（共享 tokenizer 与词表）的同一份记忆可跨 8B–235B 复用，路由器训练成为唯一『边际成本』。四是把适用域从序列类生物任务扩展到数值型地球科学反演（OpenSWI）和自然语言型法律（LawBench），证明路由机制对三种迥异领域形态都成立。配合算力分析（四档骨干共 9.23 EFLOPs，仅全参 SFT 41.05 的 0.22x），方法在『性能—保留—成本』三维同时成立。

**Figure 2**: Overview of MemSFT architecture.

**Figure 4**: Design analyses on Biology-Instructions (BioIns) with Qwen3-14B.

实验结果

结果分五层。第一，BioIns（表 1）：Qwen3-8B 原始仅 5.07，全参 SFT 升到 37.34 但通用平均从 80.56 跌到 67.04（-13.52）；LoRA 升到 32.07 通用跌到 63.48（-17.08）；MemSFT 升到 42.84（+37.77，还高于两个微调基线）通用仅 81.15（+0.59）。14B：MemSFT 42.92/通用 83.62（+0.40），SFT 通用崩到 51.83（-31.39）。32B：MemSFT 42.82/通用 85.33（-0.06）与 SFT 43.75 持平但 SFT 通用掉 25.58。第二，跨骨干复用：同一份 8B 记忆挂到 235B-A22B 上 BioIns 从 1.14 升到 42.05（+40.91）通用仅 +0.03。第三，算力（表 2）：四档骨干 MemSFT 共 9.23 EFLOPs，仅 SFT 41.05 的 0.22x。第四，附加领域：OpenSWI 上 MemSFT RMSE 全到 0.47 为各方法最低；法律 14B 上 MemSFT LawBench 56.47 与 LoRA 56.45 持平但通用不掉（83.79 vs 69.71）。第五，消融（图 4a）固定 $\lambda$ 0.1 时 BioIns 仅 6.28、0.7 时通用跌到 44.34，学习路由 42.92/83.62 跳出曲线；案例（图 5）数值 token 的 $\lambda$ 均值 0.99、功能词仅 0.20。

**Table 1**: Main results on Biology-Instructions (BioIns) and general benchmarks.

**Table 2**: Estimated model FLOPs for Biology-Instructions adaptation.

**Table 3**: Additional backbone-family validation on Biology-Instructions with LLaMA2-13B.

**Table 4**: Results on OpenSWI and general benchmarks.

**Table 5**: Additional validation on LawBench.

**Figure 3**: Forgetting-mitigation baselines on BioIns with Qwen3-14B.

**Figure 5**: Token-level router behavior on a representative OpenSWI prompt.

**Figure 6**: Direct BM25 RAG on BioIns with Qwen3-14B.

查看结构化数据

任务	指标	本文	基线	提升
BioIns（生物学多组学序列理解，21 个子任务平均分）	BioIns Avg. Score（0–100，越高越好）	Qwen3-8B 42.84、14B 42.92、32B 42.82、235B-A22B 42.05；通用平均分别 81.15/83.62/85.33/87.11	原始骨干 5.07/6.64/6.25/1.14；全参 SFT 37.34/41.16/43.75（235B 未跑）；LoRA 32.07/32.07/41.36	8B 上比骨干 +37.77、比 SFT +5.50 且通用不掉（SFT 通用 -13.52）；通用平均变化全部在 ±0.6 内
OpenSWI（面波频散曲线反演，浅层生成式）	RMSE（越低越好）	8B/14B/32B/235B-A22B 均为 0.47	原始骨干 103.07/4.39/1.40/0.96；全参 SFT 0.51/0.62/0.49；LoRA 0.52/0.80/0.50	全部骨干取得最低 RMSE，同时通用平均变化在 ±0.6 内（如 8B +0.57）
LawBench（法律能力，19 子任务平均）	LawBench Avg.（0–100）	Qwen3-14B + MemSFT 56.47，通用平均 83.79（+0.57）	原始骨干 49.83；全参 SFT 55.03（通用 -10.26）；LoRA 56.45（通用 -13.51）	与最强可训练基线 LoRA 持平（+0.02），但通用能力完全保留，证明方法可迁移到自然语言专业域
通用能力保留（MATH-500/C-Eval/IFEval/MMLU-Redux/INCLUDE 平均）	通用平均分（0–100，越高越好）	BioIns 上 8B/14B/32B/235B 通用变化 +0.59/+0.40/-0.06/+0.03	全参 SFT 同骨干通用变化 -13.52/-31.39/-25.58/—；LoRA -17.08/-9.61/-3.74	把全参 SFT 双位数级别的通用损失压到小数点级别，是『无损专精』的量化证据
适配算力（四档骨干总 FLOPs）	EFLOPs（模型 FLOPs）	MemSFT 9.23（datastore 1.44 + 记忆训练 4.32 + 路由器 3.47）	全参 SFT 41.05；LoRA 27.37	仅为全参 SFT 的 0.22x、LoRA 的 0.34x，规模越大相对优势越显著

局限与改进

作者承认两条局限：一是记忆复用目前要求骨干共享兼容 tokenizer 与输出词表，跨不同模型家族直接迁移需额外词表对齐或短暂续训，留作未来工作；二是本文只做监督式记忆构建，没探索强化学习阶段，而记忆本身是完整 decoder，理论上可做 RL 进一步对齐领域能力与骨干。我补充几点：首先评测只覆盖三个领域、骨干集中在 Qwen3 系（LLaMA2 仅 13B 单点验证），对『记忆是否真能跨更多架构家族复用』仍缺大规模证据。其次 OpenSWI 只跑浅层，作者自承深层因生成超长结构化速度剖面不可靠，说明记忆范式对超长结构化生成是否同样稳健尚未验证。再次路由器训练需混入通用指令数据（Nemotron-Post-Training-Dataset-v1），『零通用数据』的纯领域适配场景下路由器能否学会正确抑制记忆，论文未单独消融。最后『无损』是相对各自骨干、且 235B 上没有 SFT/LoRA 对照，对『超大模型上 MemSFT 是否仍优于微调』尚无法下定论。

独立分析的弱点

独立看有四个弱点。第一是路由器对通用数据的依赖：训练 $L_\text{router}$ 时通用样本带正号 $s_t>0$ 起到压低 $\lambda_t$ 的作用，若企业场景只有领域数据而无高质量通用指令数据，路由器可能过度依赖记忆、把通用能力也拉偏，论文未给『零通用数据』的鲁棒性消融，改进方向是用领域样本自身的领域外检测分数自适应生成 $s_t$。第二是推理成本翻倍：骨干与记忆要并行各跑一遍前向，8B 骨干+8B 记忆意味着解码算力接近翻番，路由器还要读两路隐状态，延迟敏感场景不友好，改进方向是用推测解码或仅在路由器预测高 $\lambda_t$ 区段激活记忆。第三是『无损』结论建立在平均分上，但表 1 里 14B 的 IFEval 仍有 -0.3、MATH-500 偶有 -0.4 级波动，并非逐 benchmark 真正零损，建议补充分布级而非均值对比。第四是 BioIns 这种序列型任务天然适合『数值 token 走记忆』（图 5 案例佐证），但对通用对话、长文本推理这类没有明显领域/通用分界的任务，路由器能否同样有效存疑，建议增补长 QA 或 Agent 评测。

未来方向

作者明确提出的方向有二：跨词表的记忆迁移（通过短暂续训做 vocabulary alignment），以及对记忆模块施加 RL 训练以增强其领域能力并与冻结骨干更好对齐。基于本成果可延伸的方向包括：(1) 把『逐 token 路由+外挂记忆』推广到多领域堆叠——一个骨干同时挂生物、地质、法律多个记忆，路由器再加一个记忆选择头决定激活哪个，类似 MoE 形态的领域专家库；(2) 把记忆训练目标从 kNN 蒸馏换成直接 RLHF/DPO 的偏好蒸馏，让记忆学到的不只是领域下一个词而是领域内更被偏好的回答；(3) 探索记忆的在线更新——当领域数据持续流入时能否在不重训骨干前提下增量更新记忆，类似持续学习；(4) 把路由器从隐状态输入换成基于注意力的 cross-attention，让骨干能查询记忆而非简单加权，可能进一步降低推理冗余；(5) 在多模态骨干上验证，例如把记忆挂到 vision-language 模型做医学影像专精。

复现评估

复现友好度中等偏上。有利因素：骨干（Qwen3 全系、LLaMA2-13B）、领域数据（BioIns、OpenSWI、DISC-Law-SFT）、通用基准（MATH-500、C-Eval、IFEval、MMLU-Redux、INCLUDE）、评测框架（lm-evaluation-harness、OpenCompass）、通用指令数据（Nemotron-Post-Training-Dataset-v1）均为公开；关键超参（序列长 2048/3072、LoRA rank 8 alpha 16 dropout 0.05、epoch 数、温度 $\tau$、FAISS L2、$\beta$、$\alpha_s$）和 datastore/router 细节写在正文与附录 A/B/C；代码仓库已标注（LUMIA-Group/MemSFT、Jiarui-Wang/MemSFT）。不利因素：完整复现需训练多个 8B 记忆+多档骨干路由器，BioIns 用到 500K 样本、235B 推理需大量显存；论文未公开记忆 checkpoint 与路由器权重，带符号正则的 $s_t$ 取值等细节需翻附录；自行复现两条核心结论对中型团队仍是不小工程量。

MemSFT：用外部参数化记忆缓解微调对齐税 MemSFT: Mitigating Alignment Tax with an External Parametric Memory