持续学习机制组合实现长程记忆保持 Continual Learning Mechanisms Compose for Long-Horizon Memorization
数据/函数/权重锚点与合并LoRA组合，将100任务留存率从1.2%提升至34.9%
前置知识
灾难性遗忘（Catastrophic Forgetting）
神经网络按顺序学习新任务时，针对新任务的梯度更新会覆盖旧任务所依赖的权重，导致旧知识性能骤降。自 McCloskey & Cohen (1989) 提出以来，一直是持续学习的核心难题，现有对策主要分为正则化、重放、参数隔离三类。
本文的整个问题设定——100个任务连续SFT后最终留存率仅1.2%——就是灾难性遗忘的极端体现，论文的所有设计都围绕对抗这一现象展开。
LoRA 与合并 LoRA（Merged LoRA）
LoRA 冻结预训练权重 $W_0$，只训练低秩增量 $\rho BA$（$A\in\mathbb{R}^{r\times d_{in}}$，$B\in\mathbb{R}^{d_{out}\times r}$，$\rho=\alpha/r$）。共享 LoRA 跨任务复用同一对矩阵；合并 LoRA 则在每任务结束后把 $\rho B_\star^t A_\star^t$ 折叠进稠密权重，再为新任务初始化新适配器，保留状态大小恒定。
低秩分配规则（共享 vs 合并）是本文两大设计维度之一，合并 LoRA 被证明是与数据锚点并列的最大收益来源。
生成式重放与自蒸馏
生成式重放（如 DGR、LAMOL）用旧模型的冻结副本生成伪样本代替存储的旧数据来训练；自蒸馏（如 Learning without Forgetting）让当前模型在当前任务输入上的输出分布 $q_{t-1}(\cdot|x)$ 逼近旧模型分布，约束输入-输出函数不漂移。
两者分别实例化本文的数据锚点 $R^D$ 与函数锚点 $R^F$，是组合方法中提供主要增益的机制。
EWC / SI 权重正则化
EWC 用对角 Fisher 信息估计每个参数对旧任务的重要性，以二次惩罚 $\frac{1}{2}(\vartheta-\vartheta^\star_{t-1})^\top H_{t-1}(\vartheta-\vartheta^\star_{t-1})$ 限制重要参数变动；SI 改为沿优化路径累积参数贡献来估计重要性，在线版本只用一份运行时 Fisher。
这是权重锚点 $R^W$ 的技术内核，论文还分析了它与合并 LoRA 的负交互机制。
任务级连续减半与因子实验
连续减半（successive halving）保留表现好的候选、淘汰其余以节省算力；本文的 TSH 特殊之处在于逐级延长的是任务视界（10/20/50/100 个任务）而非训练迭代数。因子实验（$2^4$ 设计）把 4 个机制开关全交叉，用主效应和交互效应统计分解每个机制的独立贡献与协同作用。
这是本文的搜索与评估方法论，理解 TSH 和 $2^4$ 因子分解才能读懂 Figure 2 与 Table 1 的结论。
研究动机
语言模型若要把随时间陆续到达的信息内化进参数（而非依赖提示或外部检索），必须在数百次参数更新后仍然记得早期学到的关联。本文用长程记忆设定量化了现状的糟糕程度：模型依次学习 100 个查询-答案任务（不保留早期原始样本、推理时不给任务标识），朴素顺序 SFT 之后平均最终留存率只有 1.2%（Symbol-QA 1.0%、LLM-QA 1.4%、Real-QA 1.3%），记忆半衰期仅 1–2 个任务——学完第 3 个任务时第 1 个任务的知识已丢掉一半。现有持续学习机制（EWC/SI 正则化、LwF 自蒸馏、生成式重放、O-LoRA 等）大多作为孤立机制被提出和评测，没有任何单一机制能在这个视界上维持强留存（最佳单一机制平均仅 8.1%）。此外，现有持续语言学习基准主要衡量迁移或异构下游任务性能，序列模型编辑研究的是定点修改而非任务级 SFT，都缺少针对长程记忆的评测管线。
本文的目标是本文要把长程记忆形式化为一个独立的持续学习问题，并系统回答一个此前未被认真研究的问题：针对不同遗忘来源的持续学习机制，组合起来是否远优于任何单一机制？具体目标包括四点：一是定义 100 任务域增量连续 SFT 的协议与指标（最终留存率、即时获取率、遗忘量、记忆半衰期）；二是把机制设计空间组织成两个维度——锚点（数据/函数/权重，规定每次更新应保留什么先验信息）与低秩分配规则（共享/合并 LoRA，规定更新被保存在哪里）；三是构建三个各含 100 个任务、语义真实性递增的记忆数据集，并提出任务级连续减半搜索 90 个候选组合；四是用 $2^4$ 因子实验量化每个机制的个体效应与交互效应，找出可跨数据集稳定排名第一的最佳组合。
与已有工作不同的是，以往工作（EWC、SI、LwF、DGR、LAMOL、O-LoRA、ReLoRA 等）的范式是各自提出一个新机制，再在图像分类或下游任务基准上与若干旧机制比较；即便有组合（如 DER++ 同时用存储样本与 logits），也未系统研究组合空间本身。本文的独特切入在于：不再发明新机制，而是提出组合假设——解决互补遗忘来源的机制组合后会更强——并把整个组合空间沿锚点与低秩分配两个正交维度组织起来，用任务级连续减半在 90 个配置中低成本初筛，再用因子分解实验做统计归因。这使得论文能给出机制层面的因果式结论（如重放与合并 LoRA 超可加交互），而不是简单的方法排行榜。同时，三个自建的 100 任务记忆数据集填补了长程记忆评测的空白。
核心方法
直觉上，遗忘有多个互补来源：旧样本分布消失（可用重放补）、输入-输出函数漂移（可用自蒸馏约束）、重要参数被覆写（可用重要性正则约束）、低秩更新空间相互干扰（可用每任务轮换工作空间解决），因此机制应当可叠加。技术上，每任务 $t$ 的目标为 $\Theta_t=\arg\min_\Theta\; L^{SFT}_t+R^D_t+R^F_t+R^W_t$，其中 $L^{SFT}_t=-\mathbb{E}_{(x,y)\sim D_t}[\log p_\Theta(x,y)]$ 不掩码查询词。数据锚点 $R^D$ 用冻结的旧模型从任务无关重放令牌生成 300 条伪序列，当前任务每个 minibatch 搭配一个重放 minibatch 并施加旧模型软标签；函数锚点 $R^F=\mathbb{E}_{x\sim\mu_t}[d(q_{t-1}(\cdot|x),p_\Theta(\cdot|x))]$ 只作用于当前任务输入；权重锚点 $R^W$ 是以累计重要性 $H_{t-1}$ 加权的二次惩罚。低秩分配上，共享 LoRA 跨任务优化同一对 $A,B$；合并 LoRA 每任务后把 $W_t=W_{t-1}+\rho B_\star^t A_\star^t$ 折入稠密权重并重置适配器与优化器。
核心创新是把视角从「发明更好的单一机制」转为「组合已有互补机制并做统计归因」。与 DER++ 这类固定搭配不同，本文把组合空间形式化为锚点（数据/函数/权重）× 低秩分配（共享/合并 LoRA）的笛卡尔积——$\{\emptyset,\text{EWC},\text{SI}\}\times\{\emptyset,\text{SD}_1,\text{SD}_2\}\times\{\emptyset,\text{Replay}_1..{}_4\}\times\{\text{shared},\text{merged}\}$，共 90 个配置。另一个关键想法是任务级连续减半（TSH）：与以往按迭代数分配预算的 successive halving 不同，TSH 逐级延长任务视界（10 任务留 45 个、20 任务留 23 个、50 任务留 10 个、最后跑满 100 任务），用早期留存率排名决定谁获得更多训练预算，从而以极低成本获得组合空间的可靠初筛。最后用 $2^4$ 因子实验把最终留存率分解为 4 个主效应、6 个两两交互、若干高阶交互，直接检验超可加假设。
方法步骤详情
第一步，构建三个 100 任务数据集：Symbol-QA 含 10,000 条随机键值关联（每任务 100 例）；LLM-QA 由 LLM 在 100 个虚构主题上生成 10,000 对问答；Real-QA 从十个公开 QA 数据集过滤出 5,000 对自然问答（每任务 50 例），剔除模型五次采样中已能答对的条目，且每个查询全任务唯一对应一个答案。第二步，每任务训练：按组合目标更新，重放权重与生成温度在 $\{0.5,0.75\}\times\{1.0,1.5\}$ 中搜索。第三步，TSH 搜索：90 个配置、每配置 3 个种子共享同一任务顺序，在 10/20/50 任务视界保留前 45/23/10 名，最终 10 个配置跑满 100 任务。第四步，因子实验：三锚点加合并 LoRA 的 16 种开闭组合各训 3 种子，另评 21 个方法。第五步，统计评估：记录时间精度矩阵 $M_{i,j}=\frac{1}{N_j}\sum_n \mathbb{1}[\hat{y}_i(x_{j,n})=y_{j,n}]$，计算 Final、Diag、Forget 与记忆半衰期，并做显著性检验。第六步，补充实验：用 O-LoRA 与顺序 OSRM 替换合并 LoRA，并在 GSM8K、MATH、MGSM、MMLU-Redux 上测通用能力。
技术新颖性
技术新颖性有四点。其一，问题层面首次把「长程记忆」形式化为域增量连续 SFT 下的独立持续学习问题，与衡量迁移的持续语言学习基准和做定点修改的序列模型编辑都明确区分开。其二，设计空间的形式化：把文献中零散的机制统一到锚点（保留什么）与低秩分配规则（存在哪里）两个正交维度，使组合可枚举、可交叉验证；合并 LoRA 是把 ReLoRA 的合并-重初始化模式改造成持续学习的每任务工作空间轮换，且保留状态大小恒定。其三，任务级连续减半是新的超参搜索形态——随任务视界推进而非迭代数推进，论文还验证了 10 任务排名与 100 任务最终排名高度一致。其四，$2^4$ 因子分解给出了罕见的机制级统计归因：重放主效应 +9.5~+19.3 个百分点、合并 LoRA +5.9~+20.5 个百分点，且两者交互在三个数据集上均显著为正（+3.6/+9.4/+11.7），这是「组合优于叠加」论断的定量证据。
实验结果
发现一：组合大幅优于单一机制。100 任务后朴素微调平均留存率 1.2%，最强单一机制平均 8.1%（三个数据集为 4.2%/7.5%/12.5%，均为重放），本文方法（三锚点+合并 LoRA）达 18.5%/41.8%/44.3%，平均 34.9%，是朴素微调的 28 倍，且是因子实验中唯一在三个数据集都进前 3 的组合；各数据集最强组合为 Symbol-QA 的 SD+重放+合并（23.2%）、LLM-QA 全四件套（41.8%）、Real-QA 的 SI+重放+合并（54.8%）。发现二：记忆半衰期延长一个数量级——朴素微调 1/1/2 个任务，最强单一机制 4/6/11，最强组合 19/32/44，本文方法 19/32/32，但所有曲线仍随记忆年龄衰减，组合只是放慢遗忘。发现三：因子分析显示重放与合并 LoRA 主效应最大，独立增益之和仅 3.9/7.7/13.9 个百分点，联合使用却带来 15.6/31.0/46.9 个百分点，交互 +3.6/+9.4/+11.7 均显著；SI×合并 LoRA 在 Symbol-QA 有 -3.0 的显著负交互。发现四：任务数增长型状态不占优——O-LoRA 替换仅在两个自然语言数据集小幅提升，顺序 OSRM 全部变差；且所有方法在 GSM8K、MATH、MGSM、MMLU-Redux 上灾难性遗忘，记忆增强不等于通用能力保留。附录显示各方法即时获取率接近满值，差距来自遗忘而非学不会。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 100 任务连续 SFT 平均最终留存率（三数据集平均） | Final Retention (%) | 34.9%（三锚点+合并 LoRA） | 朴素顺序微调 1.2%；最佳单一机制 8.1% | 相对朴素微调提升 28 倍，相对最佳单一机制提升约 4.3 倍 |
| Symbol-QA 最终留存率 | Final Retention (%) | 本文方法 18.5%；数据集最强组合（SD+重放+合并）23.2% | 朴素微调 1.0%；最强单一机制（重放）4.2% | 本文方法约为朴素微调的 18.5 倍 |
| LLM-QA 最终留存率 | Final Retention (%) | 本文方法 41.8%（即数据集最强组合，全四机制） | 朴素微调 1.4%；最强单一机制（重放）7.5% | 约为朴素微调的 29.9 倍 |
| Real-QA 最终留存率 | Final Retention (%) | 本文方法 44.3%；数据集最强组合（SI+重放+合并）54.8% | 朴素微调 1.3%；最强单一机制（重放）12.5% | 本文方法约为朴素微调的 34.1 倍 |
| 记忆半衰期（按数据集 Symbol/LLM/Real） | Memory Half-life（任务数） | 本文方法 19/32/32；最强组合 19/32/44 | 朴素微调 1/1/2；最强单一机制 4/6/11 | 相对朴素微调延长 16~19 倍 |
| 通用能力保持（GSM8K/MATH/MGSM/MMLU-Redux） | 通用基准准确率变化 | 所有方法均大幅下降（记忆增强不保通用能力）；O-LoRA 相对保留更多 | 未训练基线（预训练模型原始成绩） | 无正向提升，为论文明确承认的负向发现 |
局限与改进
作者承认两点局限：一是只测记忆不测泛化——评估使用训练时的原始查询，模型可能记住了关联却在改述问法上答错，因此结果不能外推到新表述；二是更强的记忆化并不保通用能力，所有方法在 100 任务后在 GSM8K、MATH、MGSM、MMLU-Redux 上仍严重退化。我自己的观察补充如下：其一，34.9% 的绝对留存率仍不理想，三分之二的知识在 100 任务后依然丢失，半衰期曲线显示遗忘只是被推迟，方法没有触及「无限期保持」的机制层面解法；其二，SI 与合并 LoRA 的负交互暴露了重要性估计与新参数工作空间错配的结构性问题，论文只在附录给出解释性讨论；其三，因子实验的超参来自 TSH 选定值，结论对模型规模、LoRA 秩、任务数量（100）的敏感性未系统检验；其四，Real-QA 每任务仅 50 例且预先过滤掉模型已会的题目，「记忆 vs 学习」的边界略显模糊；其五，本文未探索架构隔离、检索增强等会改变状态大小的替代路线（仅测了状态增长的 O-LoRA/OSRM）。
独立分析的弱点
弱点一：留存率天花板低。最佳组合平均仅 34.9%，意味着约 65% 的早期知识在 100 任务后仍被遗忘，且遗忘随记忆年龄单调增加。改进方向：引入稀疏参数分区或 MoE 式路由，把不同任务的更新写入互不干扰的容量块，从结构上消除覆写而非减缓覆写。弱点二：通用能力崩塌未被解决。所有方法在 GSM8K/MATH 等基准灾难性遗忘，说明锚点只保护了任务内知识。改进方向：把通用基准梯度纳入重要性估计，或在重放分布中混入通用预训练语料的伪样本，做能力保持约束。弱点三：SI 与合并 LoRA 的结构性错配——SI 携带的重要性权重 $H_{t-1}$ 挂在旧 LoRA 因子上，合并后被套在新初始化、函数角色已变的坐标上，在缺乏跨任务复用结构的 Symbol-QA 上造成 -3.0 的显著负效应。改进方向：合并时把重要性投影到新旧子空间的交叠基上，或干脆禁用该组合。弱点四：搜索成本高。TSH 需要训练 90 个配置×3 种子×多视界×3 数据集，对小实验室不友好。改进方向：用单任务代理指标或低秩扰动的线性探针替代完整训练做初筛。弱点五：结论建立在单一基座模型与固定 LoRA 秩上，缩放规律不明。
未来方向
作者在结论中提出的方向：一是从记忆走向泛化，让模型对改述查询也保持正确答案；二是在学习新关联的同时保留通用能力，这仍是开放挑战。基于本文成果可延伸的方向：其一，把视界从 100 任务推到 1000 或更多，检验合并 LoRA 工作空间轮换与重放的收益是否随视界衰减，并拟合遗忘的标度律；其二，机制组合的自动化——用 TSH 的排名信号做在线的机制开关调度，按任务域特征动态选择锚点组合；其三，参数记忆与检索记忆的混合：本文显示参数化记忆存在衰减下限，可探索把高年龄记忆外溢到向量库、低年龄记忆留在参数内的分层方案；其四，对重放×合并 LoRA 超可加交互做理论分析，弄清它来自梯度方差降低、有效秩增加还是损失景观平坦化；其五，把锚点框架移植到持续预训练与指令微调场景，检验设计维度在外部知识注入任务上的可迁移性；其六，针对 SI 错配问题设计跨合并保持的重要性度量。
复现评估
复现评估：论文配套项目网站 compose-cl.github.io，正文与附录对方法定义（附录 B.1–B.8 的目标函数、重放生成细节、超参）、数据构建（附录 C 的来源清单）、资源核算（附录 D.1）、完整排名（附录 D.5 与 Table 7）、种子标准差（附录 E.2）都有详细记录，公开文本中未直接确认代码与数据集的完整开源链接，需到项目页核实。算力方面，主要开销在 TSH 搜索：90 配置×3 种子×10~100 任务视界×3 数据集，再加 16 组合×3 种子的因子实验与 21 方法评测，估计需要多卡 GPU 持续数周量级；若跳过搜索、直接复现最终方法（三锚点+合并 LoRA，超参取论文选定值），单个数据集 100 任务×3 种子成本可控。难度评估：Symbol-QA 与 LLM-QA 构建直接，Real-QA 的过滤协议（五次采样剔除已会题目）需复刻；整体复现难度中等偏上，关键风险点是重放生成质量对温度与权重的敏感性以及任务顺序种子带来的方差。
论文图表
