通过丘脑路由皮层柱实现语言模型的高效持续学习 Efficient Continual Learning in Language Models via Thalamically Routed Cortical Columns
提出TRC2架构，集成丘脑调制和海马体记忆，解决大模型持续学习中的灾难性遗忘问题。
前置知识
灾难性遗忘
指神经网络在顺序学习多个任务时，学习新任务会导致对旧任务性能大幅下降的现象。这是因为模型参数会被新任务的数据覆盖，从而破坏了之前学到的知识。在持续学习中，这是一个核心挑战，需要在保持可塑性以吸收新信息的同时，保持对先前知识的稳定性。
本文的核心目标就是解决大语言模型在持续学习场景下的灾难性遗忘问题，理解这个概念才能明白TRC2架构设计背后的动机。
重放机制
持续学习中的关键技术，通过在训练新任务时重新访问和重放过去任务的样本来减少遗忘。包括精确重放（存储真实样本）和生成重放（用生成器模拟样本）两种方式。重放通过定期提醒模型之前学到的知识，帮助维持旧任务的性能。
TRC2的海马体模块采用了事件选择性和延迟惊奇驱动的重放机制，理解传统重放方法有助于评估本文的创新点。
MoE（Mixture of Experts）
混合专家模型，一种稀疏激活架构，其中不同的输入token被路由到不同的专家子网络进行处理。相比全连接模型，MoE可以在参数量增加的同时保持计算成本相对稳定，因为它只激活部分专家。负载均衡是MoE训练中的重要挑战，需要确保所有专家都被充分利用。
本文将TRC2与DeepSeekMoE、标准MoE等基线进行比较，理解MoE的工作原理有助于理解实验对比的意义。
内容可寻址记忆
一种记忆检索机制，通过查询内容的相似性来检索记忆中存储的信息，而不是通过固定的索引地址。在海马体模型中，记忆存储键值对，查询时计算查询向量与存储键的相似度，返回最匹配的值。这种方式允许灵活、基于内容的访问模式。
TRC2的海马体模块使用内容可寻址的情景记忆进行事件选择性检索，这是架构的核心组件之一。
AUFC（Area Under Forgetting Curve）
遗忘曲线下面积，用于量化模型在持续学习过程中的累计遗忘程度。在训练过程中定期测量在之前任务上的性能，绘制性能随时间下降的曲线，然后计算曲线下面积。AUFC值越低表示累计遗忘越少，是评估持续学习算法的关键指标。
本文使用PPL AUFC、BLEU AUFC、TokAcc AUFC作为核心评估指标来衡量TRC2的保留能力。
研究动机
现有大语言模型在部署后面临不断变化的数据分布、用户偏好和任务组合，必须能够适应这些变化而不丧失已获得的能力。然而在实践中这仍然很困难：顺序更新会导致灾难性遗忘，即学习新任务会显著降低在旧任务上的性能。虽然许多稳定化方法存在，但它们通常依赖外部程序，这些程序成本高、脆弱或难以扩展。重放虽然一直是减少遗忘的最可靠方法之一，但在大多数语言模型流水线中，记忆是作为外部程序添加的，而不是内置到模型的计算中，因此适应仍然主要通过全局参数更新来表达。随着序列模型的多样化，状态空间和混合骨干网络在分布偏移下的稀疏路由变得更加脆弱。现有的测试时学习和模型合并方法也得出类似结论：部署流包含有用的适应信号，但当前方法通常通过在基本不变的骨干网络上层叠的程序来利用它们。
本文的目标是本文的具体目标是提出一种将持续学习作为骨干网络本身属性的解码器架构，而不是通过外部程序来实现。作者希望设计一个能够局部化快速可塑性同时保留较慢稳定计算路径的模型，使得模型能够在不需要完全重新训练或不受限制重放的情况下，适应不断变化的语料库和任务组合。
与已有工作不同的是，本文的独特切入角度是在架构层面表达持续学习，而不是通过约束更新子空间或外部增强。作者引入TRC2（Thalamically Routed Cortical Columns），这是一个解码器骨干网络，结合了堆叠的皮质柱和两个全局系统：一个丘脑路由器，将中间皮质状态转换为后期柱的选择性调制反馈；一个海马体记忆，支持事件选择性检索、延迟惊奇驱动写入和重放驱动巩固。与仍然依赖基本静态骨干网络和外部正则化来约束更新子空间的方法不同，TRC2将干扰控制作为前向计算本身的一部分。这个设计受到神经科学的启发，使用丘脑和海马体通路作为架构指导，而不是字面上的生物模型。
核心方法
TRC2是一个解码器语言模型，核心思想是借鉴神经科学中大脑皮层、丘脑和海马体的分工机制来设计持续学习架构。模型由三个交互部分组成：皮质柱堆叠用于因果序列建模，丘脑路由器产生调制性柱间反馈，海马体记忆支持事件选择性检索、延迟写入和基于重放的巩固。这种设计将快速适应局部化，同时保留较慢的稳定路径。具体来说，模型首先处理输入序列，早期皮质层通过丘脑反馈逐层处理，在海马体注入点，模型从海马体记忆中读取并计算固定的反馈项，然后后期皮质层继续使用组合的调制信号继续处理。作者还引入了因果记忆更新方案和在线重放控制器，后者通过测量先前任务上的遗忘来调整巩固强度。
TRC2的核心创新点是将持续学习作为骨干网络本身的属性来表达，而不是作为外部程序。丘脑路由器不是用于扩展前馈容量，而是用于调制控制和可塑性管理；海马体记忆的访问是事件选择性和因果的，重放强度是根据测量的遗忘在线调整的。这使得TRC2处于纯参数适应和纯外部排练之间的中间位置。与现有方法本质不同之处在于：TRC2将干扰控制作为前向计算本身的一部分，而不是通过约束更新子空间但仍然依赖基本静态骨干网络和外部正则化。
方法步骤详情
TRC2的方法步骤可以描述为完整的处理流程。首先，输入嵌入 $H^{(0)}_{b,t} = E[x_{b,t}]$ 经过旋转位置编码和RMS归一化。然后，皮质柱堆叠进行处理，每个皮质柱映射序列状态 $H$ 和丘脑信号 $Z$，包括注意力计算和MoE前馈。在注意力中，丘脑信号仅调制查询：$Q = UW^Q + ZW^{Q}_{thal}, K = UW^K, V = UW^V$。丘脑路由器将层-5投影 $C = W_{L5}H^+$ 转换为下一柱的因果调制信号。首先压缩皮质状态 $Z_0 = \text{RMSNorm}(CW_c)$，然后结合局部通路和由严格过去均值 $\mu_{<t}$ 驱动的扩散通路，通过TRN-like竞争阶段抑制扩散过度激活，最后映射回模型宽度。在海马体注入点 $\ell_{inj} = \lceil 2L/3 \rceil$，早期皮质状态使用内容可寻址情景记忆进行查询，检索使用最近存储的 $n_{read} = \min(n_{mem}, S_{max})$ 条目，返回 $R_{b,t,:} = \sum_{i \in N_{b,t}} \alpha_{b,t,i}V_{mem,i,:,:}$。海马体还从分离的早期皮质状态计算内在学习信号，快速和慢速预测器头定义学习进度奖励 $r_t = \max(0, \bar{P}^{fast}_{t,X_{t+1}} - \bar{P}^{slow}_{t,X_{t+1}})$。记忆写入是严格延迟的：在前向传播期间，模型存储待定元组 $(X, s_{1:T})$ 但不修改记忆。反向传播后，选择每个序列最多 $k_W$ 个高惊奇候选，用自适应阈值过滤，只将幸存状态写入循环缓冲区。海马体读出转换为所有后期柱的固定反馈信号。海马体还维护两个原始token块的重放存储：最近的环形缓冲区和长期水库。在当前批次插入之前绘制重放样本，因此重放从不使用正在优化的相同批次。在线重放控制器通过监控先前任务在log-困惑度空间中的遗忘来调整重放强度，使用裁剪的比例积分规则更新重放系数 $\lambda_{rep}$、重放批次大小 $B_R$ 和长期重放分数 $\rho_{long}$。
技术新颖性
TRC2的技术新颖性体现在多个方面。首先，它将持续学习直接嵌入到骨干网络架构中，而不是作为外部过程或约束，这在语言模型中是首次尝试。其次，丘脑路由器不是用于容量扩展，而是用于选择性调制和可塑性管理，这种在路由目标上的创新与MoE系统有本质区别。第三，海马体记忆采用了事件选择性和因果的记忆访问模式，结合延迟惊奇驱动写入，这种严格因果的读-写分离确保了前向传播中的因果一致性。第四，在线重放控制器根据测量的遗忘动态调整重放参数，这是自适应的、数据驱动的巩固策略。最后，作者提供了受控的实证研究，在与Transformer、Mamba、MoE、DeepSeekMoE以及其他持续学习基线相同的任务流和优化流水线下进行比较，这在方法论的严谨性上具有重要价值。
实验结果
实验结果显示TRC2在任务边界建模质量和累计遗忘方面都显著优于基线。在三个任务上，TRC2在困惑度上占据最低区域，在GSM8K上差距最大，所有TRC2变体在log尺度GSM8K面板上都远低于基线族。在次要教师强制文本指标上，C4和WikiText-103的BLEU和GSM8K的token精度也表现出相同的模式。效率方面，较大的TRC2变体为丘脑路由、海马体检索和重放支付了明显的系统成本，但几个TRC2变体仍然具有竞争力，特别是d768-l4配置处于一个显著有利的区域，结合了强大的边界质量和竞争的计算成本。最突出的保留结果是，相对于基线，TRC2将吞吐量保留前沿推向了较低累计遗忘的竞争速度。所有TRC2变体都处于PPL AUFC最低带，而大多数基线占据明显更高的遗忘区域。d768-l4模型在这种权衡中特别强，结合了TRC2变体中最好的吞吐量之一和最低的观察到的PPL AUFC。消融研究阐明了两个全局模块的作用：移除丘脑和海马体可以减少开销并改善一些最终步数指标，特别是在最后一个任务上，但在累计保留上有明显成本。完整模型给出最强的AUFC概况，当移除海马体记忆时出现最大的退化。这种端点分数和保留之间的分离表明丘脑和海马体通路不仅仅是增加容量，它们改变了可塑性如何跨流分配。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| C4语言建模 | 困惑度（PPL，10k边界） | 990.26（d768-l4） | Transformer/Mamba/MoE约1280-2050 | 约20-50% |
| WikiText-103语言建模 | 困惑度（PPL，20k边界） | 68.70（d768-l4） | Transformer/Mamba/MoE约55-613 | 与最佳基线相当，与最差基线相比约90% |
| GSM8K语言建模 | 困惑度（PPL，22k边界） | 31.28（d768-l4） | Transformer/Mamba/MoE约26-31 | 与基线竞争 |
| 累计遗忘 | PPL AUFC（22k步骤） | 0.44（d768-l4完整模型） | 0.56-0.78（各种基线和消融） | 约30-40% |
| 吞吐量 | Tokens/秒 | ~103,000（d768-l4） | ~109,000-154,000（更简单的配置） | 略有开销，但保持竞争力 |
局限与改进
作者承认的主要限制主要是计算方面的。虽然几个配置已经在质量、保留和计算之间实现了有利的平衡，但稀疏和基于内存的路径仍然可以更高效地执行。系统的权衡是真实的，但不具有禁止性，TRC2为路由、检索和重放支付了额外成本，但几个变体仍然处于实践可行区域。我观察到的一个额外限制是评估指标的局限性：本文主要关注困惑度、BLEU和token精度等语言建模指标，而不是解决推理问题的准确性。这意味着在推理任务上的实际性能可能有所不同。另一个潜在限制是虽然TRC2通过海马体记忆减少了灾难性遗忘，但更强大的持久适应也可能保留更多有害或不正确的信息，这使得仔细的评估和监控变得重要。此外，论文中的模型规模相对较小（650M-800M参数），这种架构在更大规模上的表现仍需验证。
独立分析的弱点
TRC2的一个主要弱点是额外的计算开销。丘脑路由、海马体检索和重放都引入了额外的计算成本，虽然d768-l4配置保持竞争力，但较大的变体在这方面面临挑战。改进方向可以包括优化稀疏和基于内存的路径的计算效率，例如使用更高效的检索算法、减少记忆写入频率或开发更轻量的路由机制。另一个弱点是海马体记忆的大小和检索效率之间的权衡。随着记忆增长，检索成本增加，可能需要开发层次化或增量检索机制。此外，惊奇阈值和重放控制器的超参数可能对不同任务分布敏感，需要自适应调整机制。在线重放控制器的比例积分规则虽然有效，但在极端分布偏移下可能不够鲁棒，可以考虑引入更复杂的控制策略。
未来方向
作者提出的未来方向是系统优化，使稀疏和基于内存的路径能够更高效地执行。基于TRC2的成果，可以延伸出多个研究方向：首先，可以探索TRC2在更大规模模型上的表现，验证架构的可扩展性。其次，可以研究TRC2在其他持续学习场景中的应用，如视觉-语言多模态学习或强化学习中的持续适应。第三，可以开发更复杂的海马体记忆机制，例如引入层次化记忆结构或更复杂的写入策略。第四，可以探索TRC2与其他持续学习技术的结合，例如与正则化方法或架构方法（如动态扩展网络）的混合方案。第五，可以研究TRC2在测试时适应和个性化中的应用，利用其模块化结构进行高效推理时更新。最后，可以开发更全面的评估框架，不仅包括语言建模指标，还包括下游任务的实际性能，以更好地评估持续学习的实用性。
复现评估
论文提供了详细的算法描述和训练细节，包括模型配置、优化器设置、数据流水线和评估协议，这为复现提供了良好的基础。实验使用标准的公开数据集（C4、WikiText-103、GSM8K）和相对适中的计算资源（单节点4块NVIDIA V100 32GB GPU），这使得复现在计算上是可行的。作者提供了完整的超参数配置和训练步数预算，这对于复现非常重要。然而，论文中没有明确说明代码是否开源，也没有提供预训练模型的下载链接。TRC2架构包含多个新颖组件（丘脑路由器、海马体记忆、在线重放控制器），实现细节的正确性对复现结果有重要影响。论文提到将完整标量边界和保留结果以及按宽度和置信区间分组的额外视图推迟到附录，但提供的这些细节可能仍然不够完全复现。总体而言，基于提供的细节，复现难度中等，主要挑战在于丘脑和海马体模块的正确实现以及超参数的精确调整。
论文图表