← 返回 2026-01-05

嵌套学习：深度学习架构的幻觉 Nested Learning: The Illusion of Deep Learning Architectures

Ali Behrouz, Meisam Razaviyayn, Peilin Zhong, Vahab Mirrokni 📅 2025-12-31 👍 46 2026-07-13 08:35
优化器设计 关联记忆 持续学习 自引用模型 长上下文理解
arXiv HuggingFace PDF

提出嵌套学习范式，将机器学习系统视为多层次优化问题，实现持续学习能力。

前置知识

关联记忆

关联记忆是一个将键映射到值的操作符，通过优化目标函数从数据中学习这种映射。在深度学习中，记忆更新可以被重新表述为优化过程，例如线性注意力的更新规则等价于使用梯度下降优化内积相似性目标。记忆的本质是将上下文信息压缩到参数空间中，实现知识的存储和检索。

本文核心观点是将所有神经网络组件（包括架构和优化器）都视为关联记忆系统，理解关联记忆是掌握嵌套学习框架的基础。

多层嵌套优化

多层嵌套优化是指将一个机器学习系统分解为多个相互连接的优化问题，每个优化问题都有自己的上下文流和更新频率。系统中的参数可以按照更新频率被分配到不同的层次，高层参数更新频率低（如预训练参数），低层参数更新频率高（如注意力机制的上下文学习）。

这种层次划分提供了一个新的设计维度，突破了传统深度学习中简单堆叠层的限制，增强了模型的计算深度和持续学习能力。

Delta梯度下降

Delta梯度下降是一种广义的梯度下降规则，它结合了L2回归目标和权重衰减，使更新不仅取决于当前输入，还依赖于当前权重状态。与标准梯度下降不同，DGD包含一个自适应衰减项，能够根据当前数据样本动态调整更新幅度，从而更好地处理高度相关的token序列。

本文提出的DGD克服了标准梯度下降假设样本独立同分布的局限性，在token空间优化中表现更优，是Hope架构中的关键组件。

研究动机

现有深度学习架构存在根本性挑战。大语言模型预训练后参数静态冻结，无法持续获取新能力，仅能通过上下文学习快速适应。这类似顺行性遗忘症患者，只能处理短期窗口和长期记忆，无法形成新的长期记忆。计算深度方面，增加层数不一定提升计算深度，实现复杂算法的能力受限。参数容量边际递减，优化器选择不当会导致次优解，快速适应新任务和分布外泛化能力受限。

本文的目标是本文提出嵌套学习范式，旨在揭示机器学习模型与优化过程的本质统一性，提供新的设计维度增强模型的计算深度和持续学习能力。具体目标包括：将模型和训练过程统一表示为多层次嵌套优化问题；设计更强大的优化器和序列模型；构建能够在不同时间尺度上处理和存储知识的内存系统；实现真正意义上的持续学习模型。

与已有工作不同的是，现有研究通常将架构设计和优化过程视为独立选择，组合各自表现最好的组件。本文的独特视角是发现架构和优化器本质上是统一的，都是关联记忆系统，只是在不同层次上优化不同的上下文。神经学习模块作为相互连接的系统，各组件的交互至关重要。大脑的统一可重用结构和多时间尺度处理机制为设计新架构提供了重要启发。

核心方法

嵌套学习将机器学习系统表示为相互连接的多层次优化问题，每个问题都有自己的上下文流和更新频率。系统中的参数按照更新频率分配到不同层次，高层参数更新频率低（如预训练参数），低层参数更新频率高（如注意力机制）。从关联记忆视角，优化器（如Adam、SGD with Momentum）和架构（如Transformer）都是关联记忆系统，压缩各自的上下文信息。

核心创新是将反向传播过程重新表述为自引用的关联记忆优化问题。标准梯度下降 $W_{t+1} = W_t - \eta_t \nabla_{W_t} L(W_t; x_t)$ 可以重新表述为优化内积相似性目标，而Delta梯度下降使用L2回归目标 $W_{t+1} = \arg\min_W \frac{1}{2}\|Wx_t - u_t\|_2^2 + \frac{1}{2\eta_t}\|W - W_t\|_2^2$，其中 $u_t = -\nabla_y L(W_t; x_t)$。这个自引用性质使得模型能够生成自己的更新值，实现真正的自修改学习。

方法步骤详情

方法步骤包括：首先定义更新频率 $f_A$ 为组件每单位时间的更新次数；然后按照频率将组件排序成有序层次，每层包含一组优化问题 $\{(L^{(k)}_i, C^{(k)}_i, \Theta^{(k)}_i)\}_{i=1}^{N_k}$，每个参数使用梯度下降优化；接着设计层次间的知识转移机制，包括直接参数连接、反向传播、初始化和上下文生成；最后构建神经学习模块，将架构和优化过程统一表示。在Hope架构中，先通过自引用Titans生成自己的键值对和更新规则，再使用连续内存系统存储持久知识。

技术新颖性

技术创新点包括：提出了通用的广义梯度下降（GGD）学习规则，允许自引用的关联记忆；设计了Delta梯度下降（DGD），克服独立同分布假设；提出了Delta Momentum，使用L2回归目标改进记忆管理；设计了深度动量梯度下降（DMGD），使用MLP作为记忆模块；提出了连续内存系统（CMS），替代传统的长短期内存观点；构建了Hope架构，结合自引用Titans和CMS，实现真正的持续学习能力；提出了M3优化器，结合Adam、Muon和CMS的思想，支持长上下文优化。

嵌套学习范式将机器学习模型及其训练过程表示为一组嵌套优化问题。左图：混合架构示例。从深度学习视角（NL的扁平化图像）无法洞察块的计算深度，而NL透明地表示了所有内部梯度流。右图：神经学习模块：学习如何压缩自己上下文流的计算模型。
Figure 2: 嵌套学习范式将机器学习模型及其训练过程表示为一组嵌套优化问题。左图：混合架构示例。从深度学习视角（NL的扁平化图像）无法洞察块的计算深度，而NL透明地表示了所有内部梯度流。右图：神经学习模块：学习如何压缩自己上下文流的计算模型。
Transformer backbone中FFN（如MLP）与线性注意力的比较，使用梯度下降优化。红色组件是第一层（频率1）中的块，蓝色组件是第二层（频率L）中的块。具有可学习初始记忆状态的线性注意力（称为Linear Attention++）与具有上下文学习能力和适应输入序列的MLP层相同。
Figure 3: Transformer backbone中FFN（如MLP）与线性注意力的比较，使用梯度下降优化。红色组件是第一层（频率1）中的块，蓝色组件是第二层（频率L）中的块。具有可学习初始记忆状态的线性注意力（称为Linear Attention++）与具有上下文学习能力和适应输入序列的MLP层相同。
使用标准动量和我们的delta动量优化函数 $\psi(r, \theta) = r^2 + k \times (r - \theta + \alpha \sin(\omega r))^2$。从点 $(r_0, \theta_0) = (-3.5, 2)$ 开始，直到其中一个算法收敛到最优解。
Figure 4: 使用标准动量和我们的delta动量优化函数 $\psi(r, \theta) = r^2 + k \times (r - \theta + \alpha \sin(\omega r))^2$。从点 $(r_0, \theta_0) = (-3.5, 2)$ 开始，直到其中一个算法收敛到最优解。
Hope架构backbone与Transformers的比较（为清晰起见移除了归一化和潜在数据依赖组件）。
Figure 5: Hope架构backbone与Transformers的比较（为清晰起见移除了归一化和潜在数据依赖组件）。

实验结果

实验表明，Hope在持续学习任务上表现优异。在CLINC、Banking、DBpedia三个类别增量学习数据集上，Hope超越了ICL、EWC、InCA等基线。长上下文理解方面，在Needle-in-a-Haystack任务中，Hope在4K、8K、16K上下文长度上均达到100%准确率（S-NIAH-1），在多键、多查询、多值设置中也表现最佳。BABILong基准测试显示，Hope在10M上下文长度下仍能维持良好性能。语言建模方面，760M参数的Hope在Wikitext上达到18.68困惑度，1.3B参数达到14.39困惑度，平均准确率达到58.04%，超越所有注意力免费模型。M3优化器在ImageNet-21K上训练ViT时取得最佳训练和测试损失。

Needle-In-A-Haystack实验，包括：（1）具有三个难度级别的单个针：单针任务——S-NIAH-1（密钥检索）、S-NIAH-2（数值针）、S-NIAH-3（基于UUID的针）；（2）多查询；（3）多键；（4）多值设置。
Table 1: Needle-In-A-Haystack实验，包括：（1）具有三个难度级别的单个针：单针任务——S-NIAH-1（密钥检索）、S-NIAH-2（数值针）、S-NIAH-3（基于UUID的针）；（2）多查询；（3）多键；（4）多值设置。
模型在语言建模和常识推理任务上的性能。
Table 2: 模型在语言建模和常识推理任务上的性能。
Hope和基线在短上下文召回任务中的性能。Hope超越所有注意力免费模型并缩小与Transformers的差距。
Table 3: Hope和基线在短上下文召回任务中的性能。Hope超越所有注意力免费模型并缩小与Transformers的差距。
各模型在形式语言识别任务上的准确率。
Table 5: 各模型在形式语言识别任务上的准确率。
Hope的消融研究。Hope的所有组件都对性能有积极贡献。
Table 6: Hope的消融研究。Hope的所有组件都对性能有积极贡献。
文本分类领域的类别增量学习，在（左）CLINC数据集、（中）Banking数据集和（右）DBpedia数据集上。Hope增强架构在包括ICL在内的其他持续学习方法中实现了最佳准确率。
Figure 6: 文本分类领域的类别增量学习，在（左）CLINC数据集、（中）Banking数据集和（右）DBpedia数据集上。Hope增强架构在包括ICL在内的其他持续学习方法中实现了最佳准确率。
内存级别对模型上下文学习性能的影响，在（左）RULER的MK-NIAH、（中）LongHealth、（右）QASPER基准测试中。注意，对于QASPER基准测试（右），较低的值表示更好的性能。
Figure 7: 内存级别对模型上下文学习性能的影响，在（左）RULER的MK-NIAH、（中）LongHealth、（右）QASPER基准测试中。注意，对于QASPER基准测试（右），较低的值表示更好的性能。
新语言的持续翻译（CTNL）任务。红点是仅学习一种语言的结果。蓝点是持续学习设置中的结果。
Figure 8: 新语言的持续翻译（CTNL）任务。红点是仅学习一种语言的结果。蓝点是持续学习设置中的结果。
上下文使用对模型困惑度的影响。我们期望具有强大内存管理的模型的困惑度随着更多上下文而降低。
Figure 10: 上下文使用对模型困惑度的影响。我们期望具有强大内存管理的模型的困惑度随着更多上下文而降低。
在ImageNet-21K上训练的ViT的测试和训练损失，使用AdamW、Muon和我们的M3优化器。
Figure 11: 在ImageNet-21K上训练的ViT的测试和训练损失，使用AdamW、Muon和我们的M3优化器。
使用Muon、AdaMuon和M3优化器训练的140M和1.3B参数模型的训练时间。
Figure 12: 使用Muon、AdaMuon和M3优化器训练的140M和1.3B参数模型的训练时间。
查看结构化数据
任务指标本文基线提升
Needle-in-a-Haystack (S-NIAH-1, 4K) Accuracy 100 Transformer (88.6) +11.4%
Needle-in-a-Haystack (S-NIAH-1, 8K) Accuracy 100 Transformer (76.4) +23.6%
Wikitext Perplexity (760M) PPL 18.68 Transformer++ (24.18) -22.8%
Average Reasoning Accuracy (1.3B) Accuracy 58.04 Titans (56.82) +2.1%
BABILong (1M context) Accuracy High Titans (Drop) Significant

局限与改进

作者承认灾难性遗忘问题尚未完全解决，这是压缩的自然后果。M3优化器由于使用多个动量项，计算开销相对较大，在扩展到大规模网络时面临挑战。Hope架构在知识转移和更新机制上较为复杂，可能影响训练稳定性。连续内存系统设计需要仔细平衡不同层次的更新频率，以避免知识丢失。此外，Hope的内存使用量较高，与某些高效方法（如Cartridges）相比在计算成本上存在根本差异。

独立分析的弱点

Hope架构的主要弱点是复杂度高。自引用机制要求模型生成自己的键值对和更新规则，增加了计算开销和训练难度。连续内存系统需要维护多个层次的参数，内存使用量大。M3优化器在训练大型模型时效率问题突出，虽然比AdaMuon相当，但比Muon慢。此外，Hope的性能在某些依赖长程依赖的任务上仍与Transformers存在差距，特别是在需要精确token召回的任务中。知识转移机制的复杂性可能导致训练不稳定，需要仔细调节超参数。

未来方向

作者建议未来研究方向包括：进一步优化Hope架构的计算效率，降低内存使用；探索架构特定的优化器设计，使神经学习模块的各组件更和谐地工作；研究更好的知识转移机制，减少灾难性遗忘；扩展嵌套学习框架到其他领域，如强化学习和多模态学习；设计更强大的自引用模型，实现更复杂的自我修改能力；探索多层嵌套优化问题的理论分析，理解其收敛性质；研究如何在不牺牲性能的情况下简化Hope架构。

复现评估

论文的复现性评估：作者声称将在未来发布代码，但当前未提供开源实现。实验使用标准数据集（CLINC、Banking、DBpedia、RULER、BABILong、Wikitext等）和公开基线模型（Transformer++、Samba、RetNet、DeltaNet、RWKV-7、Comba、TTT、Miras、DLA、Titans）。训练使用约50B tokens的混合数据（FineWeb-Edu + 长上下文文档），需要大量计算资源。M3优化器的效率测试使用了140M和1.3B参数的Transformer模型。总体而言，复现需要大规模计算资源，但实验设置相对透明。

论文图表

大脑的统一可重用结构和多时间尺度更新是解锁人类持续学习的关键组件。嵌套学习（NL）允许大脑的每个组件进行多时间尺度更新，同时显示知名架构（如Transformer）实际上是具有不同频率更新的线性层。
Figure 1: 大脑的统一可重用结构和多时间尺度更新是解锁人类持续学习的关键组件。嵌套学习（NL）允许大脑的每个组件进行多时间尺度更新，同时显示知名架构（如Transformer）实际上是具有不同频率更新的线性层。

该图展示了人类大脑的多层次时间尺度更新机制，以及如何将其映射到深度学习架构中。图示表明不同的大脑区域以不同频率处理信息，这种机制启发了嵌套学习范式的设计。

这张图对理解论文的神经科学动机至关重要，它直观地说明了多时间尺度处理如何支持持续学习，为后续的技术设计提供了生物学启发。

Figure 9: BABILong基准测试。红点是微调模型的结果，蓝点是大模型的zero-shot结果。

该图展示了不同模型在BABILong基准测试上的性能随上下文长度变化的情况，包括大模型和小模型。

这张图展示了Hope在超长上下文下的优越性能，支持了CMS设计在长上下文理解中的有效性。

Table 4: Hope和基线在MAD合成基准测试上的性能。Hope超越所有基线，包括Transformers。

该表展示了各模型在选择性压缩、ICR、模糊ICR、内存复制等合成任务上的性能，Hope在所有任务上都取得了最佳结果。

该表提供了Hope在合成记忆任务上的性能评估，支持了其内存管理能力的优越性。