为什么更大的模型学得更多：容量、干扰和稀有任务保留的影响

大模型通过减少梯度干扰能学习小模型无法掌握的稀有复杂任务

前置知识

幂律缩放

描述神经网络性能随模型规模和训练数据量变化的统计规律。典型的Chinchilla缩放公式是L(N,D)等于L0加上A除以N的alpha次方，再加上B除以D的beta次方，其中N是参数量，D是训练数据量，alpha约等于0.46，beta约等于0.51。这个规律表明损失随着模型规模和数据量的增加而单调下降，但在对数坐标下呈现线性关系。这一规律是理解模型缩放现象的基础，帮助预测更大模型可能带来的性能提升。

论文的出发点就是幂律缩放现象，作者用它来推导更大模型能学习小模型学不会的数据分布这一理论预测。理解这个概念有助于把握论文的理论框架和实验设计的出发点。

梯度干扰

在多任务学习场景中，不同任务的梯度更新可能相互冲突，导致学习某些任务的参数被其他任务的更新覆盖。假设任务k的梯度是gk，任务是m的梯度是gm，如果它们的方向夹角很大，更新一个任务会损害另一个任务的性能。论文中通过计算梯度的余弦相似度来量化干扰程度，余弦相似度等于两个梯度的点积除以它们范数的乘积。相似度接近1表示方向一致，接近0表示正交，接近负1表示方向相反。

这是论文的核心机制。作者发现更大模型通过为常见任务分配足够资源，使这些任务的梯度更新变弱，从而减少对稀有任务特征的覆盖。理解梯度干扰对于把握论文的实验设计和方法创新至关重要。

计算最优缩放

在给定计算预算C下，寻找最优的模型大小N和训练数据量D组合，使损失最小化。根据Kaplan等人给出的最优缩放法则，数据量应按与N的0.74次方正比例的比例进行缩放。训练在有限计算资源下进行，损失遵循Lc(N)与N的负gamma次方正比例关系，其中gamma等于0.34。这种方法在实际训练中用来决定模型规模和训练数据量的最佳平衡点，以在固定计算预算下获得最佳性能。

论文用它区分通过数据缩放可学习和需要模型缩放可学习的两种任务。前者是小模型看更多数据能达到大模型效果，后者即使有无限数据也需要更大模型。这一区分是论文理论框架的基础。

研究动机

现代机器学习的成功很大程度上归功于大规模通用模型，这些模型能够在多样化的复杂环境中处理任意输入。经验观察发现，更大的模型往往在较小模型只能达到随机水平表现的领域表现出色，之前的研究声称解决某些关键任务的能力只出现在更大模型中。这种观点推动了参数规模的扩张。然而，考虑到大模型带来的巨大训练和推理成本，值得精确识别更大模型解锁了哪些边际效益，以及扩展参数是否是实现这些效益的唯一途径。已有的理论解释，如模型表达能力和样本效率，无法完全解释为什么即使有无限训练数据，小模型仍然无法学习大模型能学会的部分数据分布。这一现象需要一个更深层次的解释，特别是从学习动力学与任务特性相互作用的角度。

本文的目标是论文的核心目标是从数据为中心的角度解释为什么更大的模型能学习更小模型失败的任务。作者首先基于幂律缩放的观察提出一个现象学论证，表明即使有无限训练数据，更大的模型也能学习数据分布的一部分，而小模型无法学习。然后通过合成实验和真实的语言模型预训练验证这一预测，并识别其根本原因。具体来说，研究要回答两个关键问题，一是大模型学习但小模型学不会的任务具体是什么，二是拥有更多参数如何帮助学习这些任务。通过理论分析、合成实验和真实模型验证，论文试图建立一个完整的数据中心解释框架。

与已有工作不同的是，与以往关注模型表达能力或样本效率的解释不同，本文从学习动力学与任务频率、复杂度相互作用的角度提供解释。作者强调理解缩放需要超越模型表达能力，需要理解学习动力学如何与任务频率和复杂度相互作用。论文的独特之处在于将学习问题框架化为数据诱导的资源竞争，即神经元需要在多个任务之间进行分配。小模型将资源分配给高频或低复杂度任务，因此在稀有和复杂任务上表现不佳。更重要的是，论文引入了更新-遗忘循环机制，解释了小模型在稀有任务观察之间的记忆保留问题。这一视角为理解模型缩放提供了新的理论框架，与现有解释形成互补关系。

核心方法

论文采用理论分析与实验验证相结合的方法。首先基于幂律缩放建立理论框架，定义通过数据缩放可学习和通过模型缩放可学习的两种任务类型。然后设计合成多任务回归实验，在可控环境中研究模型缩放对任务学习的影响。最后在真实的OLMo预训练管线中验证理论发现，包括行为层面的损失和准确率、表示层面的任务特征和梯度层面的干扰分析。整个方法从理论到合成实验再到真实模型验证，层层递进，确保结论的可靠性和普遍性。这种多层次验证方法使得论文的结论具有更强的说服力和实践指导意义。

核心创新点是提出并验证了缩放通过减少干扰和更好的保留能力来实现学习的假设。给定相同的训练设置，更大的模型能更好地学习数据分布尾部的任务。当稀有任务被观察到时，更大的模型能够保留部分更新并在任务再次出现时在此基础上构建。而在小模型中，相同的参数面临更多竞争，来自常见任务的更新在下一个稀有批次到达之前就覆盖了稀有任务的更新。稀有任务学习变成一个更新-遗忘循环。这一机制通过两个关键效应实现，一是宽度缩放减少未解决的常见任务信号，这限制了常见任务梯度的总体强度，二是降低被占据的最弱常见任务效用，这决定了特定稀有特征能否取代常见特征并在局部稳定。

方法步骤详情

论文的完整方法步骤包含五个主要部分。第一步建立现象学模型，基于幂律缩放公式和计算最优缩放，定义渐进损失，并区分通过数据缩放可学习和通过模型缩放可学习的任务类型。第二步设计合成实验，构建包含三十二个线性回归任务的多任务学习设置，每个任务的频率和协方差矩阵都经过精心设计，使用幂律先验定义任务频率，训练不同宽度的学生模型并测量每任务损失。第三步进行匹配频率注入实验，将稀有任务隐藏一定步数后重新注入，确保总体频率一致，专门测试模型的记忆保留能力。第四步进行OLMo预训练验证，在Dolma语料上训练从四百万到四十亿参数的模型，注入比较任务和模加法任务两个特殊任务，覆盖多个频率范围。第五步进行多层面分析，在行为层面测量训练损失和测试准确率，在表示层面使用分布式对齐搜索定位任务特征并测量特征嵌入程度，在梯度层面计算批量梯度与任务参考方向的余弦相似度，并分解为任务令牌和非任务令牌的梯度贡献。

技术新颖性

论文的技术新颖性体现在多个方面。首先提出了一个清晰的理论框架，将幂律缩放现象与具体的学习机制联系起来，定义了可学习任务类型的精确分类。其次在合成实验中提出了效用概念，证明了模型按照特征效用顺序学习，这直接预测了更大模型会学习低效用、低频特征。第三设计了匹配频率注入实验，专门测试记忆保留能力，这是与以往工作不同的创新。第四在真实语言模型预训练中不仅验证行为层面的发现，还深入表示和梯度层面，识别任务特征并测量梯度干扰程度。第五提供了数据为中心的解释，强调理解缩放需要考虑学习动力学、任务频率和复杂度的相互作用，这与以往关注表达能力或样本效率的解释形成互补。这些创新点使得论文在理论深度和实验严谨性方面都有显著贡献。

**Figure 3**: Residual Controls Learning. We plot signals encoded in model representations for most frequent and rarest tasks as a function of width N and remaining residual deltaF.

**Figure 9**: Gradient Interference. We inject 100 instances of the TCMP task every 100 batches and analyze how batch gradients align with a task reference direction gr.

实验结果

论文的核心发现来自三个层面的实验。在合成回归任务实验中，作者训练了不同宽度的模型在三十二个混合任务上，使用亚当优化器十万步。结果展示了特征效用的清晰相图，当模型宽度较小时，频繁任务的残差信号很高，而稀有任务信号与随机基线无异。随着宽度增加并超过预测的临界值，大部分频繁任务信号被解释，稀有任务开始被学习。具体来说，当任务频率遵循幂律分布时，宽度为二百五十六的模型能学习所有任务，而宽度为八的模型几乎无法学习任何任务。匹配频率注入实验进一步揭示，在训练结束时稀有任务信号随注入间隔单调递减，但小模型下降得更陡峭。学习动力学显示，每次注入后大模型累积稀有任务信号并保留足够部分在下一次注入时构建，而小模型在两次注入之间衰减回接近零。在OLMo预训练实验中，作者训练了从四百万到四十亿参数的模型，结果显示对于比较任务当任务频率极低时，小参数模型的测试准确率接近随机，而大模型达到接近百分之百的准确率。对于模加法任务，只有大模型展现出顿悟现象。任务学习顺序实验确认了任务按频率顺序学习。匹配频率注入显示，即使全局任务频率相同，更大的注入间隔导致更高的任务损失。梯度干扰分析表明，在注入步骤大模型的批量梯度与任务参考方向的余弦相似度更高，而非任务梯度与任务方向的相似度几乎为零，表明几乎没有梯度干扰。

**Figure 2**: Feature Utility Predicts Learning Order. We train students of varying width on a mixture of K = 32 regression tasks with power-law task frequencies (beta) and plot per-task loss (normalized by mean predictor).

**Figure 4**: Rare-Task Retention by Larger Models. We isolate retention by training with a matched-frequency injection protocol: the rare task is withheld for G steps and then reintroduced in a batch such that its overall frequency is consistent across settings.

**Figure 5**: Larger Models Learn Rare Tasks; Smaller Models Do Not. We visualize training loss and test accuracy for the (a) Comparison task (TCMP) and (b) Modular Addition task (TADD).

**Figure 6**: Behavioral Evidence. (a) Tasks are learned in the order of frequency. (b) With matched-frequency injection of the comparison task (TCMP), a larger injection gap N degrades task loss.

**Figure 7**: Representational Evidence. Scaling model size (width) and increasing task frequency lead to models learning more task-relevant features.

**Figure 8**: Rare-Task Retention. Larger models can retain the injected task information better, i.e., larger task eval loss drop, when injecting task instances every 100 batches.

查看结构化数据

任务	指标	本文	基线	提升
比较任务低频率场景	测试准确率	十亿参数模型约百分之九十五，四十亿参数模型约百分之九十八	四百万参数模型约百分之十，两千万参数模型约百分之十二	提升约八百五十到八百八十个百分点
比较任务高频率场景	测试准确率	四百万参数模型约百分之九十，十亿参数模型约百分之九十九	四百万参数模型高频率基线约百分之九十	大模型在高频率下仍有九个百分点提升
模加法任务中频率场景	测试准确率	三亿参数模型约百分之八十五，四十亿参数模型约百分之九十五	四百万参数模型约百分之十五，两千万参数模型约百分之二十	提升约七十到八十个百分点
稀有任务保留能力测试	稀有任务信号保留率	大模型宽度为二百五十六时信号稳定累积	小模型宽度为八时信号在间隔内衰减至接近零	从完全失败到稳定学习的质变
梯度干扰程度度量	非任务梯度与任务方向的余弦相似度	十亿参数模型约零点零零零零零七五八	两千万参数模型约零点一	干扰降低约一千三百倍从零点一到接近零

局限与改进

作者在论文中明确承认了几个局限性。首先论文的解释强调了学习动力学、任务频率和任务复杂度之间的相互作用，但这不应被解释为缩放的完整解释。还有其他合理的解释，如关注模型表达能力和样本效率的解释。这些解释实际上是互补的，表达能力限制可以表示什么，样本效率影响数据使用效率，而论文的解释强调学习动力学如何与任务频率和复杂度相互作用。完全理解可能需要同时考虑所有这些解释，而不是将它们视为竞争假设。其次作者使用OLMo预训练管线验证了关键理论结果，发现注入任务的实证结果强烈匹配理论预测。然而作者承认现实预训练设置中的实证验证可能仍存在一些分析空白。例如作者没有实证验证更大规模语言模型或过度训练语言模型的行为。此外作者选择的注入任务的频率与OLMo预训练中学习的任务频率相匹配，这不排除其他具有极端任务频率的缩放行为。作者的实证结果应被视为支持性证据。从我自己观察的角度，论文的合成实验相对简单，虽然能清晰展示机制，但可能与真实语言模型中更复杂的表示学习有差距。此外论文主要关注任务频率的影响，对任务复杂度的分析相对较少，更系统的研究可能有助于完善理论。

独立分析的弱点

论文存在几个值得改进的弱点。第一合成实验的简化性，虽然线性回归任务能清晰展示机制，但真实语言模型的任务学习涉及更复杂的非线性表示、注意力机制、层次抽象等。改进方向是设计更接近真实自然语言处理任务的合成任务，如序列分类、推理任务等，以验证理论是否在更复杂场景下成立。第二任务频率范围有限，论文注入任务的频率范围虽然覆盖了多个数量级，但可能仍遗漏极端低频场景。改进方向是扩展到更宽的频率范围，特别是研究极端低频任务的缩放行为。第三任务多样性不足，论文只研究了两个特殊任务，虽然它们需要学习几何结构而不仅仅是记忆，但更多样化的任务如推理、代码、数学证明能提供更全面的验证。改进方向是增加更多类型的任务，特别是那些需要多步推理或抽象思维的任务。第四过度训练研究缺失，论文没有系统研究过度训练对稀有任务学习的影响，这是一个有趣的场景，因为过度训练可能改变记忆保留特性。改进方向是添加过度训练实验，看看更大模型在过度训练后是否仍保持优势。第五理论到实证的桥梁可以更紧密，虽然有幂律缩放的现象学论证和合成实验的严格理论，但OLMo实验主要是相关性验证，缺乏更精确的理论预测。

未来方向

作者和论文成果可以延伸出多个未来研究方向。作者鼓励未来的工作探索不同的训练方案、更多任务和不同的频率范围。具体而言可以研究过度训练语言模型的行为，论文没有实证验证更大规模或过度训练的语言模型。极端任务频率下的缩放行为，论文选择的注入任务频率匹配OLMo预训练中学习的任务频率，这不排除其他具有极端任务频率的缩放行为。基于论文成果，其他有趣的方向包括数据混合设计的优化。论文发现缩放可以减少干扰并允许学习稀有任务，这暗示可以通过精心设计训练数据混合来更好地引发目标能力。例如简单地扩大目标任务的频率可能提供比扩大模型规模更高效的任务学习方法。记忆作为抽象学习机制的研究，论文发现更好的记忆保留能力使得能够学习稀有任务，这提供了一个新视角将记忆视为可以支持学习抽象的机制。通过更长时间地保留任务实例，模型可以跨批次累积信号以学习任务更可推广的结构。任务复杂度的系统研究，论文主要关注频率，对复杂度的分析相对较少。未来可以系统研究不同复杂度维度的任务如何与模型规模交互。跨架构验证，论文主要研究变换器架构，未来可以验证理论是否在其他架构中成立。在线学习场景，论文主要研究批量预训练，未来可以研究在线学习场景下的稀有任务学习，这可能会带来不同的干扰和保留动态。

复现评估

论文的复现性评估需要考虑多个方面。开源情况方面论文使用OLMo预训练管线，OLMo是一个开源的大语言模型项目，代码和权重已公开。作者在附录中提供了实验设置的详细描述，包括模型架构细节、训练超参数、数据注入方法等。数据方面论文使用Dolma版本一点七作为预训练语料库，这是一个公开的大规模数据集。注入的任务数据论文描述了生成方法，虽然没有直接提供数据文件，但生成逻辑足够明确可以复现。算力方面论文训练的模型从四百万到四十亿参数，最大模型训练了高达两千一百亿令牌。这需要显著的算力资源，可能是多个高级图形处理器。合成实验的计算需求较低，可以在单个图形处理器或中央处理器上运行。难度方面复现完整实验的难度较高，主要原因是大模型的训练需要大量算力和时间。然而合成实验相对简单应该可以较容易复现。OLMo实验的设置足够详细，有足够资源的实验室应该可以复现主要发现。代码方面论文没有明确提供实验代码，但OLMo管线是公开的，合成实验的设置描述足够清晰，可以基于论文描述重新实现。总体而言论文在复现性方面做得较好，提供了足够的实验细节，使用公开的数据集和模型架构，合成实验相对简单。主要障碍是大模型实验的计算成本。

为什么更大的模型学得更多：容量、干扰和稀有任务保留的影响 Why Larger Models Learn More: Effects of Capacity, Interference, and Rare-Task Retention