通过语言学习任务预训练增强语言模型的语言能力 Enhancing Linguistic Competence of Language Models through Pre-training with Language Learning Tasks
提出L2T框架，用14个语言学习任务与CLM结合，提升模型语言能力
前置知识
因果语言建模（Causal Language Modeling, CLM）
因果语言建模是一种自监督预训练方法，通过预测序列中的下一个token来训练语言模型。具体来说，给定前缀序列x = (x_1, x_2, ..., x_{t-1})，模型需要学习预测p(x_t | x_1, x_2, ..., x_{t-1})。这种方法使得模型能够学习到语言的统计规律和上下文关系。CLM采用自回归方式，每个token只能依赖其前面的token，这使它适合生成任务，但也限制了模型学习双向依赖的能力。论文指出，CLM虽然能获得世界知识和推理能力，但无法显式优化语言能力，即理解和解释多样化语言现象的能力。
理解CLM是理解本文L2T框架的基础。L2T的核心创新就是在标准CLM之外引入额外的语言学习任务，模型需要同时进行传统的next-token prediction和结构化的任务学习。只有理解CLM的局限性（如表面级统计学习、缺乏结构脚手架），才能理解为什么L2T能够带来提升。
语言能力（Linguistic Competence）
语言能力指的是理解和解释多样化语言现象的能力，这是Chomsky语言学理论中的核心概念。在实际评估中，语言能力通常通过语法判断任务来衡量，即判断一个句子是否符合语法规范。本文使用BLiMP（Benchmark of Linguistic Minimal Pairs）作为评估标准，这是一个包含67个数据集的基准测试，覆盖语义学、形态学和句法学三大领域的12种语言现象。例如，语义学包含量词约束和负极性项许可；形态学包含不规则形式和主谓一致；句法学包含填充-空位依赖和岛效应等。
语言能力是本文的核心评估指标。论文的整个研究目标就是提升LM的语言能力，而不是一般的推理能力。只有理解了什么是语言能力，以及它与一般推理能力的区别，才能理解L2T的设计动机和实验设置。例如，论文发现在提升语言能力的同时保持通用推理性能，这就是一个重要的权衡问题。
极小对（Minimal Pairs）
极小对是指仅在一个语言特征上不同的两个句子对，它们用于隔离特定的语言现象进行测试。在BLiMP基准测试中，每个样本包含两个最小差异的句子，一个符合语法规范，另一个违反语法规范，模型需要通过计算对数似然来判断哪个句子更可接受。例如，测试主谓一致时，一对极小对可能是：'The dog runs.'（正确）和'The dogs runs.'（错误）。仅复数标记不同，这使得评估能够聚焦于特定的语言约束。论文使用零shot对数似然比较来避免prompting和probing的偏差，这种方法比直接分类任务更能反映模型的内在语言知识。
极小对是BLiMP基准测试的核心设计理念，理解它才能理解论文的评估方法。论文使用极小对来精确测量模型对特定语言现象的掌握程度，而不是使用笼统的准确率指标。这种精细化的评估使得论文能够发现L2T在不同语言现象上的差异化效果，例如在岛效应上提升11.3%，而在决定性名词短语一致性和省略上没有提升。
岛效应（Island Effects）
岛效应是句法学中的重要概念，指的是某些语法结构不允许句子元素移动出来。例如，在疑问句中，wh词通常可以移动到句首，但如果它在岛结构（如复杂名词短语、从句、并列结构等）内部，则不能移动。一个经典的例子是：'What do you think [that John bought __]?'（可以），'*What do you think [the fact that John bought __]?'（不可以）。括号内的部分就是岛结构。岛效应测试要求模型能够识别这种约束，判断句子的语法可接受性。论文中岛效应的测试数据来自BLiMP基准，包含多个不同类型的岛结构，如复杂左分支、附加语岛等。
岛效应是论文中发现L2T提升最显著的语言现象（提升6.9-11.3分）。理解岛效应能够帮助理解为什么L2T中的某些任务（如句子重排序、删除、段落填充等）对提升语言能力特别有效。这些任务迫使模型理解跨越长距离的依赖关系，这正是岛效应所测试的能力。论文指出，L2T任务提供了结构脚手架，使得模型能够更好地捕捉这类复杂结构。
研究动机
现有语言模型预训练方法存在根本性缺陷。标准的因果语言建模（CLM）通过在原始文本数据上进行next-token预测来训练模型，这种方法虽然使模型获得了世界知识和一般推理能力，但无法显式优化语言能力，即理解和解释多样化语言现象的能力。论文指出，这导致LM的行为像随机鹦鹉，能够模仿表面级模式但无法把握潜在的语言脚手架。具体表现为：模型在处理长距离和复杂共现时经常失败，如修辞关系和短语级别的名词结构；虽然能生成连贯文本，但在精细化的语言学注释任务上表现不佳；经常只进行死记硬背式的学习，类似于人类学习中的rote learning，即学习者复制模式而不理解生成规则。
本文的目标是本文的具体目标是在不改变模型架构的情况下，通过预训练数据的改进来提升语言模型的语言能力。作者提出L2T（Language Learning Tasks）框架，将14个语言学习任务与标准的因果语言建模结合，通过将原始文本转换为结构化的输入-输出对来提供显性的语言刺激。这个框架的设计灵感来自人类语言习得过程，人类不是通过优化单一目标来学习语言，而是通过多种任务来学习。L2T的目标是测试一个假设：LM的死记硬背式学习部分源于CLM的单任务性质，它优先考虑表面级统计而非结构理解。通过多任务学习的方式，L2T旨在建立一个结构脚手架，使模型能够学习依赖关系和如何重构信息，从而在早期训练阶段更快地建立语言能力。
与已有工作不同的是，本文的独特切入角度是从数据中心主义的方法来增强语言能力，这与之前的研究有本质区别。之前的研究主要集中在：架构修改（如语法增强的预训练模型）、复杂的课程学习（基于句子复杂度的课程学习）、依赖外部资源的辅助任务（如使用知识蒸馏）、或者持续预训练（如语义感知排列训练）。这些方法通常针对孤立的语言现象或依赖外部知识。相比之下，L2T针对解码器基础的LM中的广泛语言能力，无需辅助模型或外部知识。通过从头开始训练，论文分离了数据中心干预的影响，证明了仅结构化任务就能刺激预训练期间语言能力的发展。这是一个更纯粹、更可扩展的方法，因为它不需要额外的标注数据或模型。
核心方法
L2T框架的整体思路是将原始文本通过预定义的规则转换为结构化的输入-输出对，然后将这些任务数据与标准原始文本混合，共同用于语言模型的预训练。这种方法的核心直觉是：人类学习语言不是通过单一的next-token预测目标，而是通过多种多样的语言学习任务（如拼写纠正、语法判断、句子重排序等）来掌握语言规律。L2T通过模仿这种多任务学习模式，为模型提供显性的语言刺激，使其能够学习到比表面级统计更深入的结构知识。技术路线上，L2T设计了一个包含14个语言学习任务的集合，这些任务按照语言粒度分为四个层次：字符级、词级、句子级和篇章级。每个任务都将原始文本转换为输入-输出对，其中输入是语言学扰动或查询的文本，输出是恢复或分析的结果。预训练时，模型同时在这些任务数据和标准CLM数据上进行训练，通过混合比例来平衡语言能力提升和世界知识获取。
L2T的核心创新点是提出了一个简单但有效的预训练数据增强框架，它完全依赖于原始文本的内在结构，不需要任何外部资源或辅助模型。与指令微调需要外部监督不同，L2T直接从原始文本诱导结构。通过将文本转换为结构化的输入-输出对，L2T使模型能够学习依赖关系和如何重构信息，这在标准CLM中是缺失的显性语言刺激。另一个关键创新是L2T任务的多粒度设计：字符级任务（如拼写纠正）针对子词特征，阻止表面级匹配同时增强形态学意识；词级和句子级任务（如重排序）扰乱线性顺序，促进结构推理而非序列统计；篇章级任务（如填充中间）要求跨长上下文的完成，支持全局连贯性和歧义消解。这种多粒度的结构刺激共同为语言能力建立了全面的脚手架。
方法步骤详情
L2T方法的完整步骤包括数据构建、模型训练和评估三个阶段。数据构建阶段：首先从FineWeb-Edu数据集中获取原始文本，然后进行分句和分块（每块约512 tokens）。对于L2T任务，对每个文本块应用14个任务中的一个，转换为输入-输出对，格式为Input后接两个换行符再接Prefix Output。任务指令前缀（如Answer、Response等）随机插入输入的开头或结尾。然后转换后的块与原始文本样本混合，填充到最大序列长度并进行打乱。模型训练阶段：使用Qwen2.5架构的模型（500M和1B参数），序列长度2048，批大小256，使用AdamW优化器，学习率3e-4，余弦学习率调度，预热2000步。训练总预算为100B tokens，在Disjoint设置中包含约36B原始和64B L2T tokens，在Shared设置中包含42B源tokens同时用于原始和L2T生成。评估阶段：使用BLiMP基准测试语言能力，它包含67个数据集覆盖12种语言现象；使用一般基准测试（如RACE、ARC、LAMBADA等）评估通用推理能力；还进行认知心理学评估（如Raven Progressive Matrices）测试流体智力。
技术新颖性
L2T的技术新颖性体现在多个方面。首先，它是第一个系统地将语言学习任务与标准CLM结合用于从头预训练解码器基础LM的方法，之前的研究主要集中在编码器模型或持续预训练。其次，L2T完全不需要外部资源，所有任务转换都基于原始文本的内在结构，这使得它非常可扩展且成本低廉。第三，L2T的多粒度任务设计（字符、词、句子、篇章）覆盖了从局部依赖到全局连贯性的完整语言谱系，这种全面性是之前研究所未有的。第四，L2T提出了两种数据场景来研究在数据多样性约束下的效果，这在方法论上有创新意义。第五，L2T首次实证证明语言能力习得的加速效应，发现L2T模型在训练早期（5B tokens）就建立了语言能力优势，这与人类语言习得的最大发展窗口概念一致。最后，L2T发现了结构与知识之间的张力，即提升语言能力可能会牺牲部分推理性能，这为未来研究提供了重要见解。
实验结果
论文的核心发现可以分为语言能力、通用性能和学习效率三个方面。在语言能力方面，L2T一致性地提升了BLiMP基准测试的性能。在Disjoint设置中，L2T模型在500M和1B规模上的总体得分分别为80.2和80.8，相比Raw基线的78.6和79.0分别提升1.6和1.8分。在Shared设置中，优势更加明显，L2T模型分别超越Raw基线2.8和2.3分。最显著的提升出现在岛效应上，提升范围从6.9分（1B Shared）到11.3分（1B Disjoint）。有趣的是，L2T在决定性名词短语一致性和省略上没有提升，这表明这些现象可能已经通过隐式学习达到饱和（Raw模型已经达到93+和86+的准确率）。在通用性能方面，L2T在Disjoint设置中保持了与Raw基线相当的性能，500M模型平均下降0.87分，1B模型平均下降仅0.07分。但在Shared设置中，效果随模型规模变化：500M模型平均提升0.15分，而1B模型下降1.38分（主要在ARC任务上下降4.2分）。这揭示了结构诱导与事实强化之间的张力。在学习效率方面，Figure 2显示L2T模型在训练早期（5B tokens）就建立了语言能力优势，在500M规模上，平均优势范围从语法学的1.0分到语义学的6.5分。这表明L2T任务作为效率倍增器，在最大发展窗口期间引入语言归纳偏差。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BLiMP Overall | Accuracy | 80.2 (500M Disjoint) | 78.6 | +1.6 |
| BLiMP Island Effects | Accuracy | 71.5 (1B Disjoint) | 60.2 | +11.3 |
| Raven Progressive Matrices | Accuracy | 36.6% (500M Disjoint) | 31.2% | +5.4% |
| ARC-Easy | Accuracy | 57.4 (1B Disjoint) | 58.4 | -1.0 |
| LAMBADA | Accuracy | 39.7 (1B Disjoint) | 37.8 | +1.9 |
局限与改进
论文讨论了作者承认的局限性以及观察到的限制。任务范围限制：当前的L2T框架主要聚焦于句子级别的约束，虽然有效地定位了局部句法和语义依赖，但没有明确解决更广泛的语言现象，如跨句子的修辞关系。未来工作可以扩展到更多篇章级和跨句子任务，以更有效地捕获长距离依赖。模型规模限制：由于计算资源限制，论文仅在500M和1B参数规模上评估。作者承认不同的预训练目标在更大规模（如10B+参数）上可能会有不同效果。作者推测L2T的结构脚手架可能在预训练的初始阶段对大模型特别有益，但Shared 1B模型在推理性能上的下降表明大模型对原始文本的规模更敏感。数据重复限制：论文发现每个配置只进行单次训练运行，虽然在不同模型规模和数据制度下的一致性能增益表明L2T框架的鲁棒性，但多次运行可以更稳健地评估结果。任务特定限制：某些任务（如Space和Masked Char）在单独使用时表现不如Raw基线，形态学上性能下降高达33分。论文推测这些任务可能单独使用时产生不稳定的训练信号。复杂结构限制：填充-空位依赖（Fill Gap）没有从任何单个任务中显示出改善，表明捕获这种结构更具挑战性。
独立分析的弱点
L2T框架存在几个独立的弱点，每个都有具体的改进方向。结构-知识权衡：论文发现L2T在Shared设置中，1B模型在知识密集型任务（如ARC）上性能下降4.2分。这表明L2T可能需要调整原始文本与L2T数据的混合比例，或采用课程学习策略（在预训练早期使用L2T数据，后期更多使用原始文本）。改进方向是动态调整混合比例或使用分层训练策略。任务覆盖不完整：L2T无法有效提升Fill Gap等复杂句法现象，某些任务（如Space）甚至有负面影响。改进方向是设计专门针对长距离层级依赖的任务，或引入形式语言数据的warm-up阶段。训练信号不稳定：单个任务（如字符级任务）训练时可能产生不稳定信号，导致性能下降。改进方向是更精细的任务组合策略，或引入任务特定的正则化技术。计算效率：L2T需要额外的数据转换步骤，增加了预训练的计算开销。改进方向是优化数据转换管道，或探索在线任务生成方法。规模扩展性：论文仅在1B以下规模验证，不清楚L2T在更大模型上的效果。改进方向是社区成员在更大规模上验证L2T，并探索规模扩展的最佳实践。多语言适应性：L2T目前只针对英语，不清楚如何扩展到其他语言。改进方向是将L2T扩展到多语言设置，研究不同语言结构对任务设计的影响。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的方向。多语言扩展：作者明确表示未来工作将L2T扩展到多语言设置，以研究跨语言的学习行为。不同语言有不同的结构特征（如汉语的形态学较少，日语的句法更复杂），这可能需要调整任务设计。更大规模验证：社区成员可以在更大规模（如10B+参数）上验证L2T，研究结构脚手架在大模型上的作用机制。作者推测L2T可能在预训练早期对大模型特别有益，但需要在更大规模上确认。任务设计优化：可以探索更精细的任务设计，特别是针对Fill Gap等复杂现象的任务。例如，可以设计专门测试移动元素和长距离层级依赖的任务。课程学习策略：可以研究课程学习的应用，例如在预训练早期阶段使用L2T数据建立结构脚手架，然后在后期阶段更多地使用原始文本来强化事实知识。混合比例动态调整：可以探索动态调整原始文本和L2T数据混合比例的策略，根据训练进度和模型状态来优化权衡。与监督方法对比：直接将L2T与使用人类标注数据的监督增强方法进行对比，阐明L2T的无监督方法相对于监督方法的优势。认知机制深入分析：进一步研究L2T如何影响模型的内部表示，例如通过探针分析或神经可解释性技术来理解结构刺激是如何被编码的。跨任务迁移性：研究L2T任务之间的迁移性，理解哪些任务提供了最通用的结构信号。
复现评估
复现评估：论文的复现性相对较好，但也有一些考虑因素。开源情况：作者公开了源代码和数据转换管道（https://github.com/gucci-j/l2t），这大大促进了复现和扩展研究。数据可用性：论文使用的FineWeb-Edu数据集是公开的，BLiMP基准和一般基准测试也是公开的，这意味着研究人员可以使用相同的数据进行复现。算力需求：论文的训练预算为100B tokens，这对于学术实验室来说是相当大的计算需求。作者使用了2个AMD MI300X GPU（500M模型）和4个H100 GPU（1B模型），训练时间分别为16天和12天。这对于大多数研究团队来说是不可承受的。简化实验：论文也提供了简化的实验设置（25B tokens的单任务训练），这可能更适合学术研究。实现细节：论文提供了详细的超参数设置和数据构建参数，包括掩码比例、打乱比例、拼写错误比例等，这有助于精确复现。单次运行限制：论文每个配置只进行单次训练运行，虽然作者声称性能增益的一致性表明结果的鲁棒性，但多次运行可以更稳健地评估方差。总体而言，中等规模的复现（如500M模型在较少tokens上的训练）是可行的，但完整的100B tokens训练需要大量计算资源。
论文图表
