理解数据时序性对大语言模型预训练的影响 Understanding Data Temporality Impact on Large Language Models Pre-training
按时间顺序预训练的LLM比打乱训练更具时效性知识
前置知识
预训练数据课程（Data Curriculum）
数据课程是指在预训练过程中数据的呈现顺序和学习策略。传统LLM预训练将所有数据打乱后训练，模型面对的是平稳的数据分布；而时序课程则按时间顺序呈现数据，模型会经历分布偏移。数据课程影响模型学习轨迹和最终性能，类似人类教育的循序渐进。在学习率调度、领域up-sampling、代码混合等技术中都有应用。
本文核心就是对比打乱课程与时序课程对模型知识时效性的影响，理解数据课程概念是把握全文方法论的基础。
灾难性遗忘（Catastrophic Forgetting）
灾难性遗忘是持续学习中的核心问题：模型在学习新知识时会快速遗忘旧知识。在时序预训练中，模型按时间顺序学习，后期数据覆盖前期知识，导致模型对2018年事实的准确率下降。简单权重插值或数据重放都难以有效缓解这一挑战。遗忘程度与模型容量、学习率、数据分布偏移强度等因素相关。
这是时序预训练的主要trade-off，论文在实验和讨论中都详细分析了这一现象及其缓解尝试。
Cloze评估范式
Cloze评估将多选题转化为填空题，不依赖选项标签概率，而是计算每个候选答案在空位处的归一化对数概率，选择概率最高的作为答案。这种方法对未完全掌握多选题格式约束的模型更有效，避免了早期训练中因格式理解问题导致的性能不连续跳跃。论文发现MMLU在约200B tokens处出现这种跳跃。
这是KairosQA评估的核心方法之一，理解其机制有助于解释实验结果，特别是早期训练阶段的性能曲线。
研究动机
现代LLM普遍存在'知识视界'问题：模型对训练数据截止日期前较旧事实（如2015年）的准确率显著高于截止日期附近（如2024年）的事实，尽管后者同样在训练集中。以Llama 3.1-8B为例，在2020-2021期间F1分数仅比2014-2017低11-12%，但到2023-2024期间下降达39%。这表明传统打乱预训练未能有效编码近期知识，反而优先处理了跨多个Common Crawl快照重复出现的历史信息。现有的持续学习微调方法（Li et al., 2025）和时序对齐提示方法（Park et al., 2025）未能从根本上解决这一预训练阶段的数据顺序问题。
本文的目标是本文的核心目标是系统性地研究预训练数据顺序对LLM获取时敏性事实知识的影响。具体而言，作者想要回答：时序顺序预训练能否让模型更准确地将事实与对应的时间段关联？这种训练方式是否会影响模型的通用语言理解能力？与标准打乱预训练相比，时序顺序训练在知识时效性上有何优势？通过控制实验，作者旨在揭示数据课程这一被长期忽视的因素如何塑造模型的时序知识分布。
与已有工作不同的是，现有工作主要关注两个方面：一是通过持续学习微调来更新知识（Li et al., 2025），二是通过提示工程激活特定时期的知识（Park et al., 2025; Zhao et al., 2024）。然而，这些方法都是预训练后的补救措施，未触及问题的根源——预训练数据本身的顺序。本文的独特切入角度是直接在预训练阶段控制数据顺序，从源头探究时序知识的获取机制。作者构建了KairosQA这一专门评估时序对齐能力的基准，避免了对TAQA（Zhao et al., 2024）等不合适基准的依赖，因为TAQA主要针对大型模型（≥60B参数）且在我们的设置中缺乏区分度（F1分数仅在1.5%-10%之间）。
核心方法
方法的整体思路是设计一个对照实验：两个6B参数的Transformer decoder模型，在相同的数据集上训练相同的总token数（2.5T），唯一区别是数据顺序——Shuffle模型使用全局打乱的数据，Sequential模型按2018-2025年的时间顺序训练。这种隔离设计确保了性能差异归因于数据课程而非模型容量或数据质量。作者从Wikidata提取7167个随时间变化的事实（如球队主教练、获奖者、政府职位），构造多选题KairosQA进行评估，使用cloze和生成两种方式测量模型是否能正确关联事实与对应年份。
核心创新点在于提出了'时序预训练课程'这一概念，并首次在大规模真实语料上验证了其对知识时效性的影响。与打乱训练让模型面对平稳分布不同，时序课程引入了自然的分布偏移，迫使模型在每个时期优先学习最新事实。这类似于人类教育的'与时俱进'——新知识应该覆盖过时信息。作者发现时序顺序训练能在通用能力不受损的前提下，显著提升模型的'recency peak'（在截止年份前一年达到最佳性能），而打乱训练则呈现'时序惯性'（在2015和2020两个局部峰值后急剧下降）。这一发现挑战了标准打乱预训练的合理性，指明了更智能的数据课程设计方向。
方法步骤详情
方法步骤分为数据准备、模型训练和评估三个阶段。数据准备阶段：从Common Crawl提取2018-2025年的快照，使用dactory工具链进行HTML解析（保留500-10^6字符文档）、语言识别（fastText，24种欧洲语言）、去重（Bloom filter检测重复行）、质量过滤（7个域的fastText分类器，加权分数阈值0.2）和退化文本过滤（n-gram重复率>0.25或长词比例>0.1）。Sequential模型按年份顺序处理每年约315B tokens，Shuffle模型使用相同的2.5T tokens但全局打乱。模型训练阶段：6B参数架构（32层、32注意力头、隐藏维度4096），采用Grouped-Query Attention（4个KV头）、RoPE位置嵌入和SwiGLU激活函数。训练6×10^5步，全局批大小4.2M tokens，上下文长度4096。使用AdamW优化器和Warmup-Stable-Decay调度器，峰值学习率10^-3。为确保严格收敛比较，采用分支cooldown策略——从主运行分支后应用30,000步cosine衰减到10^-4。Sequential模型在每年结束后保存checkpoint（2018-2025共8个），Shuffle模型在匹配token数处保存。评估阶段：从Wikidata提取17M初始三元组，经过7步过滤（时间有效性、人口-only主体移除、流行度约束、关系分布、时间变化约束≥2次、基于流行度剪枝top 20%、最终修剪）得到7,268个主体-关系对。使用GPT-4o mini生成多样多选题，Claude Sonnet进行关系感知质量控制，解决歧义（如获奖者vs获奖作品）、定义不明确奖项、答案不一致性等问题。采用cloze（归一化对数概率）和生成（标准化F1分数）两种评估方式。
技术新颖性
技术新颖性体现在三个层面。第一，实验规模和真实性：在2.5T真实Common Crawl数据上对比时序和打乱课程，而非使用合成数据或小规模实验，这使结论具有实际应用价值。第二，评估基准创新：KairosQA严格筛选Wikidata中随时间变化的事实（至少变化2次），控制流行度避免长尾噪声，采用关系感知质量控制，确保问题明确、答案准确。第三，发现的新现象：揭示了'recency peak'（时序模型在截止前一年达到峰值）和'temporal inertia'（打乱模型的性能延迟），并量化了遗忘现象（Seq 2025对2018年准确率34.1% vs 2024年38.6%）。作者还尝试了缓解遗忘的方法（模型soup和replay cool-down），虽然效果有限，但为持续学习研究提供了基础。
实验结果
实验得出了三个核心发现。第一，时序顺序预训练不损害通用语言理解能力：在OLMES基准上，Sequential模型最终性能与Shuffle基线相当（约75%分数），尽管学习轨迹不同——Shuffle在中期保持领先（可能因为平稳数据分布），Sequential线性增长但最终追平。第二，时序顺序预训练产生更近期的知识：在2024年KairosQA上，Seq 2025达到38.6%准确率（cloze任务），而Shuffle eq 2025仅22.3%，相对提升约73%。Seq 2025在2023-2024期间比Llama 3.1-8B（-15%）、Gemma3-4B（-19%）、Qwen3-8B（-15%）等显著更大或更新的模型表现更好，打破了'更大模型更有效'的预期。第三，打乱训练的时序惯性：所有打乱checkpoint（不同token数）在KairosQA上表现出几乎相同的性能模式——在2015和2020两个局部峰值后急剧下降，表明数据量 scaling无法解决时序对齐问题，打乱训练'过度优化'了跨快照重复的历史信息。作者还发现遗忘现象：Seq 2025对2018年的准确率（34.1%）低于2024年（38.6%），约4.5%的差距，但总token数的增加部分缓解了这一问题——生成任务F1分数中，更晚的checkpoint绝对性能仍然更高。此外，主体流行度分析显示模型在'头部'知识（top 10% F1≈0.4）上表现优异，但在'长尾'（30-40% bin F1≈0.17，bottom 50% F1≈0.10-0.15）上存在显著差距。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 通用语言理解（OLMES） | 综合分数 | ≈75%（Sequential最终） | ≈75%（Shuffle最终） | 持平（验证时序训练不损害通用能力） |
| 时敏性知识（KairosQA 2024 cloze） | 4选准确率 | 38.6%（Seq 2025） | 22.3%（Shuffle eq 2025） | 73%相对提升 |
| 时敏性知识（KairosQA 2024生成） | F1分数 | 0.16（Seq 2025） | 0.08（Shuffle eq 2025） | 100%相对提升 |
| 跨时期性能（2023-2024 vs 2020-2021） | F1相对变化 | +0%（Sequential保持稳定） | -15%至-19%（开源模型持续下降） | 逆转了性能衰减趋势 |
| Cloze鲁棒性（2024年，多选项数） | 准确率 | 58%（2选项）→ 22%（12选项） | 随机基线50%（2选项）→ 7.7%（12选项） | 在8选项以上稳定保持约15个百分点margin |
局限与改进
作者承认了三个主要局限性。第一，数据质量非平稳性：Sequential模型早期的性能滞后可能部分归因于2018-2019年数据质量低于2021-2024年，而非纯粹由时序课程导致。作者通过在2021 checkpoint上使用2024数据cooldown（+1.5% OLMES）提供了初步证据，但未完全解耦质量与顺序效应。第二，遗忘问题未解决：Sequential训练不可避免地导致旧知识遗忘，作者尝试了模型soup（线性插值、指数加权等）和replay cool-down（50/50混合2025新数据和2020教育数据），但效果有限——replay在cloze任务上略微恢复旧知识，但损害了2021-2025性能，呈现零和trade-off。第三，模型规模限制：6B参数远小于现代前沿模型（Llama 3.1-405B、GPT-4），结论在更大规模上的泛化性需进一步验证。此外，KairosQA的关系分布集中在体育（member of sports team占38.6-42.7%）和奖项（award received占19.9-26.7%），领域覆盖有限，可能在其他领域（政治、科技、金融）上的表现不同。作者未评估时序课程对代码推理、数学等非事实性任务的影响。
独立分析的弱点
论文存在四个主要弱点。第一，质量-顺序耦合问题未充分解耦：作者通过单个cooldown实验提供了质量影响证据，但未系统评估各年数据质量差异或进行质量匹配对照。改进方向：计算各年数据的perplexity指标、域分布、语言混合比例，构建质量均衡的时序课程，或在Shuffle baseline中保留年份数据分布以分离顺序效应。第二，遗忘缓解方案过于简单：仅测试了线性权重插值和简单replay，未尝试更先进的持续学习方法。改进方向：弹性权重巩固（EWC）、梯度episodic memory（GEM）、基于扩容的架构（增加时序aware参数）、混合专家（如TiMoE, Faro et al., 2025）等。第三，KairosQA领域覆盖有限：过度依赖体育和奖项，缺乏政治、经济、科技等关键领域。改进方向：扩展Wikidata关系（如公司CEO、产品发布、政策法规），引入其他时序数据源（新闻、学术文献、股市数据），增加领域多样性评估。第四，缺乏外部验证：仅与少数开源模型比较，未评估更老模型（GPT-3）或商业模型（Claude、GPT-4）的时序模式。改进方向：使用KairosQA评估更多模型，建立'时序对齐'作为新的LLM评估维度，推动社区关注。
未来方向
基于研究成果，未来方向可分为三类。第一，时序感知架构：设计能显式建模数据时间来源的架构，如时序embedding、时间conditioned注意力、分层参数（共享静态知识+时序特定参数）。这可让模型在不遗忘历史的前提下更新知识，避免 Sequential 训练的零和trade-off。第二，智能数据课程：超越简单的时序顺序，设计适应性课程——在关键时间点加强训练（如重大事件前后）、根据知识变化率调整token分配、动态up-sampling重要更新。还可探索课程学习与持续学习结合，如周期性回溯历史+前瞻最新。第三，KairosQA扩展与应用：将基准扩展到多语言（当前24种欧洲语言）、更长时间跨度（2014-2025已有但可扩充至2000年代）、更多模态（图像、视频事实）。推动'时序对齐'成为标准LLM评估维度，与推理、安全性并列。还可开发时序知识检索系统，让模型根据查询时间动态激活对应知识子空间。
复现评估
复现难度为中等。作者承诺开源代码、checkpoints和KairosQA数据集（GitHub: github.com/kyutai-labs/kairos），但论文发表时间（2026年）数据可能尚未发布。算力需求高昂：预训练需要128张H100 GPU训练2.5T tokens，单张GPU训练时间数周，小实验室难以复现。但评估部分可复现：KairosQA数据可用，开源模型（Llama 3.1-8B、Gemma3-4B等）可公开获取，只需单GPU即可运行cloze和生成评估。实验设置细节完善：论文提供了完整超参数表（Tab. 4）、数据pipeline描述（dactory工具链）、评估prompt示例（Appendix C.4），复现者可精确复制实验。潜在复现障碍：Common Crawl快照过滤依赖作者专有工具dactory，质量阈值和域权重可能需要调优；Wikidata过滤步骤复杂（7步），Claude质量控制部分可能需要人工审核。总体而言，预训练部分需大规模算力，但评估和数据分析部分可在有限资源下完成，论文提供了充分的实现细节。
论文图表
