← 返回 2026-04-01

daVinci-LLM：迈向预训练的科学 daVinci-LLM:Towards the Science of Pretraining

Yiwei Qin, Yixiu Liu, Tiantian Mi, Muhang Xie, Zhen Huang, Weiye Si, Pengrui Lu, Siyuan Feng, Xia Wu, Liming Liu, Ye Luo, Jinlong Hou, Qipeng Guo, Yu Qiao, Pengfei Liu 📅 2026-03-28 👍 32 2026-07-13 08:36
开放研究 数据质量 系统消融 训练动力学 预训练
arXiv HuggingFace PDF

通过完全开放的范式和200+消融实验，建立大语言模型预训练的科学方法论

前置知识

Data Darwinism框架

数据达尔文主义框架是一个十级分类系统（L0-L9），用于系统性地描述和比较数据处理的深度和复杂度。L0代表原始数据获取，L1是格式标准化，L2是规则过滤，L3是轻量级模型过滤，L4是生成式精炼，L5是认知完成，L6-L9是更高级的合成操作。这个框架的核心思想是数据处理应该像生物进化一样，从简单选择到主动创造，逐步提升数据的认知可学习性。理解这个框架需要明白数据处理不仅仅是清洗，更是通过渐进式的内容重构和推理链补全来降低模型内部化的认知障碍。

本文采用Data Darwinism框架来系统性地组织和评估所有数据源的处理深度，并基于这个框架设计了从L3到L5的消融实验，以验证不同处理层级对模型能力的具体影响。不理解这个框架就无法抓住本文方法论的核心创新点。

自适应课程学习

自适应课程学习是指在训练过程中根据模型的能力发展动态调整数据混合比例和数据格式的训练策略。与传统的固定比例训练不同，自适应课程学习通过监控不同能力维度的饱和速率，将计算资源从已经饱和的维度（如通用知识）重新分配到仍在增长的维度（如推理能力）。本文采用的两阶段自适应课程包括：Stage 1（6T tokens）从Web文本建立基础能力，根据不同领域饱和速率调整比例；Stage 2（2T tokens）引入结构化QA数据进一步强化推理能力。这种方法的关键在于识别能力饱和点并相应地改变数据策略。

本文的核心发现之一就是不同能力维度具有不同的饱和动力学，这直接指导了训练阶段的设计和策略。不理解自适应课程学习的原理，就无法理解为什么本文要设计Stage 1和Stage 2，以及如何在4T tokens处触发数据比例调整。

PPL评估与生成式评估

PPL（困惑度）评估和生成式评估是两种不同的基准测试协议。PPL评估要求模型在多个候选答案中为正确答案分配更高的概率，主要测试模型的潜在知识检索能力。生成式评估要求模型主动生成完整的答案，往往还需要包含推理链，不仅测试知识掌握程度，还测试模型将知识显式化和组织化的能力。本文发现，经过大量QA预训练的模型在生成式评估下会获得不成比例的优势，因为QA训练不仅注入了知识，还训练了模型将问题映射到答案的行为模式。例如，在MMLU基准上，OLMO-2-7B和Qwen-2.5-3B的排名在PPL评估下是OLMO领先0.20%，但在生成式评估下变成了Qwen领先2.90%，产生了3.10%的排名逆转。

本文第4.4节专门讨论评估协议的有效性，指出评估设计会显著影响对base模型预训练效果的结论。不理解这两种评估协议的区别及其测试的不同能力维度，就难以正确解读本文的实验结果和模型排名。

研究动机

大语言模型的预训练阶段从根本上决定了模型的能力天花板，后训练技术虽然可以精调和对齐模型行为，但难以克服预训练阶段建立的能力基础。然而，这一关键阶段却研究严重不足，这源于一个结构性矛盾：拥有计算资源的组织受商业压力驱动，倾向于快速部署而非系统探索，且受竞争压力抑制了训练过程的透明披露；学术机构拥有研究自由但缺乏预训练规模的计算资源，即使像OLMo这样资金充足的学术项目也面临严重的规模限制，使得大规模系统探索在结构上不可行。这种矛盾导致当新兴证据表明预训练选择根本性地塑造下游能力时，研究社区却缺乏系统调查模型在预训练期间如何获取和组织知识的原理的能力。此外，当前开放权重的模型发布（如LLaMA、Qwen）只提供最终检查点，而不披露数据组成、混合比例和训练动态等关键预训练细节。

本文的目标是本文的目标是通过结合大规模计算资源与完全的研究自由，推动预训练从直觉驱动的实践转向严谨的科学探索。具体而言，作者希望建立预训练的科学方法论，通过系统性的实验设计和全面透明度，回答关于数据质量、训练动力学和混合策略的核心问题。作者采用完全开放的范式，不仅发布模型权重，还发布完整的训练轨迹、数据规范和消融结果，记录什么有效、什么失败。通过200+受控消融，作者系统调查了四个主题领域：数据处理深度如何系统性增强模型能力；数据策略和课程应如何适应训练进展；如何在有针对性的增强与一般能力保留之间取得平衡；哪些评估协议可靠地衡量base模型预训练进展。

与已有工作不同的是，本文的独特切入角度是占据未被探索的交集，即结合工业规模的计算资源与完全的研究自由。商业实验室（如GPT、Claude、Gemini）拥有计算资源但由于竞争压力仅通过API提供访问；开放权重发布（如LLaMA、Qwen）提供模型构件但不披露设计理由和负面结果；学术努力（如OLMo）实现透明度和研究自由但面临严重的规模限制，使得系统性的200+配置探索在结构上不可行。daVinci-LLM占据这个交点，进行广泛的消融和系统披露，这对于推进预训练科学所必需。此外，本文将设计决策转化为系统可验证的研究问题，通过记录完整的探索过程，使社区能够基于发现和系统方法论构建累积性的科学知识，而不是仅仅展示一个成功的配方。

核心方法

本文的整体思路是从直觉驱动的预训练实践转向证据驱动的科学探索。作者采用一个三支柱框架：数据（通过Data Darwinism框架系统化处理决策）、训练配方（两阶段自适应课程）和探索（200+消融实验回答四个核心研究问题）。方法的核心是识别预训练中的关键变量（数据质量、处理深度、训练动力学、混合设计、评估协议），并通过系统性实验确定这些变量如何影响模型能力。训练过程不是单一的token消费序列，而是演进的课程，与模型成熟的能力同步变化：第一阶段（6T tokens）通过多样化、网络规模的语料库建立广泛的基础能力；第二阶段（2T tokens）通过整合结构化QA、精炼的科学内容和高质量代码将分布转向推理密集数据。作者还在5k步间隔评估所有检查点，追踪能力出现，识别不同维度的饱和时间。

本文的核心创新点是将开放性本身作为科学方法论，将预训练从黑盒实践转变为可重复的科学探索。具体包括：Data Darwinism框架（L0-L9分类）作为系统性组织数据处理操作的统一语言，使得研究人员可以推理跨异构数据源的质量差异；自适应训练动力学，通过监控不同能力维度的饱和速率（通用知识在1T tokens内快速饱和，代码/科学在4T tokens内持续增长）来指导数据组成调整；渐进式混合策略，在平衡和强化之间导航，保守比例在基础训练期间保持稳定性，而渐进式浓度可以在建立平衡的表征基础后用于有针对性的增强；双协议评估，同时使用PPL和生成式评估来获得完整的能力概况。与已有方法的关键区别在于本文不仅发布最终模型，还发布完整的决策逻辑、负面结果和200+消融实验的详细结果。

方法步骤详情

方法步骤包括数据准备、训练配方和消融实验。数据准备阶段，作者构建了一个涵盖通用、代码、科学和QA四大类别的预训练语料库，总计约7.58T tokens。每个数据源都标注其对应的Darwin Level，对于部分源，作者应用更高级别的处理操作来主动提高其质量。训练采用两阶段自适应课程：Stage 1包括两个子阶段（Stage 1-1和Stage 1-2），总共消耗6T tokens。Stage 1-1（4T tokens）优先考虑稳定性，采用渐进式全局批大小缩放策略，从1024开始，在70k步后增加到2048，再在40k步后达到4096，学习率在2000步线性预热后保持在3e-4。数据混合以Common Crawl（68.2%）为主，建立广泛的语言流畅性。Stage 1-2（2T tokens）保持GBS为4096，同时过渡到余弦学习率衰减（3e-4→3e-5），通过减少Common Crawl到55.4%并增加代码（+2.1%）和科学（+10.6%）比例来加强推理能力。Stage 2包括两个子阶段（Stage 2-1和Stage 2-2），总共消耗2T tokens。Stage 2-1（1T tokens）采用平衡混合，包括结构化QA、代码数据和L4/L5处理的科学数据（各30%），加上10%高质量web文本，确保每个推理域得到充分表示同时保留模型的通用知识能力。Stage 2-2（1T tokens）基于Stage 2-1建立的平衡表示基础，进一步将QA数据浓度提高到70%，通过高密度监督信号放大逻辑推理和科学问题解决。消融实验包括：数据处理深度的比较（L2规则过滤 vs L3模型过滤 vs L4生成式精炼 vs L5认知完成）；训练动力学的跟踪（领域特定的饱和模式，研究从领域比例调整到结构化QA引入的过渡）；数据混合设计的研究（代码和科学数据的内部组成以及QA浓度的渐进增强）；评估有效性的分析（比较PPL评估和生成式评估在多个base模型上的排名差异）。

技术新颖性

本文的技术新颖性体现在多个方面。首先，Data Darwinism框架作为系统化的数据处理分类法，是首次将数据处理操作组织成principled的十级分类，使得研究人员可以系统性比较和推理不同数据源的质量差异。其次，两阶段自适应课程学习基于实证观察的饱和动力学（通用知识快速饱和、推理能力持续增长），而不是基于启发式惯例，这是首次将训练阶段设计建立在系统的能力出现追踪基础上。第三，渐进式混合策略揭示了stage-dependent的容差：保守比例在基础训练期间保持稳定性，而渐进式浓度可以在建立平衡的表征基础后安全地用于有针对性的增强，这挑战了静态混合策略的假设。第四，双协议评估分析揭示了评估协议选择本身会塑造对模型质量的理解，特别是对于经过大量QA预训练的模型，这可能产生排名逆转，这是首次系统分析评估协议对base模型比较的影响。最后，200+消融实验的全面披露，包括负面结果和失败实验，为社区提供了丰富的实证基础，这不同于传统研究只展示成功配方的做法。

Mapping of our pretraining data sources onto the Data Darwinism L0–L9 taxonomy across different training stage.
Figure 3: Mapping of our pretraining data sources onto the Data Darwinism L0–L9 taxonomy across different training stage.
Stage 1 Training dynamics for the first 300k steps: (a) training loss curve demonstrating consistent convergence, and (b) gradient norm curve tracking optimization stability across the initial training phase.
Figure 5: Stage 1 Training dynamics for the first 300k steps: (a) training loss curve demonstrating consistent convergence, and (b) gradient norm curve tracking optimization stability across the initial training phase.

实验结果

本文的核心发现通过200+受控消融实验获得。数据处理深度方面，作者发现L3模型过滤提供一致但适度的改进（MBPP +3.40），L4生成式精炼在复杂推理上提供实质性改进（MATH +7.00），L5认知完成通过领域定向合成实现有针对性的能力引导，但交叉域迁移有限。这些结果确立处理深度作为系统优化维度，提供原则性的替代方案来替代朴素缩放：分层的数据处理可以替代多倍的数据量增加。训练动力学方面，作者发现不同能力维度表现出vastly不同的饱和时间尺度，这启发了自适应干预时机和数据组成调整。然而，一旦标准语料库格式共同接近饱和，领域比例调整遇到根本限制，此时在这些数据类型之间重新分配比例不再足够。Stage 1从比例调整获得的递减回报促使在Stage 2引入结构化问题-答案数据，这显著优于继续比例优化。数据混合设计方面，作者发现高推理数据浓度是必需的，但域之间的内部平衡对于防止过度专业化牺牲更广泛的能力至关重要。同样，结构化QA强化需要导航stage-dependent容差：保守比例在基础训练期间保持稳定性，而渐进式浓度可以在建立平衡的表征基础后利用。评估有效性方面，作者发现评估协议选择显著影响从base模型预训练得出的结论：在PPL评估下，OLMO-2-7B略微优于Qwen-2.5-3B；在生成式评估下，排名反转为Qwen-2.5-3B有利——3.10%的摆动。这是因为PPL评估更接近潜在知识访问，而生成式评估不仅测试模型知道什么，还测试它是否学会了通过答案产生来操作化知识。

Transparency comparison across state-of-the-art LLMs.
Table 1: Transparency comparison across state-of-the-art LLMs.
Data pool composition and token allocation across training stages.
Table 2: Data pool composition and token allocation across training stages.
Comprehensive evaluation across diverse capability benchmarks.
Table 6: Comprehensive evaluation across diverse capability benchmarks.
Comparison of rule-based and model-based filtering approaches.
Table 7: Comparison of rule-based and model-based filtering approaches.
Comparison of baseline and generative refinement approaches.
Table 8: Comparison of baseline and generative refinement approaches.
Impact of QA data ratio on model performance in Stage 2-2.
Table 9: Impact of QA data ratio on model performance in Stage 2-2.
Performance comparison of daVinci-LLM-3B against baseline models with score across three capability domains, and overall score comparable to OLMo-3-7B.
Figure 1: Performance comparison of daVinci-LLM-3B against baseline models with score across three capability domains, and overall score comparable to OLMo-3-7B.
Progressive training results across Stage 1-1 and Stage 1-2, with checkpoints evaluated every 5000 steps.
Figure 4: Progressive training results across Stage 1-1 and Stage 1-2, with checkpoints evaluated every 5000 steps.
Progressive training results across Stage 2-1 and Stage 2-2, with checkpoints evaluated every 5000 steps.
Figure 6: Progressive training results across Stage 2-1 and Stage 2-2, with checkpoints evaluated every 5000 steps.
Effectiveness of CC-QA and CodeQA synthetic data in Stage 2-2.
Figure 7: Effectiveness of CC-QA and CodeQA synthetic data in Stage 2-2.
Stage 1 benchmark performance.
Figure 8: Stage 1 benchmark performance.
Performance comparison between continued data domain adjustment (stage 1-3) and QA introduction (Stage 2).
Figure 9: Performance comparison between continued data domain adjustment (stage 1-3) and QA introduction (Stage 2).
Stage 2 benchmark performance.
Figure 10: Stage 2 benchmark performance.
Code and science data ratio analysis.
Figure 11: Code and science data ratio analysis.
MMLU performance comparison across evaluation protocols.
Figure 12: MMLU performance comparison across evaluation protocols.
查看结构化数据
任务指标本文基线提升
数学推理 MATH 62.80 OLMo-3 7B: 39.60 +23.20
代码生成 Avg Code (HumanEval/EvalPlus/MBPP) 55.99 OLMo-3 7B: 54.42 +1.57
科学推理 Avg Science 48.30 OLMo-3 7B: 45.98 +2.32
总体平均 Overall Average (19 tasks) 51.72 OLMo-3 7B: 51.65 +0.07
通用知识 MMLU 62.53 OLMo-3 7B: 66.53 -4.00
Python代码生成 HumanEval 61.64 Qwen-3.5-4B: 71.46 -9.82

局限与改进

本文的局限性包括作者承认的和独立观察的几个方面。首先，本文仅研究了3B参数规模的模型，虽然作者证明了系统性数据策略可以使3B模型接近7B模型的性能，但这些发现是否可以推广到更大规模（如70B+）仍需验证，因为不同规模可能表现出不同的训练动力学。其次，本文的QA数据池存在组成不平衡：Stage 2-1 QA池严重偏向科学（约80%），而代码相关QA相对稀缺（约26B tokens），这解释了为什么在高QA浓度下代码性能非单调下降。第三，本文主要关注预训练阶段，对后训练阶段（如对齐和强化学习）的探索有限，而完整的应用场景需要考虑预训练和后训练的联合优化。第四，本文虽然发布了完整的训练过程和数据，但复现这些结果仍需要大量的计算资源（8T tokens训练），这限制了许多研究机构的复现能力。第五，本文的评估主要基于学术基准，这些基准可能与真实应用场景存在差距，未来可以增加更接近实际应用的任务评估，如长文档理解、多轮对话、工具使用等。最后，作者承认Data Darwinism框架是一个conceptual分类，某些操作之间的边界可能模糊，且框架本身可能需要随着数据处理技术的发展而更新。

独立分析的弱点

独立分析的弱点包括：第一，QA数据的领域不平衡导致代码性能在高QA浓度下崩溃，这可以通过增加代码QA的多样性和数量来改进，或者设计更精细的内部QA比例策略来平衡不同领域。第二，Stage 2-1采用保守的30% QA比例以保持平衡能力，虽然避免了能力损失，但可能错失了早期推理增强的机会，未来可以探索更动态的适应策略，在早期就引入但逐渐增加QA浓度。第三，本文的评估主要基于学术基准，这些基准可能与真实应用场景存在差距，未来可以增加更接近实际应用的任务评估，如长文档理解、多轮对话、工具使用等。第四，本文虽然研究了数据处理深度，但没有深入研究不同数据源之间的相互作用（如不同Darwin Level的数据混合是否最优），未来可以探索跨层级的混合策略。第五，本文的训练配方基于特定架构（Qwen2-based），不同架构可能有不同的最优训练策略，未来可以跨架构验证发现的通用性。第六，本文没有详细研究预训练数据与后训练数据的协同效应，未来可以探索预训练阶段如何为后续对齐和强化学习做准备。

未来方向

未来的研究方向可以从作者提出的和基于成果可延伸的多个角度展开。作者提出的方向包括：扩展探索范围到更大规模模型，验证数据处理深度、训练动力学和混合设计的发现是否可以泛化；研究预训练和后训练的联合优化，探索预训练阶段如何为后续对齐做准备；发展更精细的评估协议框架，帮助研究者根据应用场景选择合适的评估方法。基于成果可延伸的方向包括：自动化Data Darwinism处理流程，开发工具来自动识别数据源的当前Darwin Level并推荐最优的下一步处理操作；自适应训练调度系统，基于实时监控的能力饱和速率自动调整数据混合和课程；跨架构验证，在不同架构（如Llama、Mistral、Gemma）上验证本文发现的通用性；探索L6-L9更高级的数据合成操作，如环境合成、生态系统合成和世界合成，研究这些高级操作是否能解锁新的能力边界；研究数据混合的理论基础，建立理解为什么某些混合比例比其他更有效的理论模型；开发更全面的评估套件，覆盖更广泛的能力维度和应用场景，包括长文本、多模态、工具使用等。

复现评估

复现评估方面，本文采取了完全开放的范式，发布模型权重、中间检查点、处理的数据集、完整的训练日志、消融结果和完整的评估套件，这为社区提供了充分的复现基础。然而，完全复现本文的结果仍需要大量的计算资源：训练daVinci-3B需要8T tokens，假设适当的硬件配置和训练效率，这可能需要数周到数月的计算时间，这限制了许多研究机构的复现能力。此外，本文使用的数据源包括大规模网络爬取数据（如Nemotron-CC-v1的4.28T tokens）和大规模合成数据（如734B QA tokens），这些数据的处理和存储也需要显著的资源。代码方面，作者发布完整的训练代码和数据处理管道，但由于硬件依赖和软件版本差异，复现可能面临一些工程挑战。数据方面，作者发布了自己处理和合成的数据集，但部分原始数据源（如Common Crawl快照）可能需要单独下载和处理。总体而言，本文在透明度和开放性方面设立了高标准，但完全复现仍需要substantial计算资源和工程努力，这可能限制即时复现但支持长期科学积累。

论文图表

Evolution of pretraining research depth across institutional structures.
Figure 2: Evolution of pretraining research depth across institutional structures.

这张图展示了预训练研究深度在机构结构上的演变。y轴代表研究深度，从表面级别的产物（仅API访问）到基础科学问题。x轴显示从2022年到2026年的时间进展。商业实体（蓝色）拥有计算资源但由于竞争压力仍限制在API级别访问。开放权重发布（绿色，如LLaMA、Qwen）提供模型产物但保留设计理由和负面结果。学术努力（橙色，如OLMo）实现透明度和研究自由但面临严重的规模限制。顶层仍然很大程度上未被探索，因为它需要大规模计算资源与研究自由的罕见对齐。daVinci-LLM（紫色）占据这个交点，进行广泛消融和系统披露。

这张图对理解论文动机和定位至关重要，因为它清晰地展示了研究的gap：存在一个未被探索的交集，需要大规模计算资源与研究自由的结合。它解释了为什么当前研究格局存在结构性矛盾，以及daVinci-LLM的独特定位。这帮助读者理解论文的研究背景和为什么本文采用完全开放的范式。