数据达尔文主义（第一部分）：释放科学数据在预训练中的价值 Data Darwinism Part I: Unlocking the Value of Scientific Data for Pre-training
提出10级数据处理层次框架Data Darwinism，构建900B token科学语料库，揭示原始科学数据的可学习性差距
前置知识
预训练（Pre-training）
预训练是大语言模型开发的第一阶段，模型在大规模无标注文本上通过自监督学习（如next-token prediction）学习语言的通用表示。预训练数据的质量和规模直接决定模型的基础能力，包括语言理解、推理和知识存储。本文的核心议题正是如何系统地提升预训练数据的质量，特别是针对科学领域这种高信息密度但难以学习的数据。
理解预训练的基本范式是理解本文研究动机的前提——为什么数据处理如此重要，以及为什么原始科学数据在预训练中表现不佳
Continued Pre-training (CPT，继续预训练)
继续预训练是指在已经完成初始预训练的模型基础上，使用特定领域或高质量数据继续训练，以增强模型在目标领域的能力。与从头训练相比，CPT可以在保持模型通用能力的同时注入领域知识。本文采用600B token的CPT来验证不同数据处理策略的效果，这是一种标准且高效的领域适配方法。
本文的实验框架基于CPT，理解这一概念才能理解实验设计的逻辑和结果的含义
数据混合比例（Data Mixture）
数据混合比例指预训练或继续预训练时不同来源数据的配比。本文探索了科学数据与通用数据的比例（从15%到100%），以及科学数据内部书籍与论文的比例（从100:0到0:100）。最优混合比例是一个经验性问题，需要在领域专精和通用能力之间取得平衡。
本文发现50%科学内容比例在通用基准和领域基准之间达到最优平衡，这是核心实践指导之一
可学习性差距（Learnability Gap）
本文提出的核心概念，指原始科学文本虽然信息密度高、内容专业，但语言模型难以从中有效学习。具体表现为：即使经过L0-L3的初步过滤处理，模型在科学基准上的表现几乎没有提升。这一差距源于科学文本的高压缩性、隐式推理链和面向专家的表述方式，使得模型无法像人类专家那样理解内容。
这是本文最核心的发现，也是整个Data Darwinism框架存在的根本原因——低层处理不足以释放科学数据的价值
认知补全（Cognitive Completion）
本文提出的L5级数据处理方法，利用前沿大语言模型将科学文本中隐含的推理过程显式化。包括三个维度：推理重构（将逻辑跳跃展开为逐步推导）、术语解释（在行文中解释专业术语）、教学桥接（用类比和具体例子连接抽象概念）。这一过程将面向专家的'专家-专家'对话转变为面向学习者的教学材料。
L5认知补全是本文方法论的核心创新，贡献了+0.98的性能提升，是解锁科学数据价值的关键技术
分布对齐评估（Distribution-Aligned Evaluation）
本文强调的一个评估原则：评估基准的分布应与训练数据的分布匹配。本文构建的Darwin-Science-Eval包含150K专家级问题，专门针对研究级别的科学内容。实验表明，分布对齐的基准能揭示标准基准无法捕捉的3倍以上的性能增益。
这一概念解释了为什么本文的收益在标准基准上被低估——评估指标的选择直接影响对数据价值的判断
研究动机
当前大语言模型预训练面临一个根本性矛盾：科学文献是人类知识最密集的载体，包含复杂的推理链、专业术语和深层因果关系，但在开源预训练中几乎未被充分利用。现有的数据处理方法缺乏系统性框架，依赖于临时性的实验和经验规则，导致数据处理流程碎片化、不可复现。更关键的是，本文发现了一个反直觉的现象——原始科学数据存在严重的'可学习性差距'：即使是经过传统过滤（L0-L3：数据获取、格式标准化、规则过滤、轻量模型过滤）处理的科学文本，在预训练中也无法带来可观的性能增益。诊断实验显示，在原始科学数据上训练的模型在标准基准和分布对齐评估上的表现与基线模型几乎持平。这意味着传统的数据筛选和过滤方法对于科学领域的高密度内容是失效的。
本文的目标是本文的直接目标是建立一个系统化的数据处理理论框架（Data Darwinism），并通过科学领域的实证研究验证其有效性。具体而言，作者希望：(1) 定义一个从L0到L9的10级数据处理层次结构，为数据转换操作提供统一的分类和推理框架；(2) 在科学文献上实现L0-L5层级，构建大规模的Darwin-Science语料库（900B token）；(3) 通过严格的受控实验验证层级化处理对解锁科学数据价值的必要性；(4) 为实践者提供数据混合比例、处理策略和评估方法的循证指导。
与已有工作不同的是，本文的独特切入角度在于将数据处理概念化为一个进化过程而非一次性工程任务。与以往数据处理研究（如FineWeb、Dolma等）主要关注网页数据不同，本文首次系统性地处理科学文献这一高概念密度领域。更重要的是，本文提出了'数据与模型共同进化'的核心理念：更先进的模型能够实现更复杂的数据处理技术（如用LLM进行质量评估和认知补全），从而产生更高质量的训练数据来训练下一代模型。这种共同进化的视角将数据质量从一个静态属性转变为一个随模型能力扩展而移动的目标。此外，本文建立了严格的受控实验框架，通过训练完全不含科学内容的daVinci-origin-3B/7B基线模型（5.37T token），消除了数据质量与模型配置效应的混淆，实现了对性能提升的清晰归因。
核心方法
本文的方法论建立在Data Darwinism这一核心框架之上，可以分为三个层次来理解。直觉层面：作者将数据处理类比为生物进化过程——数据从'野生状态'（原始采集）逐步进化为'高度驯化状态'（合成世界），每一步进化都提升数据的信息密度和学习价值。技术路线层面：作者定义了10级层次结构（L0-L9），沿三个维度展开——从选择到生成、从保持到转换、从人类驱动到机器驱动。在本文中，作者实现了前6个层级（L0-L5）并构建了Darwin-Science语料库。实验验证层面：作者训练了完全不含科学内容的基线模型（daVinci-origin-3B/7B），然后通过600B token的继续预训练（CPT）比较不同数据处理策略的效果，从而量化每一层级处理的增量贡献。
本文的核心创新点是发现了'可学习性差距'并提出通过层级化处理来弥合这一差距。与已有方法的本质区别在于：传统数据处理（如FineWeb、Dolma）主要停留在L0-L3层级，通过过滤和去重来提升数据质量，这种方法对网页数据有效但对科学文献失效。本文的关键洞察是：科学文本的高信息密度本身不足以保证学习价值——其高压缩性、隐式推理链和面向专家的表述方式构成了模型的学习障碍。因此，本文引入L4（生成式精炼）和L5（认知补全）两个新层级：L4用LLM清洗噪声和修复格式缺陷，L5用前沿LLM将隐式推理显式化、将专业术语通俗化、用教学桥接连接抽象概念。这种从'选择'到'转换'的范式转变，使得数据从被动的'被筛选对象'变为主动的'被增强内容'。
方法步骤详情
方法的完整流程包括6个步骤。第一步L0数据采集：从公开学术资源（PDF扫描件）和开源数据集（TxT360中的PubMed Central、arXiv、S2ORC）收集原始数据，包含书籍和论文两种类型。第二步L1格式标准化：使用olmOCR-7B将扫描PDF转换为机器可读文本，处理编码问题和标准化元数据。第三步L2规则过滤：应用MinHash去重（移除22%文档），然后按文件大小（<8KB）、乱码比例（>50%乱码字符）和语言（仅保留英语）进行三阶段过滤。第四步L3轻量模型过滤：使用EAI-Distill-0.5B进行12维文档分类，过滤无教育价值内容（如广告），按学科分类（9大领域），并区分书籍和论文。第五步L4生成式精炼：使用GPT-OSS-120B对文本进行清洗，将文档分割为1024字符块，执行删除操作（去除目录、参考文献、URL、OCR错误等）和修改操作（修复断裂文本、恢复损坏公式），最终语料库体积减少20%。第六步L5认知补全：使用Qwen3-235B对论文进行教学性重写，将文档分割为1024 token窗口，执行推理重构（展开隐式逻辑跳跃）、术语解释（在叙事流中解释专业术语）和教学桥接（用类比连接抽象概念）。
技术新颖性
本文的技术新颖性体现在多个维度。首先，Data Darwinism是第一个系统性的数据处理层次框架，将分散的数据操作统一为10级进化轨迹，这在理论上填补了数据处理方法论的空白。其次，'可学习性差距'的发现具有重要的实践意义——它表明对于高概念密度领域，传统的过滤方法是不够的，必须引入模型驱动的转换。第三，L5认知补全的技术实现具有创新性：通过精心设计的prompt（包含6个核心原则：解构与叙述'为什么'、从术语到洞察、创造生动类比、创建语境桥梁、像学习者一样思考、优先叙事流），将专家导向的文本转变为教学导向的材料。第四，受控实验框架的设计值得称道：通过训练完全不含科学内容的基线模型（5.37T token），消除了数据质量与模型配置的混淆，实现了对性能提升的清晰归因。第五，Darwin-Science-Eval基准的构建方法（三阶段管道：Q&A生成、完整性过滤、正确性过滤）为领域特定评估提供了可复用的范式。
实验结果
本文的实验结果揭示了四个核心发现。第一，低层处理（L0-L3）无法弥合可学习性差距：原始科学数据（经OCR提取和基本过滤）在基准上的增益几乎为零，即使在分布对齐的Darwin-Science-Eval上也是如此。第二，处理层级解锁持续学习价值：L4（生成式精炼）带来+0.38的累积增益，L5（认知补全）带来+1.36的累积增益，总计+1.36的层级增益确认了系统性层级上升的必要性。第三，模型容量放大收益：7B模型从科学数据中获得+2.95增益，而3B模型仅获得+2.12，表明更大模型能更好地捕获复杂推理和密集领域知识。第四，对齐评估揭示隐藏收益：标准基准显示1.76-2.38点增益，而对齐的Darwin-Science-Eval显示5.60-8.40点增益——超过三倍的差距表明分布匹配的评估至关重要。在600B token训练窗口内，性能增益持续增长且无饱和信号，表明处理后的语料库提供了卓越的持续学习价值。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 通用任务平均（BBH, ARC, MMLU, MMLU-Pro等） | Avg-General | 3B: 46.23 / 7B: 52.64 | 3B: 45.05 / 7B: 51.29 | 3B: +1.18 / 7B: +1.35 |
| 科学任务平均（GSM-8K, MATH, GPQA, MedQA等） | Avg-Science | 3B: 28.11 / 7B: 37.53 | 3B: 26.70 / 7B: 33.17 | 3B: +1.40 / 7B: +4.36 |
| 领域对齐评估（Darwin-Science-Eval-Book/Paper） | Avg-In-Domain | 3B: 34.41 / 7B: 52.90 | 3B: 28.81 / 7B: 44.50 | 3B: +5.60 / 7B: +8.40 |
| 所有基准平均 | Avg-All | 3B: 35.39 / 7B: 43.74 | 3B: 33.27 / 7B: 40.79 | 3B: +2.12 / 7B: +2.95 |
| BBH（Big Bench Hard） | 3-shot | 3B: 37.81 / 7B: 49.25 | 3B: 33.08 / 7B: 43.17 | 3B: +4.73 / 7B: +6.08 |
| MMLU | 5-shot | 3B: 48.62 / 7B: 57.60 | 3B: 45.29 / 7B: 53.19 | 3B: +3.33 / 7B: +4.41 |
| MMLU-Pro | 5-shot | 3B: 16.94 / 7B: 27.36 | 3B: 13.42 / 7B: 22.66 | 3B: +3.52 / 7B: +4.70 |
| MedQA（医学问答） | 0-shot | 3B: 33.61 / 7B: 45.78 | 3B: 31.11 / 7B: 38.76 | 3B: +2.50 / 7B: +7.03 |
| PubMedQA（生物医学问答） | 0-shot | 3B: 74.24 / 7B: 75.92 | 3B: 69.28 / 7B: 74.88 | 3B: +4.96 / 7B: +1.04 |
| Darwin-Science-Eval-Book | 领域对齐 | 3B: 36.31 / 7B: 53.60 | 3B: 30.77 / 7B: 47.44 | 3B: +5.53 / 7B: +6.16 |
| Darwin-Science-Eval-Paper | 领域对齐 | 3B: 32.52 / 7B: 52.20 | 3B: 26.85 / 7B: 41.56 | 3B: +5.66 / 7B: +10.64 |
局限与改进
本文的局限性主要体现在以下几个方面。作者明确承认的局限：(1) 范围限制——本文仅聚焦于科学领域并实现了L0-L5，更高的层级（L6-L9）涉及多步推理合成、个性化课程生成和世界模拟，尚未探索；(2) 配置特异性——实验使用特定的教师模型和训练配置，更广泛的架构、规模和领域的消融实验将增强泛化性；(3) 可学习性差距现象需要更深入的研究来理解什么使内容对机器可学习而非仅对人类可读。从我的观察来看，还有以下局限：(1) 计算成本高昂——L5认知补全需要使用Qwen3-235B这样的前沿模型，这对大多数研究团队来说是不可承受的；(2) 教师模型依赖——L5的效果高度依赖教师模型的质量（Qwen3-235B比GPT-OSS-120B好+0.52），但最优教师模型的选择缺乏理论指导；(3) 仅限英文——所有实验和数据都是英文的，对中文等其他语言科学文献的适用性未知；(4) 数据去污染方法相对简单（精确20-gram匹配），可能存在遗漏；(5) 基础模型规模较小（3B/7B），在更大模型上的效果有待验证。
独立分析的弱点
本文存在几个可改进的弱点。首先，L5认知补全的prompt虽然精心设计，但缺乏自适应机制——对于不同学科（如数学vs生物学）可能需要不同的重写策略，当前的通用prompt可能在某些领域效果不佳。改进方向是设计学科特定的prompt模板，或让模型根据输入内容自动选择策略。其次，数据处理的粒度选择（1024字符/1024 token）是固定的，但最优窗口大小可能因文档类型和处理级别而异——长篇数学推导可能需要更大的上下文窗口。改进方向是实现自适应窗口大小。第三，去污染方法使用精确20-gram匹配，可能遗漏语义相似但措辞不同的污染样本，也可能过度删除合法内容。改进方向是引入语义相似度匹配。第四，评估基准的构建完全依赖LLM（Qwen3-32B），可能引入系统性偏差——如果教师模型在某些领域较弱，生成的问题可能质量较低。改进方向是引入人工审核或多模型交叉验证。第五，缺乏对数据处理成本-收益的定量分析——L5处理消耗大量计算资源，但论文未讨论在有限预算下的最优处理深度。
未来方向
本文的未来研究方向可以从多个维度展开。作者提出的：(1) 将框架扩展到多模态领域，处理图像、视频和代码等非文本数据；(2) 形式化可学习性度量，开发量化指标来预测数据的学习价值；(3) 开发自动化系统导航完整的L0-L9谱系。基于本文成果可延伸的方向：(4) 探索L6-L9的实现——特别是L6（语境补全）可以通过检索增强和知识图谱来整合外部知识；(5) 研究数据与模型的共同进化循环——用更强的模型生成更好的训练数据，再训练更强的模型；(6) 开发轻量级的L5替代方案——使用较小模型（如7B）通过知识蒸馏或微调来实现认知补全，降低计算成本；(7) 扩展到其他高密度领域——如法律文档、技术手册、学术论文（非科学类）；(8) 研究数据处理策略与模型架构的交互——不同架构（如MoE vs Dense）对数据质量的敏感度可能不同；(9) 开发在线数据处理系统——在训练过程中动态调整数据处理策略。
复现评估
本文在可复现性方面做出了重要贡献，但仍存在一些挑战。开源情况：作者已开源Darwin-Science语料库的子集（496B token），包括82B L4数据、250B L5数据和164B通过GPT-OSS-120B处理的L5数据，以及daVinci-origin-3B/7B模型。这为社区提供了宝贵的资源。数据方面：原始数据来自公开资源（arXiv、PubMed Central、S2ORC）和开源数据集（TxT360），数据来源可追溯。但完整的L5处理数据（约440B token）未完全开源，可能限制了完整的复现。算力方面：基线模型训练需要5.37T token的预训练（大量GPU资源），600B token的继续预训练也需要显著算力。L5处理需要使用Qwen3-235B，这对大多数团队来说是昂贵的。难度方面：整个流程涉及多个复杂步骤（OCR、多级过滤、LLM重写、评估基准构建），实现难度较高。论文提供了详细的prompt模板（附录B.1、C.2）和实现细节（附录B.3），有助于复现。评估基准Darwin-Science-Eval的构建方法也有详细文档。总体而言，核心方法论和关键资源已开源，但完整的端到端复现需要大量算力投入。
论文图表
三张子图展示了数据混合比例的分析。(a)科学内容比例对所有基准的影响（倒U型曲线，峰值在50%）；(b)科学内容比例对Darwin-Science-Eval的影响（单调递增）；(c)书籍与论文内部比例的影响（极端比例性能下降，1:2比例附近较稳定）。
这些分析为实践者提供了具体的数据混合指导，特别是50%科学内容比例和1:2书论文比例的建议。