面向通用人工智能的数据科学与技术：第一部分——分层数据管理 Data Science and Technology Towards AGI Part I: Tiered Data Management
提出L0-L4分层数据管理框架，系统化优化LLM全生命周期训练数据
前置知识
大语言模型预训练（LLM Pre-training）
预训练是大语言模型的基础训练阶段，通过在海量无标注文本数据上进行自监督学习，使模型获得通用的语言理解和生成能力。典型流程包括在数万亿token的语料上进行下一个token预测训练，使用如Megatron-LM等分布式训练框架。预训练数据的质量直接影响模型的基础能力，本文的核心论点正是如何通过分层管理来优化这一阶段的数据。
理解预训练的数据需求是理解本文分层框架的前提，论文将数据分为不同层级正是为了服务预训练、中训练和对齐等不同阶段
MinHash-LSH去重
MinHash-LSH（局部敏感哈希）是一种大规模近似去重技术，通过将文本转化为n-gram集合，计算MinHash签名，再利用LSH进行高效相似度估计。典型配置如FineWeb采用5-gram、112个哈希函数、14个桶，目标相似度阈值75%。该技术能够在数十万亿token规模上实现高效的全局去重，是L1层数据清洗的核心工具。
论文中L1层的FineWeb和UltraData-Math都依赖此技术进行去重，理解其原理有助于把握L1到L2的质量跃升机制
数据质量分类器（Quality Classifier）
用于对训练数据进行质量评分的机器学习模型，通常基于fastText或大语言模型微调得到。例如Ultra-FineWeb使用在高质量种子数据上训练的fastText分类器来筛选网页，FineMath使用Llama-3.1-70B-Instruct对数学内容进行3分制和5分制评分。分类器将数据从L1的规则过滤提升到L2的模型驱动选择，实现了从工程化到智能化的跨越。
分类器是L2层的核心技术，理解其工作方式才能理解论文提出的'从规则驱动到模型驱动'的范式转变
数据合成（Data Synthesis）
利用强模型生成高质量训练数据的技术，代表方法包括Self-Instruct、Evol-Instruct、Magpie等。在本文中，L3层的UltraData-Math-L3采用多模型集成策略，将种子文档转化为5种多样化的教学格式：难度分层的问答对、多轮师生对话、多风格改写、知识驱动的教科书模块和角色整合合成。合成数据突破了原始数据在规模、质量和多样性上的固有限制。
数据合成是L3层区别于L2层的关键创新，也是论文提出的'数据-模型协同进化'理念的技术实现
退火阶段（Annealing/Decay Stage）
训练的最后阶段，通常采用学习率指数衰减策略，从稳定阶段的学习率逐步降低到最小值。论文中MiniCPM-1.2B的退火验证采用从 $7.5 imes 10^{-4}$ 衰减到 $3.75 imes 10^{-5}$ 的学习率调度。研究表明在退火阶段引入高质量数据（如L3层数据）能显著提升最终性能，这也是分层训练策略优于混合训练策略的关键机制。
论文的核心实验之一正是验证不同层级数据在退火阶段的效果差异，理解这一阶段对理解实验设计至关重要
Warmup-Stable-Decay（WSD）学习率调度
一种三阶段学习率调度策略：先warmup阶段从低学习率逐渐升高，然后stable阶段保持较高学习率进行主要训练，最后decay阶段学习率指数衰减至最小值。论文中MiniCPM-3-4B的基础模型训练采用了1T token的stable阶段和0.1T token的decay阶段的WSD调度。这种调度策略使模型在不同训练阶段能够采用不同的数据配置，为分层训练提供了技术基础。
WSD调度是实现分层训练策略的基础设施，论文的tiered training正是利用了这一调度的多阶段特性
研究动机
当前大语言模型研究面临数据规模单向扩展的瓶颈。随着模型能力的提升，高质量公开数据资源日益稀缺，未来模型发展不能仅依赖扩大数据规模。具体而言，现有数据管理存在三个核心问题：第一，高质量公共数据资源日益枯竭，Villalobos等人（2022）的研究表明数据可用性正在接近上限；第二，LLM训练涉及多个不同阶段——从预训练的知识获取到微调的行为对齐——每个阶段对数据质量、数量和分布都有不同要求，但现有方法往往采用'一刀切'的粗粒度管理；第三，数据处理管道严重碎片化——收集、清洗、选择和验证往往独立进行，缺乏统一的质量指标和闭环反馈机制，数据溯源和修改历史难以追踪，阻碍了数据管理工作的自动化和智能化演进。
本文的目标是本文提出一个以模型驱动的'分层数据管理'框架，旨在为推进通用人工智能提供系统性的技术支撑。具体目标包括：建立L0-L4五级分层标准，从原始资源到结构化知识逐步提升数据纯度；明确每个层级的数据特性、管理策略和训练角色；在数据质量、获取成本和边际训练收益之间实现明确的平衡；通过实证研究验证分层数据利用能够显著提升训练效率和模型性能。论文最终目标是将数据管理从模糊的、基于经验的评估转变为可预测的工程指标，驱动模型能力向确定性方向发展。
与已有工作不同的是，本文的独特切入角度在于提出了'数据-模型协同进化'的视角。与现有研究主要关注单一数据处理任务（如过滤、选择、编辑）不同，本文将这些技术整合到一个统一的分层框架中，形成从原始数据到组织化知识的完整管理链条。关键创新点包括：首先，以数据质量和可信度为中心建立细粒度的分层标准，每个层级代表数据纯度的递进提升，同时伴随着获取和计算成本的相应增加；其次，在数据管理过程中充分利用LLM自身的能力，如质量评分和内容编辑，实现'用模型管理数据'的闭环；最后，通过分层训练策略，将不同质量层级的数据精准匹配到不同的训练阶段，实现数据价值与模型学习需求的对齐。这种从'粗放积累'到'精准赋能'的范式转变，使得数据管理成为数据科学和技术的核心组成部分，而不仅仅是辅助性的预处理步骤。
核心方法
本文提出L0-L4五层分层数据管理框架，核心思路是将数据从原始状态逐步提升到结构化知识状态，每一层代表不同的数据纯度和管理策略。整体技术路线采用'层级递进、逐级提纯'的设计哲学：L0层保存原始数据作为存档储备；L1层通过启发式规则和工程方法进行基础清洗；L2层利用模型驱动的分类器进行质量选择；L3层通过编辑和合成技术进行高级优化；L4层将非结构化文本转化为结构化的可信知识。框架的核心创新在于将LLM充分融入数据管理过程，如质量评分和内容编辑，实现数据在各层级之间的精炼。每一层具有不同的数据特性、管理策略和训练角色，使数据能够战略性地分配到LLM训练的不同阶段，包括预训练、中训练和对齐。
本方法与已有方法的本质区别在于建立了以数据质量为中心的系统性分层管理体系。现有数据管理框架通常按训练阶段（预训练、后训练）或处理方法（解析、过滤、选择）组织，导致管理策略单一、处理管道碎片化。本文的核心创新是将这两种视角整合到一个统一的分层框架中，每个层级具有明确的数据质量标准和对应的处理技术。具体而言，L1层到L3层的跃升体现了从'规则驱动'到'模型驱动'再到'生成式增强'的技术演进：L1层使用MinHash-LSH去重和启发式规则过滤；L2层引入fastText或LLM分类器进行语义级质量评分；L3层利用多模型集成进行内容编辑和合成。这种设计使得高质量数据（如L3层的数学数据）不仅在特定领域表现优越，还能作为通用推理能力的基础驱动力，在语言理解和编程等跨领域任务中产生显著的收益。
方法步骤详情
分层数据管理框架的实施包含五个层级的具体操作。L0层（原始数据）通过网络爬取、批量下载和格式解析获取PB级的未处理资源，包括Common Crawl（截至2026年1月超过300亿网页）、arXiv论文、GitHub代码等，此层主要服务于存档和溯源，不直接参与模型训练。L1层（过滤数据）执行标准化的文本提取、语言识别、启发式规则过滤和全局去重，FineWeb采用独立快照去重策略（5-gram、112哈希函数、14桶、75%相似度阈值），从约36万亿token处理到约15万亿token，提升约1%的聚合分数。L2层（选择数据）利用模型驱动的分类器进行多维度质量筛选，Ultra-FineWeb使用基于高效验证策略训练的fastText分类器，FineMath使用Llama-3.1-70B-Instruct进行3分制和5分制评分，FineMath-4+（10B token）在GSM8K上实现2倍性能提升，在MATH上实现6倍提升。L3层（精炼数据）通过编辑和合成进行高级优化，UltraData-Math-L3采用多模型集成策略生成5种多样化的教学格式：难度分层问答、多轮对话、多风格改写、教科书模块和角色整合合成。L4层（组织数据）将非结构化文本转化为结构化的可信知识，如Wikidata和UltraData-arXiv。
技术新颖性
本文的技术新颖性体现在多个层面。首先，框架本身的新颖性在于首次提出以数据质量为中心的五层分层标准，将现有碎片化的数据处理技术整合到一个统一的管理体系中，每层具有明确的质量定义、处理技术和训练角色。其次，在技术实现上，L2层引入了基于高效验证策略的fastText分类器训练方法，通过weight-decay调度器和两阶段退火显著降低了GPU小时需求，使得研究者能够快速评估不同数据子集对LLM性能的影响。第三，L3层的数据合成采用多模型集成策略，生成5种多样化的教学格式，突破了原始数据在分布上的固有限制。第四，分层训练策略（tiered training）将120B token按L1→L2→L3顺序分为三个40B token阶段，相比混合训练策略（mix training）在总体平均性能上提升1.49个百分点，在后期训练阶段的学习能力提升幅度达到混合训练策略的1.7倍。这种'按需分配'的数据配置方式，实现了数据价值与模型学习需求的精准对齐。
实验结果
论文通过三个层次的验证实验全面评估了分层数据管理框架的有效性。高效验证（10B token）在四个领域（英语网页、中文网页、数学、代码）上确认了数据质量从L1到L3的持续提升：英语平均分从52.26pp提升到53.96pp（+1.70pp），中文从49.44pp提升到51.48pp（+2.04pp），数学从23.78pp提升到30.84pp（+7.06pp），代码从34.49pp提升到36.28pp（+1.79pp），L3>L2>L1的严格性能层级在所有领域无一例外地成立。退火验证（100B token）的数学案例研究显示，Math-L3在英语平均分上从Math-L1的51.32pp提升到54.77pp（+3.45pp），在中文从51.59pp提升到53.48pp（+1.89pp），在代码从37.30pp提升到41.10pp（+3.80pp），特别是推理密集型任务如OpenbookQA提升15.40pp、BBH提升5.87pp，表明高质量数学数据能够显著增强通用推理能力。分层训练策略实验（120B token）显示，tiered training相比mix training在总体平均性能上提升1.49pp（31.66pp vs 30.17pp），英语提升0.88pp、中文提升2.82pp、数学提升2.24pp、代码提升2.45pp，后期训练阶段的学习能力提升幅度达到混合训练策略的1.7倍（3.31pp vs 1.91pp）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 英语理解（平均10个benchmark） | Average Score (pp) | L3: 53.96 | L1: 52.26 | +1.70pp |
| 中文理解（CMMLU + C-Eval） | Average Score (pp) | L3: 51.48 | L1: 49.44 | +2.04pp |
| 数学推理（MATH500 + GSM8K） | Average Score (pp) | L3: 30.84 | L1: 23.78 | +7.06pp |
| 代码生成（MBPP + HumanEval） | Average Score (pp) | L3: 36.28 | L1: 34.49 | +1.79pp |
| 跨领域数学到英语（Math-L3 vs Math-L1） | English Avg (pp) | Math-L3: 54.77 | Math-L1: 51.32 | +3.45pp |
| 分层训练 vs 混合训练 | Overall Avg (pp) | Tiered: 31.66 | Mix: 30.17 | +1.49pp |
局限与改进
论文在多个方面存在局限性。首先，实验规模相对有限：所有验证均基于MiniCPM-1.2B模型架构，高效验证仅10B token，退火验证100B token，分层训练验证120B token，这些规模远小于主流大模型训练（如数千亿token），实验结论在更大规模上的泛化性有待验证。其次，框架的L4层（组织数据）缺乏详细的实验验证，论文仅提供了Wikidata和UltraData-arXiv作为代表案例，但未展示L4数据在实际训练中的效果。第三，分层管理的成本效益分析不够充分：虽然论文提到需要平衡数据获取成本与模型性能收益，但未提供具体的成本核算和ROI分析，使得实际应用中的决策依据不足。第四，跨模态扩展的可行性未得到验证：论文主要聚焦于文本数据，对于图像、音频、视频等多模态数据的分层管理缺乏讨论。此外，论文的评估基准主要集中在英语和中文，对于其他语言的适用性需要进一步探索。最后，数据合成的可控性和一致性问题未被充分讨论，多模型集成策略可能引入的质量波动和潜在偏差需要更深入的分析。
独立分析的弱点
本文存在几个值得关注的弱点。第一，模型规模的局限性：所有实验均在MiniCPM-1.2B上进行，该模型参数量仅为1.2B，与当前主流大模型（如70B、405B）存在数量级差距，分层数据管理的效果在更大模型上可能呈现不同的模式，特别是在涌现能力和scaling law方面。建议在至少7B和70B规模上进行验证实验。第二，数据合成的质量控制不足：L3层的多模型集成策略虽然提高了多样性，但论文未讨论合成数据的质量验证机制，如LaTeX语法错误过滤和逻辑完整性检查的具体标准，可能导致低质量合成数据污染训练集。建议引入自动化的质量评分和人工抽检机制。第三，分层边界的模糊性：L2和L3之间的界限依赖于'编辑和合成'这一操作定义，但实际中数据往往同时包含自然产生的高质量内容和合成增强的内容，这种二元划分可能过于简化。建议引入连续质量评分而非离散层级。第四，跨领域迁移的机制未充分解释：Math-L3在英语和代码任务上的显著提升（+3.45pp和+3.80pp）令人印象深刻，但论文未深入分析这种跨领域增益的具体机制，是通过增强推理能力还是通过改善语言表示实现的。建议增加消融实验和机制分析。
未来方向
论文作者提出了三个明确的未来研究方向。第一，开发更严格的数据价值评估方法，使模型能够定量估计数据在不同层级和训练阶段的边际效用，这需要建立科学的效用函数和优化算法。第二，探索动态的数据-模型反馈机制，使模型信号能够在训练过程中持续指导数据选择、精炼和分配，实现真正的'数据-模型协同进化'闭环。第三，将分层数据管理框架扩展到更广泛的模态和应用领域，与大规模训练系统更紧密地集成。基于本文成果，还可以延伸以下方向：首先，研究自动化分层策略，利用强化学习或元学习自动确定最优的数据配置和层级划分；其次，探索分层管理与课程学习（Curriculum Learning）的深度融合，设计自适应的数据进阶策略；第三，建立分层数据管理的benchmark和评估体系，为社区提供标准化的评估工具；第四，研究分层管理在持续学习（Continual Learning）和领域适应（Domain Adaptation）中的应用，使框架能够支持模型的长期演进。
复现评估
论文在可复现性方面做出了积极贡献。作者开源了大量数据集和工具：在数据集方面，包括UltraData-Math系列（L1: 170B token、L2: 33B token、L3: 88B token）、Ultra-Fineweb-en（L2: 1,800B token、L3: 200B token）、Ultra-Fineweb-zh（L2: 120B token、L3: 200B token），总开源规模超过2,600B token。在工具方面，开源了UltraData-Math-Parser（增强的数学内容HTML解析器）、UltraData-Math-Generator（合成数学问题生成器）、Ultra-FineWeb-en-Classifier和Ultra-FineWeb-zh-Classifier（英语和中文网页数据选择分类器）。代码和数据通过HuggingFace Collections（openbmb/ultradata）和项目网站（ultradata.openbmb.cn）发布。然而，完整复现仍面临挑战：首先，高效验证需要约1.1T token的预训练基础模型，这需要大量计算资源；其次，分层训练策略需要120B token的完整训练，涉及多阶段的模型训练；第三，数据合成阶段需要调用多个强模型（如Llama-3.1-70B），API成本较高。总体而言，论文的开源策略使研究者能够在一定程度上验证和扩展其方法，但完全复现仍需要相当的计算和数据资源投入。
论文图表
该图展示了语言模型发展的四个阶段：符号学习、监督学习、自监督学习和反馈学习，以及向'数据-模型协同学习'阶段的过渡。图中指出这一过渡需要三个关键研究支柱：科学数据价值评估、分层数据管理和动态数据-模型协同进化。右侧展示了当前主流研究主要表现为'数据驱动学习'，强调通过数据规模扩展来单向增强模型能力。
这张图是论文核心论点的视觉化呈现，清晰展示了从'数据驱动学习'到'数据-模型协同进化'的范式转变，是理解论文研究动机和创新点的关键入口。