ArXiv到模型：科学语言模型训练的实践研究 ArXiv-to-Model: A Practical Study of Scientific LM Training
从arXiv原始LaTeX训练1.36B科学语言模型的端到端实践报告
前置知识
Transformer架构
Transformer是一种基于自注意力机制的神经网络架构，由Vaswani等人在2017年提出。其核心是多头自注意力（Multi-Head Attention）层，允许模型在处理序列时动态关注不同位置的信息。在本文中，模型采用decoder-only架构，即仅使用Transformer的解码器部分，通过因果注意力掩码确保生成时只能看到左侧上下文。该架构包含24层Transformer，隐藏维度为2048，16个注意力头，前馈维度5504，词表大小102,400，使用旋转位置编码（RoPE，$ heta = 10,000$），最大上下文长度4096 token，激活函数为SiLU，归一化采用RMSNorm（$\epsilon = 10^{-6}$）。
理解Transformer的基本原理是阅读本文的基础，因为整个模型设计和训练过程都围绕这一架构展开。
Chinchilla缩放定律
Chinchilla缩放定律是DeepMind在2022年提出的语言模型训练资源分配理论，指出在计算预算固定的情况下，最优的训练token数量与模型参数量近似呈线性关系，即 ?pprox 20 imes P$，其中$为训练token数，$为模型参数量。这一关系意味着对于一个1.36B参数的模型，计算最优的训练token数约为27B。本文选择在52.18B token上训练，约为最优值的1.9倍，属于数据富余（data-rich）训练策略。
本文的训练策略选择——在52.18B而非27B token上训练——直接基于该定律的分析，理解这一关系才能理解作者为何认为模型处于数据富余训练区间。
BPE分词（Byte Pair Encoding）
BPE是一种子词分词算法，通过迭代合并出现频率最高的相邻字符对来构建词表。在科学文本处理中，BPE面临特殊挑战：数学符号如$\sum$、$\int$等可能被错误地分割成无意义的子串，导致序列长度膨胀和语义信息损失。SentencePiece是Google开发的分词工具，支持BPE和Unigram两种算法，本文最终采用与LLaMA兼容的SentencePiece分词器，词表大小为102,400。
分词策略直接影响模型对数学符号的处理能力，本文详细讨论了领域专用分词器与通用分词器的权衡，这是理解模型设计决策的关键。
ZeRO优化
ZeRO（Zero Redundancy Optimizer）是微软DeepSpeed框架中的内存优化技术，通过将优化器状态、梯度和模型参数分片到多个GPU上，减少每个GPU的内存占用。ZeRO Stage 2将优化器状态和梯度进行分片，但保留完整的模型参数。本文使用ZeRO Stage 2配合bfloat16混合精度训练，在2×A100 GPU上实现1.36B参数模型的稳定训练。
本文的硬件约束（仅2×A100 GPU）使得内存优化技术成为训练可行性的关键因素，ZeRO Stage 2的选择直接影响了训练的batch size和效率。
FTS5全文搜索
FTS5是SQLite的全文搜索引擎扩展，支持对文本内容进行高效的关键词检索。在本文的上下文中，论文管理系统使用FTS5实现对arXiv论文标题、摘要和正文的全文检索功能，配合可选的ChromaDB语义搜索，为用户提供多层次的论文搜索能力。FTS5通过建立倒排索引来加速查询，支持布尔运算和短语匹配。
虽然FTS5不是本文的核心技术，但它展示了论文管理系统在搜索功能上的技术选型，体现了工程实践中的具体决策。
研究动机
当前前沿大语言模型虽然展示了强大的推理和数学能力，但其训练过程依赖大规模策划语料库、专有数据混合或未公开的预处理流水线。相比之下，从原始开放获取的科学文献直接构建科学语言模型的实践过程鲜有文献记载。ArXiv分发包含异构的LaTeX归档、多文件项目结构、自定义宏、符号密集内容和不一致的元数据。看似微小的预处理决策——如语言过滤启发式规则或归档验证规则——可能显著影响最终数据集的产出量和训练稳定性。具体而言，原始arXiv数据中包含撤回的稿件、非英文文本、短于2000字符的片段文档，以及格式损坏的tar归档，这些都可能严重影响模型训练质量。
本文的目标是本文的具体目标是提供一个从原始arXiv LaTeX源文件训练1.36B参数科学语言模型的端到端案例研究，涵盖元数据过滤、归档验证、LaTeX提取、文本规范化、领域感知分词和密集Transformer训练的完整流程。作者通过24次实验运行，系统分析训练稳定性、缩放行为、数据产出损失和基础设施瓶颈，特别关注在受限计算资源（2×A100 GPU）条件下的工程优化策略。研究不旨在提出新架构或与大型指令调优系统竞争，而是提供一个工程驱动、透明可复现的训练记录。
与已有工作不同的是，本文的独特切入角度在于其工程实践导向——不是提出新的模型架构或训练算法，而是详细记录从原始数据到训练完成模型的完整工程流程中的每一个决策点及其影响。作者特别强调数据工程和流水线设计在小规模语言模型训练中的关键作用，指出预处理决策对可用token量的影响往往超过架构修改的影响。这种透明报告预处理决策、分词策略和计算权衡的方式，对于在有限计算资源下工作的研究人员具有重要参考价值，填补了该领域的实践文档空白。
核心方法
本文的方法整体思路是从原始arXiv LaTeX源文件出发，经过四个主要阶段构建科学语料库：（1）源文件提取——从arXiv下载原始tar.gz归档并验证完整性；（2）元数据过滤——基于主题类别、时间范围、撤回状态、文档长度和语言进行多级筛选；（3）LaTeX规范化和清洗——提取所有.tex源文件，移除图表、参考文献、格式命令和非语义LaTeX工件，同时保留数学表达式和结构化环境；（4）加权混合组装——对高质量科学文档进行上采样。在此基础上，采用LLaMA兼容的SentencePiece分词器（词表102,400）处理约200GB的策划科学数据，产出52.18B预训练token和5B对齐token，最终训练一个1.36B参数的密集decoder-only Transformer模型。
本文的核心创新点不在于架构设计，而在于系统化的数据工程方法和工程实践记录。与已有方法的本质区别在于：（1）强调预处理决策对最终模型质量的决定性影响——作者发现有效数据集大小由预处理决策而非原始数据可用性驱动；（2）采用课程学习策略（Curriculum Learning）——分三阶段训练：文本热身（仅摘要、引言、结论）、符号集成（完整LaTeX正文）、混合课程（散文和公式密集内容的平衡混合）；（3）数据富余训练策略——在52.18B token上训练1.36B参数模型（约38 token/参数），超过Chinchilla最优值的1.9倍，优先考虑领域覆盖和符号稳定性。
方法步骤详情
方法步骤的完整描述如下：第一步，数据收集与过滤——从arXiv获取数学、计算机科学、理论物理等类别的LaTeX源文件，应用主题限制（math, cs, hep-th, hep-ph, quant-ph, stat.ML, stat.TH）、时间过滤（2000年后）、撤回移除、体积过滤（>2000字符）、语言检测和归档验证。第二步，LaTeX处理——从验证后的归档中提取所有.tex文件并拼接，清洗阶段移除图表、参考文献、格式命令和非语义LaTeX工件，保留数学表达式和结构化环境。第三步，去重——应用基于内容哈希的精确去重和基于相似度阈值的近重复检测。第四步，数据混合——对Gold级高质量文档进行2倍上采样，同时保留较低权重的广泛领域文档。第五步，分词——使用LLaMA兼容的SentencePiece分词器处理数据。第六步，模型训练——采用课程学习策略分三阶段训练，使用AdamW优化器、bfloat16混合精度、ZeRO Stage 2内存优化和梯度检查点。
技术新颖性
本文的技术新颖性主要体现在工程实践层面而非算法创新。首先，作者系统性地量化了预处理决策对数据产出的影响——从200GB原始数据到80GB清洗文本，再到52.18B token的完整处理链路中的每一步损失都被记录和分析。其次，课程学习策略的引入——从纯文本热身到符号集成再到混合训练——体现了对科学文本特殊性的深刻理解。第三，作者详细比较了20GB小数据集和200GB完整数据集的训练行为差异，发现小数据集导致梯度噪声增加和收敛不稳定，而完整数据集则展现平滑的单调收敛。第四，作者发现存储吞吐量可以在计算成为瓶颈之前就限制训练，这是一个常被忽视的工程洞察。
实验结果
本文通过24次实验运行得出以下核心发现：（1）训练稳定性——Run 24（20GB子集）表现出不稳定的收敛行为，训练损失振荡且在相对较高的值停滞；而Run 23和Run 20（200GB完整语料）则展现平滑的损失下降和改善的稳定性，最终验证损失对应困惑度约$\exp(1.438) ?pprox 4.2$。（2）数据规模效应——200GB完整数据显著减少梯度噪声，收敛呈现经典的Transformer长尾行为；20GB小数据集则导致嘈杂的梯度动力学和降低的收敛效率。（3）梯度稳定性——梯度范数监测显示早期热身阶段出现峰值（预期行为），随后迅速稳定在1.0以下，没有后期梯度爆炸或消失。（4）硬件利用率——GPU利用率持续高于95%，稳定功耗约300W，无ECC内存错误，无持续I/O停滞。（5）过拟合分析——验证损失在整个训练过程中单调下降，与训练损失保持紧密对齐，未观察到持续的训练-评估曲线发散。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 科学语料困惑度 | Perplexity | $\exp(1.438) pprox 4.2$ | 无直接基线 | 在科学语料上展现强适应性 |
| 训练稳定性 | 梯度范数 | 稳定后<1.0 | 20GB子集表现不稳定 | 200GB数据集梯度噪声显著降低 |
| GPU利用率 | Utilization % | >95% | 早期阶段存在I/O瓶颈 | 优化后达到高效利用 |
局限与改进
本文存在以下局限性：计算约束方面，训练在双A100（80GB）设置上进行，虽然足以支持1.36B参数模型，但限制了更大架构、扩展上下文训练或激进超参数扫描的探索，总计算成本（5,000-8,000 GPU小时）突显了即使是中等规模语言模型的非平凡资源需求。存储和I/O瓶颈方面，原始arXiv归档、中间提取产物和处理后的JSONL语料需要大量磁盘容量和高吞吐量I/O，在早期阶段归档处理和存储带宽比GPU计算更具限制性。预处理敏感性方面，LaTeX提取、归档验证和元数据过滤显著影响最终token产出，小的启发式规则变化导致可用数据量的大变化，引入了不可避免的流水线诱导偏差。缩放区间权衡方面，虽然在52.18B token上训练，但模型包含1.36B参数，相对于计算最优缩放处于数据密集区间，虽然有利于领域专业化，但可能降低边际效率收益。上下文长度利用方面，架构支持4096 token上下文窗口，但训练序列限制在768 token以最大化batch吞吐量，导致长上下文推理能力可能未完全实现。评估范围方面，主要依赖困惑度评估，不直接测量推理正确性、定理有效性或符号证明一致性。领域偏差方面，数据集仅限于选定的科学类别，限制了通用领域的适应性。
独立分析的弱点
本文存在以下弱点：（1）评估方法单一——仅使用困惑度作为评估指标，缺乏对模型在数学推理、定理证明等具体任务上的能力评估，改进方向是引入GSM8K、MATH等数学推理基准测试，以及对生成文本的定性分析。（2）训练序列长度受限——虽然架构支持4096 token上下文，但实际训练仅使用768 token序列，可能限制了模型处理长文档和复杂证明的能力，改进方向是探索更长序列的训练策略，如渐进式上下文长度扩展。（3）缺乏指令调优——基础模型未经过指令调优，不具备对话或指令遵循能力，限制了其实用性，改进方向是在预训练后引入数学指令数据集进行监督微调。（4）分词器选择保守——虽然承认领域专用分词器有潜力，但最终选择了通用的LLaMA分词器，可能未充分利用科学文本的符号特性，改进方向是系统比较领域专用分词器与通用分词器在符号效率和长上下文推理上的差异。（5）数据混合策略缺乏消融实验——虽然提出了加权采样策略，但未系统验证不同权重组合的效果，改进方向是进行系统的消融实验以确定最优的数据混合比例。
未来方向
作者提出的未来研究方向包括：探索更长上下文的训练策略，以充分利用架构的4096 token窗口；开发指令对齐的后训练策略，使模型能够进行对话和指令遵循；在形式化数学推理基准上进行系统评估。基于本文成果可延伸的方向包括：（1）将流水线扩展到其他科学领域如生物医学、化学等，构建多领域科学语言模型；（2）探索更高效的科学文本分词算法，特别是针对数学符号和公式的专用处理；（3）研究课程学习策略的自动化，根据训练动态自适应调整不同阶段的数据混合；（4）将数据工程方法论应用于更大规模的模型训练，探索在数千亿token规模下的数据质量与数量权衡；（5）开发更精细的数据质量评估指标，超越简单的长度和语言过滤。
复现评估
本文的复现评估如下：开源情况方面，作者提供了代码仓库（https://github.com/kitefishai/KiteFish-A1-1.5B-Math），包含实验和分析代码，这大大提高了可复现性。数据方面，使用公开可用的arXiv数据和开源数据集（OpenWebMath、StackExchange STEM、MathInstruct、UltraChat），但完整的数据处理流水线需要大量存储空间和I/O带宽，可能限制精确复现。算力方面，需要2×NVIDIA A100 GPU（80GB显存），总训练成本约5,000-8,000 GPU小时，这对中等规模研究机构是可承受的，但对个人研究者仍构成挑战。难度方面，流水线涉及多个复杂步骤（元数据过滤、LaTeX提取、去重、分词、课程学习），每个步骤都需要仔细调参，作者的详细文档有助于降低复现难度。整体而言，本文的可复现性较好，但完全精确复现仍需要相当的工程投入和计算资源。
论文图表
该表格详细列出了训练使用的五个数据源：Cleaned arXiv (LaTeX) 80GB预训练权重2.0X、OpenWebMath 50GB预训练权重1.0X、StackExchange (STEM) 10GB后训练权重1.0X、MathInstruct 100MB后训练权重1.0X、UltraChat 1.2GB后训练权重1.0X。展示了预训练和后训练阶段的数据分离策略。
这个表格是理解本文数据工程核心的关键，清晰展示了数据混合策略和预训练/后训练的分离设计。
该表格总结了model_type配置对分词器各方面的影响：分词器类（是）、分词器词汇表（否）、BPE vs SentencePiece（是）、特殊token（是）、聊天模板（经常）。
这个表格展示了模型配置与分词器之间的技术关系，对于理解模型加载和推理的正确配置至关重要。
该表格列出了分词器不匹配导致的四个主要问题：Token ID不匹配导致无意义生成、特殊token差异导致BOS/EOS错误、不同词汇表大小导致运行时失败、不同token分割导致困惑度严重增加。
这个表格强调了正确配置model_type和分词器的重要性，是避免模型部署失败的关键参考。