规模化下的合成数据预预训练：收益源于长程检索而非语法先验 Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior
合成预预训练收益持续到7B参数与100B token，但机制是长程检索而非语法先验
前置知识
预预训练（Pre-pretraining, PPT）
在正式预训练之前插入的一个廉价"热身"阶段：从随机初始化出发，先在一个很小的合成语料（本文约 1.05B token、500 步）上训练语言模型，再用得到的权重初始化在自然语言语料上的正式预训练。它相当于给优化一个非随机的起点，开销只有正式预训练的约 1–5%（本文实测 4.74% 的墙钟时间），因此被视为提升预训练 token 效率的低成本手段。
整篇论文研究的就是这个阶段在规模化条件下是否依然有效、以及它到底教给了模型什么能力——否定或修正对它的解释直接影响未来预训练流程的设计。
k-Shuffle Dyck
一种上下文有关的形式语言，由多类括号交错嵌套组成（如 $(\;[\;(\;]\;)\;)$），要求每个闭括号与前面尚未匹配的开括号正确配对，且配对关系跨越任意长度的中间符号。它没有词汇语义，纯粹考察层级依赖的追踪与匹配，被 Hu et al. (2025) 提出作为 PPT 的合成语料，并声称其结构偏置可迁移给自然语言语法。
它是本文的主 PPT 任务，也是被检验的"语法先验"假说的载体——只有理解它的括号匹配结构，才能理解作者如何用 BLiMP 和逐字检索把"语法"与"检索"两种解释区分开。
PT 数据混合（data mixture）
现代预训练语料通常不是单一网页文本，而是按比例混合自然语言、代码、数学等多域数据，可形式化为 $D_{\text{PT}} = \alpha D_{\text{NL}} + \beta D_{\text{Code}} + \gamma D_{\text{Math}}$，其中 $\alpha+\beta+\gamma=1$。混合比例显著影响模型学到的能力结构，例如代码和数学富含嵌套依赖与严格的结构规则。
代码和数学可能已经提供了 PPT 想注入的结构信号，从而使 PPT 变得多余——因此混合成分是本文检验"PPT 是否在真实预训练配方下冗余"的关键自变量。
BLiMP
语言学接受度基准（Benchmark of Linguistic Minimal Pairs），包含 12 组语法现象，归入语义、形态、句法三大类。每题给一对仅差一个语法特征的最小对立句，模型须给合语法句更高概率，以零样本准确率计分。它衡量的是句子内部的语法知识，判定证据都在句内。
它是"语法先验"假说的直接检验指标：如果 PPT 教的是语法，BLiMP（尤其是形态和句法子组）应当随下游性能同步稳定提升，而本文发现并非如此。
逐字检索（verbatim retrieval）
源自心理语言学的评测（Armeni et al., 2022/2024）：在长上下文前部呈现一个名词列表，之后给模型线索要求复述该列表，以整段刺激的平均负对数似然（NLL，越低越好）计分。它要求模型在上下文中定位某个早期位置并逐字复制内容，即长程检索能力，判定证据在远处上下文中。
本文用它作为与 BLiMP 正交的诊断指标，证明 PPT 的收益来自长程检索而非语法：PPT 组在 12/12 个组合上 NLL 全部下降，与 BLiMP 的混杂结果形成鲜明对照。
Token 效率与计算最优训练
Chinchilla 缩放律（Hoffmann et al., 2022）指出给定算力下参数量与训练 token 量应按比例分配；token 效率指达到相同性能所需的训练 token 数，更高效即更省算力。判断一个训练技巧是否实用，核心就看它在相同或更长预算下能否持续节省 token。
PPT 的实用价值承诺就是 token 效率提升，本文的关键结论"在 3B 规模节省至少 21B token"正是在这个框架下度量的，理解它才能读懂论文的工程意义。
研究动机
合成数据预预训练（PPT）被此前工作（Hu et al., 2025；Mita et al., 2026 等）宣传为提升预训练 token 效率的廉价手段，并将收益归因于"语法先验"——即从 k-Shuffle Dyck 等合成语言学到的、可迁移给自然语言语法的结构归纳偏置。但这一结论建立在远离真实预训练的实验条件上：其一，所有已有研究的模型规模都不超过 1B 参数，而预训练研究领域的结论通常要在 2B 参数以上才被认为可靠；其二，先前的 PT 往往在 2B token 以内就提前停止，且 batch size 只有 32 左右，梯度噪声大，观察到的优势可能只是短暂的初始化效应，会被后续长时间优化稀释；其三，先前实验几乎都用 C4 这类单一网页文本语料，而现代预训练普遍使用混有代码与数学的多域混合数据——这些域自身富含嵌套依赖和严格结构规则，可能已经提供了 PPT 想注入的结构信号，使其变得冗余。换言之，"PPT 有效且源于语法先验"这一命题从未在真实规模、真实数据配方、真实训练时长的条件下被检验过。
本文的目标是本文的目标是对 PPT 进行第一次系统性的规模化验证与机制检验。具体而言，作者要在四个参数规模（500M、1B、3B、7B）、四种公开且有文档记录的 PT 数据混合（C4、SmolLM3、OLMo3、Marin）、五种 PPT 任务和最高 100B token 的 PT 预算（约为先前工作预算的 50 倍）下回答三个问题：（1）PPT 带来的下游性能与 token 效率收益是否随参数量增大和训练时长延长而持续存在，还是像初始化效应那样被长训练冲掉；（2）收益是否真的来自语法先验——如果是，BLiMP 等语法接受度指标应与下游性能同步稳定提升；（3）PPT 收益如何随 PT 数据中网页文本、代码、数学的配比变化，代码与数学的加入是否使 PPT 冗余。最终目标是为"要不要在预训练流程中加入 PPT、应当如何设计 PPT 任务"给出可操作的工程结论。
与已有工作不同的是，本文的独特切入在于三层实验设计。首先是"对齐真实条件"：沿用 Hu et al. 的 10K 步预算，但把 batch size 从 32 提高到 512 个序列（约 2.1M token/步）、上下文 4096，使训练进入低噪声、长依赖的大规模优化机制，token 暴露量是先前工作的 12.8 到 25.6 倍，直接排除"初始化效应"和"梯度噪声假象"两种替代解释。其次是"机制分离"：同时测量语法接受度（BLiMP）与长程逐字检索两个正交维度，并引入一个此前不存在的 Control 基线——用与 PT 同域的自然语言文本做完全相同的 500 步热身——从而把"合成数据的结构"与"额外优化步数"两种效应干净地分开。第三是"把数据配方当作变量"：首次在含代码和数学的现代混合（SmolLM3、OLMo3、Marin）上测试 PPT，并直接操纵数学占比从 1.3% 提升到 17%（13 倍）以及删除全部网页文本，精确定位收益成立的边界条件。
核心方法
直觉上，PPT 就像给模型安排一段便宜的"预科班"：在正式学习自然语言之前，先在一个仅约 1.05B token 的合成语料上训练 500 步，让参数离开随机初始点、提前形成某种通用计算能力，再带着这个初始状态进入昂贵的正式预训练。技术路线是标准的两阶段优化：设 $\mathcal{L}(\theta; D) = \mathbb{E}_{x\sim D}\left[-\sum_{t=1}^{|x|} \log p_\theta(x_t \mid x_{<t})\right]$ 为语料 $D$ 上的负对数似然，标准预训练（PT-Only）从随机初始化 $\theta_0$ 最小化 $\mathcal{L}(\theta; D_{\text{PT}})$；PPT 则先从同一个 $\theta_0$ 在小得多的 $D_{\text{PPT}}$ 上训练得到 $\theta_{\text{PPT}}$，再用它替换 $\theta_0$ 初始化 PT（重置优化器动量与学习率调度）。整个评测框架横跨 PPT 任务、PT 混合、参数规模与 PT 预算四个维度：用 10 个下游基准测通用能力，用 BLiMP 和逐字检索测语言能力，每 1K 步评一次，报告 5K–10K 检查点的均值与标准差，以"均值超过标准差"作为增益稳定的判据。
核心思想不是发明新任务，而是构造一个能够证伪机制解释的实验矩阵。此前工作只测下游性能，看到提升就归因于语法先验；本文的关键在于加入了两条相互独立的证据链。第一条是诊断基准对比：如果 PPT 教的是语法，那么语法接受度（BLiMP，尤其是考察一致性与结构层次的形态、句法子组）应随下游性能稳定提升；如果教的是长程检索，那么逐字检索 NLL 应该改善，且下游增益应集中在依赖前文的任务（LAMBADA、ReCoRD、HellaSwag）上。第二条是任务消融：k-Shuffle Dyck 与 MP-Struct Core 是形式语言，NCA 与 Set 不是，四个任务在"是否形式语法"维度上可区分；同时在"是否要求定位序列中特定早期位置"维度上也可区分——k-Shuffle Dyck 匹配括号、MP-Struct Core 锚定标记、NCA 复现前一状态对应单元格，而 Set 只需维护"已见 token"清单。结果形式语法边界无法区分有效与无效任务（+1.3 / +0.9 / +1.2 对 Set 的 −7.2），而"位置检索"边界可以。两条证据链收敛于同一结论：PPT 的本质是把"匹配并复制远处元素"的能力注入模型，这与"语法先验"有本质区别。
方法步骤详情
整个流程分七步。（1）生成 PPT 语料：五种任务各生成合成文档，以空格分隔的整数序列经 SmolLM3 tokenizer 编码，控制符号不超过三位数使每个文档恰好占满一个 4096-token 序列；k-Shuffle Dyck 使用 Hu et al. 原生成器、括号深度限制在 [1, 8]，MP-Struct Core 保留标记 token 消除配对歧义，NCA 保留 GZIP 压缩比不低于 0.50 的轨迹，Control 则从 PT 语料的 held-out 部分采样。（2）PPT 阶段：从随机初始化 $\theta_0$ 出发训练 500 步（约 1.05B token）得到 $\theta_{\text{PPT}}$；Control 组做完全相同的 500 步但用自然语言文本。（3）正式 PT：以 $\theta_{\text{PPT}}$ 或 $\theta_0$（PT-Only 基线）初始化并重置优化器与调度器，采用 SmolLM3 架构（128,256 词表、4096 上下文）、AdamW、WSD 学习率调度、峰值学习率 $5.0\times10^{-4}$（7B 降至 $3.0\times10^{-4}$）、全局 batch 512 序列（约 2.1M token）、bfloat16 精度，默认 10K 步 21B token；3B 扩展到 47,684 步 100B token，7B 到 36,000 步 75.5B token。（4）每 1K 步评测 10 个下游基准（RACE、ReCoRD、SciQ、ARC-Easy、OpenBookQA、HellaSwag、PIQA、COPA、SocialIQA、LAMBADA）加 BLiMP 与逐字检索。（5）统计：取 5K–10K 检查点均值与标准差，均值大于标准差才记为"稳定增益"，并用三种随机种子重复 3B Marin 关键配置。（6）成分消融：在 3B Marin 上把数学占比提到 17%、只留 DCLM、只留 FineWeb-Edu、删除全部网页文本。（7）任务消融与缩放：3B 上加测 MP-Struct Core、NCA、Set 三个任务，再把 C4 与 Marin 的 3B 训练延长到 100B、7B 延长到 75.5B。
技术新颖性
新颖性体现在四个层面。第一，规模上的"第一次"：这是首个把 PPT 推到 7B 参数与 100B token 的系统研究，此前所有工作都停在不超过 1B 参数、不超过 2B token，而本文仅 3B 实验就消耗了约 1.07T PT token。第二，评测方法学：用"多检查点均值±标准差、均值大于 SD 才算稳定"的判据替代常见的单检查点比较——附录 Table 9 显示单点估计与多点估计方向不一致的比例高达 5/12，说明旧方法的结论本就不可靠；Control 基线和多种子重复（3B Marin 三个种子）也是先前 PPT 文献没有的。第三，机制归因的反转：与 Hu et al. (2025) 的语法先验假说正面冲突，用"形态/句法子组无稳定提升（12 组中仅 1 组稳定）+ 逐字检索全面改善（12/12 下降、7/12 稳定）"的双重证据提出长程检索机制，这与 Mita et al. (2026) 关于"降低检索歧义驱动收益"的观察在任务属性上收敛、但在模型学到什么上分道扬镳。第四，数据配方维度的空白填补：证明 13 倍数学增量不影响增益、删除网页文本才使其崩塌，这是任何先前 PPT 研究都未触及的问题。
实验结果
本文有五大发现。（1）下游收益跨规模持续：k-Shuffle Dyck 在 12 个"规模×混合"组合中的 9 个带来至少 +0.6 点的下游平均提升（这些组合的均值增益为 +1.6），各规模的平均增益分别为 +0.8（500M）、+1.4（1B）、+1.3（3B），没有随模型容量增长而消失；例外是 OLMo3 混合（1B 时 −0.5、3B 时 +0.0），是唯一在多个规模上失效的混合。（2）收益来自合成数据而非额外优化步数：Control 基线相对 PT-Only 的差异仅 −0.2 / +0.4 / +0.2（三个规模），而 k-Shuffle Dyck 在 10/12 个组合上超过 Control，边际约 1.0–1.1 点。（3）语法先验假说被否定：BLiMP 在 9/12 组合名义提升但只有 1 组稳定（OLMo3@1B），形态与句法子组无任何稳定增益；甚至在 Hu et al. 原本使用的 C4@500M 设置上反而下降 0.6 点。（4）长程检索才是真正的机制：逐字检索 NLL 在 12/12 组合全部下降、其中 7 组稳定；下游增益最大的正是依赖前文的任务——语言建模类增益最大（+1.2 / +1.8 / +1.7），ReCoRD 和 HellaSwag 在全部 12 个组合改善，LAMBADA 在 10 个组合改善。（5）任务与数据的边界条件：3B 任务消融中 k-Shuffle Dyck +1.3、NCA +1.2、MP-Struct Core +0.9（各改善 3/4 混合），而只需追踪已见 token 的 Set 使下游恶化 −7.2 且逐字检索 NLL 反升 +0.587；成分消融中数学占比从 1.3% 提到 17%（13 倍）增益不变（+2.0 对完整 Marin 的 +1.9），删除网页文本（剩 82% 代码 + 18% 数学）后增益崩至 +0.2。缩放实验进一步显示 100B token 和 7B 下增益仍为正（14/14 个预算点为正；100B 时 C4 +1.6、Marin +1.2；7B@75.5B +1.0）；在 Marin 3B 上，PPT 用 63B token 达到下游平均 62.3 分，而 PT-Only 需要 84B token 才到 62.0 分，即节省至少 21B token，而 PPT 阶段本身只占约 4.74% 的墙钟时间（3B：56.5 对 1,136 GPU 小时）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 下游任务平均（10 个基准、4 类任务） | 相对 PT-Only 的平均变化（百分点，5K–10K 检查点均值） | k-Shuffle Dyck 在 9/12 个规模×混合组合提升 ≥0.6 点，这些组合均值 +1.6；各规模平均 +0.8（500M）/ +1.4（1B）/ +1.3（3B） | PT-Only（3B 四混合绝对平均约 49.4%） | 平均约 +1.3 点且跨规模不衰减；Control 基线仅 ±0.4，证明增益来自合成数据而非额外训练步数 |
| Token 效率（Marin，3B） | 达到相同下游平均分所需的 PT token 数 | PPT 初始化的模型经 63B token 达到下游平均 62.3 分 | PT-Only 需要 84B token 才达到 62.0 分 | 节省至少 21B PT token（约 25% 训练量），PPT 阶段开销仅约 PT 算力的 1%（实测 4.74% 墙钟时间） |
| 语法接受度（BLiMP） | 零样本准确率变化的稳定增益组合数（均值 > SD） | 9/12 组合名义提升但仅 1/12 稳定（OLMo3@1B）；形态/句法子组 0 个稳定增益；C4@500M 反而 −0.6 | PT-Only（3B 绝对准确率 79.0%） | 无一致稳定提升——直接否定"语法先验"解释 |
| 长程逐字检索（verbatim retrieval） | 刺激全文平均 NLL（越低越好） | k-Shuffle Dyck 在 12/12 组合全部降低 NLL，其中 7/12 稳定（如 500M C4 −0.064、3B C4 −0.093） | PT-Only（3B 绝对 NLL 3.308；Control 仅 3/12 稳定改善） | 与 BLiMP 的混杂结果形成鲜明对照，支持"长程检索机制"假说 |
| PPT 任务消融（3B，四混合平均） | 相对 PT-Only 的下游平均变化（n/4 为改善的混合数） | k-Shuffle Dyck +1.3（3/4）、NCA +1.2（3/4）、MP-Struct Core +0.9（3/4）、Set −7.2（0/4，逐字检索 NLL 反升 +0.587） | PT-Only 绝对分：RC 50.7 / SciQA 50.1 / CR 55.9 / LM 40.8 / 平均 49.4 | "是否形式语法"无法区分有效与无效任务，"是否要求定位特定早期位置"可以——Set 无位置检索需求故失败 |
| PT 成分消融（3B，Marin 变体） | 相对 PT-Only 的下游平均变化 | 数学 13× 增加（17% Math）+2.0；仅 DCLM +1.5；仅 FineWeb-Edu +1.0；删除全部网页文本（82% 代码 + 18% 数学）+0.2 | 完整 Marin +1.9 | 网页文本是 PPT 收益的必要条件；代码/数学占比在现有混合范围内不影响收益 |
| 扩展预算与 7B 缩放（k-Shuffle Dyck） | 各预算点相对 PT-Only 的下游平均变化（14 个预算点） | 全部 14 个预算点为正：C4 3B 均值 +1.0（100B 时 +1.6）、Marin 3B 均值 +1.3（100B 时 +1.2）、7B Marin 均值 +0.6（75.5B 时 +1.0） | 同预算 PT-Only | 增益不随训练延长而稀释；7B 略收窄（部分归因于仅 11 tokens/parameter 的欠训练）但仍为正；BLiMP 仅 4/14 改善而逐字检索 10/14 改善 |
局限与改进
作者明确承认的局限有三点。第一，OLMo3 混合上增益异常弱的原因未能查明：17% Math 变体的网页占比（76.9%）与 OLMo3 相同却保有 +2.0 增益，SmolLM3 与 OLMo3 的网页占比只差约 3 个百分点而 3B 增益相差 1.8 对 0.0，作者把对该混合的直接消融留给未来工作，理由是 3B 实验已消耗约 1.07T PT token、算力见底。第二，受算力限制，7B 实验只覆盖 Marin 一种混合、k-Shuffle Dyck 一种 PPT 任务和最高 75.5B token。第三，除 3B Marin 的三种子重复外，每个配置只有单次运行。我的补充观察：（1）21B–100B token 仍远小于工业级数万亿 token 的训练，PPT 收益在完整学习率退火后的终态行为未知（评测窗口是 5K–10K 步的中间检查点）；（2）下游评测全部是零/五样本的选择题式小基准，未涉及代码生成、数学推理等开放式强任务，长程检索收益对真实能力的传导可能被低估或高估；（3）"长程检索机制"的归因基于任务层面的相关证据，缺少注意力头或电路层面的因果干预分析；（4）全部模型使用 SmolLM3 单一架构与 4096 上下文，结论对其他架构（更长上下文、不同注意力配置）的迁移性未验证；（5）增益绝对量约 1–2 点，与数据配方改进等替代手段的性价比对比需要在真实生产流水线中权衡。
独立分析的弱点
弱点一：机制证据仍是相关性而非因果性。逐字检索改善与下游增益共现，但没有干预实验证明"PPT 注入的检索能力"与"下游提升"之间的因果链条。改进方向：设计注意力消融或探针实验，定位 PPT 改变的具体注意力模式，并在 PT 过程中动态抑制它们、观察下游变化。弱点二：Set 任务的失败只有行为层面的解释（"无需定位特定位置"），没有验证 Set 训练出的模型内部到底学到了什么，其崩溃也可能源于任务过于简单导致的表征退化而非"缺少位置检索"本身。改进方向：对 Set 模型做表征分析，或构造介于 Set 与 k-Shuffle Dyck 之间的任务难度梯度，刻画"位置检索需求强度—下游增益"的剂量关系。弱点三：OLMo3 异常未解决，而它是唯一在多个规模上失效的混合，这提示可能存在未被刻画的数据属性（如去重强度、文档长度分布、OCR 学术文本噪声）。改进方向：系统交换 SmolLM3 与 OLMo3 的子成分做因子实验。弱点四：7B 实验只达到约 11 tokens/parameter 的欠训练状态，作者自己也承认 7B 增益收窄可能反映预算而非容量，因此"更大模型是否仍需要 PPT"没有被干净地回答。改进方向：按 Chinchilla 比例补齐 7B × 约 147B token 的对照实验。弱点五：所有结论基于 SmolLM3 架构和 4096 上下文，而"长程检索"假说最直接的检验场——超长上下文模型与更远距离的检索刺激——反而未被测试。改进方向：在 32K 以上上下文与更长刺激的逐字检索设置下重复实验。
未来方向
作者提出的方向：（1）未来的 PPT 任务设计应直接瞄准长程检索能力，而非模仿自然语言语法的层级结构；（2）查明 OLMo3 混合上收益微弱的数据属性（受算力限制留给后续工作）。基于本文成果可以延伸的方向：（1）把"位置检索"要求参数化（检索距离、干扰项数量、需同时追踪的位置数），系统扫描任务难度与下游增益的关系，形成可操作的 PPT 任务设计准则；（2）研究 PPT 与现代长上下文技术的交互——逐字检索恰是"大海捞针"类任务的核心操作，PPT 有望成为廉价的 long-context 预适应手段，值得在 RoPE 扩展与长上下文续训阶段之前插入验证；（3）将 PPT 与其他廉价初始化干预（结构化初始化、深度缩放初始化、小型教师蒸馏初始化等）在统一算力预算下横向比较，确定其相对价值；（4）检验检索机制对代码、数学、多语言等特定域下游能力的介导作用是否同样成立；（5）在训练动力学层面追踪"检索电路"何时从 PPT 权重中被继承、何时被 PT 覆写，与 Ji & Telgarsky、Liu et al. 等关于初始化效应被延长优化稀释的理论工作对接。
复现评估
可复现性相当好。代码与分步指南（数据预处理、训练、评测）在 GitHub（gucci-j/verify-ppt-at-scale）完全开源；全部工件——预处理后的数据集与模型 checkpoint——发布在 Hugging Face Hub（verify-ppt 组织）；附录 Table 6 给出四个规模的完整架构与优化超参数（SmolLM3 架构、128,256 词表、AdamW、WSD 调度、bfloat16、全局 batch 512 序列、4096 上下文），附录 A 列出具体软件版本（Nanotron v0.4、FlashAttention-2、DataTrove v0.4.0、lm-evaluation-harness v0.4.10 等）。PPT 数据生成直接复用 Hu et al. 与 Mita et al. 的公开生成器，无需自行实现。算力是主要门槛：单个配置的 PT-Only 与 PPT 对照各需 21B token 训练（3B 规模约 1,136 GPU 小时，16 张 A100 40GB 跑约 3 天），整个实验矩阵（4 混合 × 3 规模 × 5 任务加扩展与消融）累计约 1.07T PT token，属于需要国家级集群（本文用了 A100/H100/H200/GH200 多个集群以及 Isambard-AI、Leonardo、JUPITER 等）数周量级的工程。但只复现单条结论——例如 500M/1B 规模验证或 3B Marin 一组对照——只需数百到约两千 GPU 小时，中等难度即可完成。综合评级：数据、代码、模型全部开放，超参数记录完整，单点复现难度中等，全矩阵复现需要大型算力支持。
论文图表
(a) 示意被检验的假说：在嵌套括号结构（如 ([{}]()）上做 PPT 会把结构偏置迁移给自然语言语法，例如帮助模型学到 "The cat near the chair is sleeping" 中跨越插入语的主谓一致；(b) 设计空间图：横轴为参数量（160M 到 7B），纵轴为 PT token 预算（1B 到 100B），先前工作集中在不超过 1B 参数、短训练预算的角落，而本文覆盖 4 个参数规模、4 种 PT 混合、5 个 PPT 任务和最高 100B token。
这张图一页概括了全文的问题设定与实验覆盖范围，直观展示先前 PPT 结论的实验条件与真实预训练场景之间的巨大差距，是理解"为什么需要重新检验"的入口。