数据受限训练下的处方型标度律 Prescriptive Scaling Laws for Data Constrained Training
为数据受限训练提出加性过拟合惩罚，量化重复代价并给出新计算最优分配建议。
前置知识
Chinchilla 标度律
由 Hoffmann 等 (2022) 提出的经典神经标度律：$L(N,D) = E + A/N^\alpha + B/D^\beta$，把损失拆为不可约项、容量不足项、数据不足项；在算力 $C \approx 6ND$ 约束下推出 $N{:}D \approx 1{:}20$ 的最优比例。
本文是对 Chinchilla 在数据受限场景下的扩展，必须先理解 Chinchilla 的函数形式与最优分配逻辑才能看懂新增的过拟合惩罚项如何接入。
神经标度律 (Neural Scaling Law)
经验性规律：随着模型参数 $N$、训练数据 $D$ 或算力 $C$ 成倍增长，损失会以可预测的幂律形式下降。它让研究者能用小模型扫描得到拟合曲线，再外推预测大模型的损失，避免在大模型上盲调。
本文的核心贡献就是提出了一种新的标度律函数形式，并展示了它在拟合质量与处方能力上如何超越既有形式。
数据受限 (Data-Constrained) 训练
当算力的增长速度超过高质量数据的供给时，模型只能对同一份数据训练多轮（多 epoch）以“消化”算力。在数学、代码、低资源语言等垂直领域，可用 token 往往比算力预算少一两个数量级，多 epoch 成为默认做法。
这是本文的设定背景：Chinchilla 假设每个 token 唯一，遇到数据受限必须扩展其形式，本文正是为此而来。
权重衰减 (Weight Decay) 与正则化强度
权重衰减 $\lambda$ 通过在损失上加 $\lambda\|\theta\|^2$ 抑制参数幅度，是控制模型有效容量的标准正则手段。标准 $\lambda=0.1$ 左右，但 Kim et al. (2026) 发现数据受限下最优 $\lambda$ 可大一个数量级。
本文用强权重衰减 $\lambda=1.0$ 作为案例研究，验证过拟合系数 $P$ 可以直接反映正则化强度对重复鲁棒性的影响。
有效数据 (Effective Data) 形式化
Muennighoff 等 (2023) 把 $D$ 替换为 $\hat{D}(U_D,R_D)=U_D(1+R_D^\*/R_D(1-e^{-R_D/R_D^\*}))$，用指数饱和刻画“重复递减”，对参数做同样处理得 $\hat{N}$。
这是本文要超越的基线，理解其把过拟合隐式塞进指数饱和项的做法，才能体会本文“显式加性惩罚”的优势。
研究动机
过去几年大模型预训练普遍遵循 Chinchilla 标度律，它假设每个训练 token 只被看到一次，给出算力 $C \approx 6ND$ 下的 $(N,D)$ 最优配比。但现实中高质量数据正成为真正的瓶颈：Olmo 等 (2025) 反复对精选子集上采样，Allal 等 (2025) 在数学/代码子集做“中训练”，训练集动辄被遍历 8-16 epoch。Muennighoff 等 (2023) 的 $\hat{D},\hat{N}$ 扩展把重复建模为有效数据量 $U_D(1+R_D^\*/R_D(1-e^{-R_D/R_D^\*}))$，能描述“边际收益递减”，但它把“大模型在重复数据上过拟合更快”隐式塞进 $\hat{N}$ 的指数饱和项，缺乏清晰物理解释，也刻画不了损失在高度重复下反向上升的真实曲线。如图 1 所示，在 50M-500M 四个模型规模、$U_D=200M$ tokens 设定下，Chinchilla 与 $\hat{D},\hat{N}$ 都随 $R_D$ 增大而系统性低估验证损失。
本文的目标是本文目标是为数据受限预训练提出一种新的标度律形式，要求：(1) 显式刻画过拟合代价而不是把它藏在有效参数量里；(2) 即使最简形式（单参数）也要显著超越 Muennighoff 等的拟合质量；(3) 从拟合律中推出的“算力-模型大小-epoch 数”最优分配在真实训练中能赢过既有建议；(4) 让超参数（如权重衰减）的影响能通过标度律参数直接读出，从而为 Kim et al. (2026) 提出的“数据受限下应大幅提升正则”的经验现象提供可解释机制。
与已有工作不同的是，作者把过拟合从“有效参数量”中拆出来，变成一项显式加在 Chinchilla 主项之外的惩罚 $P \cdot R_D^\delta \cdot (N/U_D)^\kappa$。这种“加性而非替换”的设计带来三个独特切入角度：第一，重复 token 仍能在 $B/(U_D(1+R_D))^\beta$ 项里继续降低数据不足损失，而不是被指数饱和截断；第二，惩罚项只由重复轮数 $R_D$ 与容量比 $N/U_D$ 决定，自然引出“大模型在小数据上过拟合更严重”的耦合；第三，单参数版本就能把“权重衰减强 ⇒ 过拟合系数 $P$ 小”这一可解释关系暴露出来，论文进一步用 $P$ 下降约 70% 来量化 $\lambda=1.0$ 相对 $\lambda=0.1$ 的鲁棒性增益。
核心方法
方法整体思路分四步。第一步先用单 epoch 训练跑出的网格拟合经典 Chinchilla 形式 $L=E+A/N^\alpha+B/D^\beta$ 的五个参数 $(E,A,B,\alpha,\beta)$，作为“零重复基线”。第二步把多 epoch 实验里观察到的损失减去这个基线，得到“纯过拟合残差”，发现该残差随 $R_D$ 呈幂律 $P_i \cdot R_D^\delta$，且 $\delta > 1$（超线性恶化）。第三步把每组 (模型, 唯一数据) 配置下拟合出的 $P_i$ 与 $N/U_D$ 关联，发现 $P_i$ 也随容量比幂律上升，于是把它们合并成一个统一的“加性惩罚项” $P \cdot R_D^\delta \cdot (N/U_D)^\kappa$。第四步把这一惩罚项加回 Chinchilla 主项，得到一族 1/2/4 参数的加性过拟合标度律，并在自有 sweep 和 Muennighoff 等公开数据上同时验证。技术上最关键的判断是“加性”而不是“乘性/有效数据替换”：重复 token 在主项里依然贡献数据，在惩罚项里同时承担过拟合成本，二者解耦。
核心创新是把“重复 token 的价值”与“重复 token 造成的过拟合成本”显式分离。Chinchilla + 有效数据方案 $\hat{D},\hat{N}$ 用指数饱和函数间接代表过拟合，本文则新增一个独立的 $P \cdot R_D^\delta \cdot (N/U_D)^\kappa$ 项，物理上对应“容量-数据不匹配导致的额外损失”。本质区别有三：(i) 在 $R_D=0$ 时惩罚项自动归零，律自然退化为 Chinchilla，不需要额外的边界条件；(ii) 损失随 $R_D$ 真的可以上升（Chinchilla 与 $\hat{D},\hat{N}$ 都不能），从而能预测“高算力下应减小 epoch”这一反直觉的处方；(iii) 单参数版本里 $P$ 单独承担“过拟合敏感度”的物理意义，可以跨超参（如权重衰减）做直接比较。
方法步骤详情
六步。**1 基线**：$R_D=0$ 网格拟合 Chinchilla 得 $(E,A,B,\alpha,\beta)$。**2 残差**：对 $(N,U_D,R_D>0)$ 取 $\Delta L=L_\text{obs}-L_\text{Chinchilla}(N,U_D(1+R_D))$。**3 功率**：固定 $(N,U_D)$ 扫 $R_D$，$P_i R_D^\delta$ 拟合残差，共享 $\delta=1.84$。**4 容量耦合**：$P_i$ 对 $N/U_D$ 幂律回归得 $P_i\propto(N/U_D)^\kappa$，$\kappa>1$，吸收为 $P$。**5 律组装**：$L=E+A/N^\alpha+B/(U_D(1+R_D))^\beta + P R_D^\delta (N/U_D)^\kappa$；固定 $\delta$ 拟合 $\kappa$ 即 1p；放开 $\delta,\kappa$ 加 $U_D$ 指数 $\gamma$ 即 4p。**6 处方**：固定 $C=6ND$ 与 $U_D$，数值最小化输出 $(N^\*,R_D^\*)$。
技术新颖性
技术新颖性体现在三个层次。**形式层**：用“加性惩罚”替代“有效数据替换”是函数空间上的根本转向——加性意味着损失可以随 $R_D$ 上升，而有效数据形式里损失被强制为 $R_D$ 的单调减函数。**结构层**：复杂度阶梯 (1p / 2p / 4p) 给出 Pareto 前沿，1 参数形式 $L=E+A/N^\alpha+B/(U_D(1+R_D))^\beta + P \cdot R_D \cdot (N/U_D)$ 在自有 sweep 与 Muennighoff 等公开数据上 Huber 损失都低于既有形式（具体见图 4 的 $R^2$ 柱状图）。**应用层**：把 $P$ 解释为“对重复的敏感度”并发现 $\lambda=1.0$ 让 $P$ 下降约 70%，等于在标度律里直接读出正则化收益，这是把标度律从“预测工具”升级为“超参分析工具”的关键一步。
实验结果
**拟合质量**：在自有 CLM sweep (300+ 模型) 与 Muennighoff 公开数据上，本文四种加性形式 Huber 与 $R^2$ 都显著优于 Chinchilla 与 $\hat{D},\hat{N}$（图 4），1p 形式 $R^2$ 已接近 4p。**新处方**：$U_D=500M$、$C=2\times 10^{19}$ 推荐 2.2B+3 ep，困惑度 17.73、BPB 1.34，胜 Chinchilla 18.90/1.37 与 $\hat{D},\hat{N}$ 19.34/1.40。**正则**：$\lambda=1.0$ 把 1p 形式 $P$ 从 0.025 降到 0.008，**~70% 降幅**。**交叉点**：律预测 $\lambda=1.0$ 在 $C_\times\approx 3.2\times 10^{18}$ 后开始优于 $\lambda=0.1$；$C=1\times 10^{19}$ 时 20.34 vs. 23.13；$C=3\times 10^{19}$ 时 16.65 vs. 18.16。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Chinchilla-prescribed 配置 (U_D=250M, C=5×10^18) | OLMES BPB (19 任务均值, 越低越好) | 1.45 (本文律推荐 700M + 5 ep) | 1.52 (Chinchilla 推荐 280M + 12 ep) | BPB 下降 0.07 (~4.6%)；困惑度从 25.31 降到 22.90 |
| Compute-optimal 配置 (U_D=500M, C=2×10^19) | OLMES BPB | 1.34 (本文律推荐 2.2B + 3 ep) | 1.40 (Eff. Param. 950M + 7 ep) / 1.37 (Chinchilla 670M + 10 ep) | 相对 Eff. Param. 下降 0.06 (~4.3%)，困惑度 17.73 优于 19.34 / 18.90 |
| 强权重衰减交叉点 (U_D=250M, C=1×10^19) | Perplexity (越低越好) | 20.34 (λ=1.0, 1B + 6 ep) | 23.13 (λ=0.1, 3B + 2 ep) | 困惑度下降 2.79 (~12%)，BPB 从 1.52 降到 1.36 |
| 强权重衰减高算力 (U_D=500M, C=3×10^19) | Perplexity | 16.65 (λ=1.0, 2.5B + 4 ep) | 18.16 (λ=0.1, 5B + 2 ep) | 困惑度下降 1.51 (~8.3%)，BPB 从 1.35 降到 1.30 |
| 过拟合系数 P 跨正则化 | 系数绝对值 (越低越好) | 约 0.008 (λ=1.0, 1p 形式) | 约 0.025 (λ=0.1, 1p 形式) | P 下降 ~70%，意味着同等 R_D 下过拟合代价显著更小 |
局限与改进
作者承认三点。**外推尺度**：实验最大 1B 参数、16 epoch，无法保证 $\delta=1.84$、$\kappa>1$ 在前沿 $100B+$ 模型或上百 epoch 下仍成立。**非单调现象**：律的函数形式没有纳入双重下降 (double descent) 等已被观察到的非单调损失曲线，假设 $B/D^\beta$ 始终单调减。**正则化为二元**：只测 $\lambda \in \{0.1, 1.0\}$ 两档且独立拟合整套参数，没有把 $\lambda$ 显式纳入律的解析形式，限制了对“任意正则化强度”的连续预测能力。**个人额外观察**：(a) 处方性验证以单点配对为主，未讨论真实流水线“算力先到位、数据后到位”的滚动场景；(b) 4p 形式参数较多，跨数据集迁移时存在过拟合风险，需要在更大 sweep 上做交叉验证；(c) 强权重衰减 70% 收益来自 $\lambda$ 阶跃 10 倍的对照，缺中间值（$\lambda=0.3, 0.5$）曲线，不能确认单调线性收益。
独立分析的弱点
**正则扫描粒度太粗**：$\lambda\in\{0.1,1.0\}$ 两点不足，更细（$0.1/0.3/1.0/3.0$）能得 $P(\lambda)$ 连续曲线。**改进**：把 $\lambda$ 显式写进律中，如 $L=E+A/N^\alpha+B/(U_D(1+R_D))^\beta+P(\lambda) R_D^\delta (N/U_D)^\kappa$。**早停与 epoch 等价关系缺失**：律里 $R_D$ 连续可微但实际训练多 1 epoch 常伴学习率衰减与早停判断。**改进**：把“余弦学习率周期”或“训练步数”作更基础变量。**算力 $C=6ND$ 假设过强**：decoder-only Transformer 上只是近似，attention $O(L^2)$ 项在长上下文下不可忽略。**改进**：报告 wall-clock、GPU 小时、MFU 作算力轴补充。**计算最优边界稳定性未测**：图 5/图 8 分配前沿由数值优化得出，4p 9 参数微扰可能让 $(N^\*,R_D^\*)$ 漂移。**改进**：在最优解周围做局部敏感性分析。
未来方向
作者明确提出的方向有：把正则化强度 $\lambda$ 纳入律的解析形式、把律扩展到双重下降 (double descent) 等非单调现象、在更大模型与更多 epoch 上验证外推。基于成果自然延伸的方向有四点。**第一，**把加性惩罚思路迁移到 RLHF / SFT / mid-training 等更后期阶段，这些阶段数据约束更紧、epoch 数普遍较高，预测空间更大。**第二，**把 $P$ 系数与 dropout、label smoothing、mixture-of-experts routing entropy 等其他正则化手段做“过拟合敏感度”统一坐标，方便按预算做正则化组合搜索。**第三，**与多模态预训练结合：在图文对、视频-文本对上验证“重复某模态 token 是否带来同形态的 $P \cdot R_D^\delta$ 项”，判断 $P$ 是否具有模态无关性。**第四，**与系统优化结合：把“按律推荐的 $(N^\*,R_D^\*)$”对接模型并行策略（TP/PP/DP 大小），给出端到端训练成本的处方，而非只看 FLOPs。
复现评估
**代码与数据**：作者承诺开源 scaling-law 拟合代码与训练配置（Llama 2 架构 + FineWeb + Llama 2 tokenizer），Muennighoff (2023) 训练数据已公开作外部验证集。**算力门槛**：300+ 模型扫 $N\in[15M,1B]$、$U_D\in[50M,6B]$ tokens、最多 16 epoch、两种 $\lambda$；单次峰值约 $3.6\times 10^{19}$ FLOPs（≈ 50 块 H100 跑 24 小时），完整 sweep 需数千 GPU 小时，对学术实验室是中等门槛。**复现难度**：中等偏上。**(i)** 标度律拟合只需 5–10 个核心超参的 numpy/scipy 优化，门槛不高；**(ii)** 真正难点在 1B/6B tokens 量级“代表性单点训练”用于表 1/表 2 处方验证；**(iii)** 1/2/4p 形式可在 Muennighoff 公开数据上直接复现拟合质量，是性价比最高起点；**(iv)** 强权重衰减对比需严格控制仅 $\lambda$ 不同，实验管理要求高。
论文图表
横轴是重复 epoch 数 $R_D$（0-10），纵轴是验证损失；4 个子图对应 $N=50M,125M,250M,500M$，固定 $U_D=200M$。蓝线为 Chinchilla baseline（把重复 token 当成唯一数据 $D_{total}$），绿线为 Muennighoff 等的 $\hat{D},\hat{N}$ 指数饱和形式，灰点为真实观察值。两条预测线在 $R_D$ 大时都低于真实损失，差距随模型变大、$R_D$ 变大而扩大。
它直接呈现了既有标度律在数据受限场景的失效模式，是动机章节最有力的实证证据——告诉读者“为什么需要新形式”。
左图：1p 形式的过拟合系数 $P$，$\lambda=0.1$ 约 0.025、$\lambda=1.0$ 约 0.008，标注 -70%。中/右图：固定 $N=250M$、$U_D=100M$，按 epoch 拆分损失的四个组分（Chinchilla 主项 + 加性惩罚 $\lambda=0.1$ / $\lambda=1.0$），强权重衰减的惩罚曲线明显更平。
它把“$P$ 下降 70%”这一可解释论断可视化，并把总损失按组分拆开展示，是 case study 的核心证据。