Skaling 定律：当 Chinchilla 的指数遇上 Kaplan 的耦合

引入单一耦合指数修正加性缩放律的边界偏差，外推误差降1.5-3×，稀疏网格省10×算力

前置知识

神经缩放定律（Neural Scaling Laws）

神经缩放定律描述模型损失随规模（参数量 N、训练 token 数 D、算力 C）以可预测的幂律方式下降的经验规律。Kaplan 等（2020）首次把损失建模为 N 与 D 的耦合函数；Hoffmann 等（2022）的 Chinchilla 律则把可约损失写成加性求和 $A/N^\alpha + B/D^\beta$ 加不可约底 $E$，并据此提出约 20 token/参数的计算最优配比。这些定律使研究者用少量低算力运行预测高算力运行的表现，是预训练预算与架构决策的基石。

本文是对缩放定律'函数形式'本身的修正，不理解 Kaplan/Chinchilla 的历史脉络与差异，就无法理解 Skaling 在两者之间架桥的意义。

Chinchilla 加性律与 Kaplan 耦合律

Chinchilla 律 $L=A/N^\alpha+B/D^\beta+E$ 把两轴完全解耦，隐含混合偏导 $\partial^2L/\partial N\partial D\equiv0$；Kaplan 律 $L=(N_c/N)^{\alpha_N/\alpha_D}+D_c/D^{\alpha_D}$ 则通过外层指数 $\alpha_D$（相当于 Skaling 的 k）耦合两轴，但额外用比例 $\alpha_N/\alpha_D$ 绑死了内层衰减率。两者对'N 与 D 是否独立作用于损失'给出相反假设，导致算力最优配比的预测分歧。

Skaling 的核心就是保留 Chinchilla 的独立内层指数、同时恢复 Kaplan 的耦合，理解这两个基准形式是读懂贡献的前提。

混合偏导与可分性（Mixed Derivative & Separability）

若一个函数可写成 $f(N)+g(D)$（可分），则其二阶混合偏导 $\partial^2L/\partial N\partial D$ 恒为零。反之，非零混合偏导意味着 N 与 D 存在协同或拮抗——同时放大两者带来的收益不等于单独放大的和。作者正是用 MLS 与高斯过程估计损失曲面的混合偏导，发现其在全网格非零且为负（协同），从而判定加性 Chinchilla 形式结构性错误。

混合偏导是本文判定'形式错在哪'的核心数学判据，也是动机（图 3）与方法（外层指数 k）之间的逻辑桥梁。

计算最优分配（Compute-Optimal Allocation）

给定算力预算 $C=6ND$，在等算力曲线 $6ND=C$ 上求损失最低点，得到最优参数量 $N^*$ 与最优 token 数 $D^*$，二者之比 $D^*/N^*$ 即'每参数 token 数'。Chinchilla 据此得到约 20 token/参数的经典结论。Skaling 证明：外层单调映射 $x\mapsto x^k+E$ 不改变极小点位置，故继承 Chinchilla 的闭式分配公式，但因拟合参数不同，预测的最优比在规模外推时与 Chinchilla 分歧显著。

算力最优分配是缩放定律的最终用途，理解它才能体会为什么边界预测偏差（图 1、6）对前沿模型训练有现实影响。

MAPE（平均绝对百分比误差）

MAPE 定义为 $\text{MAPE}(S)=\frac{100}{|S|}\sum_i |\hat L_i - L_i|/L_i$（百分比），衡量预测值相对真实损失的偏离程度。作者用它作为跨插值、外推 N、外推 D、远外推四档的主指标，因为它在各区间直接可比；而 $R^2$ 因外推集点少、方差小而失稳，仅报告于插值集。

全文所有结论都以 MAPE 的倍数提升来量化（如降 1.5–3×、3.9×），不熟悉该指标就无法判断贡献幅度。

研究动机

现代大语言模型的训练决策高度依赖神经缩放定律，其中 Hoffmann 等人提出的 Chinchilla 律将可约损失建模为模型规模 N 与数据量 D 的简单加性求和 $L=A/N^\alpha+B/D^\beta+E$。这一数学结构隐含一个强假设——N 与 D 对损失的影响彼此独立，即混合偏导 $\partial^2L/\partial N\partial D\equiv0$。然而作者通过实测发现该假设恰好在预测最关键处失效。如图 1 所示，Chinchilla 律在 (N, D) 网格内部插值精确，却在 N、D 最不平衡的角落累积出鞍形残差，正负误差可达数个百分点：在大模型配少量数据、或小模型配大量数据的极端区域，系统性地低估或高估损失。这种结构性偏差会误导预算分配与架构选型，因为前沿模型（如 DeepSeek）通常锁定固定的 token/参数比，对最优比的微小误判会在规模外推时被指数级放大。

本文的目标是作者的目标是构造一个最小化的泛化缩放形式，在不破坏 Chinchilla 律简洁性与可解释性的前提下，恢复模型规模 N 与数据量 D 之间的相互作用，从而消除加性律在网格边界处的系统性偏差。具体而言他们希望：（1）仅引入单一额外参数即可让函数的混合偏导非零，使两轴产生协同效应；（2）保持 $k>0$ 时损失对 N、D 均严格单调递减的物理合理性；（3）保留 Chinchilla 律的闭式计算最优分配公式，使预算分配仍可解析求解；（4）证明该形式在稀疏、低算力的 L 形采样网格上仍能匹配全网格 Chinchilla 的精度，从而把刻画缩放行为的算力开销降低约 10 倍。最终目标是提供一个更稳健、资源高效的框架来指导下一代模型训练的算力预算分配。

与已有工作不同的是，本文的独特切入点是把'函数形式'本身而非'拟合流程'作为症结。以往调和 Kaplan 与 Chinchilla 分歧的工作（如 Pearce & Song 2024、Porian 等 2024）都把矛头指向参数计数、FLOP 核算、warmup 与优化器调参等拟合流程，却始终保留加性形式。作者则反向证明：在拟合流程固定不变时，加性形式本身会在网格边缘弯曲错向。与更复杂的 Farseer 律（9 个参数、让数据指数随 N 变化）不同，Skaling 用单一外层耦合指数 k 以极小代价引入 N-D 交互；与 Kaplan（通过 $\alpha_N/\alpha_D$ 比例绑死两轴衰减率）不同，Skaling 保留了 Chinchilla 相互独立的内层指数。作者还证明采用'乘性耦合'而非'加性交互项'是必要的——后者会因符号冲突无法同时满足单调性与负的协同效应。这种在 Kaplan 与 Chinchilla 之间架桥、且保留闭式最优解的设计是前所未有的。

核心方法

整体思路是'先让数据说话，再定函数形式'。第一步作者用无网格导数估计（移动最小二乘 MLS 与高斯过程 GP）直接探测损失曲面：同轴投影近似幂律衰减（$\alpha_N\approx\alpha_D\approx-1.3$），而跨轴混合偏导在全网格非零、呈负号幂律衰减（$a\approx b\approx-1.1$）——这是加性律无法表达的协同效应。技术路线据此确定：保留 Chinchilla 的两个内层项 $A/N^\alpha$、$B/D^\beta$ 与不可约项 E，但把它们的和整体提升到一个自由外层指数 k，得到 Skaling 律 $L=(A/N^\alpha+B/D^\beta)^k+E$。k=1 退化为 Chinchilla，$k\neq1$ 恢复 Kaplan 式耦合。为高效估计参数，作者提出 L 形稀疏采样：在最便宜的小模型上扫 D 拟合数据项，在最短训练量上扫 N 拟合规模项，用约 1/10 算力重构全网格规律。配合严格的交叉验证（插值、外推 N、外推 D、远外推四档），并用相同优化器（log 空间 Huber 损失 + L-BFGS-B + basin-hopping）拟合所有竞品，确保差异只来自函数形式。

核心创新是把加性求和提升到一个自由的外层耦合指数 k。三种形式成谱系：Kaplan 律 $L=(N_c/N)^{\alpha_N/\alpha_D}+D_c/D^{\alpha_D}$ 用 $\alpha_N/\alpha_D$ 绑定两轴、无法独立调衰减率；Chinchilla 律 $A/N^\alpha+B/D^\beta+E$ 完全解耦却强制混合偏导为零；Skaling 律 $(A/N^\alpha+B/D^\beta)^k+E$ 用外层 k 引入耦合而保留内层独立指数。单参数设计带来三重优势：（1）k=1 严格嵌套 Chinchilla，数据支持耦合时拟合出 $k<1$、否则回到加性；（2）只要 $k>0$，损失对 N、D 严格单调递减，避免'加性交互项'方案因符号冲突导致 $\partial L/\partial N>0$ 的病态；（3）外层单调映射不改变极小值位置，故继承 Chinchilla 闭式最优分配 $N^*$，当 $\alpha\approx\beta$ 时最优 token/参数比 $D^*/N^*$ 跨尺度恒定。附录 A.2 证明乘性耦合优于加性交互项：后者要么保单调要么保负协同，二者不可兼得。

方法步骤详情

方法分五步。第一步（导数诊断）：用 MLS 在每个网格点拟合局部泰勒多项式、用 GP 拟合全局曲面，估计两个一阶偏导与混合偏导，验证交互存在（图 2、3）。第二步（定形式）：定义 Skaling 律 $(A/N^\alpha+B/D^\beta)^k+E$（公式 3）。第三步（拟合）：在 log 空间最小化 Huber 损失（$\delta=0.05$），用 L-BFGS-B 配 basin-hopping（2000 次重启）与 autograd 解析梯度，A、B 在 log 尺度优化；边界见表 4。第四步（采样）：L 形网格分两带——D 带仅在小模型上扫 D 定 $(B,\beta)$，N 带仅在短训练量上扫 N 定 $(A,\alpha)$；利用 $D\to\infty$ 与 $N\to\infty$ 的渐近极限保证单轴扫描能分离相应系数。第五步（评估与分配）：5 折交叉验证四档报告 MAPE 与插值 $R^2$；再由预算 $C=6ND$ 代入 $D=C/(6N)$，令 $Z(N)=A/N^\alpha+B(6/C)^\beta N^\beta$ 的导数为零，解得闭式最优比 $R_{opt}=D^*/N^*$（公式 8），并与无参数 GP/MLS 经验前沿对比。

技术新颖性

新颖性体现在'以最小参数代价获得形式归纳偏置的正确性'。其一，单一外层指数 k 是连接 Chinchilla（k=1）与 Kaplan 的桥梁，却不像 Kaplan 绑死内层指数，可独立表达两轴衰减——这填补了 Busbridge 等（2025）虽在蒸馏缩放律中用过未绑外层指数形式 $E+(A/N^\alpha+B/D^\beta)^\gamma$、却未做受控比较、未研究 N-D 交互的空白。其二，作者首次用混合偏导（图 3）给出'加性假设失效'的直接证据，而非仅靠预测误差间接论证。其三，理论上证明乘性耦合优于加性交互项（附录 A.2 的符号冲突论证），并证明 Skaling 继承 Chinchilla 的闭式最优分配——形式更丰富却不牺牲可解性。其四，与 9 参数 Farseer 律对比表明增益来自与数据匹配的归纳偏置而非参数堆砌，Farseer 反而在数据外推上更差（MAPE 4.13、4.45）。其五，L 形采样把'边界即信息'的洞察工程化为可省 10× 算力的实用策略，使可靠的缩放预测不再依赖昂贵的大规模密集扫描。

**Figure 4**: Partitions of the (N, D) grid. (a) Sampling strategies. (b) Evaluation regimes.

**Figure 5**: Iso-ratio compute extrapolation.

实验结果

结果围绕 Farseer（404 配置，100M–6.4B 参数，1B–512B token）与作者自建 SK-Grid（134 配置，134M–4.9B 参数）展开。表 1 显示全网格上 Skaling 把 Farseer 单轴外推 MAPE 从 1.48 降到 0.47（外推 N）、从 1.98 降到 0.88（外推 D）；SK-Grid 远外推从 5.17 暴跌至 0.70，整体降幅 1.5–3×。关键在边界：SK-Grid 远外推 L 形网格误差从 14.63 降到 1.15、最大 N 的 L 形外推从 6.09 降到 0.77，证明加性律在稀疏网格崩溃而耦合形式稳健。表 2 表明 Skaling 稳定拟合亚单位耦合 $k\approx0.31$–0.45（而非塌缩回 k=1），Farseer 上 E 从 0.45 降到 0.03，但作者指出这是 $k<1$ 凹外层映射与 E 的权衡、并非损失底消失。与 9 参数 Farseer 律对比，Skaling 用更少参数在多数区间更准。表 3 算力外推中 Skaling 池化 MAPE 0.60±0.27%、较 Chinchilla（2.34%）降 3.9×且任何区间不超过 0.9%。图 6 显示经验最优 token/参数比随算力下降（GP −0.14、MLS −0.15，接近 Skaling 解析 −0.11，与 Chinchilla +0.03 反号），外推到 $2\times10^{25}$ FLOPs 相差超 10×。

**Table 1**: Fit quality and predictive error on the Farseer and SK-Grid datasets.

**Table 2**: Fitted coefficients (mean ± std over 5 CV folds) behind Table 1.

**Table 3**: Compute extrapolation on Farseer (Section 3.4) by training regime.

**Table 5**: Fit quality and predictive error on two additional datasets, following the protocol of Table 1.

**Figure 6**: Empirical compute-optimal token-to-parameter ratio on Farseer, recovered without a parametric fit.

查看结构化数据

任务	指标	本文	基线	提升
Farseer 全网格·外推更大模型 N	MAPE (%) ↓	0.47±0.03	Chinchilla 1.48±0.03	约 3.1× 误差降低
Farseer 全网格·外推更多数据 D	MAPE (%) ↓	0.88±0.06	Chinchilla 1.98±0.08	约 2.3× 误差降低
SK-Grid 全网格·远外推（超越两轴）	MAPE (%) ↓	0.70±0.39	Chinchilla 5.17±0.28	约 7.4× 误差降低
SK-Grid L 形稀疏网格·远外推（约 1/10 算力）	MAPE (%) ↓	1.15±0.53	Chinchilla 14.63±0.39	约 12.7× 误差降低
Farseer 算力外推·112 个最高算力运行池化	MAPE (%) ↓	0.60±0.27	Chinchilla 2.34±1.11；9 参数 Farseer 律 0.80±0.38	较 Chinchilla 降 3.9×，且优于更多参数的 Farseer 律
算力最优 token/参数比随算力变化指数	幂律指数（GP/MLS 经验 vs 解析）	−0.11（解析）；经验 −0.14/−0.15	Chinchilla +0.03（解析）	修正了 Chinchilla 近乎平坦的错误预测，符号相反

局限与改进

作者承认的局限主要有三。其一，耦合强度因数据而异：在 Farseer-code 与原始 Chinchilla 测量（表 5、6）上拟合 k≈0.77–0.90，耦合较弱，Skaling 仅与 Chinchilla 持平，说明增益依赖数据本身是否支持耦合曲面。其二，不可约损失 E 识别微弱：内部点约束不足，其他系数可平移抵消，附录 F 的'支配对'拟合法显示 Chinchilla 的大部分外推误差其实源于 E 被扭曲，而该修正对 Skaling 收益不一致。其三，训练配方高度敏感（附录 E.2）：学习率与 batch size 按 StepLaw 设定，不同超参策略会人为抑制或放大 N-D 交互、扭曲最优比，跨数据集比较因此混杂了配方差异。我额外观察到：所有结论仅在 6.4B/512B token 量级验证，外推到万亿级仍依赖信任外层 k 的稳定性；SK-Grid 为内部数据未开源，复现受限；且 Skaling 仍假设各训练点已近最优调参，若网格存在系统性欠调，结论可能动摇。

独立分析的弱点

独立分析有几点弱点与改进方向。第一，模型仅含单一标量耦合 k，无法表达非对称或方向依赖的交互——当数据域（代码 vs 文本）或架构改变时 k 需重估；可改进为让 k 依赖数据混合权重或架构维度（如宽度/深度比），呼应作者提到的 data mixture 扩展。第二，E 与 k 的可辨识性差：两者在凹外层映射下相互吸收曲率，导致 E 在 Farseer 上近零、在 SK-Grid 上仍有 1.14 的不一致；可引入'支配对'差分目标（附录 F）作为正则，或加入远端饱和点的少量观测来锚定 E。第三，L 形采样对网格对数均匀分布敏感，若小模型与大模型的训练动力学存在相变（如涌现能力），边界点可能误导内层指数；改进方向是自适应选择锚点并用 GP 不确定性主动采样。第四，算力最优比方向（升 vs 降）依赖 $\alpha$ 与 $\beta$ 的相对大小，对拟合噪声敏感，建议给出比率的置信区间而非点估计。第五，结论未在多模态/后训练场景验证，泛化性存疑。

未来方向

作者明确指出，N-D 耦合动态很可能沿其他缩放轴同样存在，这是最直接的未来方向。具体可包括：（1）重复数据缩放（Muennighoff 等 2023 的有效 token 映射），在加性框架内加入耦合项；（2）数据混合缩放（Ye 等 2024、Shukor 等 2026），把域权重作为损失输入并考察其与 N 的耦合；（3）蒸馏缩放（Busbridge 等 2025），将 Skaling 作为教师/学生损失的底层形式并研究师生容量差中的交互。基于本文成果可延伸的方向有：将 L 形稀疏采样与贝叶斯优化/主动学习结合，进一步压缩刻画算力；把混合偏导诊断推广为通用的'缩放律形式选择'工具，自动判定某数据集该用加性还是耦合形式；在万亿级 token 与万亿参数尺度验证 k 的稳定性与外推可靠性；探索 k 与训练配方（LR、batch、数据分布）的解析关系，使耦合指数可被超参策略预测而非事后拟合。

复现评估

复现性中等偏上。有利因素：Farseer 网格与 Chinchilla 测量（Besiroglu 等 2024）均公开可下载；附录 C、E 详尽给出拟合超参（log 空间 Huber $\delta=0.05$、L-BFGS-B + 2000 次 basin-hopping 重启、autograd 梯度、参数边界表 4）与 SK-Grid 模型配置（表 7：14 种规模 134M–4.9B，dmodel 672–3264，7–34 层，Llama 3 tokenizer）及固定超参（表 8：AdamW、cosine LR、warmup 10%、序列长 2048、数据混合 60% DCLM-Edu/30% code/10% math）。不利因素：SK-Grid 为 Meta 内部数据未开源，算力从 $9\times10^{16}$ 到 $9.9\times10^{20}$ FLOPs 规模可观、普通研究者难独立复现；正文未见代码仓库链接。导数诊断 MLS/GP 的实现细节（带宽 $\sigma$、邻域数、多项式阶、核长度尺度）散落附录需对照。总体而言方法论足以在自有网格上重做实验验证趋势，但完全数值复现需相当算力与工程投入。

Skaling 定律：当 Chinchilla 的指数遇上 Kaplan 的耦合 Skaling: Chinchilla's Exponents Meet Kaplan's Coupling