规定性缩放定律揭示语言模型能力的演进规律 Prescriptive Scaling Reveals the Evolution of Language Model Capabilities
用sigmoid边界建模计算预算到下游性能的可靠映射
前置知识
缩放定律（Scaling Laws）
缩放定律是指模型性能与训练计算量（通常以 FLOPs 衡量）、参数量、数据量之间存在的可预测的经验关系。经典的 Kaplan et al.（2020）和 Hoffmann et al.（2022）的 Chinchilla 定律表明，预训练损失通常可以表示为 $\mathcal{L}(C) \propto C^{-\alpha}$ 的幂律形式，其中 $C$ 为训练计算量，$\alpha$ 为缩放指数。这些定律让从业者能够在小规模实验上预测大规模训练的结果，从而进行高效的资源分配决策。
本文的核心问题是：经典缩放定律只关注预训练损失，而本文要建立的是从计算预算到下游任务表现的规定性缩放关系，因此理解传统缩放定律的定义和局限是理解本文创新的前提。
条件分位数回归（Conditional Quantile Regression）
分位数回归是传统均值回归的推广，它不是估计条件期望 $\mathbb{E}[Y|X]$，而是估计条件分布的特定分位数 $Q_\tau(Y|X)$。对于分位数水平 $\tau \in (0,1)$，分位数回归通过最小化非对称的 pinball 损失函数 $\ell_\tau(u) = \kappa \log(1 + e^{\kappa u}) + (\tau - 1)u$ 来实现，其中 $u = y_i - \hat{y}_i$。当 $\tau$ 接近 1 时，低估被更严厉地惩罚。本文使用 $\tau = 0.98$，即估计在给定计算量下模型群体中表现最好的 2% 水平。
本文的核心方法论就是用分位数回归来估计能力边界（capability boundary），而非简单的均值趋势。理解分位数回归才能理解为什么选择这个框架以及 pinball 损失的作用。
后训练（Post-training）
后训练是指在预训练（pre-training）完成后，对基础模型进行的一系列额外训练步骤，包括指令微调（instruction tuning）、人类反馈强化学习（RLHF）、领域适应（domain adaptation）等。后训练过程可以大幅提升模型在特定下游任务上的表现，但其效果因实现方式、数据选择和训练策略的差异而高度异质。即使两个模型拥有相同的预训练计算量，不同的后训练流程可能导致它们的下游表现差距巨大。
本文的核心贡献之一就是区分预训练缩放和后训练能力边界——前者关注损失，后者关注部署时的实际表现。后训练的异质性正是本文要建模的噪声来源。
最优实验设计（Optimal Experimental Design）
最优实验设计是一套统计理论，旨在在有限的实验预算下，通过智能选择实验样本点来最大化信息增益。I-optimal 设计是最小化预测方差的积分 $\Phi_{\text{info}}(S) = -\sum_{b=1}^{B} w_b v_b(S)$，其中 $v_b(S)$ 是在第 $b$ 个 bin 中点处的预测方差。这与 D-optimal（最大化参数估计的信息矩阵行列式）和 A-optimal（最小化参数估计方差之和）等标准变体相关。
本文提出的 I-optimal 采样算法是方法的重要组成部分，能用约 20% 的评估预算恢复接近完整数据的能力边界。理解最优实验设计的原理才能理解该算法的设计动机和理论保证。
FLOPs（浮点运算次数）
FLOPs（Floating Point Operations）是衡量模型训练计算成本的标准单位。在本文中，预训练 FLOPs 被用作模型计算量的主要代理变量。文中报告的 FLOPs 值通常以对数刻度 $\log_{10}(\text{FLOPs})$ 表示，范围大约从 $10^{21}$ 到 $10^{25}$。不同规模的模型对应不同的 FLOPs 水平：例如 7B 参数模型的预训练 FLOPs 大约在 $10^{23}$ 量级，而 70B+ 参数模型在 $10^{24}$ 到 $10^{25}$ 量级。
FLOPs 是本文所有分析的核心自变量——整个规定性缩放框架就是在回答给定多少 FLOPs 能期望达到什么下游性能。理解 FLOPs 的量级和含义对解读文中的所有数字至关重要。
研究动机
现有的缩放定律（如 Kaplan et al., 2020; Hoffmann et al., 2022）主要关注预训练损失与计算量之间的关系，但它们无法回答一个实践中最常见的问题：给定一个固定的预训练计算预算 $C$，在标准后训练流程之后，模型在目标下游任务上能达到什么样的表现？现有缩放定律的局限在于：（1）预训练损失与下游准确率之间的耦合关系很弱——下游行为（如推理、指令遵循、领域问答）在相似 FLOPs 的模型间表现出巨大的异质性；（2）后训练流程（如指令微调、RLHF）和数据选择进一步复杂化了计算量与部署性能之间的关系；（3）评估伪影和时间效应也会使下游性能偏离预期。例如，在 Open LLM Leaderboard 上，相同计算量的模型在 MATH Lvl 5 任务上的分数差异可达数十个百分点，这使得基于均值的预测在工程决策中几乎无用。
本文的目标是本文的目标是建立一种规定性缩放（prescriptive scaling）框架，回答以下核心问题：给定预训练计算预算 $C$，在当前主流后训练实践下，目标基准测试上可达到的下游准确率是多少？这个映射关系有多稳定？具体而言，作者希望：（1）为六个基准测试估计高分位数（$\tau = 0.98$）能力边界作为 $\log_{10}(\text{FLOPs})$ 的函数；（2）验证这些边界在时间维度上的可靠性——即用早期模型拟合的边界能否准确预测后期发布模型的表现；（3）开发高效的采样算法，在有限的评估预算下恢复接近完整数据的能力边界。
与已有工作不同的是，本文的独特切入角度在于从规定性（prescriptive）而非描述性（descriptive）的视角研究缩放定律。传统方法建模的是均值趋势（$\mathbb{E}[Y|Z]$），而本文关注的是高条件分位数（$Q_{0.98}(Y|Z)$）——即在给定计算量下，经过后训练后现实可达的最高性能边界。这种方法论的转变有三个关键优势：（1）它天然对离群值和特定训练流程的变异具有鲁棒性；（2）它提供了一个保守但有用的决策导向映射——你至少可以期望达到这个边界；（3）它将时间作为一等公民纳入分析框架，通过在不同时期之间进行滚动训练-验证来检验边界的时变性。此外，本文首次将后训练模型（而非仅预训练模型）纳入大规模观测性缩放分析，使用了来自 Open LLM Leaderboard v1/v2 的 5000+ 现有模型和 2400+ 新评估模型（PROTEUS-2K 数据集），覆盖 2022-2026 年。
核心方法
本文的方法论可以概括为用高分位数 sigmoid 回归来估计后训练能力边界，并通过滚动时序验证其可靠性。直觉上，作者观察到：在给定的预训练计算量下，不同后训练流程产生的下游性能存在巨大方差，但这个方差的上界（即能力边界）相对稳定且可以用一个简单的单调饱和函数来描述。技术路线分为三步：首先，收集来自三个互补数据源（Open LLM Leaderboard v1、v2 以及新评估的 PROTEUS-2K）的大规模模型评估结果；其次，对每个任务拟合 $\tau = 0.98$ 分位数回归，使用 sigmoid 函数族 $q_\tau(z; \theta) = y_0 + L \cdot \sigma(a + \beta z)$ 作为能力边界的参数化形式；最后，通过将模型按时间分为四个时期（$P_1$ 到 $P_4$），在早期数据上拟合边界并在后期数据上验证其外推能力。此外，作者提出了一种基于 I-optimal 设计的自适应采样算法，在有限评估预算下高效恢复能力边界。
本文的核心创新在于用能力边界（capability boundary）替代均值趋势来刻画计算量与下游性能的关系。与已有方法的本质区别体现在三个层面：第一，传统缩放定律（如 Chinchilla）建模的是 $\mathbb{E}[\mathcal{L}|C]$（预训练损失的均值），而本文建模的是 $Q_{0.98}(Y|Z)$（后训练准确率的 98% 分位数），这是一个完全不同的统计量，直接面向工程决策；第二，sigmoid 参数化 $q_\tau(z; \theta) = y_0 + L \cdot \sigma(a + \beta z)$ 的选择并非随意——它同时满足单调性（$\beta \geq 0$，更大的计算量不会降低能力边界）、饱和性（预测值自然限制在 $[0, 1]$ 区间内）和表达力（四个参数足以捕捉上升和渐近行为）；第三，时序验证设计是独一无二的——作者不是简单地在全部数据上拟合，而是将数据按时间划分为四个时期 $P_1$（$\leq$ 2024-06）、$P_2$（2024-07~09）、$P_3$（2024-10~12）、$P_4$（2025-01~03），在 $P_t$ 上训练、在 $P_{t+1}$ 上测试，从而系统性地检验边界的时变性。
方法步骤详情
方法的具体步骤如下：第一步，数据收集与预处理。从三个来源收集模型评估数据：Open LLM Leaderboard v1（数千模型，六个基准测试）、v2（数千模型，同一评估管线）、以及 PROTEUS-2K（新评估的 2400 个开放权重模型，覆盖 2024 年 4 月至 2026 年 3 月）。每个观测 $i$ 包括预训练计算量 $C_i$（FLOPs）、对数计算量 $z_i = \log_{10}(C_i)$ 以及基准测试得分 $y_i \in [0,1]$。第二步，能力边界估计。对每个任务和时期，拟合 $\tau = 0.98$ 的分位数回归，目标函数为平滑 pinball 损失：$\mathcal{L}(\theta) = \sum_{i \in P_t} \ell_\tau(y_i - \hat{y}_i) + \lambda \Omega(\theta)$，其中 $\ell_\tau(u) = \kappa \log(1 + e^{\kappa u}) + (\tau - 1)u$，$\kappa = 50$，$\lambda = 10^{-3}$。sigmoid 参数化为 $\hat{y}_i = q_\tau(z_i; \theta) = y_0 + L \cdot \sigma(a + \beta z_i)$，约束 $\beta \geq 0$（单调性）。第三步，时序滚动验证。对 $t \in \{1, 2, 3\}$，在时期 $P_t$ 上拟合边界，在 $P_{t+1}$ 上评估，使用两个指标：带符号覆盖误差（$\hat{\tau}_b - \tau$）和 OOD pinball 损失 $\rho_\tau$。第四步，I-optimal 采样。定义 sigmoid 边界的信息矩阵 $M(S) = \sum_{i \in S} j(z_i; \theta_0) j(z_i; \theta_0)^\top$，其中 $j(z; \theta_0)$ 为 Jacobian 向量。预测方差为 $v_b(S) \approx j(\tilde{z}_b; \theta_0)^\top \Sigma_\theta(S) j(\tilde{z}_b; \theta_0)$。最终目标函数为 $\Phi_\lambda(S_t) = \Phi_{\text{info}}(S_t) + \lambda \Phi_{\text{bal}}(S_t)$，通过贪婪启发式在预算约束 $\sum_{i \in S_t} c_i \leq U_t$ 下近似最大化。
技术新颖性
本文的技术新颖性体现在多个层面。首先，规定性缩放这个概念本身就是全新的——它将缩放定律的焦点从描述已观察到的趋势转移到预测实际可达到的性能。这不是语义上的修辞，而是统计目标的根本改变：从条件均值到条件高分位数。其次，sigmoid 作为能力边界函数的选择经过了严格的比较验证（表 2 显示其与更灵活的 I-spline 在 ID pinball 损失上相当，但 OOD 校准误差更优），且它具有明确的工程意义——参数 $L$ 表示能力边界距基线的最大提升，$\beta$ 表示随计算量增长的速度，饱和点自然反映了任务的天花板。第三，PROTEUS-2K 数据集是首个覆盖 Open LLM Leaderboard 退役后（2025-03-13 之后）新发布模型的大规模评估集，填补了评估生态系统的空白。第四，I-optimal 采样算法将最优实验设计理论（传统的 $D$-optimal、$A$-optimal 等）创造性地应用于模型评估的场景，实现了用约 20% 的评估预算恢复接近完整数据的能力边界，这对大规模基准测试的高效运营具有直接的实用价值。最后，时序验证框架——通过拟合早期模型、验证后期模型来检验边界的稳定性——是评估缩放定律预测能力的一种新颖且严格的方法论贡献。
实验结果
本文的核心实验结果包含五个关键发现。第一，sigmoid 能力边界对后训练性能的拟合效果优于其他候选函数族。如表 2 所示，sigmoid 在 OOD 校准误差上达到 2.21%，优于 I-spline（2.41%）、binwise（2.81%）和常数基线（3.60%），同时在 ID pinball 损失上与更灵活的 I-spline 相当（$4.08 \times 10^{-3}$ vs $4.00 \times 10^{-3}$）。第二，时序稳定性分析表明，六个基准测试中有四个（BBH、GPQA、MMLU-PRO、MUSR）的能力边界在不同时间区间之间保持稳定，OOD 覆盖误差在 $\pm 2\%$ 以内。主要的偏差出现在 MATH Lvl 5 和 IFEval 上，其中早期切片出现欠覆盖，表明能力边界随时间推移在持续提升。第三，预训练与后训练之间的差距具有任务依赖性：在知识密集型基准（如 MMLU-PRO）上，预训练模型已经接近后训练边界；而在推理和指令遵循任务（如 MATH Lvl 5、IFEval）上，预训练模型远低于后训练边界。第四，在 $10^{24}$ FLOPs 预算下，各基准的估计可达准确率为：IFEval 0.828、BBH 0.700、MATH Lvl 5 0.539、GPQA 0.424、MUSR 0.535、MMLU-PRO 0.563。第五，I-optimal 采样算法在约 20% 的评估预算下即可恢复接近完整数据的能力边界，在 GPQA 和 MUSR 等任务上低至 5% 的预算即可实现。PROTEUS-2K 的外部有效性评估表明，排行榜拟合的边界继续上界大多数新评估模型，但 MATH Lvl 5 的边界在高计算端持续推进，新模型族（Qwen3、Gemma-3、GPT-OSS）推动了能力边界的上移。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| IFEval（指令遵循） | 0.98-quantile sigmoid 边界 @ $10^{24}$ FLOPs | 0.828 | Constant baseline OOD 校准误差 3.60% | sigmoid OOD 校准误差 2.21%，较常数基线降低 38.6% |
| BBH（大基准推理） | 0.98-quantile sigmoid 边界 @ $10^{24}$ FLOPs | 0.700 | Binwise OOD 校准误差 2.81% | sigmoid OOD 校准误差 2.21%，时序覆盖误差在 $\pm 2\%$ 以内 |
| MATH Lvl 5（数学推理） | 0.98-quantile sigmoid 边界 @ $10^{24}$ FLOPs | 0.539 | 13B 模型在晚期可达 0.94（表 3） | 边界随时间持续提升，小模型可达边界从 0.03 升至 0.94 |
| GPQA（研究生水平问答） | 0.98-quantile sigmoid 边界 @ $10^{24}$ FLOPs | 0.424 | Constant baseline ID pinball loss $5.35 \times 10^{-3}$ | sigmoid ID pinball loss $4.08 \times 10^{-3}$，降低 23.7% |
| MUSR（多步推理） | 0.98-quantile sigmoid 边界 @ $10^{24}$ FLOPs | 0.535 | 5% 预算下 I-optimal 采样 | 5% 评估预算即可恢复接近完整数据的能力边界 |
| MMLU-PRO（知识密集型） | 0.98-quantile sigmoid 边界 @ $10^{24}$ FLOPs | 0.563 | 13B 模型晚期可达 0.52（表 3） | 大模型仍保持持久优势，知识型能力仍受限于规模 |
局限与改进
本文存在几个值得讨论的局限性。第一，观测性研究的根本限制：本文使用的是观察到的模型群体，而非随机对照实验。如果存在一个未被充分代表的模型族或训练方案在固定计算量下持续获得更高分数，那么真实的能力边界可能高于本文的估计。作者坦率承认了这一点，并将能力边界定位为保守的、决策导向的映射。第二，计算量作为唯一条件变量的简化：能力边界仅以预训练 FLOPs 为条件，但实际上数据质量、架构选择、训练技巧等因素同样重要。作者选择计算量是出于实用性考虑——它是最一致报告且最直接可控的资源——但这也意味着边界可能对特定架构族或数据组合不够精确。第三，$\tau = 0.98$ 的选择是启发式的：虽然作者进行了敏感性分析（附录 G），但最优分位数水平可能因任务和应用场景而异。第四，边界估计对样本量的依赖：在计算量分布的两端（极低和极高 FLOPs），可用模型数量较少，边界估计的不确定性增加。第五，PROTEUS-2K 的评估管线一致性：虽然作者遵循了 Open LLM Leaderboard 的评估流程，但新旧评估之间的潜在不一致可能引入噪声。第六，六个基准测试主要集中在英语任务上，对其他语言和模态的泛化能力尚未验证。此外，作者自身观察到的一个有趣但未充分讨论的点是：MATH Lvl 5 上的边界随时间持续提升，这可能预示着能力边界本身就是一个移动目标，而非静态函数。
独立分析的弱点
本文有几个值得深入分析的弱点。首先，sigmoid 参数化的表达能力有限：虽然 sigmoid 在六个任务上表现良好，但它强制所有任务遵循相同的函数形状（单调饱和），无法捕捉可能出现的非单调行为或振荡模式。当未来出现新的训练范式（如推理时间缩放）时，sigmoid 可能不再适用。改进方向是发展自适应的函数族选择机制，根据数据特征自动选择最合适的边界形状。其次，单变量条件化（仅用 FLOPs）过于粗糙：相同 FLOPs 的模型在不同架构（Transformer vs. 状态空间模型）和不同数据混合下可能表现出系统性差异。改进方向是引入多变量条件化，将架构类型、数据量、训练时间等作为协变量纳入分位数回归。第三，I-optimal 采样算法的计算成本：算法需要计算所有候选模型的 Jacobian 和信息矩阵，在候选集很大时可能成为瓶颈。改进方向是开发基于稀疏近似或随机采样的可扩展版本。第四，时序验证的切分粒度较粗（按季度划分），可能掩盖了更细粒度的时间效应。第五，缺乏与预训练损失的直接桥接：本文虽然比较了预训练和后训练的缩放行为，但没有建立从预训练损失到后训练能力边界的显式映射，这限制了其实用性——从业者通常更容易获得预训练损失而非完整评估结果。
未来方向
基于本文的框架，有多个有前景的未来研究方向。作者明确提出的方向包括：（1）扩展到更多基准测试和语言——当前仅覆盖六个英语任务，将其扩展到多语言和多模态评估将大幅提升实用性；（2）将能力边界与预训练损失直接桥接——建立从预训练损失到后训练能力边界 $Q_\tau(Y|Z)$ 的两阶段映射，使从业者能从训练损失直接预测下游能力。基于本文成果可延伸的方向包括：（3）动态能力边界——将边界建模为时间的函数 $q_\tau(z, t)$，而非在不同时期分别拟合，从而捕捉边界随时间漂移的规律；（4）多任务联合建模——利用基准测试之间的相关性（文中提到的 PCA 分析显示前三个主成分解释约 95% 的方差），建立共享的能力边界模型；（5）架构感知的缩放定律——将架构类型（如 MoE vs. Dense）作为条件变量，研究不同架构家族是否遵循不同的能力边界；（6）推理时间缩放的纳入——随着推理时间计算成为新的缩放维度，将其整合到规定性缩放框架中将是一个重要扩展；（7）实时边界监控系统——利用 I-optimal 采样构建高效的新模型评估管线，持续更新能力边界估计。
复现评估
本文在可复现性方面做得相当出色。代码和数据均已开源：论文明确提到了发布 PROTEUS-2K 数据集和代码。评估管线基于 Open LLM Leaderboard 的标准流程，这意味着结果可以通过公开的评估基础设施进行复现。数据规模方面，本文使用了约 5000 个已有模型和 2400 个新评估模型的评估结果，覆盖 2022-2026 年六个基准测试。计算需求方面，核心的分位数回归拟合本身计算量不大（四个参数的优化问题），但 PROTEUS-2K 的 2400 个模型评估需要显著的 GPU 资源（文中提到评估成本与模型参数量大致线性相关）。I-optimal 采样算法的实现细节在附录 J 中提供了完整描述，使用标准的贪婪启发式算法，实现难度适中。总体而言，对于拥有标准 GPU 集群的研究者，本文的核心分析（边界拟合和时序验证）可以在合理时间内复现；但完整的 PROTEUS-2K 评估可能需要较大的计算资源投入。
论文图表
