测试时缩放使过度训练成为计算最优

T2缩放定律统一预训练与推理，发现应大幅过度训练小模型

前置知识

Chinchilla 缩放定律

Chinchilla 缩放定律（Hoffmann et al., 2022）描述预训练损失 $\mathcal{L}$ 如何随模型参数量 $N$ 和训练 token 数 $D$ 变化，具体形式为 $\mathcal{L}(N, D) = E + N^{-\alpha}A + D^{-\beta}B$，其中 $E$ 是不可约损失下界，$A, B, \alpha, \beta$ 是从网格实验拟合的非负参数。在给定预训练算力预算 $C_{\text{train}} \approx 6ND$ 时，Chinchilla 给出计算最优的分配为 $N^* \propto C_{\text{train}}^a$、$D^* \propto C_{\text{train}}^b$，且 $a \approx b \approx 0.5$，即模型大小和训练 token 应以相似速率随算力增长，对应约 20 token/参数的比率。

Chinchilla 定律是本文的对比基准。T2 缩放定律正是在 Chinchilla 的基础上加入测试时维度 $k$，揭示在考虑推理算力后，原本 Chinchilla 最优的 20 token/参数比率不再是最优的，因此读懂本文必须先理解 Chinchilla 的基本形式和它的局限。

pass@k 与重复采样

pass@k 是测试时缩放的核心指标，定义为对同一问题独立采样 $k$ 次、至少一次答对的概率。形式化地，若每条题目的单次正确率为 $p_i$，则 $\text{pass}@k_i = 1 - (1 - p_i)^k$；在含 $M$ 道题的基准上聚合得到 $\text{pass}@k = \mathbb{E}_{i \sim \mathcal{D}}[\text{pass}@k_i]$。重复采样（repeated sampling）则是该指标的工程实现：当一个模型被采样 $k$ 次时，等效于把推理算力预算 $C_{\text{inf}} = 2Nk$ 分配给它，$N$ 越小的模型能分配的 $k$ 越大。

pass@k 是本文建模的目标函数，$k$ 是 T2 在 Chinchilla 之外新增的第三维。理解重复采样如何在给定推理预算下让小模型有机会超过大模型，是读懂 T2 '过度训练更优' 这条结论的关键。

测试时缩放（Test-Time Scaling）

测试时缩放指在推理阶段动态增加算力以提升输出质量的方法族，主要包含两类策略：(1) 重复采样（repeated sampling）——生成多个候选并用验证器挑选或投票（Snell et al., 2024; Brown et al., 2025）；(2) 过程奖励模型与搜索（PRM-based search）——在 CoT 推理树上做 MCTS 或 BoN 等。这两类方法都让推理成本 $C_{\text{inf}} = 2Nk$ 与模型大小 $N$ 和样本数 $k$ 成正比。

本文以重复采样为切入点，把测试时缩放算力纳入缩放定律的联合优化，因此读者需要先理解'现代 LLM 部署时单次推理成本 $2N$、总成本随采样数线性增长'这一基本设定，才能体会 T2 为何要重新定义预训练最优解。

过度训练（Overtraining）

过度训练指训练 token 数远超 Chinchilla 最优比率（如远多于 20 token/参数）的预训练范式。其动机通常是用更小、更便宜的模型承担更大流量，但每样本质量低于 Chinchilla 最优大模型。现代模型家族如 Llama、Qwen 都在低端做了显著过度训练以降低单次推理成本。当配合大量重复采样时，过度训练模型有可能在 pass@k 指标上反超 Chinchilla 最优模型——这正是本文要形式化证明的现象。

过度训练是 T2 缩放定律的最终落点：本文预测'当考虑测试时缩放时，最优预训练决策会大幅移入过度训练区域'。理解什么是过度训练，以及它在小模型家族中已有的工程实践，是把握 T2 贡献的前提。

Beta 分布与 Beta 回归

Beta 分布是定义在 $(0,1)$ 区间的连续分布，可由均值 $\mu$ 和精度 $\nu$ 参数化为 $\text{Beta}(\mu\nu, (1-\mu)\nu)$，常用于建模'正确率'这类有界比例变量的分布。Beta 回归则是当响应变量服从 Beta 分布时使用的广义线性模型，通常对均值用 logit 连接、对精度用 log 连接。本文 Approach 2 用 $\mu_{N,D}=\sigma_\theta(\hat{\mathcal{L}}(N,D))$ 和 $\nu_{N,D}=\exp(\theta_3+\theta_4\hat{\mathcal{L}}(N,D))$ 把每题单次准确率建模为 Beta 分布。

Approach 2 的核心技术就是用 Beta 分布描述'任务难度分布'——即同一模型在不同题目上的正确率存在显著离散。理解 Beta 分布如何从均值和精度两个维度刻画数据离散度，是读懂 T2 准确性建模部分（公式推导到 $\text{Acc}(N,D,k) = 1 - B(\mu\nu, (1-\mu)\nu + k)/B(\mu\nu, (1-\mu)\nu)$）的数学基础。

FLOPs 预算分解

Transformer 训练和推理的算力估算遵循经典约定：预训练成本 $C_{\text{train}} \approx 6ND$（前向 $2ND$、反向 $4ND$），单次推理成本 $C_{\text{inf,one}} \approx 2N$（仅前向）。因此在 $k$ 次重复采样下总推理成本为 $C_{\text{inf}} = 2Nk$。本文将 $6ND \le C_{\text{train}}$ 与 $2Nk \le C_{\text{inf}}$ 作为联合约束，通过 $k = C_{\text{inf}}/(2N)$ 把 $k$ 消元为 $N$ 的函数。

$6ND$ 和 $2Nk$ 这两个常数是 T2 联合优化的约束边界。理解它们的物理来源和'消元 $k$'这一步是 T2 把 3 维优化问题降到 2 维预训练 $(N, D)$ 优化的关键技巧，也是理解 Figure 2/3 中 Chinchilla 与 T2 曲线差异的算力根因。

研究动机

预训练缩放定律（如 Chinchilla）和测试时缩放定律（如 Snell et al., 2024; Brown et al., 2025）的发展长期处于割裂状态：前者只考虑训练 FLOPs $6ND$、按 loss 优化，假设部署方式是 $k=1$ 的单次推理；后者只考虑推理时的 pass@k 性能提升，把已训练模型当成固定输入。Chinchilla 推出 20 token/参数的最优比率后，工程界为降低单次推理成本往往训练小得多的模型（如 Llama 3.2 1B、Qwen 2.5 0.5B），token/参数比远超 100，甚至到 1000+。但这种'过度训练'是否仍然计算最优、为什么小模型在大量重复采样下能反超大模型，一直缺乏统一的缩放律解释。具体而言：(1) Sardana et al. (2023) 扩展了 Chinchilla 但只考虑聚合单次服务量，未建模重复采样的乘法成本与性能增益；(2) Brown et al. (2025) 和 Snell et al. (2024) 用实验证明小模型配大量推理能匹敌甚至超过大模型，但把预训练模型当黑盒，没有回答'应该怎么预训练'；(3) Schaeffer et al. (2026) 从预训练算力预测 pass@k，但只做预测不做优化。现有研究里没有任何一项同时在 $C_{\text{train}} = 6ND$ 和 $C_{\text{inf}} = 2Nk$ 双预算下联合优化 $(N, D, k)$。这一空缺在 o3、DeepSeek-R1 等千次级采样已成标配的时代变得尤为关键。

本文的目标是本文的具体目标是提出 Train-to-Test (T2) 缩放定律，给出在固定预训练算力 $C_{\text{train}} = 6ND$ 和推理算力 $C_{\text{inf}} = 2Nk$ 双重预算下，对模型大小 $N$、训练 token 数 $D$、重复采样数 $k$ 三个变量的联合优化解，并回答三个递进的研究问题：RQ1——若预先知道测试时采样预算，预训练决策应否改变；RQ2——T2 的预测能否外推到过度训练区域；RQ3——这些预测在后训练（FT/SFT）之后是否仍然成立。作者希望给出明确可执行的工程建议：'如果知道推理侧的重复采样预算，应当训练更小、更过度训练的模型'，并通过在不同建模目标（NLL vs 准确率）下的一致性来增强结论的鲁棒性。

与已有工作不同的是，本文的独特切入角度在于把测试时缩放算力引入预训练优化目标，并提供两种独立的建模路径互相印证。第一种（Approach 1）把 NLL 的 Chinchilla 形式扩展为 $\hat{\mathcal{L}}(N,D,k) = E + N^{-\alpha}A + D^{-\beta}B + k^{-\gamma}G$，直接对 $k$ 加上幂律项；第二种（Approach 2）走'分布化'路线，把每题单次准确率建模为 Beta 分布后用 Beta 函数闭式表达 pass@k，避免 Jensen 不等式造成的过估。与现有工作最关键的差异是：Sardana et al. 只覆盖'单次服务量'维度，Snell/Brown 是经验观察不给出预训练建议，Schaeffer et al. 预测但不优化——只有 T2 显式把 $k$ 写成 $C_{\text{inf}}/(2N)$ 并代入 Chinchilla 的拉格朗日框架，从缩放律的角度证伪了 Chinchilla 在测试时缩放场景下的最优性。这一定律层面的统一正是对现有文献最直接的贡献。

核心方法

T2 缩放定律的整体思路是把 Chinchilla 的预训练算力约束 $C_{\text{train}} \le 6ND$ 与测试时推理约束 $C_{\text{inf}} \le 2Nk$ 联合起来，求 $(N, D, k)$ 三元组在目标函数下的最优点。直观上，原本 Chinchilla 假设'每个 query 只跑一次'，但实际部署常常跑 $k$ 次；如果固定总推理 FLOPs，更小的 $N$ 可以把 $N$ 减半省出的算力换 2 倍的 $k$，从而在 pass@k 维度上获益。技术上，作者把 $k$ 消元为 $k = C_{\text{inf}}/(2N)$，把三变量优化降为两变量预训练 $(N, D)$ 优化，然后提出两种互相独立的目标函数形式：NLL 路径（Approach 1）直接扩展 Chinchilla loss 加幂律 $k^{-\gamma}G$；准确率路径（Approach 2）通过 Beta 回归建模每题准确率分布并用 Beta 函数闭式表达 pass@k。最终把两种方法在 8 个下游任务、12 个算力级别、106+ 个 checkpoint 上的拟合结果与 Hoffmann et al. (2022) 的 70B Chinchilla 英雄模型和 20:1 工程经验值做对比，验证 T2 推荐的最优点在 token/参数比、模型大小、训练数据量三个维度上都显著偏向过度训练。

T2 与已有缩放律的本质区别在于把'重复采样数 $k$'和'推理算力 $C_{\text{inf}}$'提升为一阶优化变量，并提出两种独立的闭式目标函数互相验证。Approach 1 的形式化很简洁：把 NLL 的 Chinchilla 表达 $\hat{\mathcal{L}}(N,D) = E + N^{-\alpha}A + D^{-\beta}B$ 扩展为 $\hat{\mathcal{L}}(N,D,k) = E + N^{-\alpha}A + D^{-\beta}B + k^{-\gamma}G$，其中 $k^{-\gamma}G$ 这一项的来源是'任务难度服从 Beta 分布'假设下负对数 pass@k 的渐近行为（Brown et al., 2025; Schaeffer et al., 2025 已证）；当 $k=1$ 时该项并入常数 $E'$，退化为标准 Chinchilla。Approach 2 走另一条路：先把单次准确率均值建模为 $\mu_{N,D}=\sigma_\theta(\hat{\mathcal{L}}(N,D))$ 的 sigmoid 映射，再用 logit 和 log 连接函数把精度 $\nu_{N,D}=\exp(\theta_3+\theta_4\hat{\mathcal{L}}(N,D))$ 表达为损失函数，从而得到 $\text{Beta}(\mu\nu, (1-\mu)\nu)$ 的逐题分布；利用 Beta 函数恒等式 $\mathbb{E}[(1-X)^k] = B(a, b+k)/B(a,b)$ 推得 $\text{Acc}(N,D,k) = 1 - B(\mu\nu, (1-\mu)\nu + k) / B(\mu\nu, (1-\mu)\nu)$。两种方法在消元 $k=C_{\text{inf}}/(2N)$ 后都变成 $(N,D)$ 的二元优化，但目标函数不同：前者最小化 NLL 期望，后者最大化 pass@k 期望。两者独立拟合却得到一致结论——最优 token/参数比远超 20，最优模型大小远小于 Chinchilla 预测——这构成了 T2 强鲁棒性的核心论据。

方法步骤详情

T2 缩放定律的实现分为五个清晰步骤。第一步是任务与数据准备：选定 8 个下游任务（4 真实任务——OpenAI 版 LAMBADA、ARC-Easy、SciQ、OpenBookQA；4 合成任务——简单知识回忆、多步算术推理、常识因果推理、空间推理），每条任务约 1000 道填空或简短补全题，使用 GPT-5 和 Claude Opus 4.6 生成合成部分，所有 checkpoint 在 RefinedWeb（Penedo et al., 2023）上预训练，参数范围 5M–901M，token 范围 50M–120B。第二步是 checkpoint 网格构建：基于 Porian et al. (2024) 提供的 85 个 Chinchilla 风格 checkpoint，再训练 21 个显著过度训练的 checkpoint，共 106 个，覆盖 12 个等算力等级（$6ND$ 从 $5 \times 10^{15}$ 跨三个数量级到 $1.3 \times 10^{19}$）。第三步是 Approach 1 拟合：在 85 个 Chinchilla 范围内做最小二乘回归拟合 $E, A, B, G, \alpha, \beta, \gamma$ 七个参数（其中 $E'=E+G$ 吸收 $k=1$ 项常数），并用这组参数在 21 个过度训练 checkpoint 上做外推验证，报告相对绝对误差。第四步是 Approach 2 拟合：用 Beta 回归同时拟合 $\sigma_\theta$（带 $\theta_0, \theta_1, \theta_2$）、精度链接函数（带 $\theta_3, \theta_4$）共 5 个参数，外加 Chinchilla 的 $E, A, B, \alpha, \beta$，再按相同方式外推评估。第五步是双预算联合优化：对每个 $C_{\text{train}} = 6ND$ 等级，在固定 $C_{\text{inf}} = 2 \times 10^9$ FLOPs（约等于一次 70B Chinchilla 模型的前向成本）下对 $k = C_{\text{inf}}/(2N)$ 消元，画出 token/参数比、最优 $N$、最优 $D$ 三条曲线，与 Hoffmann et al. (2022) 的 70B Chinchilla 英雄模型和 20:1 经验值对比；再对 8 个任务、3 种后训练状态（base / FT / SFT）分别重复。

技术新颖性

T2 在三个层面具有新颖性。理论层面，第一次把 $(N, D, k)$ 三个变量放在 $C_{\text{train}}$ 和 $C_{\text{inf}}$ 双约束下做联合优化，填补了 Chinchilla（缺 $k$）和 Schaeffer et al. (2026)（缺优化）之间的空白。方法层面，提出两种独立的目标函数形式：NLL 路径用幂律 $k^{-\gamma}G$ 解析扩展 Chinchilla 损失函数（公式简洁且可退化）；准确率路径用 Beta 分布闭式表达 pass@k（$\text{Acc}(N,D,k) = 1 - B(a,b+k)/B(a,b)$），避免了朴素 sigmoid 映射的 Jensen 过估问题。实验层面，建立了 106+ checkpoint 的训练语料和 8 个任务的综合评测矩阵，跨越三个数量级算力（$5 \times 10^{15}$ 到 $1.3 \times 10^{19}$ FLOPs），是迄今最完整的 Chinchilla 风格训练矩阵之一。三方面结合后，最强论据不是单个数字，而是两种独立建模方法都指向'过度训练'这一相同结论——这种跨建模路径的一致性在缩放律研究中较为少见。T2 的相对预测误差仅 2.8%（Approach 1）和 8.4%（Approach 2），外推到 21 个过度训练 checkpoint 仍保持良好精度，验证了其作为'预报器'的有效性。

实验结果

T2 缩放定律的实验结果可分四个核心发现。第一（RQ1 回答），两种方法都预测最优预训练决策大幅偏向过度训练：在 $C_{\text{train}} = 10^{25}$ FLOPs 量级，Approach 1 推荐 token/参数比约 $10^5$（图 2 左），远高于 20:1 经验线和 70B Chinchilla 英雄模型；Approach 2 推荐更激进的过度训练。Figure 3 的等算力曲线显示，在每一个 $C_{\text{train}}$ 等级上，Chinchilla 最优点（黑线）出现在 $N$ 较大的区域，而 T2 最优点（红线）显著左移到 $N$ 较小、$k$ 较大的位置，且随 $C_{\text{train}}$ 增长单调改善；Chinchilla 在推理修正后呈现非单调（与 Snell et al., 2024 的小模型反超现象一致），T2 则保持单调。第二（RQ2 回答），用 85 个 Chinchilla checkpoint 拟合后外推到 21 个新训练的过度训练 checkpoint，Figure 4 显示 Approach 1 相对误差 2.8%、Approach 2 相对误差 8.4%，两种方法都成功外推到 16 个全新的过度训练点。Table 1 的实证比较更直接：在 $C_{\text{train}} = 2.56 \times 10^{19}$、$C_{\text{inf}} = 2 \times 10^9$ 下，最佳过度训练 base 模型在 8 个任务上全部超过 Chinchilla 最优。例如 LAMBADA OpenAI 49.90%（37M）vs 27.30%（455M），Simple Reasoning 57.90%（37M）vs 18.40%（901M），Simple Knowledge 14.60%（84M）vs 5.80%（901M），OpenBookQA 1.40%（37M）vs 0.30%（901M）——模型大小相差 5–25 倍，pass@k 反超 1.6–3.2 倍。第三（RQ3 回答），Table 2 显示后训练（FT 和 SFT）后，最佳过度训练 checkpoint 仍优于 Chinchilla 最优：在 ARC-Easy、SciQ、OpenBookQA 三个任务上 SFT 后过度训练模型分别达到 2.60%（37M）、66.80%（84M）、8.20%（37M），仍超过 Chinchilla 最优的 0.38%、57.60%、3.40%。Figure 5 的 token/参数比曲线显示，最优前沿仍偏向小模型过度训练，但相比 base 模型有所缓和（与 Springer et al., 2025 关于过度训练更难微调的发现一致）。第四，方法间一致性：Figure 2 中 Approach 1（蓝）和 Approach 2（红）虽然建模对象不同（NLL vs 准确率），在 3 个 panel（token/参数、$N$、$D$）上定性结论完全一致——这构成了论文最强的内部证据。

**Table 1**: Comparison of overtrained base models vs Chinchilla optimal pass@k, subject to Ctrain = 2.56 × 10^19 and Cinf = 2 × 10^9 FLOPs. Optimal model sizes are shown in parentheses.

**Table 2**: Post-training comparison of overtraining vs Chinchilla optimal pass@k, subject to Ctrain = 2.56 × 10^19 and Cinf = 2 × 10^9 FLOPs. Optimal model sizes are shown in parentheses.

**Figure 2**: Optimal pretraining forecasts predicted by both T2 approaches, compared to Hoffmann et al. (2022). (Left) Optimal tokens per parameter (including the 20 tokens per parameter rule of thumb used by practitioners), (Middle) Optimal model sizes. (Right) Optimal training set sizes. Both T2 approaches forecast extreme overtraining.

**Figure 3**: T2 scaling across all of our evaluation tasks. Both approaches improve monotonically over Chinchilla scaling, while Chinchilla exhibits non-monotonic scaling in Ctrain.

**Figure 4**: Extrapolating Porian et al. (2024) checkpoints to the overtraining regime.

**Figure 5**: T2 overtraining findings survive post-training. The optimal frontier is slightly subdued compared to base models, which is consistent with Springer et al. (2025).

查看结构化数据

任务	指标	本文	基线	提升
LAMBADA OpenAI	pass@k 准确率	49.90% (37M 过度训练模型)	27.30% (455M Chinchilla 最优)	绝对提升 22.6 个百分点，相对提升约 82.8%
OpenBookQA	pass@k 准确率	1.40% (37M 过度训练模型)	0.30% (901M Chinchilla 最优)	绝对提升 1.10 个百分点，相对提升约 367%
SciQ	pass@k 准确率	1.20% (37M 过度训练模型)	0.22% (611M Chinchilla 最优)	绝对提升 0.98 个百分点，相对提升约 445%
ARC-Easy	pass@k 准确率	0.14% (149M 过度训练模型)	0.07% (611M Chinchilla 最优)	绝对提升 0.07 个百分点，相对提升约 100%
Simple Knowledge (合成)	pass@k 准确率	14.60% (84M 过度训练模型)	5.80% (901M Chinchilla 最优)	绝对提升 8.8 个百分点，相对提升约 152%
Simple Reasoning (合成)	pass@k 准确率	57.90% (37M 过度训练模型)	18.40% (901M Chinchilla 最优)	绝对提升 39.5 个百分点，相对提升约 215%
Commonsense Causal (合成)	pass@k 准确率	8.10% (37M 过度训练模型)	1.40% (901M Chinchilla 最优)	绝对提升 6.7 个百分点，相对提升约 479%
Spatial Reasoning (合成)	pass@k 准确率	6.00% (37M 过度训练模型)	1.10% (901M Chinchilla 最优)	绝对提升 4.9 个百分点，相对提升约 445%
外推精度（21 个过度训练 checkpoint）	相对绝对误差 (Approach 1)	2.8%	无直接基线（Chinchilla 不外推过度训练）	在 16 个新算力点上保持可用预测精度
外推精度（21 个过度训练 checkpoint）	相对绝对误差 (Approach 2)	8.4%	无直接基线	可外推到过度训练区，相对误差 < 10%

局限与改进

作者在论文中明确承认了几个局限性。第一，方法规模有限：所有 checkpoint 都不超过 1B 参数（最大 901M），最大算力预算 $C_{\text{train}} \sim 1.3 \times 10^{19}$ FLOPs；这对验证 T2 在 o3、Gemini Thinking 级别（万亿参数）的'是否仍推荐过度训练'留下了不确定性。第二，推理成本模型简化：本文使用 $C_{\text{inf}} = 2Nk$ 估计推理 FLOPs，未考虑 KV cache、MoE 路由、长上下文注意力等真实部署中存在的工程开销；前沿模型常用 Mamba、MoE 或 speculative decoding，这些都会改变 $k$ 与 $C_{\text{inf}}$ 的线性关系。第三，任务偏简单：8 个任务都是为小 base 模型设计的填空/简答题，合成任务用 GPT-5/Claude Opus 4.6 生成，可能存在分布偏差；对人类级数学、代码竞赛等真正需要大量重复采样的任务，T2 的过度训练推荐幅度是否仍如此激进尚无答案。第四，后训练实验的完备性：Figure 5 显示 FT/SFT 后最优 token/参数比有所缓和（与 Springer et al., 2025 一致），但论文只做了 3 个真实任务、2 种后训练方法，没有覆盖 RLHF/DPO/RL 等更复杂的后训练范式。第五，未考虑训练数据多样性：T2 假设训练数据固定（RefinedWeb），但实际过度训练小模型时常配合数据课程（curriculum）或更高质量子集。第六，方法层面 Approach 2 的过估问题：朴素 sigmoid 映射会高估 pass@k（因 $1-(1-\mathbb{E}X)^k \ge \mathbb{E}[1-(1-X)^k]$ 的 Jensen 不等式），虽然论文用 Beta 分布修正了这点，但需要预先估计 Beta 分布的精度参数 $\nu$，对未见算力的外推可能引入新误差。

独立分析的弱点

从独立分析角度，T2 缩放定律还可以从以下几方面加强。第一，'推理算力 $2Nk$' 这一线性模型过于简化。前沿模型部署涉及 KV cache、speculative decoding、MoE 激活、批大小敏感等复杂因素，真实 $C_{\text{inf}}$ 与 $N, k$ 往往是非线性关系——改进方向是引入分层成本模型（如把推理算力拆成 attention 主导的 prompt 处理和 decode 主导的 token 生成两部分）。第二，'Beta 分布描述任务难度'的假设虽然有理论支撑（Brown et al., 2025; Kazdan et al., 2025），但在 SFT/RLHF 后的模型上未必成立——后训练使模型在某些子集上表现接近天花板，Beta 分布的'两端稀疏'特征会失真；改进方向是引入更灵活的分布族（如 zero-inflated Beta、Gaussian mixture Beta）。第三，外推到大模型的可靠性存疑：Figure 4 显示 Approach 1/2 在 1B 内的相对误差为 2.8%/8.4%，但 70B 以上的外推没有验证数据，幂律假设在三个数量级内有效不代表六个数量级仍成立。第四，T2 假设训练数据分布固定，没有建模数据质量与多样性维度——'训练 token 多'和'高质量 token 多'对 loss 的贡献不同。第五，本文把'推理算力预算'当作外生参数，但实际上 $C_{\text{inf}}$ 由应用 SLA 决定（如用户可接受 10s 响应），而 SLA 本身又受模型质量影响，存在反馈环。改进方向是引入 Lagrangian 框架同时优化 $C_{\text{train}}$、$C_{\text{inf}}$ 和延迟约束。第六，T2 给出的'最优 37M 模型配 $C_{\text{inf}}=2\times 10^9$' 在工业部署中会涉及大量工程权衡（如吞吐量 vs 延迟、token $/M$ vs 硬件利用率），论文未涉及这些落地考量。

未来方向

作者明确指出的未来方向有三个：(1) 在更大规模上验证 T2 推荐的过度训练方案——计划扩展到 7B+ 参数量、$10^{21}+$ FLOPs 算力预算；(2) 引入 transformer 特定的推理成本模型——考虑 KV cache、speculative decoding、MoE 激活等因素；(3) 显式建模后训练阶段在 T2 中的角色——把 SFT/DPO/RL 视为训练算力的延伸变量。基于本文成果，我建议补充以下方向：(a) 探索 T2 与 RLHF 时代的'推理时间强化学习'结合——例如 o3 类模型在训练阶段就已经优化 pass@k，T2 是否应区分 base 阶段和 RL 阶段的算力分配；(b) 引入多模态/长上下文的 $C_{\text{inf}}$ 维度——多模态推理（如视频理解）中 $2N$ 不再是合理估计，T2 需要新形式；(c) 把 T2 推广到自适应算力场景——$k$ 在推理时根据问题难度动态调整（self-consistency 用 5 次，复杂数学用 1000 次），用平均算力作为约束；(d) 在合成数据主导的训练范式（RLAIF、self-play）下重做 T2 拟合，因为数据生成本身就是推理算力的下游产物。

复现评估

T2 的复现性总体上需要中等偏高的资源门槛。论文在 GitHub 上提供了代码和拟合脚本（基于 Porian et al., 2024 的开源训练框架），使得拟合流程本身可复现；但最大的复现成本在于训练 106 个 checkpoint——尽管 checkpoint 数量低于从头训练前沿模型，但参数量跨度 5M 到 901M、token 数跨度 50M 到 120B，估算需 $1.3 \times 10^{19}$ FLOPs 总训练算力，约等于 1000+ 块 A100 满载运行数天，单一实验室需数月。8 个下游任务的实现细节（包括合成题生成 prompt、4 个合成任务的难度设置）已在论文附录 E 中给出，使评测可复现。Approach 1 的 7 个参数和 Approach 2 的 ~10 个参数都通过最小二乘/Beta 回归拟合，附录 F 提供了详细优化设置，包括学习率、收敛判据。值得注意的几个复现难点：(1) 合成任务依赖 GPT-5 和 Claude Opus 4.6 的特定 prompt，若使用未来版本 API 行为可能变化；(2) 论文 Figure 4 的外推验证要求先训练 21 个新 checkpoint 才有可比数据，单独复现需要这部分算力；(3) RefinedWeb 数据集版本可能与论文训练时不同，建议严格固定 snapshot；(4) inference cost $2Nk$ 简化模型需要按目标硬件校准（GPU 型号、batch size、sequence length 都会影响真实 FLOPs 比例）。总体上，复现 T2 的核心结论（'过度训练更优'）门槛相对较低——在任一中等模型 + 中等重复采样设置下都可定性观察；但要复现 106 checkpoint 的完整拟合则门槛较高。

测试时缩放使过度训练成为计算最优 Test-Time Scaling Makes Overtraining Compute-Optimal