用单一算法训练基础模型：预训练、中期训练、SFT 与强化学习的统一似然框架 Training Foundation Models with a Single Algorithm
RL 也是最大似然拟合：全流程统一为单一算法，靠数据混合决定学什么与何时学
前置知识
最大似然估计（MLE）
通过最小化负对数似然 $\mathcal{L}(\theta;\rho\circ\mu)=-\mathbb{E}_{x\sim\rho}\mathbb{E}_{y\sim\mu(\cdot|x)}[\log\pi_\theta(y|x)]$ 把模型拟合到训练分布，它与前向 KL 散度 $\mathrm{KL}(\mu\|\pi_\theta)$ 只差一个与参数无关的常数，因此梯度完全相同。预训练、中期训练和 SFT 本质上都是对不同数据分布做 MLE，只是语料和 prompt 形式不同。
本文的核心论证是把 RL 也化归为这种似然拟合，从而让四个阶段共享同一损失，读懂统一目标函数必须先掌握 MLE。
成功条件分布
对二值奖励任务，$\pi_\theta^+(y|x):=\pi_\theta(y|x,r=1)$ 表示模型在 prompt $x$ 上答对时的补全分布，$p_\theta(x)=\mathbb{E}_{y\sim\pi_\theta}[r(x,y)]$ 是答对概率。MaxRL 的关键恒等式是其梯度等于对该分布做似然拟合：$\nabla_\theta\log p_\theta(x)=\mathbb{E}_{y\sim\pi_\theta^+}[\nabla_\theta\log\pi_\theta(y|x)]$。
这是把策略梯度 RL 写进似然框架的桥梁，统一训练中 RL 数据源的目标分布正是它（或其变体 $\nu^+$）。
MaxRL
Tajwar 等（2026）提出的 RL 算法，把策略优化重写为对当前策略成功条件分布 $\pi_{\theta_t}^+$ 的一步固定 MLE。与 REINFORCE 不同，它保留原始 prompt 分布 $\rho$，而 REINFORCE 的有效 prompt 分布按答对概率加权为 $\propto\rho(x)p_{\theta_t}(x)$，偏向更易解的题目。
统一框架直接建立在 MaxRL 的似然解释之上，受控与真实实验的 baseline 也都用 MaxRL，是理解本文理论起点和对照设置的钥匙。
REINFORCE 与策略梯度
直接对期望回报 $J(\theta)=\mathbb{E}_{x\sim\rho,y\sim\pi_\theta}[r(x,y)]$ 做蒙特卡洛估计的 RL 算法，策略梯度为 $\mathbb{E}[r(x,y)\nabla_\theta\log\pi_\theta(y|x)]$。PPO、GRPO 等可视为在其上加入优势估计、奖励归一化和更新约束。统一框架证明 REINFORCE 与 MaxRL 拟合相同目标、只是有效 prompt 分布不同。
论文用统一框架精确解释并实验对比了 REINFORCE 与 MaxRL 在 Math 准确率与覆盖率上的差异，这是 Table 2 与消融实验的核心内容。
pass@k（准确率与覆盖率）
对每个 held-out 问题采样 $k$ 次回答：pass@1（准确率）衡量单次作答正确率，反映可靠性；pass@16 或 pass@32（覆盖率）衡量 $k$ 次中至少一次正确的比例，反映能力上限与探索空间。二者可以相互独立地升降。
所有主实验都以 pass@1 与 pass@k 报告，'混合数据下准确率与覆盖率的权衡'正是全文最重要的经验发现之一。
异步 actor-learner 训练
生成与优化跑在不同计算资源上：生成器用近期权重快照 $\pi_{\theta_s}$ 采样 RL 数据并 append 到共享数据 buffer，训练器从 buffer 采样做梯度更新，每 $k$ 次更新发布一次权重供生成器加载。策略陈旧度由同步频率 $k$ 控制，这是 AReaL、PipelineRL 等系统的通用设计。
统一训练系统（Figure 2）依赖该架构让静态语料与新生成的 RL 数据在同一个 trainer 里自然混合，是方法落地的工程基础。
midtraining（中期训练）
介于预训练与 SFT/RL 之间的阶段，在精选语料（推理示范、数学、代码、推理轨迹等）上继续做似然训练，为后续 RL 提供可被强化的技能。其数据量、引入时机与混合方式会显著影响 RL 后的任务性能与通用能力保留。
本文实验的核心变量就是'中期数据该在哪个阶段、以什么比例、按什么调度混入训练'，等于对这一概念做系统性科学研究。
研究动机
基础模型训练被固化为四个阶段：预训练、中期训练、监督微调（SFT）和强化学习（RL），每个阶段既换数据又换算法，并沉淀出各自独立的训练配方与专用基础设施（如 DeepSeek-AI 2025、OLMo 2026 的流水线）。这带来三个具体问题。其一，科学认知被割裂：预训练有成熟的 scaling law（Kaplan 2020、Hoffmann 2022），RL 侧另有独立的 scaling 研究（Nimmaturi 2026、Khatri 2026、Tan 2026），而早期训练决策如何影响后续学习只能逐阶段经验性地研究（Hernandez 2021、Isik 2025、Runwal 2026、Shen 2026），无法用统一的判据联合优化；例如'中期数据加多少对 RL 之后泛化最好'这类问题缺乏公共框架来回答。其二，工程上静态语料与 RL 生成数据难以在同一训练器中共存，想兼顾任务学习与能力保留只能外挂手段，例如 InstructGPT 在 PPO 目标里加一个系数需要调参的预训练似然项。其三，数据配比、引入时机、算力分配这些本质同源的设计决策被拆散到各阶段分别拍板，只能按阶段局部指标而非最终模型能力来评判好坏。
本文的目标是本文的目标是证明这种算法层面的阶段分离并非本质必然，并把基础模型的整个训练生命周期化归为一个统一的训练问题：学习算法从头到尾固定不变，剩下的设计自由度只有'训练哪些数据、按什么比例混合、在什么时机引入'。具体分三层：理论上，把二值奖励及 $[0,1]$ 归一化奖励下的 RL 目标（MaxRL、REINFORCE、TailRL）都写成最大似然拟合，与预训练、中期训练、SFT 共享同一形式的损失 $\mathcal{L}(\theta;q_t)=-\mathbb{E}_{(x,y)\sim q_t}[\log\pi_\theta(y|x)]$，分阶段训练退化为混合权重逐段突变的特例；系统上，构建一个用统一 token 加权数据格式同时混合静态语料与 RL 生成数据的 trainer，支持异步生成与优化；实证上，在受控推理任务（124M 模型从零训练）和真实数学 RL（0.76B 模型）中验证统一训练能改善准确率-算力权衡、扩大任务覆盖、更好地保留通用能力，并为持续学习提供更强起点，最终为'训练轨迹的科学'奠定统一框架。
与已有工作不同的是，独特切入角度在于：不从'如何改进某个 RL 或 SFT 算法'入手，而是先证明它们在数学上是同一个算法。作者基于 MaxRL（Tajwar 2026）的似然解释，把它推广到任意固定生成策略 $\nu$——拟合其成功条件分布 $\nu^+(\cdot|x)=\nu(\cdot|x,r=1)$——并精确刻画其它目标在似然框架中的位置（REINFORCE 的有效 prompt 分布 $\propto\rho(x)p_{\theta_t}(x)$，TailRL 的连续奖励目标 $\int_0^1\pi_{\theta_t}(\cdot|x,r>\tau)d\tau$），从而把静态数据与生成数据放进同一个 token 加权似然损失。与已有工作的本质区别有三：混合 offline/online RL 与 STaR、ReST-EM、RAFT 等自训练方法要么单独加权监督项（系数需扫描调参）、要么分两阶段迭代；本文让源之间的相对权重直接等于数据配比 $\lambda_{s,t}$，生成与优化可异步解耦而不破坏训练规则；数据组成、时机、复用与算力分配第一次能在同一框架下被联合研究和评判。
核心方法
直觉上，预训练、中期训练和 SFT 本来就是最大似然估计，只是数据分布不同；缺的只是把 RL 也写成似然拟合。MaxRL 指出，二值奖励下的策略优化等价于对当前策略的成功条件分布 $\pi_{\theta_t}^+(y|x)$ 做一次目标固定的 MLE。于是每个数据源都可表示为二元组（prompt 分布 $\rho_{s,t}$，目标分布 $\mu_{s,t}$）：预训练与中期训练用空 prompt 拟合语料，SFT 拟合示范补全，RL 拟合 $\pi_{\theta_t}^+$（on-policy MaxRL）或任意生成器的 $\nu^+$。给定混合权重 $\lambda_{s,t}\ge 0$（$\sum_s\lambda_{s,t}=1$），统一训练目标是混合分布 $q_t=\sum_s\lambda_{s,t}(\rho_{s,t}\circ\mu_{s,t})$ 上的负对数似然。实现上采用统一的 token 级加权数据格式：每个样本是 $(z,w)$，即 token 序列与逐 token 权重；RL 数据中正确回答的 response token 权重设为 $A=1/\hat{p}$（$\hat{p}$ 为该 prompt 的采样通过率）。配合共享数据 buffer 与异步 generator-trainer 架构，静态语料与新生成的 RL 数据在同一 trainer、同一损失中混合训练。
核心创新是'算法固定、数据演化'：学习规则从头到尾不变，所有设计自由度被迁移到数据分布 $q_t$ 的演化上。与已有方法的本质区别有三点。第一，RL 与 SFT 的融合方式：以往（如 InstructGPT）在 RL 损失外加一个系数可调的监督项，系数依赖扫描调参；统一训练中各源的相对权重直接等于 token 配比 $\lambda_{s,t}$，共享同一个按 token 数归一化的损失，无需额外系数——Appendix C.9 证明这比'分别归一化再乘固定系数'更有竞争力且更省调参。第二，生成与优化解耦：任何生成策略 $\nu$ 的成功样本都是合法似然目标 $\nu^+$，因此生成器可以用旧权重快照异步产数据；有限采样 $N$ 不改变目标分布，只通过 prompt 权重 $1-(1-p_\nu(x))^N$ 降低生成策略很少能解出的题目的权重，$N=1$ 恰好退化为 REINFORCE，$N\to\infty$ 趋近 MaxRL。第三，分阶段训练成为混合权重突变的特例：阶段可以重叠、比例可以渐变（衰减/增长/中途归零），'何时引入何种数据'由此变成可系统实验的科学变量。
方法步骤详情
实施分五步。第一步统一表示：把每个数据源写成 $(\rho_{s,t},\mu_{s,t})$（Table 1）——预训练/中期训练 prompt 为空、目标分别为语料 $\mu_{\rm pre}$/$\mu_{\rm mid}$；SFT 的 prompt 来自 $\rho_{\rm sft}$、目标为示范 token；RL 的 prompt 来自 $\rho_{\rm rl}$、目标为 $\pi_{\theta_t}^+$ 或外部生成器的 $\nu^+$。第二步统一损失：预训练/中期 token 权重为 1，SFT 示范 token 权重 1、prompt token 权重 0，RL 正确回答 response token 权重 $A=1/\hat{p}$、错误回答为 0；损失为加权交叉熵 $\hat{\mathcal{L}}(\theta;B)=-\frac{1}{T_B}\sum_{(z,w)\in B}\sum_{\ell=1}^{L}w_\ell\log\pi_\theta(z_\ell|z_{<\ell})$，$T_B$ 是批内非 prompt token 总数。第三步数据生成：每个 prompt 从近期权重快照采 $N$ 个回答，估计通过率 $\hat{p}=\frac{1}{N}\sum_i r(x,y_i)$，仅保留正确回答并赋权 $A=1/\hat{p}$，全部答错则该 prompt 零更新。第四步数据混合：按目标 token 比例 $f_s$ 以正比于 $f_s/T_s$ 的速率从共享 buffer 采样（$T_s$ 为该源平均 token 数），比例可恒定或按调度变化。第五步异步训练：生成器把完成批次 append 进 buffer，trainer 采样更新并每 $k$ 次发布权重，生成与优化并行推进。
技术新颖性
技术新颖性体现在四个层面。理论统一：Table 2 显示同一似然框架可精确刻画 MaxRL（目标 $\pi_{\theta_t}^+$、有效 prompt 为 $\rho$）、REINFORCE（同目标但有效 prompt $\propto\rho(x)p_{\theta_t}(x)$，天然偏向更易解的 prompt）、TailRL（连续奖励下目标为 $\int_0^1\pi_{\theta_t}(\cdot|x,r>\tau)d\tau$）及 $[0,1]$ 奖励 REINFORCE（有效 prompt $\propto\rho(x)\mathbb{E}_y[r(x,y)]$），把'选 RL 算法'化归为'选目标分布与有效 prompt 分布'。基础设施统一：一种数据格式（逐 token 权重）、一个加权交叉熵损失、一个 trainer 同时服务四个阶段，替代为每阶段单独开发的配方。实验设计新颖：先在 124M 从零训练、难度可控的谜题环境精确操纵数据组成与调度，再用 0.76B 模型与真实异构语料（web、数学、代码、推理轨迹）验证外部效度，并设计 0% 混合消融隔离基础设施因素。结果概念新颖：证明静态数据复用（对同一中期语料做 2-4 epochs）在统一训练中安全有益，而分阶段训练对中期数据量高度敏感；预训练阶段混入推理数据可大幅缓解灾难性遗忘。
实验结果
五组实验的关键数字如下。（1）受控全流程（124M 模型、20B token 预训练语料、510M token 中期语料，Base 6000/Extended 12000 次 RL 更新，结果取两个种子平均）：最优 unified 配置在 Base、Extended 和 Extended generalization 的 pass@1 上均超过最优 staged；预训练期间混入中期 token 越多越好（最高 2.14B），表现最好的两个配置相当于对中期语料做 2 和 4 epochs 复用，而 staged 一旦超出最优中期预算反而降低最终任务准确率。（2）算力匹配（Figure 5，累计约 1.5-2.1×10^19 FLOPs，含预训练/中期/RL）：准确率上 unified 在最大与最小算力预算下 compute-optimal，staged 在中等预算占优；pass@16 覆盖率上 staged 整体更优；Extended generalization 上 unified 几乎在所有算力档同时拿到最佳准确率与覆盖率。（3）能力保留（Figure 6）：RL 前 unified 初始化的 held-out 预训练 loss 保持在约 2.536-2.542 nats/token、接近仅预训练模型，五个通用基准均值同样接近；而保留最好的 staged 配置（1 epoch、峰值学习率 5×10^-5）两项指标都明显更差，最终 RL 准确率最高的 staged 配置保留更差。（4）真实世界（0.76B 模型、Math12K 数学 RL、240M token 异构语料、12000 updates）：中期混合比例 0-5% 下 Math（MATH-500+GSM8K 均值）pass@1 几乎不变，5% 时 coverage 最高；所有非零比例使 held-out 语料 loss 低于 base 模型（staged 反而升高），SciQ 随混合上升，Coding pass@1 略降但 pass@32 coverage 高于 base 与 staged。（5）调度与持续学习（Figures 8-9）：平均 0.5% 混合下，中途归零的 half annealing（峰值 2%）改善 Coding 与 SciQ 准确率、Math 不变；数学训练后再做 4000 步 coding RL，所有 unified 初始模型在 HumanEval+ 与 MBPP+ 的最终 pass@1 超过 staged，5% 模型在四项指标上全部最佳。重要消融：2% 混合下 REINFORCE 的 Math 准确率高于 MaxRL 但 coverage 更低，且 SciQ 与 ARC-Challenge 更高；扫描 KL 惩罚无法同时复现 unified 的高 Math 性能、低语料 loss 与高 SciQ/MMLU。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 受控推理任务 Base（Reasoning Gym 风格谜题，124M 模型从零训练，6000 次 RL 更新） | pass@1 / pass@16（held-out，两种子平均） | 最优 unified 配置超过最优 staged；预训练混入中期 token 最高 2.14B，等效复用 2-4 epochs | 最优 staged（预训练→中期→MaxRL 顺序训练，六种配置取最优） | 任务准确率更高，且对中期数据量远不如 staged 敏感 |
| Extended generalization（评估大于中期与 RL 所见尺寸的谜题） | pass@1 / pass@16 | 几乎在所有算力预算（约 1.6-2.1×10^19 FLOPs）下取得最佳准确率与覆盖率 | staged | 泛化优势在所有指标上最显著，是 unified 最稳定的胜场 |
| 预训练能力保留（RL 前评估初始化质量） | held-out 预训练 loss（nats/token）+ 五个通用基准均值 | 约 2.536-2.542 nats/token，基准分接近 pretrain-only | 保留最好的 staged 配置（1 epoch 中期、峰值学习率 5×10^-5） | loss 与基准分显著更优，预训练混入中期数据大幅缓解遗忘 |
| 数学 RL（0.76B 模型，Math12K，12000 updates） | Math = MATH-500 与 GSM8K 的 pass@1 / pass@16 平均 | 中期混合 0-5% 下 pass@1 基本持平，5% 混合 coverage 最高 | staged（240M 语料先做中期再 RL） | 准确率持平、覆盖率更高，且 held-out 语料 loss 低于 base（staged 升高） |
| 代码与知识保留（同上模型） | HumanEval+/MBPP+ pass@1、pass@32；SciQ 准确率；held-out loss 变化 | Coding coverage 高于 base 与 staged，SciQ 随混合比例上升，loss 随混合下降 | staged 与 0% 混合消融 | 保留更好；代价是 Coding pass@1 随混合略降（准确率-覆盖权衡） |
| 持续学习：数学训练后接 coding RL（4000 updates） | HumanEval+ 与 MBPP+ 的 pass@1 / pass@16 | 所有 unified 初始模型最终 pass@1 超过 staged，5% 混合模型四项指标全部最佳 | staged 数学模型（同一 coding RL 配置） | 初始准确率更低但学习终点更高，证明统一训练是更好的持续学习起点 |
局限与改进
作者明确承认的局限：其一，实验没有找到普适最优的混合比例与调度，准确率、覆盖率、保留之间的权衡依任务而定（例如 half annealing 提升 Coding 与 SciQ 准确率，却削弱了 held-out 语料 loss 的下降幅度）；其二，算力分配研究只刻画了已评估的配置，没有建立有预测力的 scaling law；其三，规模小——受控实验 124M、真实实验 0.76B，多数 run 一次只优化单一 RL 任务，向更大模型和多任务竞争动态外推未验证；其四，阶段概念未被完全消除，下游向新任务适配仍需要一个独立训练阶段，只能靠持续学习实验初步缓解；其五，优化器超参应如何随数据调度与混合联动变化（引用 Wen 2026）留作未来工作。我自己的观察：异步架构下生成器用旧权重快照产生 $\nu^+$ 目标，严格说偏离当前策略的 MaxRL 梯度，论文仅在 Appendix D.6 报告 staleness 与吞吐，缺少'陈旧度对最终质量影响'的系统消融；实验奖励限于可验证的二值及 $[0,1]$ 归一化奖励，人类偏好数据（RM 分数、DPO 类目标）能否纳入同一似然形式未探讨；真实实验中 Coding pass@1 随混合下降的代价并没有被真正解决，只是靠调度缓解；Table 2 中 $[0,1]$ 奖励 REINFORCE 的有效 prompt 分布只给了推导（Appendix F），没有对应实验。
独立分析的弱点
独立分析出的弱点及改进方向。（1）语料构成敏感：Appendix D.4 显示从中期语料移除 designated code 源仅在 constant 混合下改善 Coding、在 annealing 下几乎无效，换成验证过的代码样本也只提升 coverage 不提升 accuracy，说明收益高度依赖人工语料设计——可引入自动配比优化（DoReMi/ODM 式的分组权重学习）或以多任务 held-out 损失为信号的在线混合控制器。（2）难题欠采样：有限采样 $N$ 下 prompt 权重 $1-(1-p_\nu(x))^N$ 使低通过率难题的贡献缩水，可能限制能力上限——可对低 $p$ prompt 做课程加权或自适应增大 $N$。（3）任务准确率与保留的权衡未被消除：真实实验中 Coding pass@1 随混合下降，提示按 token 归一化的共享损失对不同源的梯度尺度未必对齐——可研究逐源学习率或梯度范数自动校准，同时保持'权重来自数据配比'的语义。（4）异步陈旧度风险：生成与优化解耦后目标分布 $\nu^+$ 来自过期策略，长陈旧度下的偏差累积未量化——可加入 staleness 上限（AReaL 式版本数约束）并做系统消融。（5）规模与多任务空白：124M/0.76B、单任务 RL 的结论需在更大模型、多任务混合奖励和偏好数据下复验，否则工程团队难以放心替换现有流水线。
未来方向
作者提出的方向：系统化地选择数据混合与调度的原则，把准确率-覆盖率-保留的权衡变成可优化的目标；把算力分配研究扩展到不同模型规模与数据预算，建立对完整训练轨迹有预测力的 scaling law；研究优化方法（学习率、归一化、批大小）应如何随数据调度与混合联动变化（Wen 2026）；多任务联合 RL 中相互竞争的学习动态与不均衡进展；更长的持续任务序列下，统一训练起点优势与能力保留如何相互作用。基于本文成果可延伸：把偏好优化（DPO/KTO）与 RM 标量奖励也纳入似然目标谱系，按 Table 2 的方式写出各自的 target 与有效 prompt 分布，实现'预训练到偏好对齐全流程单一算法'；用统一框架研究'复用旧语料 vs 生成新数据'的最优算力分配，有望给出 RL 版的 Chinchilla 定律；把混合权重 $\lambda_{s,t}$ 作为可微变量或 bandit 动作在线学习，实现自动课程；在论文公布的 Website/GitHub/HuggingFace 开源基础上，将统一 trainer 接入现有大规模流水线，验证保留优势与泛化优势在百亿级 token 预算下是否保持。
复现评估
复现条件总体友好。论文首页给出 Website、GitHub 与 Hugging Face 入口，宣布开源统一训练系统；附录提供较完整的细节：Appendix B 给出谜题构造方法与示例，Appendix A.1/A.2 给出混合与损失权重约定、算力估计，Appendix C/D 按实验逐项给出训练与评估配置（Base 6000、Extended 12000 次 RL 更新，RL 结果为两个训练种子平均，算力含两种子估计）。算力门槛：受控实验为 124M 模型 + 20B token 预训练语料 + 510M 中期语料 + 数千步 RL，Figure 5 显示单次完整流水线累计约 1.5-2.1×10^19 FLOPs，单节点 A100/H100 量级即可承担；真实实验为 0.76B 模型 + 240M token 混合语料 + 12000 updates，规模适中。难点主要在工程而非算力：需要实现异步 generator-trainer、共享数据 buffer、token 级加权交叉熵和权重发布/加载同步机制；若官方代码放出则复现难度中等偏低，若仅按论文实现，异步系统与策略陈旧度控制最容易引入偏差，建议先用 0% 混合消融（论文 Figure 7 的 0% 设置正是为隔离基础设施因素而设计）校准基础设施，再逐步加入混合与调度。
论文图表
左图展示统一训练循环：静态数据（预训练、中期训练、SFT）与按奖励加权的 RL 生成数据共享同一个最大似然损失，更新后的模型再生成新的 RL 数据加入数据混合；右图在受控推理任务上画出 unified（蓝）与 staged（灰）配置在累计算力约 1.5-2.1×10^19 FLOPs 内可达的最佳 pass@1（实线）与 pass@16 覆盖率（虚线）。
一图同时给出全文的核心思想（RL 与静态数据共享似然损失、数据混合随训练演化）和最重要的实证结论（同算力下更高准确率与覆盖率），是理解论文的入口。