Apriel-1.5-OpenReasoner：面向通用高效推理的多域强化学习后训练 Apriel-Reasoner: RL Post-Training for General-Purpose and Efficient Reasoning
15B多域RLVR后训练，30-50%更短推理链
前置知识
RLVR（可验证奖励强化学习）
将 LLM 的自回归生成分布视作序列决策过程 $\pi_\theta(y|x)$，通过可程序化验证的奖励函数 $R(x,y)$ 提供训练信号。目标是最大化期望奖励 $J(\theta) = \mathbb{E}_{x\sim D, y\sim\pi_\theta}[R(x,y)]$。在数学、代码等任务上，奖励由答案匹配或测试用例通过情况给出，因此稀疏但可验证。
本文整套训练范式建立在 RLVR 之上，多域奖励函数和 DAP 的难度估计都直接依赖这一框架；不熟悉就无法理解为什么多域联合训练是必要且可行的。
GRPO 与 GSPO（序列级策略优化）
GRPO 通过对同一提示采样 $G$ 个回答 $\{y_i\}_{i=1}^G$，以组内相对奖励计算优势 $\hat{A}_i$ 替代 critic。GSPO 进一步把 token 级 importance ratio 替换为序列级 $s_i(\theta) = \exp\left(\frac{1}{|y_i|}\sum_t \log\frac{\pi_\theta(y_{i,t}|x,y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t}|x,y_{i,<t})}\right)$，对齐优化单元与奖励单元，降低方差。
Apriel-1.5-OpenReasoner 选用 GSPO 作为策略优化算法，文中对 GRPO 梯度高方差、不稳定的批评是引入 GSPO 的直接动因；理解 $s_i(\theta)$ 的序列归一化才能看懂后续长度惩罚为何设计在奖励侧而非 loss 侧。
异步 on-policy RL（PipelineRL）
传统 RL 要求 rollout 与训练严格同步或解耦，前者空等 GPU，后者因策略陈旧而 off-policy。PipelineRL 通过 in-flight weight updates 让推理 worker 在生成过程中持续接收最新参数，从而在保持高吞吐的同时让数据接近 on-policy。
本文的 5 域训练对异步性有强依赖——不同域的 rollout 长度和验证耗时差异极大，PipelineRL 是自适应域采样机制得以工作的底层系统，理解其并发模式才能看懂 $\alpha_d$ 的设计动机。
长度惩罚（Length Penalty）与过度思考（overthinking）
标准长度惩罚 $P(l_i)$ 在输出长度 $l_i$ 进入缓冲区 $[L-B, L]$ 时按 $\frac{(L-B)-l_i}{B}$ 线性施加，并把最终奖励写成 $r_i = R(x,\hat{y}_i) + \lambda P(l_i)$。它针对的是 RLVR 训练后 LLM 倾向于在简单题上写出冗长 CoT 链（即 overthinking），导致推理成本激增的现象。
DAP 是对标准长度惩罚的扩展，是本文第二大贡献；不熟悉 $\lambda$ 与 $B$ 的几何含义就无法理解为什么按 solve rate 缩放 $\lambda$ 能起到难度自适应效果。
研究动机
近年来 Qwen-3.5、GLM、Kimi K2、OLMo 3、Nemotron-Cascade 等开放权重模型纷纷采用多域 RLVR 训练通用推理能力，但训练配方、域混合比例和优化细节几乎都不公开，复现难度极高。更棘手的是多域联合优化本身带来的工程矛盾：数学、代码、指令跟随、逻辑谜题、函数调用 5 个域的 rollout 长度可以从几 token 跳到上万 token，验证延迟和样本效率也差异巨大。在异步生成下，rollout 完成更快的「短平快」域会占据远超其配额的轨迹份额，把实际训练混合比拉离预设值，最终让模型在过度代表的域上过拟合。同时，RLVR 训练出的模型普遍存在 overthinking 现象——在 GPQA、MMLU-Pro 等其实只需 1-2K token 的题上仍写出 10K+ 的推理链，部署成本居高不下。已有方案要么使用静态混合（OLMo 3），要么干脆分域串行训练（Nemotron-Cascade），前者无法纠偏、后者丧失跨域迁移；而长度控制方法从固定预算（Muennighoff 等）到难度感知路由（Fang、Zhang 等）大多引入辅助模型或额外训练阶段，与本就复杂的多域训练叠加容易失稳。
本文的目标是本文的核心目标是给出一套完全可复现的 15B 参数级多域 RL 后训练配方，让社区能够在标准硬件上重复出 Apriel-1.5-OpenReasoner 的训练结果；具体子目标包括：(1) 在异步多域 rollout 条件下自动保持用户配置的域混合比例；(2) 在不增加训练开销、不改动策略损失的前提下，把推理链长度压缩 30-50% 同时保持甚至提升准确率；(3) 公开全部训练超参、混合比例、奖励公式与系统配置，让研究者可以据此做公平对比。
与已有工作不同的是，本文的独特切入角度是「训练系统层 + 奖励函数层」双管齐下，但都刻意保持极简：在采样侧只用一行公式 $\alpha_d = \mathrm{clip}(w_d / (n_d/N), 0.1, 10.0)$ 动态平衡已完成 rollout 数量与目标配额；在长度控制侧只在标准 $P(l_i)$ 的 $\lambda$ 上做难度自适应乘法（按组内 solve rate $s^\gamma$ 缩放），不引入辅助网络、不修改 GSPO 损失、不增加训练阶段。这种「零额外开销」的设计与 Zhang & Zuo 2025、Han 2025 等近期需要 routing 模型或预算预测器的工作形成鲜明对比，正好填补了「复杂多域训练里越简单越好」这一空白。
核心方法
方法整体建立在 PipelineRL 异步训练系统之上，使用 GSPO 作为策略优化器，把 Apriel-1.5-15B-Thinker（一个未做过 RL 的 15B 开源模型）作为起点，在 5 个公开数据集上联合训练约 250 步。整体直觉是：与其在系统或损失函数上做重改动，不如在两个最痛的痛点（域混合漂移、过度思考）上各加一个 5 行公式就能解决的「轻巧干预」，从而把多域 RL 的可复现性推到接近监督学习的水平。技术路线是先用 10% 验证集网格搜索最佳域混合比 $(M,C,L,I,F)=(0.4,0.25,0.15,0.10,0.10)$，再在 PipelineRL 的 actor 侧用自适应域采样器选择 prompt，verifier 给出 0/1 任务奖励，奖励侧叠加 DAP 长度惩罚，最后由 GSPO trainer 异步消费轨迹，期间通过 in-flight weight updates 持续刷新 actor 参数。
本文的两大核心创新均以「对症下药、零额外开销」为原则。第一个是 Adaptive Multi-Domain Sampling：actor 每要采一道题时，先按已完成的 rollout 计数 $n_d$ 估算当前域配额偏离度，得到修正因子 $\alpha_d = \mathrm{clip}(w_d / (n_d/N), 0.1, 10.0)$，再以 $p_d = w_d \alpha_d / \sum_j w_j \alpha_j$ 概率选择域；这与 OLMo 3 静态混合或 Nemotron-Cascade 串行训练的本质区别在于它「事后纠偏」且完全 stateless。第二个是 Difficulty-Aware Length Penalty（DAP）：在标准 $P(l_i)$ 基础上把常数 $\lambda$ 替换为分段函数 $\lambda(s) = s^\gamma$（正确 rollout）或 $\lambda_f$（错误 rollout），其中 $s$ 是 prompt 组内 solve rate；难题（$s$ 小）→ $\lambda$ 小 → 长度惩罚弱 → 允许更长 CoT；易题（$s$ 大）→ $\lambda$ 大 → 鼓励压缩。两者共同的关键创新点是不增加训练阶段、不引入辅助模型、不改 GSPO 损失公式，只动采样概率和奖励标量。
方法步骤详情
完整训练流程可拆为 6 步：(1) 配置域混合 $(w_M, w_C, w_L, w_I, w_F)=(0.4,0.25,0.15,0.10,0.10)$ 和 5 个域的 verifier（精确匹配 / 沙箱执行 / 约束满足 / 程序化验证 / 函数名+参数集合匹配），初始 $p_d = w_d$ 直到累计 50 条完成 rollout。(2) Actor 用 $p_d = w_d\alpha_d / \sum_j w_j\alpha_j$ 选域后均匀采样 prompt $x$，用当前 $\pi_{\theta}$ 生成 $G$ 条 rollout $\{\hat{y}_i\}$。(3) 域 verifier 给出 $R(x,\hat{y}_i) \in \{0,1\}$，再用 DAP 计算 $\lambda_i$：对 $c_i=1$ 的 rollout 令 $\lambda = s^\gamma$（$s$ 为组内 solve rate），对 $c_i=0$ 的 rollout 令 $\lambda = \lambda_f = 1.0$，对截断未完成者强制 $\lambda = 1$，最终 $r_i = R(x,\hat{y}_i) + \lambda_i P(l_i)$。(4) Trainer 端用 GSPO 计算序列级 importance ratio $s_i(\theta)$ 和组内相对优势 $\hat{A}_i$，最小化裁剪 surrogate $\min(s_i(\theta)\hat{A}_i, \mathrm{clip}(s_i(\theta), 1-\varepsilon, 1+\varepsilon)\hat{A}_i)$，并借鉴 DAPO 的 clip-higher 非对称裁剪和动态采样。(5) PipelineRL 通过 in-flight weight updates 持续把新参数推给 actor，actor 不停生成，trainer 不停训练，二者并发。(6) 训练 250 步（约 36 wall-clock 小时，64 张 H100）后停训，对外评测时把推理 token 上限放宽到 32K。
技术新颖性
技术新颖性主要体现在三点。第一，域混合自适应采样的公式虽然简洁（一个 $\alpha_d$ 加一个 $\mathrm{clip}$），但据作者所知是首个明确在异步多域 RL 中把「已完成 rollout 数 / 目标配额」作为纠偏信号的工作，且不依赖 rollout 长度或延迟的先验估计，可直接即插即用到 PipelineRL。第二，DAP 把「难度感知」这一在 routing、偏好优化、显式预算预测等方法中通常需要辅助模型或额外阶段的设计，压缩到奖励侧一个 $\lambda = s^\gamma$ 的标量乘法，且不影响 GSPO 损失的梯度形状，因此对其他 GSPO/GRPO 用户也具备良好迁移性。第三，可复现性本身就是新颖性：作者把训练配置、域混合、奖励函数、长度超参、wall-clock 时间、GPU 数（8 节点 × 8 H100 = 64 GPU）全部公开，并承诺开源权重和代码，这与 Qwen3、Phi-4-reasoning 等仅放权重不公开配方的风格形成对照。
实验结果
主实验在 32K 输出 token 预算下复测 Apriel-1.5-OpenReasoner 与 3 个 14B 同类基线（Phi-4-reasoning、Qwen3-14B、Nemotron-Cascade）。在 AIME 2025 上 Apriel 拿到 78.3% 准确率，比最强基线 Nemotron-Cascade 76.0% 高 2.3 个点，输出却只有 11.3K token（基线 19.0K，节省 41%）；GPQA 上 69.8% 领先 Nemotron-Cascade 68.4%，token 5.8K vs 10.6K（节省 45%）；MMLU-Pro 上 77.3% 与 Qwen3 的 77.7% 几乎持平，但 token 仅 1.9K（Qwen3 2.4K）；LiveCodeBench v5 上 70.8% 与 Nemotron-Cascade 70.7% 持平，token 7.4K vs 16.0K（节省 54%）。相对 Apriel-Base，GPQA 和 MMLU-Pro 的输出长度缩短约 45-46%，AIME-25 缩短约 32%（难题确实需要更长链），符合 DAP 设计的「按难度分配预算」预期。消融方面，Table 2 末两行显示把 DAP 换回标准 LP 后，4 个 benchmark 全部掉点（AIME -6.6%、LCB -3.1%、GPQA -0.9%、MMLU-Pro -1.7%），证明难度自适应确有收益；Table 3 对比 3 种域混合（Uniform、Math+Code、Ours），本文 0.40/0.25/0.15/0.10/0.10 在 AIME 上以 78.3% vs 75.0% / 75.7% 胜出，LCB 上 70.8% vs 70.5% / 67.2%，证实 5 域联合优于仅数学+代码。图 3 显示 Apriel-1.5-OpenReasoner 的 trace steps 数与 Base 相当（每条约 6-7 step），但每步 token 数减少约 35%，说明效率提升来自「每步更紧凑」而非「步数更浅」。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2025（数学竞赛） | pass@1 准确率 (%) / 平均输出 token | 78.3% / 11.3K token | Nemotron-Cascade-14B 76.0% / 19.0K；Qwen3-14B 68.0% / 16.9K；Phi-4-reasoning 57.3% / 12.5K | 准确率比最强基线 +2.3pp，token 节省 41%；较 Apriel-Base（73.3% / 16.6K）准确率 +5.0pp、token -32% |
| GPQA（研究生级科学问答） | pass@1 准确率 (%) / 平均输出 token | 69.8% / 5.8K token | Nemotron-Cascade 68.4% / 10.6K；Apriel-Base 68.8% / 10.5K | 准确率领先所有同尺寸基线，token 较 Nemotron-Cascade 减少 45%；较 Apriel-Base 准确率 +1.0pp、token -45% |
| MMLU-Pro（多域知识推理） | pass@1 准确率 (%) / 平均输出 token | 77.3% / 1.9K token | Qwen3-14B 77.7% / 2.4K；Apriel-Base 76.4% / 3.5K | 与 Qwen3 几乎持平但 token 节省 21%，比 Apriel-Base 准确率 +0.9pp、token -46% |
| LiveCodeBench v5（代码生成） | pass@1 准确率 (%) / 平均输出 token | 70.8% / 7.4K token | Nemotron-Cascade 70.7% / 16.0K；Apriel-Base 61.4% / 14.9K | 与最强基线持平，token 节省 54%；较 Apriel-Base 准确率 +9.4pp、token -50% |
| 域混合消融（Math & Code only） | AIME / GPQA / MMLU-Pro / LCB 平均 | 78.3% / 69.8% / 77.3% / 70.8% | Math+Code 混合 75.7% / 69.1% / 75.9% / 67.2% | 5 域联合 vs 2 域在 LCB 上 +3.6pp 显著；说明加入指令跟随/逻辑/函数调用域对代码能力亦有迁移 |
| DAP vs 标准 LP 消融 | AIME 准确率 | DAP: 78.3% / 11.3K | 标准 LP: 71.7% / 11.1K | DAP 用几乎相同的 token 预算换取 +6.6pp 准确率，证明难度感知长度惩罚把 token 真正花在难样本上 |
局限与改进
作者在文中坦诚几个局限：(1) 评测仅在 32K 输出 cap 下做，没有测 64K 或更长，长度泛化能力只是观察到，未给出理论解释；(2) 训练只跑了 250 步（~36 小时），再训 400 步里挑的 checkpoint，没有展示更多步数下的 reward 曲线走势，是否存在退化未知；(3) 视觉编码器被刻意丢弃，多模态推理不在范围；(4) 评测只覆盖 4 个 benchmark，未涉及 Agent、Tool-use 长程任务。从我的观察看，另有两个隐性问题：一是 5 域混合中 math 占 40%，其余 4 域加在一起 60%，对「function calling 4K 样本」这种小数据集可能仍存在欠拟合；二是 DAP 的 $\lambda = s^\gamma$ 假设组内难度同质，但若 verifier 噪声较大（尤其是 LLM-judge 类 verifier），$s$ 估计就会抖动，进而影响训练稳定性，作者对此没有做消融。
独立分析的弱点
独立分析有三个值得改进的方向。第一，难度估计只用组内 solve rate $s$ 一个标量，没有利用题目本身的元信息（如题目长度、知识点），对 verifier 噪声敏感；可考虑用多次 rollout 估计的成功率加 EMA 平滑、或引入题目的 embedding 做 hierarchical 难度聚类。第二，域混合自适应 $\alpha_d$ 的 $\mathrm{clip}$ 上下界 (0.1, 10.0) 是经验值，没有理论保证；可以基于 Hoeffding 不等式或 Bernstein 界给出样本复杂度上界，并据此自适应收紧 clip 范围。第三，评测 budget 32K 与训练 16K 之间存在 2× 差距，作者归因于 length generalization，但未做 controlled study 验证是否仅来自 GSPO 优势，建议在训练时用 8K、12K、16K、20K 多个 budget 训练同一超参配置，看 generalization curve 如何随 budget 变化。
未来方向
作者明确提到的方向是把训练扩到 8 个及以上域、并尝试把视觉/音频多模态推理纳入同一框架；据本文成果可自然延伸的研究包括：(1) 把 DAP 推广到 GRPO、REINFORCE++ 等其他策略优化算法，验证其作为「长度控制器」的可移植性；(2) 把自适应域采样与 curriculum learning 结合，按 $n_d$ 增长率动态调整 $w_d$ 而非仅做纠偏，让模型先学易域再攻难域；(3) 在 agent / tool-use 长程任务上测试 16K 训练 cap 的长度泛化极限，探索是否需要 DAP 之外再叠加显式 budget prediction；(4) 用本文的 PipelineRL + DAP 框架重训 Qwen3、Llama-3.1 等更大基座，检验方法在 30B、70B 规模的可扩展性。
复现评估
复现评估总体偏正面：作者明确承诺开源权重、训练配置、PipelineRL 修改代码、5 个训练数据集与 4 个评测 benchmark 的来源，全部公开可获取（PipelineRL 已在 GitHub 开源）。算力门槛是主要障碍——64 张 H100 训练 36 小时约等于单卡 H100 上 96 天，学术实验室通常需要 SLURM 级调度才能跑通；可考虑用 LoRA 或更小 base（如 7B）做缩小版复现来验证方法正确性，再决定是否上全规模。代码细节方面，DAP 的 $\gamma=1.0$、$\lambda_f=1.0$、buffer 宽度 $B$、$L=16K$ 等超参在 Table 4/5（Appendix B）中有完整 sweep 范围；GSPO 的 $\varepsilon$、clip-higher 上界、动态采样阈值也都列出。verifier 端需自建沙箱执行代码、function calling 的 AST 校验等，对工程能力有一定要求。
论文图表
