用自生成数据进行中段训练以提升语言模型的强化学习效果 Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models
用自生成多解数据做中段训练，显著提升后续强化学习
前置知识
GRPO / 强化学习微调(RLVR)
强化学习微调(RLVR)指用可验证奖励(如最终答案是否正确)作为信号、用策略梯度算法更新模型权重的过程。GRPO(组相对策略优化)对每个问题采样一组回答，用组内奖励的相对优势估计 Advantage $A$，省去价值网络。本文 RL 阶段全程用 GRPO。
本文核心结论是'中段训练让后续 RL 更强'，不懂 GRPO/policy gradient 就无法读懂理论分析。
中段训练(mid-training)
介于预训练和后训练之间的中间训练阶段：在高质量或任务聚焦的数据上继续微调基础模型，针对性地增强某些能力并尽量保留原有能力。本文把'每题多解'的自生成数据放在这一阶段喂给模型，再进入 RL。
本文的主舞台就是中段训练，理解它与 SFT、RL 的分工才能看懂整条流水线。
pass@k 指标
pass@k 衡量采样 k 次中至少有一次答对的概率，常用无偏估计式计算(n 为总采样数、c 为正确数)。k=1 反映单次解码能力，较大的 k 反映答案多样性与覆盖面，是评测推理模型多样性的标准口径。
本文尤其强调大 k 处的提升，看不懂 pass@k 就抓不住核心证据。
Pólya 问题求解启发式
数学教育家 Pólya 在《How to Solve It》中归纳的解题策略集合，如倒推法、引入辅助量、分解再重组、类比等。本文给每条启发式配一段文字描述加 4 个示例，作为 few-shot 提示词引导模型生成风格各异但答案正确的解法。
这是本文多样性的来源——没有它整套方法就退化为普通自训练，理解它才知道多样性是如何被注入的。
多峰下一 token 分布与 mode collapse
在推理分叉点(同一前缀可接多种合法解法)，模型的下一 token 概率若集中在多个高概率模式上即为多峰分布。RL 训练常因反复强化单一回答而塌缩成单峰(mode collapse)，丢失多样性。本文理论正是围绕多峰分布展开。
本文理论核心是论证多峰分布让单步 policy gradient 更稳、更不易塌缩。
研究动机
强化学习(RLVR)虽能提升 LLM 推理，但近期研究[65,14]指出它主要做'分布锐化'——把基础模型里已有的行为放大，而非创造新能力；在 pass@k 评测下甚至可能掉点[7,52]。具体到 Llama-3.2-3B 这类先验较弱的模型，RL 难以诱发自我反思、自我纠错等行为[9,42]；Zhang 等[62]更证明能力提升只在特定任务和数据条件下才成立。一道数学题往往有多种合理解法(类比、分解、倒推…)，但常规训练数据每题只暴露一种解法，模型缺乏多样解题策略的先验，后续 RL 自然'巧妇难为无米之炊'。这一观察把矛头直指 RL 之前的数据：是数据单一、而非 RL 算法本身，限制了 RL 的上限。
本文的目标是本文要在不依赖更强教师蒸馏的前提下，用模型自己生成的数据为中段训练注入解题多样性，从而让后续 RL 真正受益。具体可量化目标：对一道题生成多种风格各异且答案正确的解法轨迹(最多 64 种)，微调后使 RL 在六个数学基准的 pass@k(尤其大 k)上一致超过直接做 RL 的基线；同时希望这种'多解题先验'能迁移到代码生成(HumanEval)和叙事推理(MuSR)等域外任务。另一个目标是给出可解释的理论，解释为何'每题多解'对 policy gradient 有利。
与已有工作不同的是，已有自训练(STaR)或蒸馏工作每题只保留一种(通常是最常见、最相似)正确解法，强化的恰是单一模式。本文的独特视角是：与其扩题量，不如扩每题的解法种类——用 Pólya 启发式做显式条件化，强制模型针对同一题产出结构性不同的推理链。更关键的是，本文不止堆数据，而是把'多解'与 RL 的 policy-gradient 动学直接挂钩：多解训练把下一 token 分布塑造成多峰，理论证明多峰分布在单步更新下变化更温和、负梯度会把概率质量重新分配到其它合法解法，从而让 RL 在一条回答内组合多种策略。这条'数据多样性→分布多峰→RL 可组合'的因果链是别人没显式建立的。
核心方法
直觉上，本文像在教学生'同一道题有 N 种打法'，先把这些打法都示范一遍(中段训练)，再让他做题时按奖励反馈(RL)自由组合。技术路线分三段：(1)数据构造——对 GSM8K 每道题，用 64 条 Pólya 启发式各配描述加 4 示例做 few-shot 提示，从基础模型采样 128 条候选，先用规则验证器(Math-Verify)筛正确答案，再用奖励模型 Skywork-Reward-V2 按是否贴合启发式打分，每个(题,启发式)对取最高分者；(2)中段训练——用每题 n 条解法做平均负对数似然微调；(3)RL——在 DAPO-Math-17k 上用 GRPO 继续训练。整套流程只用模型自身生成的数据，无需教师蒸馏。
核心创新是把'解题多样性'做成一个可调旋钮，并与 RL 动学绑定。和 STaR/蒸馏相比，本质区别有三：其一，多样性是显式条件化的——靠 Pólya 启发式提示词强制每条解法走不同推理结构，而非随机采样碰运气；其二，每题配 n 条不同解法一起微调，目标函数 $\mathcal{L}_{MT}=-\mathbb{E}\frac{1}{n}\sum_i\sum_t\log\pi_\theta(y^{(i)}_t\mid y^{(i)}_{<t},x)$ 让同一前缀在分叉点对应多个高概率 token，形成多峰下一 token 分布；其三，本文用定理证明这种多峰分布让单步 policy gradient 的概率变化量级为 $\eta A\frac{1}{N}(1-\frac{1}{N})$（远大于单峰的 $\eta A\epsilon^2$），且负梯度把质量重分配给其余 N−1 个合法解法——这解释了为何 RL 后会涌现'一条回答内组合多种启发式'的现象。
方法步骤详情
步骤：①种子数据，取 GSM8K 训练集 7473 题，过滤后留 7112 题。②对每个(题 x,启发式 h)对，用 h 的描述加 4 个示例组成 few-shot 提示，从基础模型采样 128 条候选回答。③正确性过滤：Math-Verify 规则验证器只保留最终答案正确的候选。④启发式贴合度打分：用奖励模型 $R_\phi$ 评估每条候选在多大程度上遵循该启发式，每个(题,启发式)对取最高分者作为该启发式的解法轨迹。⑤拼数据集：每题取 $n\in\{1,\ldots,64\}$ 条不同启发式解法，得 $D_{P\text{ólya}}$。⑥中段训练：用 $\mathcal{L}_{MT}$ 在 4×H100 上单 epoch、固定 444 步、cosine 学习率 $1.0\times10^{-6}$，按 n 调 batch。⑦RL：在 DAPO-Math-17k 上用 GRPO(verl+vLLM，每 prompt 采 16 条、无 KL 项、clip $\epsilon_{low}{=}0.2,\epsilon_{high}{=}0.28$)训 1 epoch。
技术新颖性
新颖性在于把 Pólya 的经典教育启发式工程化成可控的多样性生成工具，并首次从 policy-gradient 一阶动学角度论证'多解中段训练→RL 可组合'的因果链。与 Wang 等的 bootstrapping 自训练、Setlur 的正负样本 RL 相比，本文每题生成的是结构上正交的多解而非简单扩样；与 QwQ-32B 蒸馏相比，自生成数据在 Vendi Score 上更分散(13.81 vs 10.95)、rollout 更不啰嗦重复，下游 pass@1/pass@64 更优。理论部分用 softmax 的 Jacobian 推出单峰与 N 峰两种 regime 的概率变化闭式公式，是少见的把'数据多样性'与'RL 优化几何'用解析表达式连起来的工作。
实验结果
核心发现：①中段训练本身(Table 1)：n=64 时平均 pass@1 从零样本 11.08%→11.50%、pass@64 从 46.30%→48.17%；STaR 虽然 pass@1 更高(13.02%)但 pass@64 几乎不涨(46.32%)，说明它收窄了多样性，本文正相反。②加 RL(Fig 2)：n=64 在 pass@64 上 MATH-500 +2.85%(86.27 vs 83.42)、AIME 2025 +6.55%(23.34 vs 16.91)、AMC 2023 +6.34%(84.52 vs 78.18)；六基准平均 pass@64 44.21%→48.09%(n=16)。③成分分析(Fig 3)：n=16 时 RL 后 56.7% 的链组合多种启发式，仅中段训练只有 23.3%，证明 RL 在组合而非凭空创造。④消融(Fig 4)：同预算下'463 题×16 解法'比'7408 题×1 解法'相对提升约 7%；但解法答案错误时加大 n 反而掉点并跌破 vanilla RL。⑤自生成优于蒸馏(Fig 5)，Vendi 13.81 vs 10.95。⑥域外(Table 2)：HumanEval 52.82 vs 51.14、MuSR Team Allocations 38.57 vs 23.46。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 六基准平均数学推理 | pass@64 (RL 后) | 48.09% (n=16) | 44.21% (vanilla RL) | +3.88 个百分点 |
| AIME 2025 | pass@64 (RL 后) | 23.34% (n=64) | 16.91% (vanilla RL) | +6.43 个百分点 |
| AMC 2023 | pass@64 (RL 后) | 84.52% (n=64) | 78.18% (vanilla RL) | +6.34 个百分点 |
| MATH-500 | pass@64 (RL 后) | 86.27% (n=64) | 83.42% (vanilla RL) | +2.85 个百分点 |
| HumanEval 代码生成 | pass@1 (RL 后) | 52.82% (n=64) | 51.14% (vanilla RL) | +1.68 个百分点 |
| MuSR Team Allocations 叙事推理 | 准确率 (RL 后) | 39.07% (n=32) | 23.46% (vanilla RL) | +15.61 个百分点 |
局限与改进
作者承认：启发式源自 Pólya、本质偏数学(虽 HumanEval/MuSR 显示可迁移，但通用 taxonomy 仍是开放问题)；pass@1 仅略优于 vanilla RL 和 STaR，本文目标不是 SOTA 单样本精度；中段训练更像在'挖掘并整合'预训练已暴露的行为，而非引入全新能力。我的观察：收益高度依赖 n 与 GRPO rollout 组大小 g 的匹配(Llama g=16 时 n=16 最优、Qwen g=8 时 n=8 最优)，这个耦合难预先确定；Vendi Score 与下游性能非严格单调(n=16 的 48.09 反超 n=64 的 47.62)，说明'更多样'未必'更好'，削弱了多样性叙事的干净程度；数据生成成本高(128 采样×64 启发式×7112 题，约 46 万对)。
独立分析的弱点
弱点一：对更强模型增益缩水——Qwen2.5-7B 上零样本已是最高 pass@1(18.47%)、STaR 反而退化，说明模型自身先验越强、本文注入多样性的边际收益越小，规模外推存疑；改进方向是用更难、更多样的种子题(如奥赛级)而非 GSM8K。弱点二：n 与 g 的耦合脆弱且无理论指导，实际部署要扫超参；可改为自适应选择 n 或让 g 随训练动态扩大。弱点三：pass@1 几乎不动，而真实服务多走单次解码，建议结合 best-of-N 蒸馏或奖励模型重排把 pass@k 优势压回 pass@1。弱点四：依赖外部奖励模型 Skywork-Reward-V2 和 GPT-4o-mini 判官，引入成本与评测偏差，可换成自一致性投票做无监督筛选。
未来方向
作者提出：深入探究 RL 是否真'涌现'新行为、还是组合预训练已学行为(§6.1 留作未来工作)；构建跨领域通用的问题求解 taxonomy。基于成果可延伸：①把 Pólya 启发式替换为领域自适应策略库(代码的分治/边界/不变量、推理的反例/归谬)；②用本文多峰分布理论指导 RL 超参(学习率、rollout 组大小)选择，甚至推导最优 n 与 N 的关系；③把'每题多解'迁移到偏好优化(DPO)，看多峰参考分布如何影响偏好学习；④探索中段训练与 test-time scaling(如 self-consistency)的协同。
复现评估
复现门槛中等偏低。全部用开源件：trl(中段训练)、verl 加 vLLM(GRPO 与 rollout)、Math-Verify(答案校验)、模型 Llama-3.2-3B-Instruct 与 Qwen2.5-7B-Instruct、数据 GSM8K 与 DAPO-Math-17k、奖励模型 Skywork-Reward-V2-Llama-3.2-3B；64 条 Pólya 启发式的描述与示例在附录 A.11/Table 7 完整给出，学习率/clip/batch/步数等超参齐全。算力：4×H100。主要成本是一次性数据生成——462,280 对(7,112 题×65 启发式)需大量推理采样，但只需做一次且可用更便宜采样替代。论文未明确发布代码仓库，需自行实现提示词模板(图 7-10 已给)。整体可复现性较好。
论文图表
