← 返回 2026-04-16

从 P(y|x) 到 P(y)：探究预训练空间中的强化学习 From P(y|x) to P(y): Investigating Reinforcement Learning in Pre-train Space

Yuqiao Tan, Minzheng Wang, Bo Liu, Zichen Liu, Tian Liang, Shizhu He, Jun Zhao, Kang Liu 📅 2026-04-15 👍 30 2026-07-13 08:36
GRPO Policy Reincarnation RLVR 强化学习 推理增强 策略梯度 预训练空间优化
arXiv HuggingFace PDF

提出 PreRL 与 DSRL：在预训练空间以 NSR 修剪错误推理路径，再切换到标准 RL 精调。

前置知识

RLVR（可验证奖励强化学习）

在 LLM 后训练阶段，对模型输出施加可由规则验证正确性的稀疏奖励（如数学题最终答案是否正确），通过策略梯度方法（如 PPO、GRPO）优化条件策略 $\pi_\theta(y|x)$。

本文的全部实验基线（GRPO、PPO、Dr.GRPO、DAPO 等）都属 RLVR 范畴，必须先理解它的优化目标和梯度形式才能看懂 PreRL 的边际分布动机。

条件分布 P(y|x) 与边际分布 P(y)

前者表示给定输入 $x$ 时输出 $y$ 的概率，是标准 RLVR 优化的对象；后者忽略 $x$，刻画模型自身的输出先验，与传统预训练的语言建模目标一致。

论文的核心创新正是把优化目标从 $P(y|x)$ 切换到 $P(y)$，并证明两者梯度方向一致，因此读者需要清晰区分这两种概率语义。

GRPO（Group Relative Policy Optimization）

DeepSeek-R1 采用的策略梯度算法，对同一 prompt 采样 $G$ 个回答，用组内归一化优势 $\hat{A}_{i,t}=(R_i-\text{mean}(R))/\text{std}(R)$ 替代 critic 网络，并通过 PPO 风格裁剪控制更新幅度。

PreRL 与 DSRL 都以 GRPO 为底层算法实现，论文公式 (3) 与公式 (6) 都基于 GRPO 的 token 级目标，理解其优势估计方式对读懂实验设定至关重要。

Policy Reincarnation（策略重生）

训练中途将当前策略检查点替换为另一阶段产物（如 SFT、拒绝采样或预训练）的参数，再继续 RL 微调；可视为一种课程式初始化策略。

DSRL 的核心机制就是 Policy Reincarnation——先用 NSR-PreRL 预热，再切换到标准 RL，没有该策略就无法理解为什么 NSR-PreRL 单独不够、必须配合后续 RL。

研究动机

现有 RLVR（如 GRPO、PPO、RLOO、DAPO）以条件策略 $\pi_\theta(y|x)$ 为优化目标，本质上是在基模型已经掌握的回答分布内做"再锐化"，因此推理能力被基模型的输出空间上限牢牢锁住。论文引用 Yue et al. (2025)、Zuo et al. (2026) 等工作指出，RLVR 训练出的模型其推理轨迹几乎都已在 base model 的采样空间里存在，仅靠条件优化难以解锁新能力。另一方面，传统预训练虽然在 $P(y)$ 上做最大似然估计，能够内化更广的知识并保留探索空间，但它依赖静态语料的被动学习，与下游任务分布存在显著 drift（Zhou et al., 2025），无法针对 reasoning 做有奖赏驱动的定向提升。两条路径各有问题：后训练缺探索，预训练缺目标，两者之间的桥梁一直缺失。

本文的目标是论文希望打通"预训练空间优化"与"奖励驱动在线 RL"两条路线，提出 Pre-train Space Reinforcement Learning（PreRL），直接在 RL 框架内优化边际策略 $\pi_\theta(y)$ 而非 $\pi_\theta(y|x)$，从而在保留 base model 探索能力的同时引入 reward 信号做有针对性的能力塑形。在此基础上，论文进一步引入 Policy Reincarnation 机制，把 PreRL 预热阶段与标准 RL 阶段顺序串联，得到 Dual Space RL（DSRL），目标是同时获得"广探索、强基础"与"细粒度条件优化"两重收益。

与已有工作不同的是，已有相关工作要么停留在预训练阶段的被动最大似然（continual pre-training），要么局限在 Post-train Space 内做 exploration-exploitation 平衡（Li et al., 2025a; Yu et al., 2026），还有少数离线式 RLPT 工作用静态语料做强化。真正将在线策略梯度直接作用到边际分布 $P(y)$、并系统比较 PSR 与 NSR 在预训练空间下不同作用的工作仍属空白。PreRL 与 DSRL 的独特切入角度在于：（1）给出 log $P(y)$ 与 log $P(y|x)$ 梯度对齐的理论与实证；（2）首次揭示 Negative Sample Reinforcement（NSR）在预训练空间是核心驱动力，可使 transition / reflection 思维分别暴涨 14.89× 与 6.54×；（3）提出 DSRL 用阈值 $S$ 控制空间切换，是首个把"先剪枝错误路径、再条件精调"两阶段范式做完整 benchmark 对比的工作。

核心方法

方法分三层。直觉上，标准 RLVR 戴着"问题 $x$"的有色眼镜看模型；PreRL 反过来先遮住问题，只看模型能否产生高分回答的全局分布，用负样本抑制错路径完成预训练空间自我修剪，再戴上眼镜做精细 RL。技术上，PreRL 用 GRPO 作底层，把 token 级梯度从 $\nabla_\theta \log \pi_\theta(y_t|x, y_{S \lor R(y)<0]$ 控制切换。

核心创新是把"优化目标空间"与"样本筛选策略"两个维度同时迁移到预训练空间：优化目标从条件 $P(y|x)$ 切到边际 $P(y)$，样本筛选从 PSR+NSR 全量切到 NSR-only。PreRL 梯度 $\nabla_\theta J_{PreRL}=\mathbb{E}[\sum_t \nabla_\theta \log \pi_\theta(y_t|y_{S \lor R(y)<0]$ 把"NSR-PreRL 阶段"与"标准 RL 阶段"在同一目标函数里无缝拼接，避免分阶段训练常见的灾难性遗忘与分布漂移。

方法步骤详情

训练分四步。第一步：选 base model（Qwen3-4B / Qwen3-8B）与训练集 MATH（7,500 题），初始化 $\pi_\theta$ 等于 base model。第二步：NSR-PreRL 预热（$s \le S$），采样 $G$ 个回答、算 GRPO 优势 $\hat{A}_{i,t}$，仅保留 $\hat{A}_{i,t}<0$ 的负样本，按 $\nabla_\theta \log \pi_\theta(y_t|y_{S$）：恢复全部样本与 conditioning $x$，按公式 (3) 做 token-level PPO 裁剪优化，输出即 DSRL。评估用 Avg@32 与 Pass@K（$K\in[1,256]$, $n=300$）报告 6 项数学 benchmark 与 4 项 OOD 任务。

技术新颖性

技术新颖性体现在三处。第一，公式 (5) 给出的 Taylor 展开对齐证明将"为何边际优化能替代条件优化"从经验观察升级为可量化条件 $\langle\nabla_\theta \log \pi_\theta(y), \nabla_\theta \log \pi_\theta(y|x)\rangle \ge 0$，并以 9.2 的均值内积与 100% 非负率为 PreRL 兜底。第二，正负样本解耦视角首次明确区分 PSR-PreRL 的 on-policy collapse 与 NSR-PreRL 的"剪枝式激增"，给出 transition / reflection / execution 三类思维计数作为可解释机制证据。第三，DSRL 的 $\mathbb{I}[s>S \lor R(y)<0]$ 是一段式目标函数的精妙设计，把两阶段范式化为同一个 loss，无需额外超参控制拼接，且 warmup 步数消融呈倒 U 形（10–25 步最优）给出工程指导。

Qwen3-4B 在 AMC23 上 log P(y|x) 与 log P(y) 的协同效应分析：(a) 梯度内积；(b) 梯度余弦相似度；(c) per-token log probability 差。
Figure 2: Qwen3-4B 在 AMC23 上 log P(y|x) 与 log P(y) 的协同效应分析：(a) 梯度内积；(b) 梯度余弦相似度；(c) per-token log probability 差。
(a) PreRL 与 RL 的训练动力学对比（reward、response length、top-1 token log-probability）；(b) 不同推理思维类别的计数对比（NSR-PreRL 20 步 vs GRPO 25 步，base 为 Qwen3-4B）。
Figure 3: (a) PreRL 与 RL 的训练动力学对比（reward、response length、top-1 token log-probability）；(b) 不同推理思维类别的计数对比（NSR-PreRL 20 步 vs GRPO 25 步，base 为 Qwen3-4B）。

实验结果

实验基于 Qwen3-4B / Qwen3-8B 在 MATH（7,500 题）训练、6 项数学 benchmark。Qwen3-4B DSRL 平均 57.54，比 Dr.GRPO +0.5、DAPO +1.72、GRPO +1.75；AIME24 上 51.15 vs 46.46 提升 4.69；AIME25 上 43.44 vs 40.94 提升 2.50。Qwen3-8B 上 DSRL 平均 58.47 全面优于 PPO、GRPO，AIME24 56.15、AIME25 42.19 最高。Pass@K（图 4）DSRL 在 Qwen3-8B 全 K 领先；NSR-PreRL 20 步使 transition 思维 14.89×、reflection 思维 6.54×（图 3b）。OOD（表 2）Qwen3-4B 在 GPQA-Diamond +3.79、MMLU-Pro +5.37。消融（图 7）warmup 10–25 步最佳；表 3 证明 NSR-RL warmup 仅 54.38，NSR-PreRL warmup（DSRL）达 57.54。

MATH500、AMC23、AIME24、AIME25、Minerva、OlympiadBench 的 Avg@32 主结果（Qwen3-4B 与 Qwen3-8B）。
Table 1: MATH500、AMC23、AIME24、AIME25、Minerva、OlympiadBench 的 Avg@32 主结果（Qwen3-4B 与 Qwen3-8B）。
OOD 泛化结果（GPQA-Diamond、MMLU-Pro、BBH、HumanEval）。
Table 2: OOD 泛化结果（GPQA-Diamond、MMLU-Pro、BBH、HumanEval）。
Warmup 策略消融：GRPO、NSR-RL Warmup、NSR-PreRL Warmup (DSRL) 在 Qwen3-4B 上的平均准确率。
Table 3: Warmup 策略消融：GRPO、NSR-RL Warmup、NSR-PreRL Warmup (DSRL) 在 Qwen3-4B 上的平均准确率。
DSRL 与 GRPO 在 Qwen3-4B 与 Qwen3-8B 上的 Pass@K 性能对比，覆盖 AIME25、AIME24、AMC23、MATH500、OlympiadBench、Minerva 与 AVG。
Figure 4: DSRL 与 GRPO 在 Qwen3-4B 与 Qwen3-8B 上的 Pass@K 性能对比，覆盖 AIME25、AIME24、AMC23、MATH500、OlympiadBench、Minerva 与 AVG。
RL 训练中四种推理行为（Subgoal Setting、Enumeration、Verification、Backtracking）随训练步数的变化。
Figure 5: RL 训练中四种推理行为（Subgoal Setting、Enumeration、Verification、Backtracking）随训练步数的变化。
训练数据集上"全部答对"与"全部答错"题数随训练步数的变化。
Figure 6: 训练数据集上"全部答对"与"全部答错"题数随训练步数的变化。
Warmup 步数消融实验。
Figure 7: Warmup 步数消融实验。
查看结构化数据
任务指标本文基线提升
AMC23 Avg@32 Qwen3-4B: 89.22 GRPO: 87.81 +1.41
MATH500 Avg@32 Qwen3-4B: 89.68 GRPO: 89.17 +0.51
AIME24 Avg@32 Qwen3-4B: 51.15 GRPO: 46.46 +4.69
AIME25 Avg@32 Qwen3-4B: 43.44 GRPO: 40.94 +2.50
Minerva Avg@32 Qwen3-4B: 30.48 GRPO: 30.06 +0.42
OlympiadBench Avg@32 Qwen3-4B: 41.26 GRPO: 40.29 +0.97
6-benchmark Average Avg@32 Qwen3-4B: 57.54 GRPO: 55.79 +1.75
AIME24 (8B) Avg@32 Qwen3-8B: 56.15 GRPO: 54.06 +2.09
6-benchmark Average (8B) Avg@32 Qwen3-8B: 58.47 GRPO: 57.00 +1.47
GPQA-Diamond Accuracy Qwen3-4B: 43.18 GRPO: 39.39 +3.79
MMLU-Pro Accuracy Qwen3-4B: 66.49 GRPO: 61.12 +5.37
HumanEval Accuracy Qwen3-8B: 90.24 GRPO: 87.80 +2.44

局限与改进

作者承认两点局限。其一，NSR-PreRL 是一把双刃剑：过度负样本抑制会拉长 response length，150 步后 PSR-PreRL 子路径已出现训练崩溃，必须用阈值 $S$ 切换回标准 RL 才能稳住，说明 PreRL 不能独立作为最终阶段。其二，DSRL 对 warmup 步数敏感，最优区间 10–25 步呈倒 U 形。作者未讨论的局限：（a）实验仅在 4B/8B 模型与 MATH 数学任务上验证，"边际优化 → 探索保留"的强声明是否随规模放大仍成立未知；（b）PSR-PreRL collapse 根因未被充分剖析，仅归因于 self-generated on-policy，缺乏对熵、logit norm 等动力学指标的分解；（c）DSRL 缺乏与拒绝采样 SFT 等更简单 baseline 的直接对照，无法严格归因提升来自 PreRL 而非额外 SFT 数据。

独立分析的弱点

可改进之处有三。一是奖励稀疏性问题：PreRL 与标准 RL 都只使用 0/1 稀疏最终答案奖励，对短答案任务（如多选题）天然不利；可引入 process reward 或 length-normalized dense reward，让负样本抑制更及时。二是 warmup 步数敏感性（图 7）使 DSRL 在不同 base model / 数据集上需要重新调参，可引入 reward plateau 或 reflection-thought 增长曲率作为自动切换信号。三是从 PSR-PreRL collapse 与 NSR-PreRL 显著有效的对比看，论文未探索"PSR 比例可调"或"正负样本加权调度"的中间形态，可能存在比纯 NSR 更稳定的方案；此外，DSRL 仅在数学域验证，OOD 提升（GPQA-Diamond +3.79）可能来自数学推理的元能力迁移而非普适机制，需要在纯指令遵循或创意写作任务上进一步检验 PreRL 是否同样有效。

未来方向

作者在结论与相关工作中指明两条延伸方向：（1）将 PreRL 与 RLPT 等离线式强化预训练范式做严格对比，弄清"在线 vs 离线"在边际空间优化中的差异；（2）探索 PSR / NSR 在更大模型（如 70B）与多模态任务上的迁移。基于结果可延伸的研究还包括：将 indicator $\mathbb{I}[s>S \lor R(y)<0]$ 推广为随步数连续衰减的 PSR 比例调度函数，研究 PSR/NSR 混合的稳定性；把 NSR-PreRL 思想与 DPO / SimPO 等偏好学习方法结合，构建不依赖 group sampling 的边际空间对齐算法；以及在长 CoT / agentic 场景下衡量 response length 爆炸（NSR-PreRL 已知问题）的可控性。

复现评估

代码已开源（论文摘要末尾"Code is available here"），具体仓库链接需在 arXiv 页面进一步确认。复现所需资源：base model 为公开 Qwen3-4B / Qwen3-8B，训练集 MATH（7,500 题）公开可下载，评测对 MATH500、AMC23、AIME24/25、Minerva、OlympiadBench 与 OOD 四项均为标准化 benchmark。论文未显式给出 GPU 类型与训练时长，但从 8B 模型 + 7,500 题 + GRPO 训练来看，单卡 8×H100 量级、约 1–3 天可跑完一轮。算法本身在公式 (4) 与公式 (6) 中完整给出，超参（$\epsilon$、clip ratio、$\beta$、$S$）在附录 B.1 列出，整体复现难度中等偏上，主要挑战在于实现 NSR-only 的高效 mask 逻辑与 policy reincarnation 的检查点管理。

论文图表

(a) Post-train Space RL、Pre-train Space RL 与 Dual Space RL 的梯度目标对比；(b) 标准 RL（陷入局部最优）与 DSRL（通过 NSR 剪枝到精细正确推理子空间）的概念对比；(c) DSRL 与 GRPO 的训练动力学对比。
Figure 1: (a) Post-train Space RL、Pre-train Space RL 与 Dual Space RL 的梯度目标对比；(b) 标准 RL（陷入局部最优）与 DSRL（通过 NSR 剪枝到精细正确推理子空间）的概念对比；(c) DSRL 与 GRPO 的训练动力学对比。

(a) 三个梯度目标在优化空间上的差异示意图；(b) 显示标准 RL 被锁在初始 base model 的推理路径附近，而 DSRL 通过 NSR-PreRL 先在预训练空间剪掉错误路径再进入 Post-train Space；(c) 实测训练曲线，DSRL 在平均准确率 61.6 vs GRPO 57.7 的同时，2.5× 与 1.6× 步数更少到达 45% 与 58% 准确率。

这是论文的"门面图"，把动机（局部最优）、方法（梯度对齐 + 双空间）与结果（训练动力学）一次性呈现，是理解整篇论文的第一步。