自提示语言模型增强强化学习

通过训练时注入自生成提示解决 GRPO 稀疏奖励下的优势崩塌问题

前置知识

GRPO (Group Relative Policy Optimization)

GRPO 是 DeepSeek 提出的一种强化学习对齐算法，核心思想是对同一个提示 $x$ 采样一组轨迹 $\{\tau_1, \ldots, \tau_G\}$，计算组内奖励的均值 $\bar{R}$ 和标准差 $s$，然后用标准化优势 $A_i = (R_i - \bar{R}) / (s + \epsilon)$ 来更新策略。它不需要单独训练一个价值网络，而是依靠组内轨迹的相对好坏来估计优势，这使得它在数学推理等可验证任务上非常实用。

SAGE 是对 GRPO 的直接改进，理解 GRPO 的组内标准化优势计算和奖励稀疏时的失效模式是理解本文的前提。

优势崩塌 (Advantage Collapse)

当一个提示的所有采样轨迹都获得相同的奖励（例如全部为 0）时，组内方差 $s^2 = 0$，标准化优势 $A_i$ 全部为 0，策略梯度估计值为零。这意味着模型从这个提示上得不到任何学习信号。论文指出，这是一个有限样本的病理现象：底层的期望目标可能并非平坦的，但估计器在硬提示上完全退化。

这是 SAGE 要解决的核心问题。理解优势崩塌的数学机制（门控概率 $Gp_\theta(x) \ll 1$）有助于理解为什么需要特权提示。

特权提示 (Privileged Hint)

特权提示是指训练时提供的额外信息（如解题计划或参考解的有损压缩），它帮助模型更容易生成正确轨迹。关键设计是：提示只改变轨迹采样分布，不改变任务奖励函数；测试时不使用提示。这类似于人类学习时老师给的「提示卡」——练习时可以看提示来理解思路，但考试时不给提示。

特权提示是 SAGE 的核心机制，理解它如何在保持奖励不变的前提下重塑轨迹分布是理解方法的关键。

在线策略学习 (On-policy Learning)

在线策略意味着当前策略采样的轨迹被直接用于计算损失和更新参数。与之对应的是离线策略学习，其中更新可能使用其他来源（如更强模型）的轨迹。在线策略的学习目标是一致的，但离线策略可能引入分布偏移。SAGE 强调提示条件化必须在策略的上下文中，以保持在线策略特性。

论文的一个核心论点是 SAGE 保持了在线策略特性，而基线 LUFFY 引入了离线策略行为导致训练不稳定。

门控概率 (Gate Probability)

论文将 GRPO 的更新建模为一个「门控」过程：只有当一个采样组内出现混合结果（既有成功也有失败）时，「门才打开」，策略梯度才非零。门开概率为 $\Pr[s > 0 \mid x, h] = 1 - (1-p)^G - p^G$，在稀疏奖励下约等于 $Gp$。SAGE 的目标是通过提示将 $p$ 提升到使门更容易打开的水平。

这个分析框架为理解 SAGE 提供了严格的数学基础，揭示了为什么某些提示强度比其他更好（目标是让 $p \approx 1/2$）。

研究动机

在使用 GRPO 对大语言模型进行强化学习对齐时，当奖励信号稀疏（如二元 0/1 验证器奖励）且提示难度较高时，会出现严重的优化退化问题。具体来说，对一个硬提示 $x$，如果当前策略的成功概率 $p_\theta(x)$ 很低（例如 0.01），那么在有限采样（组大小 $G = 8$）下，一个组内所有轨迹都失败的概率约为 $(1-0.01)^8 \approx 92\%$。论文的实际数据更加触目惊心：在 Llama-3.2-3B-Instruct 上，训练开始时有 56.9% 的提示从未产生过任何正确轨迹；即使经过 GRPO 训练，仍有 40.2% 的提示完全无法提供训练信号。这意味着大量训练数据被浪费，模型只能从少数「恰好能答对」的简单提示上学到东西，而真正困难的、需要通过 RL 来提升的提示反而被忽略了。

本文的目标是本文的目标是提出一种方法，使得 GRPO 在稀疏奖励下依然能有效地利用所有训练提示，特别是那些当前策略无法产生正确轨迹的硬提示。具体来说，SAGE 希望在不改变任务奖励定义、不依赖外部更强模型的前提下，通过训练时注入自生成的提示（self-hint）来增加组内轨迹的结果多样性，使得标准化优势不再崩塌为零，从而为硬提示提供有效的学习信号。量化目标是在 6 个数学推理基准上稳定超越标准 GRPO（实测平均提升 +1.3 到 +2.0）。

与已有工作不同的是，已有工作主要通过两条路径解决 GRPO 的稀疏奖励问题：（1）数据层面——跳过退化组、重采样提示、自适应课程调度，这会隐式偏向简单提示；（2）外部引导——使用更强模型的轨迹（如 LUFFY 使用 DeepSeek-R1 的正确解）或离线数据来引导学习，但这会引入分布偏移和上下文不匹配。SAGE 抓住了一个被忽视的关键点：不需要修改数据收集策略或引入外部模型，只需要在训练时为策略自己提供「提示」来改变轨迹分布，而这个提示本身可以由当前策略生成。这既避免了分布偏移（保持在线策略），又不需要外部模型（自提示），还能适应策略的进化（在线更新）。

核心方法

SAGE 的核心直觉可以用一个类比来理解：想象一个学生在做数学题，对于特别难的题目，如果完全不给任何提示，学生可能反复尝试都做错，老师也无从判断学生的水平。但如果老师给一个「思考方向提示」（如「试试把底数换算一下」），学生可能就做对了——这时老师就知道学生在有方向指引时能做对，说明基本功是有的，只是缺方向。SAGE 就是把这个「提示卡」机制引入 GRPO 训练：对每个提示 $x$，先用当前策略生成一个提示 $h$（参考解的有损压缩），然后用提示条件化策略 $\pi_\theta(\cdot \mid x, h)$ 采样轨迹。关键约束是：任务奖励 $R(x, \tau)$ 不变（提示不改变评分标准），测试时不给提示。技术路线分为三步：（1）当检测到组内奖励崩塌时，激活提示生成；（2）用当前策略在线生成提示（自提示），保持与策略的校准；（3）通过门控概率理论选择合适的提示强度，将成功概率从 $p \approx 0$ 提升到 $p \approx 1/2$。

SAGE 最本质的创新在于将特权提示（privileged hinting）形式化为一个在线策略的采样增强过程，而非简单地修改数据收集或引入外部引导。具体来说，对于一个硬提示 $x$，标准 GRPO 采样 $\tau_i \sim \pi_\theta(\cdot \mid x)$，在 $p_\theta(x) = 0.01$、$G = 8$ 时几乎必然得到全零组，优势崩塌。SAGE 则采样 $\tau_i \sim \pi_\theta(\cdot \mid x, h)$，其中 $h$ 是一个帮助策略找到正确路径的提示。这使得有效成功概率 $p_\theta^{(\ell)}(x)$ 提升到足以让组内出现混合结果的水平。关键区别在于：（1）提示 $h$ 被显式地加入策略的条件上下文中，保证训练是在线策略的（log-prob 求解时包含 $h$），而非像 LUFFY 那样用外部轨迹替换导致分布偏移；（2）提示由当前策略自己生成（self-hint），而非来自更强的外部模型，这避免了上下文不匹配；（3）提示强度 $\ell$ 是策略依赖的——只在检测到组内崩塌时才激活，形成一个自动的课程学习。

方法步骤详情

SAGE 的完整训练流程如下。首先，初始化策略参数 $\theta$ 和每个提示的提示强度映射 $\ell(x) \leftarrow 0$。对于每个训练 epoch，遍历小批量数据：（1）**探针采样**：对每个提示 $x_b$，用当前策略和当前提示强度 $\ell(x_b)$ 采样 $G$ 条轨迹，计算组内是否有正样本（$\sum R_i > 0$）。（2）**提示调度**：如果当前强度下的组完全退化（无正样本），则提升提示强度 $\ell(x_b) \leftarrow \min(\ell(x_b) + 1, L)$，最多到 $L = 3$；如果有正样本，保持当前强度。（3）**提示生成**：用当前策略作为提示生成器 $q_\phi(h \mid x, \tau^\star, \ell)$，根据参考解 $\tau^\star$ 和提示强度 $\ell$ 生成提示 $h$。强度越高，提示越详细——从最小的概念提示到具体的步骤指导。（4）**提示条件化采样**：用提示条件化策略 $\pi_\theta(\cdot \mid x, h)$ 采样 $G$ 条轨迹。（5）**优势计算**：计算组内标准化优势 $A_i = (R_i - \bar{R}) / (s + \epsilon)$。（6）**策略更新**：最小化策略梯度损失 $\mathcal{L}(\theta) = -\mathbb{E}[\frac{1}{G}\sum_i A_i \sum_t \log \pi_\theta(y_{i,t} \mid x, h, y_{i,<t})]$，加上 KL 正则项。测试时，设置 $\ell = 0$、$h = \varnothing$，直接用 $\pi_\theta(\cdot \mid x)$ 推理。

技术新颖性

SAGE 在技术新颖性上体现在三个层面。第一，**形式化框架**：论文将 GRPO 在稀疏奖励下的失效形式化为一个「门控概率」问题——策略更新只有在组内出现混合结果时才发生，概率约为 $Gp_\theta(x)$。这比之前启发式的「跳过退化组」更加精确，也为提示强度的选择提供了理论指导（目标是让 $p \approx 1/2$ 以最大化门开概率）。第二，**在线自提示**：区别于 Scaf-GRPO 使用 GPT-5 生成静态提示、LUFFY 使用 DeepSeek-R1 的轨迹作为离线数据，SAGE 让当前策略自己生成提示并在线更新提示生成器。论文证明了最优提示分布 $q^\star_\theta$ 是策略依赖的（Proposition 3.3），因此固定的离线提示必然随着训练进展而失校准。第三，**策略依赖调度**：提示强度不是固定的超参数，而是根据每个提示的实际采样结果动态调整——只在需要时才提升强度，形成自动课程。

实验结果

论文在 3 个 LLM（Llama-3.2-3B-Instruct、Qwen2.5-7B-Instruct、Qwen3-4B-Instruct）和 8 个基准（6 个数学推理 + 2 个分布外）上进行了全面实验。核心发现包括：（1）SAGE 在所有 LLM 上都稳定超越所有基线。在分布内基准的平均准确率上，SAGE 相比 GRPO 在 Llama-3.2 上从 21.9% 提升到 23.9%（+2.0），在 Qwen2.5 上从 41.1% 提升到 42.3%（+1.2），在 Qwen3 上从 68.7% 提升到 70.0%（+1.3）。（2）提示利用率方面，SAGE 使 Llama-3.2 的「从未产生正确轨迹」的提示比例从 40.2% 降至 30.0%，多利用了 10.2% 的提示。Qwen3 上这个改善较小（从 1.3% 到 1.0%），但仍有 +1.3 的准确率提升，说明即使少量硬提示的正确利用也很关键。（3）SFT 表现最差，甚至不如原始基线模型，说明在硬提示上简单模仿离线轨迹会导致过拟合。（4）LUFFY 在 Llama-3.2 和 Qwen3 上甚至不如基线模型，训练动态图显示其熵值极高（Llama-3.2）或初始奖励极低（Qwen3），离线策略引入的分布偏移导致严重不稳定。（5）在线自提示始终优于离线自提示，在 Qwen3 上使用 $\ell = 2$ 时达到 58.3%，比离线版本的 55.4% 高出 2.9 个百分点。（6）SAGE 的训练时间是 GRPO 的 2.3 倍，但 SAGE-LIGHT（epoch 级调度）仅需 1.2 倍，提供了效率-性能的良好权衡。

查看结构化数据

任务	指标	本文	基线	提升
分布内基准平均（AIME24/25、AMC23、MATH-500、Minerva、Olympiad）	准确率(%)	SAGE: Llama 23.9, Qwen2.5 42.3, Qwen3 70.0	GRPO: Llama 21.9, Qwen2.5 41.1, Qwen3 68.7	+2.0 (Llama), +1.2 (Qwen2.5), +1.3 (Qwen3)
AIME24	准确率(%)	SAGE: Llama 9.2, Qwen2.5 16.0, Qwen3 58.1	GRPO: Llama 6.7, Qwen2.5 15.0, Qwen3 55.8	+2.5 (Llama), +1.0 (Qwen2.5), +2.3 (Qwen3)
AMC23	准确率(%)	SAGE: Llama 34.7, Qwen2.5 60.3, Qwen3 94.2	GRPO: Llama 29.5, Qwen2.5 55.5, Qwen3 95.0	+5.2 (Llama), +4.8 (Qwen2.5), -0.8 (Qwen3)
MATH-500	准确率(%)	SAGE: Llama 56.3, Qwen2.5 80.0, Qwen3 95.4	GRPO: Llama 52.1, Qwen2.5 79.2, Qwen3 96.0	+4.2 (Llama), +0.8 (Qwen2.5), -0.6 (Qwen3)
OlympiadBench	准确率(%)	SAGE: Llama 22.0, Qwen2.5 45.9, Qwen3 71.2	GRPO: Llama 21.8, Qwen2.5 44.5, Qwen3 70.4	+0.2 (Llama), +1.4 (Qwen2.5), +0.8 (Qwen3)
分布外平均（GPQA + MMLU-Pro）	准确率(%)	SAGE: Llama 34.0, Qwen2.5 48.6, Qwen3 65.2	GRPO: Llama 33.1, Qwen2.5 47.4, Qwen3 64.5	+0.9 (Llama), +1.2 (Qwen2.5), +0.7 (Qwen3)

局限与改进

论文的主要局限性包括：（1）**训练开销**：SAGE 需要在检测到组崩塌时额外采样提示并在多个提示强度上试探，训练时间是 GRPO 的 2.3 倍。虽然 SAGE-LIGHT 将此降至 1.2 倍，但代价是响应较慢。（2）**提示生成质量**：SAGE 的提示由当前策略自己生成，当策略本身较弱时（如 Llama-3.2-3B），生成的提示质量可能不高，限制了改善空间。论文在 Figure 3 中展示了 GPT-5 提示在某些设置下与自提示效果接近，但在更困难的设置下自提示仍有优势。（3）**仅限二元奖励**：论文的理论分析和实验都基于 $R \in \{0, 1\}$ 的二元验证器奖励，对于连续奖励或多维度奖励的情况，门控分析需要重新推导。（4）训练集限制**：由于计算资源限制，训练集从 64k 进一步缩减到 15k 提示，且限制参考轨迹长度为 8192 tokens，这可能过滤掉了一些有价值的长推理问题。（5）**自提示的隐式偏见**：虽然论文声称自提示保持了在线策略特性，但提示的生成方式（用当前策略生成 JSON 格式的分层提示）本身就是一种启发式设计，其最优性未被证明。

独立分析的弱点

从独立分析的角度看，SAGE 存在以下可改进之处：（1）**提示生成的表达力瓶颈**：当前的提示生成是通过 prompt 工程实现的（用系统提示让模型生成 JSON 格式的三级提示），这种方法的表达力受限于模型的指令遵循能力。一个可能的改进方向是训练一个专门的提示生成网络，或者使用强化学习来优化提示生成策略本身。（2）**提示强度的离散化**：提示强度 $\ell \in \{0, 1, 2, 3\}$ 只有 4 个级别，每个级别对应不同的提示详细程度。这种粗粒度的离散化可能无法精确校准到 $p \approx 1/2$ 的最优状态。可以考虑学习一个连续的提示强度控制器，或者使用自适应的提示压缩算法。（3）**探针采样的额外开销**：SAGE 的 group-degeneracy trigger 需要额外采样 $G$ 条轨迹来检测是否崩塌，这增加了计算成本。可以考虑用更高效的估计方法，如基于 token 级概率的快速失败检测。（4）**对弱模型的改善有限**：在 Llama-3.2-3B 上改善最大（+2.0），但在 Qwen3-4B 上改善较小（+1.3），且绝对准确率仍受限于模型能力。对于已经被大量 RL 训练的强模型，自提示的价值可能有限。

未来方向

基于 SAGE 的框架，有几个有前景的研究方向：（1）**推广到连续奖励**：将门控分析扩展到连续奖励或多维度奖励（如代码正确性 + 效率），这将使 SAGE 适用于更广泛的任务。（2）**提示压缩与信息论分析**：论文定义提示为参考解的「有损压缩」，但没有给出压缩率的理论界限。可以引入率失真理论来分析在给定压缩率下提示对策略的最优信息量。（3）**与其他 RL 方法的结合**：SAGE 的特权提示机制可以与 DAPO 的动态采样、REINFORCE-Ada 的自适应学习率等方法正交组合。（4）**多模态扩展**：将特权提示的概念扩展到多模态推理任务，如图表理解或代码生成。（5）**提示蒸馏**：将训练时的提示知识蒸馏到模型中，使模型在无提示时也能内化这些推理策略。（6）作者提出的方向包括探索更高效的提示调度策略（如基于模型不确定性的调度）和将 SAGE 应用于更长的推理链任务。

复现评估

论文的复现条件良好。代码已在 GitHub 开源（https://github.com/BaohaoLiao/SAGE），训练框架使用 verl（一个开源的 RLHF 框架）和 vLLM 进行采样。训练数据来自公开的 OpenR1-Math-220k 数据集，经过 Math-Verify 工具验证后缩减到 64k/15k 提示。计算资源方面，所有实验在 8 张 A100 GPU 上运行，主要实验约需 25-58 小时（GRPO 25.3h，SAGE 58.3h）。基线方法（LUFFY、Scaf-GRPO）的开源实现也被用于公平比较。复现难度适中：核心算法不复杂（主要是在 GRPO 的基础上增加提示生成和调度逻辑），但需要注意提示生成的 prompt 设计（Appendix B 提供了完整的 system prompt）和超参数设置（$L = 3$、$\alpha = 0.35$、$G = 8$、batch size 128、500 步）。

自提示语言模型增强强化学习 Self-Hinting Language Models Enhance Reinforcement Learning