小型可泛化提示预测模型可引导大型推理模型的高效强化学习后训练

轻量级生成式提示预测模型实现跨提示难度泛化，加速RL后训练

前置知识

强化学习与可验证奖励（RLVR）

RLVR是一种训练大语言模型推理能力的技术，通过让模型生成长链思维（Chain-of-Thought）响应，并使用可自动验证的奖励函数（如数学题的正确性）来优化策略。相比人类反馈，RLVR的奖励信号是程序化验证的，更客观且可扩展。在训练过程中，模型需要对大量提示进行rollout（生成响应），然后根据奖励更新参数，这个过程计算开销很大。

本文的核心目标就是降低RLVR的计算成本，理解RLVR的工作机制是理解本文动机的前提

群组相对策略优化（GRPO）

GRPO是DeepSeek提出的RLVR算法，相比PPO移除了价值网络，通过群组归一化估计优势函数。具体做法是对每个提示生成k个响应，计算群组内奖励的均值和标准差，将每个响应的优势定义为 $r_i - \text{mean}$ 除以 $\text{std}$。这种方法减少了内存开销，但仍然需要大量rollout来评估策略。

GPS方法在GRPO框架下实现，理解GRPO的工作原理有助于理解为什么提示选择对训练效率如此关键

提示预测模型（PPM）

PPM是一种轻量级模型，用于预测给定提示在当前策略下的难度（通常用成功率表示）。理想情况下，PPM应该能快速估计哪些提示对训练最有价值，从而避免对所有候选提示进行昂贵的rollout评估。现有方法如MoPPS为每个提示维护独立的Beta后验，无法跨提示共享信息。

本文的核心贡献就是设计一种可泛化的PPM，理解现有PPM的局限性是理解本文创新点的关键

变分推断与证据下界（ELBO）

变分推断是一种近似推断方法，用于处理难以直接计算的后验分布。通过引入变分分布来近似真实后验，并最大化ELBO目标函数。ELBO是边际似然的下界，最大化ELBO等价于同时优化重构损失和正则化项。

本文使用变分框架训练生成式PPM，理解ELBO的含义有助于理解方法的技术细节

贝叶斯推断与后验更新

贝叶斯推断是一种根据观测数据更新信念的框架。给定先验分布和似然函数，通过贝叶斯公式计算后验分布。在在线学习场景中，后验会随着新数据的到来不断更新，形成对参数的更准确估计。

GPS通过贝叶斯框架进行难度推断，利用历史信息构建可泛化的难度先验

研究动机

强化学习后训练（RLVR）虽然能显著提升大语言模型的推理能力，但计算成本极高。以GRPO算法为例，每个训练步骤需要对大量提示生成多个响应（通常k=8），然后进行策略更新。在数学推理任务上，单步训练时间可达200-600秒，而完整训练需要数百步。现有的在线提示选择方法试图通过智能选择训练提示来提高效率，但存在两类主要问题：第一类是评估型方法（如Dynamic Sampling），需要对候选提示集进行大量额外rollout来精确评估难度，虽然效果好但计算开销巨大，甚至比均匀采样更慢；第二类是预测型方法（如MoPPS），虽然计算开销小，但为每个提示维护独立的难度估计，无法跨提示共享信息，导致新提示的估计不准确，且难以适应模型策略的快速变化。

本文的目标是本文旨在设计一种轻量级且可泛化的提示预测模型（PPM），能够跨提示共享难度信息，实现高效的在线提示选择。具体目标包括：在保持或提升最终性能的前提下，将训练速度提升1.5-2倍；相比评估型方法减少60-70%的rollout开销；学习到的PPM还能在测试时指导计算分配，在固定预算下提升3%以上的准确率，或在不损失性能的情况下减少30%以上的推理成本。

与已有工作不同的是，本文抓住了一个被现有工作忽视的关键洞察：提示的难度本质上是由提示本身和当前模型策略共同决定的，而不同提示之间的难度存在隐含的相关性。现有方法将每个提示的难度估计视为独立问题，无法利用这种跨提示的结构信息。此外，现有方法主要关注单个提示的评分，忽视了批量选择时的多样性考量，导致选择的提示批次存在冗余。本文的独特视角是：将提示难度建模为一个全局的、时变的潜在变量，通过生成式模型压缩历史优化信息，实现跨提示泛化；同时将提示选择重新形式化为批次级优化问题，同时考虑难度和多样性。

核心方法

GPS的核心思想可以用一个比喻来理解：想象你在辅导一群学生准备考试，每个学生对不同题目的掌握程度不同。传统方法是为每个学生单独记录学习情况，但这样无法利用学生之间的相似性。GPS的方法是建立一个「班级模型」，通过观察整个班级的学习历史，提取出「当前阶段的难度上下文」，然后用这个上下文来预测任何学生面对任何题目的难度。技术上，GPS使用一个轻量级的生成式PPM，包含三个核心组件：历史条件先验压缩历史信息到潜在变量，共享解码器将潜在变量和提示嵌入映射到难度估计，变分编码器提取当前批次的上下文信息。整个系统通过最大化ELBO目标进行端到端训练。

GPS与现有方法最本质的区别在于两点：第一，跨提示泛化的难度建模。现有方法如MoPPS为每个提示维护独立的Beta后验，只能利用该提示自身的历史观测。GPS引入全局潜在变量，将所有提示的难度信息压缩到一个共享的「难度上下文」中，使得即使某个提示从未被采样过，也能通过其语义嵌入和当前上下文预测其难度。理论证明（定理3.1）表明，基于完整历史的共享预测器比独立预测器具有严格更低的预测误差。第二，难度-多样性统一的批量选择策略。现有方法基于独立的提示评分进行选择，忽视了批次内的冗余。GPS将选择形式化为批次级优化问题，效用函数综合考虑难度效用（中间难度优先）和多样性（批次内分散度和跨步探索），使用贪心搜索求解。

方法步骤详情

GPS算法包含以下关键步骤：（1）历史编码：在每个训练步骤，历史条件先验接收最近一个训练批次的提示嵌入和奖励反馈，通过Transformer编码器输出潜在变量的均值和方差参数，形成对优化历史的压缩表示。（2）难度预测：对于候选池中的每个提示，共享解码器接收提示嵌入和从先验采样的潜在变量，输出该提示的预测成功率。实际使用多次采样取平均。（3）批量选择：使用贪心搜索算法迭代选择B个提示。每步计算边际增益，选择增益最大的提示加入批次。效用函数综合考虑难度效用（中间难度优先）和多样性（批次内分散+跨步探索）。（4）策略更新：使用选中的提示批次进行GRPO训练，生成响应、计算奖励、更新LLM参数。（5）PPM更新：使用新获得的训练数据更新变分后验，并通过ELBO目标更新整个PPM的参数。整个过程循环进行，PPM随着LLM策略的演化不断适应。

技术新颖性

GPS的技术新颖性体现在多个层面。首先，在建模范式上，现有方法采用「独立提示建模」范式，将每个提示视为孤立的估计问题；GPS采用「共享历史建模」范式，通过潜在变量实现跨提示信息迁移。这种范式转变带来两个关键优势：冷启动问题的解决（新提示可以通过语义相似性和当前上下文获得合理估计）和对策略演化的适应（时变先验能够追踪模型能力的变化）。其次，在选择策略上，现有方法采用「提示级评分+排序」的两阶段方式；GPS采用「批次级联合优化」方式，显式考虑批次内多样性，避免训练信号冗余。最后，在系统设计上，GPS首次实现了「训练时预测到测试时分配」的统一框架，训练阶段学习到的PPM可以零成本迁移到测试时计算分配，这是现有独立建模方法无法实现的。

实验结果

GPS在多个维度上展现了显著优势。在难度预测质量上，GPS在训练开始后仅几步就达到了很高的Spearman等级相关系数（超过0.5），且随着历史积累持续提升，p值极低表明预测与真实难度高度相关。在训练效率上，GPS相比均匀采样实现了1.4倍到2.0倍的加速：在Countdown 4B上1.4倍（25步vs35步达到同等性能），在DeepScaler 1.5B上2.0倍。在最终性能上，GPS在数学推理任务上平均提升1.6-1.9个点（DSR-1.5B: 56.5% vs 54.9%，DSR-7B: 67.4% vs 65.5%），在逻辑推理任务上提升4.1-5.7个点（Qwen3-4B: 66.6% vs 62.5%，Qwen3-8B: 68.6% vs 62.9%）。与评估型Oracle基线DS相比，GPS在达到可比性能的同时，减少了高达69%的rollout（31%-34%的rollout用量），训练时间减少28%-47%。在测试时计算分配上，GPS利用训练阶段学习到的PPM，可以在固定预算下提升高达3.2%的准确率，或在不损失性能的情况下减少高达36.4%的推理成本。消融研究表明，移除历史锚定多样性会导致性能显著下降，移除潜在变量也会降低预测质量，验证了每个设计组件的贡献。

**Figure 2**: 训练过程中预测难度与经验成功率之间的Spearman等级相关性

查看结构化数据

任务	指标	本文	基线	提升
数学推理（DSR-1.5B）	平均准确率	56.5%	54.9%（Uniform）	+1.6%
数学推理（DSR-7B）	平均准确率	67.4%	65.5%（Uniform）	+1.9%
逻辑推理（Qwen3-4B）	平均准确率	66.6%	62.5%（Uniform）	+4.1%
逻辑推理（Qwen3-8B）	平均准确率	68.6%	62.9%（Uniform）	+5.7%
训练速度（DeepScaler 1.5B）	加速比	2.0×	1.0×（Uniform）	100%加速
rollout效率（vs DS）	rollout减少	31%-34%	100%（DS）	66%-69%减少
测试时计算分配	成本节省	最高36.4%	0%（Default）	36.4%
测试时准确率提升	准确率增益	最高3.2%	0%（Default）	3.2%

局限与改进

论文存在几个明显的局限性。首先，实验范围相对有限：主要在数学推理（DeepScaler）和逻辑推理（Countdown）两类任务上验证，虽然附录中展示了代码任务的初步结果，但缺乏更广泛的NLP任务验证。其次，奖励函数主要针对二元正确性奖励设计，虽然附录展示了在连续奖励（PRIME、RLHF）上的扩展，但选择准则的最优性在连续奖励场景下未得到理论保证。第三，PPM依赖于WordLlama嵌入的质量，论文承认语义相似性与难度的相关性仅为约0.2，这意味着嵌入质量可能成为跨域泛化的瓶颈。第四，论文未充分讨论PPM在训练后期的表现，随着LLM能力接近上限，提示难度分布会发生变化，PPM的适应性需要更多验证。第五，贪心搜索的批量选择算法在提示池规模极大时（如百万级）的效率需要进一步评估。

独立分析的弱点

从独立分析的角度，GPS存在以下可改进之处：第一，潜在变量的表达能力可能不足。当前设计使用单个全局潜在变量捕获整个历史的难度上下文，这在模型能力快速变化的训练早期可能过于粗糙。改进方向是引入分层潜在变量或多时间尺度的上下文建模，分别捕获短期波动和长期趋势。第二，多样性度量仅基于嵌入空间的欧氏距离，未考虑提示的功能相似性（如解题思路、所需知识）。可以引入基于解题过程的结构化相似性度量，或使用学习到的距离函数。第三，PPM的更新频率与训练步数绑定，可能错过快速变化的难度模式。可以探索自适应更新机制，在检测到分布变化时增加更新频率。第四，测试时计算分配使用简单的分位数窗口函数，未充分利用PPM输出的不确定性信息。可以设计基于置信度的自适应分配策略。

未来方向

基于GPS的成果，未来研究可以在多个方向展开。作者提出的方向包括：探索更精细的生成式建模架构，如使用更强大的时序模型替代简单的Transformer编码器；在更复杂的下游环境中评估GPS，特别是需要长期规划和工具使用的智能体场景。从论文成果可延伸的方向包括：将GPS框架扩展到离线偏好优化和策略外训练管线，这些场景同样面临数据选择效率问题；设计理论最优的连续奖励选择准则，当前基于奖励方差的启发式方法缺乏理论保证；研究PPM的元学习能力，使其能够快速适应新任务或新模型，实现零样本或少样本的难度预测；探索GPS与课程学习的结合，设计难度逐步提升的训练策略。

复现评估

论文的复现条件相对友好。代码已开源在GitHub，提供了完整的实现。数据集方面，DeepScaler、Countdown等均为公开数据集，可直接下载。算力需求方面，论文使用8块NVIDIA H20 GPU进行实验，对于1.5B模型训练约需16小时，7B模型约需49小时，这个规模在学术研究中是可接受的。PPM本身非常轻量（20M参数，不到LLM的1%），额外开销可忽略。复现难度中等：核心算法相对清晰，但超参数选择（如多样性权重、候选批次大小）需要根据具体任务调整。论文提供了详细的实现细节和超参数敏感性分析，有助于复现。