p1：用更少的提示获得更好的提示优化

筛选少量高方差用户提示，让 RL 提示优化在异质推理任务上突破全量训练瓶颈。

前置知识

系统提示（system prompt）与用户提示（user prompt）

系统提示是放在对话开头、指导模型整体行为和推理风格的固定文本（如「请你像一个奥赛选手那样思考」）；用户提示则是当前具体任务的输入（如一道 AIME 数学题）。两者拼接后送入冻结的语言模型 $\pi$，并以自回归方式采样响应 $y \sim \pi(\cdot \mid x', x)$。提示优化的目标是不改动模型权重，只通过搜索更好的 $x'$ 来提升期望奖励 $\mathbb{E}_{x \sim \mathcal{D}, y \sim \pi}[r(x,y)]$。

本文把优化目标拆解到「生成策略 $\pi'$ 提出候选 $x'$」这一外层 RL 循环，并把数据集 $\mathcal{D}$ 视为可被筛选的训练信号；只有先分清两层提示，才能理解为什么奖励方差会被分解成两个独立项。

GRPO 与 on-policy 策略梯度

GRPO（Group Relative Policy Optimization）是 DeepSeek 提出的一种去 critic 的 RL 算法。它对同一提示采样一组响应，用组内奖励均值作为基线 $V^{\pi'_t}(s) = \mathbb{E}_{x' \sim \pi'_t}[r(x')]$，再用相对优势更新策略。本文使用了一种「纯 on-policy、无 KL、无标准差归一化」的简化变体，其梯度与 RLOO（Leave-One-Out）等价，目标函数形式为 $\mathbb{E}_{x' \sim \pi'_t}\left[\frac{1}{|x'|}\sum_l \frac{\pi'(x'_l \mid s, x'_{<l})}{\pi'_t(x'_l \mid s, x'_{<l})}(r(x')-V^{\pi'_t}(s))\right]$。

理解 GRPO 的组内比较机制，才能体会为什么「候选系统提示之间的奖励差异」会直接决定优化信号是否清晰，进而明白本文方差分解公式的物理意义。

奖励方差分解与信噪比

在监督学习或 RL 中，观测到的奖励方差可以拆成「采样噪声」与「真实信号差异」两部分。当我们用 $M$ 个 i.i.d. 响应估计二值奖励的均值时，单条样本的方差是 $\sigma^2 = p(1-p)/M$。若把多个候选 $x'_n$ 同时考虑，总期望方差可分解为 $\mathbb{E}[\mathrm{Var}(\hat{r})] = \underbrace{\frac{N-1}{N^2}\sum_n \frac{p_n(1-p_n)}{M}}_{\text{响应噪声}} + \underbrace{\frac{1}{N}\sum_n (p_n - \bar{p})^2}_{\text{系统提示差异}}$。后一项才是真正能驱动 RL 改进的信号。

这是全文的理论锚点。作者把直觉上模糊的「提示优化有效 vs 无效」翻译成了可度量的方差分量；后文的 p1 筛选策略本质就是在最大化第二项。

数据同质性 vs 异质性

同质性（homogeneous）任务指不同样本之间对系统提示的偏好一致——一个对 $x_1$ 好的提示通常对 $x_2, x_3$ 也好；异质性（heterogeneous）任务则相反，不同样本偏好的提示可能完全不同。指令跟随类任务（如 IFBench）偏同质，因为格式约束通常对所有样本普适；AIME 这种高难度数学题偏异质，因为不同题型需要不同解题风格。

同质性决定了「增加训练样本是否能强化信号」。同质时所有样本指向同一个好提示，方差集中在系统提示之间；异质时不同样本互相抵消，扩展数据集反而让所有候选 $x'$ 的平均奖励趋于相同，从而稀释 RL 信号。

研究动机

自动提示优化（automatic prompt optimization）在不同任务上的表现极不稳定。在 IFBench 这类指令跟随基准上，无论是基于进化搜索的 GEPA 还是基于强化学习的 RL 方法，都能把 Qwen3-4B-Instruct-2507 的 IFBench 准确率从 35.03% 提升到 39% 左右。然而在 AIME 2024 这类高难度数学竞赛题上，同样 30 题、同样 N=16 个候选系统提示、同样 4 张 H100、三天时间预算，RL 的训练奖励在 0–400 步内几乎完全走平，评测准确率也始终停在 47% 附近，与 base 模型（47.03%）无统计差异。换句话说，简单的「加大算力 / 加大数据集 / 调超参」并不能解决 AIME 上的失败。这种 task-dependent 的失效让实践者无法判断「我的任务到底能不能做提示优化」，也使得 RL 类方法在推理场景中难以落地。

本文的目标是本文的目标不是提出一个新的优化器，而是建立一个可解释的失败诊断框架，并基于该框架设计一个极简的干预手段。具体而言，作者希望：(1) 从理论上刻画「提示优化能否成功」的充分条件；(2) 提出一种用户提示筛选方法 p1，仅用很少的训练样本（默认 K_top=2）就能让 RL 优化在异质性推理任务上重新获得学习信号；(3) 在 AIME、HMMT 等推理基准上验证「少即是多」这一反直觉结论，并展示学到的系统提示在不同模型（如从 Qwen3-4B 迁移到 Qwen3-30B-A3B）之间也能保持增益。

与已有工作不同的是，现有工作要么把提示优化当成单纯的搜索 / RL 工程问题去堆算力，要么在评测时只报告「总体均值提升」而忽略方差结构。本文切入的独特角度是把优化信号本身当作研究对象：通过把 $\mathrm{Var}(\hat{r})$ 严格分解为「响应方差 + 系统提示方差」，作者发现了一个被忽视的反直觉现象——扩大训练集 $K$ 会单调降低系统提示方差，尤其在异质任务上让所有候选 $x'$ 的平均奖励趋于相同。基于此，作者提出 p1：与其「用全部数据训练」不如「挑 2 个最有判别力的样本训练」，把方差比 (signal-to-noise ratio) 拉回健康区间。这一视角不同于已有的任何 prompt optimizer，本质上是把数据选择重新带回到 RLHF/prompt-RL 的核心环节。

核心方法

本文的整体思路可以拆成「诊断 → 干预」两阶段。诊断阶段先把 RL 提示优化的奖励方差在数学上严格分解为两个独立项，并通过在 IFBench（高方差比）和 AIME（低方差比）上的对比实验证实「系统提示方差足够大」是优化成功的必要条件；然后把分析从 K=1 推广到一般 K，揭示「数据集越大、信号反而越弱」这一异质性效应。干预阶段基于诊断结果设计 p1：先用初始策略 $\pi'_0$ 采样 N 个候选系统提示，对每个用户提示 x_k 在所有候选下做 M_filter 次采样，估计出「响应方差」与「系统提示方差」之差（即真信号），然后枚举所有大小为 K_top 的子集、选出信号最大的那个，最后只在这个小子集上跑完整的 GRPO 训练。换句话说，p1 不是新的 RL 算法，而是数据选择层的一次外科手术式修改。

与已有方法（GEPA 的进化搜索、各种 RL-prompt 的算法改进）的本质区别在于：p1 不修改优化目标、不修改损失函数、不修改策略架构，只修改「训练数据从哪里来」。它把 $\hat{r}(x'_n)$ 的观测方差拆开后意识到，先前所有工作隐含地用全量数据集来估计 $\hat{r}$，这在异质任务上相当于对不同样本的偏好做了强制平均，从而把系统提示之间的真实差异掩盖掉。p1 通过显式减去响应方差 $\sum_k \hat{p}_{kn}(1-\hat{p}_{kn})/(K^2 M)$ 来获得对真实信号的无偏估计，再用这一信号挑选子集，相当于把「同一个好提示 vs 坏提示」的可分性最大化。另一个关键差别是 p1 用方差本身而非信噪比作为筛选指标——作者发现信噪比会偏向 $p \approx 0$ 或 $p \approx 1$ 的极端 prompt，而绝对方差更稳定。

方法步骤详情

p1 算法分两阶段（完整伪代码见论文 Algorithm 1）。阶段一为筛选：(1) 从初始 $\pi'_0(\cdot \mid s)$ 采样 N=16 个候选系统提示 $\{x'_n\}$；(2) 对每条候选 $x'_n$ 和每条用户提示 $x_k$，用冻结的 $\pi$ 采样 M_filter 次响应，得到奖励序列 $r(x_k, y_{mk,n})$，并估计 $\hat{p}_{kn}$；(3) 枚举所有 $|S|=K_{top}$ 的子集（$K_{top}=2$），计算每个子集的 $\mathrm{Var}(\hat{r})$ 与响应方差 $\mathrm{Var}_{\mathrm{resp}}(\hat{r})$，两者相减得到分数 $\mathrm{Score}(S)$；(4) 选分数最高的子集 $S^\star$ 进入训练。阶段二为优化：保持 KM 总采样预算近似不变，把 M 放大 K_top / K 倍，然后在 $S^\star$ 上跑标准的 GRPO 目标 $\max_{\pi'} \mathbb{E}_{x' \sim \pi'_t(\cdot\mid s)}\left[\frac{1}{|x'|}\sum_l \frac{\pi'(x'_l \mid s, x'_{<l})}{\pi'_t(x'_l \mid s, x'_{<l})}(r(x')-V^{\pi'_t}(s))\right]$。整篇方法的算力开销集中在阶段一的 $N \times K \times M_{filter}$ 次响应采样上，由于 K=30、M_filter=128、N=16，这是一次性离线成本，训练阶段反而更便宜。

技术新颖性

技术上新颖性体现在三处。第一处是数学贡献：作者把多提示场景下的 $\mathbb{E}[\mathrm{Var}(\hat{r})]$ 严格分解为响应方差 $\frac{N-1}{N^2}\sum_n\frac{1}{K}\sum_k \frac{p_{kn}(1-p_{kn})}{M}$ 与系统提示方差 $\frac{1}{N}\sum_n(\mu_n - \bar{p})^2$ 之和，并证明当 $K$ 增加时第二项单调下降——这一结论是后续所有实验设计的基础。第二处是反直觉发现的实验验证：在 AIME 上同时变化 K 和 M（图 5 第一行 M=128 固定、第二行 KM=128 固定），无论哪种控制方式，AIME 的系统提示方差都随 K 上升而下降，而 IFBench 几乎不变，这直接证明异质性是元凶。第三处是筛选指标的设计选择：作者明确论证了为何不用信噪比而用绝对方差——前者会被 $p \approx 0.5$ 的高噪声 prompt 误导（因为响应方差小），后者则更稳定；这一细节是 p1 能稳定挑出高质量子集的关键。

**Figure 3**: Variances across responses and system prompts for IFBench training set and AIME 24.

**Figure 4**: Variance among system prompts vs. training reward improvement when training on one AIME prompt.

**Figure 5**: Variance among responses and among system prompts for AIME and IFBench.

实验结果

核心实验分两组，分别针对异质任务（AIME / HMMT）和同质任务（IFBench）。在异质任务上（表 1，Qwen3-4B-Instruct-2507），base 模型在 AIME 25 / 26 / HMMT 25 / 26 上的准确率分别为 47.03% / 54.38% / 40.68% / 27.89%；使用全量 30 题做 RL 后几乎无提升（AIME 25 仅 47.24%）；GEPA 的几种训练-验证划分（15/15、28/[1,23]、[1,23]/28）也都低于 base 或与之持平。然而 p1 在子集 [1, 23]（K_top=2，M=16）上把 AIME 25 准确率推到 54.01%（+6.98 个百分点），AIME 26 推到 62.24%（+7.86），HMMT 25 推到 45.42%（+4.74），HMMT 26 推到 29.40%（+1.51）。子集 [17, 27] 同样稳定优于 RL 和 GEPA。在 Qwen3-1.7B 上也复现了这一现象，p1 的最优子集 [5, 26] 把 AIME 25 / 26 从 35.63% / 35.57% 提升到 36.98% / 37.60%，HMMT 25 从 25.36% 提到 27.08%（+1.72）。在图 1 中，作者把 [1, 23] 上训练出的系统提示直接迁移到 Qwen3-30B-A3B-Instruct-2507，结果在 AIME 25 / 26 / HMMT 25 / 26 上分别取得约 50% / 60% / 45% / 30% 的准确率，仍然显著高于 base（~35% / ~50% / ~30% / ~20%）。在同质任务 IFBench 上（表 2）出现相反现象：Qwen3-4B 下 base=35.03%，GEPA=39.12%，RL（全量 K=64, M=2）=39.46%，而 p1 在 K_top=16、4、1 时分别只拿到 37.41% / 35.71% / 35.37%，明显差于 GEPA/RL。这是因为 IFBench 同质，扩展数据集反而让信号更稳定，缩小子集会过拟合。图 6 的定性分析进一步支持这一解释：p1 学到的系统提示强调「raw, unfiltered thinking」「follow the structure strictly」等通用推理行为，而 GEPA 学到的提示包含了 AIME 24 训练集里特定几何 / 数论题型的解题套路（如 unit-length segment 与 cos θ + sin θ 极值的特解），本质上是把训练题目的特征编码进了提示，因此在测试集上泛化能力较弱。

**Table 1**: Performance on AIME and HMMT under different methods and selected subsets S.

**Table 2**: Performance on IFBench under different methods, subset S and M.

**Table 3**: Dataset details and maximum generation length.

**Table 6**: Hyperparameter details for RL/p1/GEPA.

**Figure 1**: Comparison of p1 against the base model and baseline methods.

**Figure 6**: Examples of learned system prompts from p1 and GEPA on AIME 24 with Qwen3-4B-Instruct-2507.

查看结构化数据

任务	指标	本文	基线	提升
AIME 25 数学竞赛推理	准确率（%，64 次采样平均）	p1 [1,23] (Qwen3-4B): 54.01	base: 47.03 / RL 全量: 47.24 / GEPA 28/[1,23]: 46.35	+6.98 over base, +6.77 over 全量 RL
AIME 26 数学竞赛推理	准确率（%，64 次采样平均）	p1 [1,23] (Qwen3-4B): 62.24	base: 54.38 / RL 全量: 54.58 / GEPA [1,23]/28: 53.49	+7.86 over base, +7.66 over 全量 RL
HMMT 25 数学竞赛推理	准确率（%，64 次采样平均）	p1 [1,23] (Qwen3-4B): 45.42	base: 40.68 / RL 全量: 40.26 / GEPA: 40.10–40.57	+4.74 over base, +5.16 over 全量 RL
HMMT 26 数学竞赛推理	准确率（%，64 次采样平均）	p1 [1,23] (Qwen3-4B): 29.40	base: 27.89 / RL 全量: 27.04 / GEPA: 27.08–27.46	+1.51 over base, +2.36 over 全量 RL
AIME 25 (Qwen3-1.7B)	准确率（%，64 次采样平均）	p1 [5,26] (Qwen3-1.7B): 36.98	base: 35.63 / RL 全量: 35.10 / GEPA 28/[5,26]: 34.22	+1.35 over base, +1.88 over 全量 RL
IFBench 指令跟随（Qwen3-4B，同质任务，反例）	IFBench 准确率（%）	p1 K=16: 37.41 / p1 K=4: 35.71 / p1 K=1: 35.37	base: 35.03 / RL 全量: 39.46 / GEPA 32/32: 39.12	-2.05 / -3.75 / -4.09（p1 在同质任务上反而变差，证明筛选的代价）
AIME 25 跨模型迁移（Qwen3-30B-A3B-Instruct-2507）	准确率（图 1 估算）	p1 [1,23] 学到的 prompt: ~50	base Qwen3-30B: ~35	+15 左右；说明学到的是模型族通用的推理行为而非 4B 专属记忆

局限与改进

作者在第 7 节明确承认了两点局限：第一，整套方差分解理论建立在二值奖励 $r(x,y) \in \{0,1\}$ 的假设上，因此无法直接覆盖 dense reward（如 BLEU、过程奖励模型打分）的情形；第二，虽然经验上「高方差子集上的训练奖励提升」能外推到完整分布上的准确率提升（表 1 中 [1,23] 在 AIME 25 训练奖励 +0.21 在 4 个测试基准全部大幅超过 base），但作者没有给出「何时子集性能会与全分布性能对齐」的完整刻画，因此实际部署时仍需在子集上做经验筛选。除此之外，从实验数据还能观察到几个作者未明说但值得注意的现象：(i) p1 对子集选择相当敏感——AIME 24 上 [25] 单题训练甚至让 Qwen3-4B 的 AIME 25 准确率从 47.03% 掉到 44.95%，说明子集筛选并非「多挑几个就稳」；(ii) K_top=1 的 p1 在所有基准上几乎必然过拟合（IFBench 35.37% vs RL 39.46%，AIME 训练奖励 +0.07 但测试集下降到 47.81%）；(iii) 在同质任务 IFBench 上 p1 系统性劣于 RL，说明方法不具有任务无关性，部署前需要先判断任务异质性。

独立分析的弱点

独立审视本文，至少有四处具体弱点，每处都对应可操作的改进方向。第一，子集选择是离散枚举 + 一次性打分，没有在线反馈机制：p1 在 stage 1 用初始策略 $\pi'_0$ 估计的方差可能与训练后期 $\pi'_t$ 的方差结构不一致；改进方向是引入贝叶斯 / bandit 式的自适应子集替换，例如每 50 步重新估计方差并淘汰方差塌缩的样本。第二，方差分解的推导强依赖二值奖励，扩展到 dense reward 时需要重新推导 $\mathrm{Var}(\hat{r})$ 的结构，理论上不再闭合；改进方向是借鉴 UCB 或信息论上界（如 mutual information）构造新的筛选准则。第三，对子集大小 $K_{top}$ 极敏感且没有自动选择规则——AIME 4B 模型上 K_top=2 最优，但 1.7B 模型上 [5,26] 略好于 [10,11]；改进方向是用留一法或验证集交叉验证来自动选 $K_{top}$。第四，整套实验只用 Qwen 系列模型，未在 Llama / Mistral / GPT 等不同家族上验证，方法的可迁移性仍有疑问；改进方向是补充跨家族的 cross-model 实验，并报告学到的 prompt 在不同 tokenizer 下的稳定性。

未来方向

作者自己提出的未来方向集中在两件事：(1) 把分析扩展到 dense reward 环境，例如把 $p_{kn}(1-p_{kn})$ 换成一般方差的上界，研究连续奖励下系统提示方差是否仍然随 K 单调下降；(2) 给出「子集性能 ↔ 全分布性能」对齐的完整理论或经验判据，让 K_top 和具体子集都可以自动选择。基于本文的成果，还可以延伸出几条有前景的研究线索：(a) 把 p1 思路与 prompt evolution 结合——GEPA 在 AIME 上的失败源于它对训练样本的「死记硬背」，可以在 GEPA 的训练池里也做高方差子集筛选；(b) 把筛选准则用于 instruction tuning 数据选择，把「对 prompt 最敏感」的样本当作高质量训练信号，可能比 random / difficulty-based 采样更高效；(c) 探索 prompt-level 的主动学习：在 RL 训练过程中持续往子集里加入「最近让候选 prompt 方差上升」的新样本，动态维护一个高方差训练池；(d) 把方差比作为任务可优化性的预测指标，做成 RL-prompt 任务的 early-stop / 切换到 SFT 的判据。

复现评估

复现性整体良好。代码层面作者使用 VERL（Sheng et al., 2025）作为 RL 框架，meta prompt s、生成超参（π 温度 0.6、top_p 0.95、top_k=-1，π' 训练温度 1、top_p 1）以及学习率（1e-6）等均在附录 D.3 完整披露；模型使用 Qwen3-4B-Instruct-2507 与 Qwen3-1.7B 两个公开权重；数据集使用 AIME 24/25 与 IFBench（allenai/IF multi constraints upto5 / allenai/IFBench test），均为 HuggingFace 公开数据集。算力门槛是 4 张 H100 + 3 天时间预算，门槛中等偏上，普通实验室可以复现。难度主要在于 stage 1 的 $N \times K \times M_{filter} = 16 \times 30 \times 128 = 61440$ 次响应采样——尽管是一次性离线成本，但若 K 扩大到几百（如 AlpacaEval）则会变成主要开销。作者也明确指出「bin reward」假设让复现实验的设计变得相对可控。论文尚未提供开源代码仓库链接（preprint 阶段），附录仅给出伪代码（Algorithm 1），实际跑通还需要补全与 VERL 的对接、math-verify 集成、Qwen3-1.7B 的 thinking-mode 解析等若干工程细节。

p1：用更少的提示获得更好的提示优化 p1: Better Prompt Optimization with Fewer Prompts