← 返回 2026-05-08

无意义文本反而有用：提示空间扰动扩展推理探索 Nonsense Helps: Prompt Space Perturbation Broadens Reasoning Exploration

Langlin Huang, Chengsong Huang, Jinyuan Li, Donghong Cai, Yuyi Yang, Jiaxin Huang 📅 2026-05-07 👍 38 2026-07-13 08:36
GRPO LLM推理 强化学习 探索策略 提示工程
arXiv HuggingFace PDF

在GRPO失败样本前添加Lorem Ipsum乱文，破解零优势困境以拓宽LLM推理探索。

前置知识

GRPO（Group Relative Policy Optimization）

GRPO是一种面向LLM推理训练的强化学习算法。它对每个问题采样G个回答，用组内奖励的均值和标准差归一化得到优势 $A_i = (r_i - \mathrm{mean}(r))/\mathrm{std}(r)$，无需单独的价值模型。相比PPO更简洁高效，是当前提升LLM数学/代码推理的主流方法之一。

本文直接基于GRPO扩展，必须先理解GRPO如何通过组内相对奖励计算优势，并理解其目标函数 $\mathcal{J}_{\mathrm{GRPO}}(\theta)$ 中KL正则项和clip机制的作用，才能看懂零优势问题和本文对KL项的移除。

零优势问题（Zero-Advantage Problem）

当GRPO对某道题采样的G个回答全部失败时，所有奖励 $r_i=0$，组内归一化后优势全部为零，导致该样本对策略更新没有梯度贡献，浪费了G次rollout的算力和数据。

这是本文要解决的核心问题。理解它需要知道优势归一化的数学后果（$\mathrm{std}=0$ 时分母为零）以及为什么硬题上这个问题特别严重，是LOPE方法存在的前提。

Lorem Ipsum（伪拉丁占位文本）

出版业使用的无意义占位文本，由63个拉丁词随机组合而成，结构上模仿自然语言（词长、句子边界）但无语义内容。本文用python-lorem包采样，长度在100-300 token之间。

LOPE的核心创新就是这种任务无关的提示空间扰动。需要理解为什么选用伪拉丁词而非真英文——避免污染推理上下文，同时保持低困惑度让模型仍能理解后续问题。

重要性采样比率（Importance Sampling Ratio）

重要性采样比率 $\rho_{i,t}=\pi_\theta/\pi_{\theta_{\mathrm{old}}}$，用于修正off-policy训练时采样分布与训练分布的偏差，PPO和GRPO都用clip控制更新幅度避免策略大幅漂移。

LOPE的resampled response是在扰动提示下采样的却要在原始提示下训练，是off-policy场景。本文设计policy shaping函数 $f(\rho)=\rho/(\rho+\gamma)$ 处理。

研究动机

GRPO在训练LLM推理时存在严重的零优势问题：当一道题太难时，模型对G=8个rollout回答全部判错，于是奖励向量 $r = [0,0,\ldots,0]$，标准差为0导致优势 $A_i$ 全部归零，该样本梯度为零，浪费了8次昂贵的推理算力。一种常见补救是增加采样预算，即对失败题再用原始prompt重采样 $G'=24$ 次。但作者在Qwen3-1.7B-Base上分析发现，这种naive resample在352道硬题上pass@8成功率极低，因为静态采样策略本身已把模型困在原推理轨迹附近，单纯增加rollout数难以跳出局部推理盆地。

本文的目标是本文的核心目标是设计一种轻量级训练框架，破解GRPO的零优势困境，显著提高对硬题的成功重采样率，从而恢复训练信号、充分利用训练数据并提升最终推理性能。具体而言，作者希望LOPE能让模型在7B规模以下都能稳定提升数学推理基准的平均分：在MATH-500、GSM8K、AMC、AIME 2024、AIME 2025五个任务上一致性显著超过GRPO基线，且在所有模型规模上都保持有效性，避免过拟合与训练不稳定。

与已有工作不同的是，现有zero-advantage recovery工作主要从两方面入手：一是logit空间的高温采样或自适应rollout预算分配，二是用hint/scaffold等任务相关内容增强prompt。两者都有局限：高温采样让响应困惑度从1.12暴涨到3.04，质量下降；任务相关hint可能引入偏置或事实错误。本文独辟蹊径，提出提示空间扰动思路——在prompt前添加与任务完全无关的Lorem Ipsum伪拉丁序列，不提供任何任务提示但足以把模型推出当前推理盆地，让resampled response解锁正交推理路径，兼具低困惑度（25.12）和任务无关性。

核心方法

LOPE的整体思路是把零优势问题从计算浪费转化为探索机会。直觉上，模型在原始prompt下反复失败，说明它已陷入某个推理盆地；这时与其继续用同一prompt重采样（如同一个人反复走同一条死胡同），不如在prompt前添加一段与任务无关的Lorem Ipsum乱文（相当于把模型推到一个稍有不同的起点），再让它重走一遍，从而有概率找到新的正确路径。技术路线上，LOPE在标准GRPO的rollout阶段检测零优势样本，对其用扰动prompt $\delta \oplus p$ 重采样 $G'=24$ 次，挑出其中正确的回答与原失败回答混合组成新大小为G的batch；训练时这些resampled response配对原始prompt构建pseudo rollout，并通过importance sampling和policy shaping $f(\rho) = \rho/(\rho+\gamma)$ 校正off-policy偏差，同时移除KL正则项以鼓励探索。

LOPE的核心创新是把提示空间扰动作为新的探索维度——区别于logit空间的高温采样或任务相关hint，LOPE使用任务无关、低困惑度的伪拉丁序列作为扰动源。与已有方法的本质区别有三：(1) 任务无关性：与scaffold或hint不同，Lorem Ipsum不引入任何任务信息，避免了偏置风险；(2) 提示空间而非logit空间：作者通过Figure 3证明高温度下响应困惑度从1.12暴涨到3.04，质量受损，而Lorem扰动后困惑度仅微升至1.157，质量得以保留；(3) 配合训练信号整形：通过policy shaping $f(\rho) = \rho/(\rho+\gamma)$（$\gamma=0.1$）和advantage shaping（在全 $G+G'$ 响应上归一化优势但仅对G个更新梯度），解决了off-policy训练中的低概率token梯度被压垮以及优势估计偏低两大问题。

方法步骤详情

LOPE训练流程分三步。第一步，标准rollout：用原始prompt采样G=8个回答；某题全错时触发LOPE重采样——从63个拉丁词中生成100-300 token的Lorem序列，拼接边界指令，再用扰动prompt $\delta \oplus p$ 采样G'=24个回答。第二步，regroup：从resampled中选 $N_s=\min(c, G-1)$ 个正确答案替换原失败回答，保留至少一个失败回答以保证优势非零；训练时配对原始prompt构建pseudo rollout $(p, q, o'_i)$。第三步，策略更新：对原rollout用标准GRPO目标，对resampled用修正比率并经policy shaping $f(\rho)=\rho/(\rho+\gamma)$ 调梯度；优势在 $G+G'$ 响应上归一化但梯度只回传G个；同时移除KL正则项以鼓励探索。

技术新颖性

LOPE的技术新颖性体现在三方面。第一，提出prompt-space perturbation作为全新的探索机制，区别于logit空间采样，且系统化地分析了有效扰动需满足伪拉丁加低困惑度两个条件——这是该领域首次对扰动源本身做系统消融。第二，advantage shaping机制（在完整 $G+G'$ 上归一化但仅对G个更新）巧妙地修正了用G个精选样本估计难度的统计偏差，作者定量分析显示其能将positive advantage放大2.1到5.0倍。第三，policy shaping 函数 $f(\rho) = \rho/(\rho+\gamma)$ 是对Yan et al. 2025 IPS公式的扩展——原工作假设 $\pi_{\theta_{\mathrm{old}}} \equiv 1$，LOPE则使用了真实的旧策略概率，从而对低概率但关键的推理token给予更高梯度权重，这与软注意力机制中放大罕见但重要信号的思想一脉相承。

Overview of LOPE. During the standard rollout phase, if all G responses fail, LOPE prepends a random Lorem Ipsum sequence to the prompt and resamples G' responses.
Figure 1: Overview of LOPE. During the standard rollout phase, if all G responses fail, LOPE prepends a random Lorem Ipsum sequence to the prompt and resamples G' responses.
The influence of various prompt space perturbations on question comprehension.
Figure 6: The influence of various prompt space perturbations on question comprehension.

实验结果

在Qwen3-1.7B/4B-Base和Qwen2.5-Math-7B三档模型上，LOPE在MATH-500、GSM8K、AMC、AIME 2024、AIME 2025五个基准均取得最优平均分。1.7B LOPE 39.82比GRPO 37.03高2.79；4B LOPE 53.99比GRPO 49.37高4.62，AMC从47.76跃升到58.21；7B提升最显著，53.88 vs 47.68高6.20，AMC从47.76升到61.19。Figure 4训练曲线显示LOPE在200步中始终保持高于naive和高温版本的resample pass@24。Figure 2 Venn图显示Lorem扰动在352道硬题中独立解决50道naive和高温都解不出的题。Table 2消融揭示扰动质量关键——Random Token（困惑度4.6e+05）反伤训练（37.65），而Filter Latin NL和Latin Unigram等低困惑度方法也达39+，证明Lorem Ipsum的成功并非个例。

Performance comparison across different model scales. LOPE with training signal shaping consistently outperforms GRPO and resampling with the naive prompt baselines.
Table 1: Performance comparison across different model scales. LOPE with training signal shaping consistently outperforms GRPO and resampling with the naive prompt baselines.
Comparison of different prompt space perturbation methods. The three methods with the smallest perplexity value (LOPE, Filtered Latin Natural Language, and Latin Unigram Model) achieve the best performance.
Table 2: Comparison of different prompt space perturbation methods. The three methods with the smallest perplexity value (LOPE, Filtered Latin Natural Language, and Latin Unigram Model) achieve the best performance.
Probability distributions of response entropy and perplexity across different prompting and sampling formulations.
Figure 3: Probability distributions of response entropy and perplexity across different prompting and sampling formulations.
Resample success rate and accuracy of Qwen3-1.7B-Base during training.
Figure 4: Resample success rate and accuracy of Qwen3-1.7B-Base during training.
Perplexity distributions of randomly generated sequences from each perturbation type, with the mean and standard deviation reported in each subplot.
Figure 5: Perplexity distributions of randomly generated sequences from each perturbation type, with the mean and standard deviation reported in each subplot.
查看结构化数据
任务指标本文基线提升
Qwen3-1.7B-Base 5基准平均分 MATH-500/GSM8K/AMC/AIME24/AIME25 Acc@1 或 Mean@32 平均 39.82 GRPO 37.03 +2.79
Qwen3-4B-Base 5基准平均分 MATH-500/GSM8K/AMC/AIME24/AIME25 平均 53.99 GRPO 49.37 +4.62
Qwen2.5-Math-7B 5基准平均分 MATH-500/GSM8K/AMC/AIME24/AIME25 平均 53.88 GRPO 47.68 +6.20
Qwen3-4B-Base AMC Acc@1 58.21 GRPO 47.76 +10.45
Qwen2.5-Math-7B AMC Acc@1 61.19 GRPO 47.76 +13.43
Qwen3-1.7B-Base MATH-500 Acc@1 68.80 GRPO 64.20 +4.60

局限与改进

作者在Ethics Statement中明确指出，由于扰动序列是自动随机生成的，无法保证完全无毒、无偏见或无不当内容；当扰动过强时（如Random Token，困惑度4.6e+05），模型可能产生不连贯甚至有害输出，说明LOPE在提升探索的同时牺牲了部分输出可控性。从技术观察看，LOPE在1.7B小模型上提升相对有限（+2.79），主要增益集中在4B/7B大模型（+4.62/+6.20），暗示prompt扰动对模型规模有依赖性。此外，Table 2显示LOPE在MATH-500基准上1.7B模型提升4.6分但4B模型反而从85.40降到82.60，说明训练信号整形在某些子任务上可能过拟合或引入偏差；最后，整套方案需G'=24额外rollout，训练时计算开销显著增加，作者未提供详细的算力成本对比。

独立分析的弱点

独立分析LOPE有几个可改进的弱点。第一，扰动长度固定100-300 token且用固定词表（python-lorem的63词），缺乏对不同长度/词表大小的消融，最优扰动粒度未定——改进方向是引入自适应扰动强度。第二，policy shaping中 $\gamma=0.1$ 是经验值且未做敏感性分析；advantage shaping虽能放大positive advantage 2.1-5.0倍，但G'被丢弃的失败回答未进一步利用——可引入contrastive信号或课程学习。第三，整套pipeline在4B模型MATH-500上从85.40反降到82.60，暗示训练信号整形在某些子任务上可能引入偏差，需更细粒度per-task调参。第四，移除KL正则虽鼓励探索但失去对policy drift的控制，作者承认7B上LOPE without shaping仅比GRPO高-0.36分（47.32 vs 47.68），需进一步研究KL与扰动强度的trade-off。

未来方向

作者在Ethics Statement中提出未来要系统研究不同类型和强度的扰动如何影响模型行为，目标是在保持探索收益的同时最小化生成有害内容的风险。基于本文成果可延伸的方向包括：(1) 将LOPE从数学推理推广到代码生成、Agent任务等更广泛领域，验证prompt扰动在其他RLVR场景的通用性；(2) 用可学习的扰动生成器替代固定Lorem词表，例如训练一个小模型根据问题难度自适应生成扰动序列；(3) 把扰动与curriculum learning结合，对训练早期用强扰动、后期用弱扰动；(4) 探索非文本扰动，例如在embedding空间或中间hidden states上施加扰动，绕过tokenizer限制；(5) 进一步研究扰动为何能让模型跳出局部盆地——可能是激活了某些沉默神经元或激活了训练数据中未充分学到的推理模式，这一点在本文中尚未深入解释。

复现评估

复现性总体良好。代码开源：https://github.com/shrango/LoPE，基于EasyR1框架实现，训练数据为OpenR1-Math-46k-8192，评估用EvalScope。超参清晰：G=8、G'=24、温度1.0、$\gamma=0.1$、扰动长度100-300 token。算力门槛较高：1.7B/4B模型需4卡80GB A100，7B需8卡80GB A100，对个人研究者门槛偏高。最大复现难点在于：(1) 训练信号整形涉及对importance sampling的精细调整，clip参数 $\epsilon$ 和 $\gamma$ 组合需仔细调参；(2) Lorem Ipsum扰动的随机性意味着每次训练结果可能有小幅波动，作者未报告多种子标准差；(3) 7B模型context window从4096扩展到16384增加复现复杂度。方法思路清晰、关键设计可复现，但完整跑通7B实验的算力门槛对中小实验室仍是不小障碍。

论文图表

Venn diagrams of successfully resolved questions (Pass@8) between naive prompting, Lorem perturbation, and high-temperature settings.
Figure 2: Venn diagrams of successfully resolved questions (Pass@8) between naive prompting, Lorem perturbation, and high-temperature settings.

图2包含两个Venn图：(a) 500题子集上三种方法（naive T=0.6、naive T=1.2、Lorem T=0.6）的pass@8成功题数重叠关系，naive base 79、Lorem独立73、高温独立9；(b) 在352道naive失败的硬题子集上重采样，naive base 20、Lorem独立50、高温独立14，证明Lorem扰动能解锁naive和高温都解不出的题目。

这是支撑LOPE核心动机（logit空间探索不足）的关键实验证据，证明提示空间扰动与logit空间探索存在正交性，能解锁新推理路径。