利用群体级自然语言反馈引导强化学习中的探索 Bootstrapping Exploration with Group-Level Natural Language Feedback in Reinforcement Learning
聚合外部批评与组内对比两种NL反馈，以离策略脚手架引导RL探索，实现2.2倍样本效率提升
前置知识
GRPO（Group Relative Policy Optimization）
GRPO 是 DeepSeek-Math 提出的一种简化版 PPO 算法，其核心思路是去掉可训练的价值函数，转而在同一 prompt 下采样 N 个响应组成一个组（group），然后用组内奖励的均值和标准差计算归一化优势值 $\hat{A}^{(i)} = \frac{r^{(i)} - \text{mean}(\{r^{(j)}\})}{\text{std}(\{r^{(j)}\})}$，再用裁剪的替代目标函数进行策略优化。这种组内相对比较的方式简化了训练流程，但在所有样本奖励相同（如全零）时会导致梯度消失，无法有效学习。
GOLF 的整个框架建立在 GRPO 之上，理解 GRPO 的优势计算和裁剪目标函数是理解 GOLF 如何注入离策略样本、恢复梯度信号的基础。
自然语言反馈（Natural Language Feedback）
在 LLM 训练和交互过程中，模型获得的监督信号不仅仅是标量奖励（+1/-1），还常常包含自然语言形式的反馈，例如用户对模型输出的文本评价、生成式奖励模型给出的批评意见（critique）、运行时错误信息等。这些自然语言反馈能够指出具体错误位置、提出修改建议、比较不同尝试之间的差异，比稀疏的标量奖励提供更丰富的指导信息。
本文的核心假设就是自然语言反馈中蕴含的信息远比标量奖励丰富，充分利用这些信息可以显著改善 RL 的探索效率。理解 NL 反馈的多样性和信息量是理解本文动机的关键。
Off-Policy 学习与离策略脚手架（Off-Policy Scaffolds）
在标准 on-policy RL 中，策略只从自身的当前采样分布中学习。Off-policy 学习则允许利用来自其他分布（如历史策略、专家示范、或本方法中由改进阶段生成的高质量样本）的数据进行训练。脚手架（scaffold）是一个比喻，指在策略学习困难的区域（低奖励区间）临时提供高质量的参考轨迹，帮助策略「攀爬」到更高的奖励区域，就像建筑施工中的脚手架一样。
GOLF 的自适应注入机制本质上就是将改进阶段生成的高质量轨迹作为 off-policy 脚手架注入训练组，这是该方法缓解探索瓶颈的核心技术手段。
策略熵（Policy Entropy）
策略熵 $H(\pi) = -\sum_{a} \pi(a|s) \log \pi(a|s)$ 衡量策略在给定状态下的动作分布的不确定性。高熵意味着策略倾向于探索多种不同的行为，低熵则意味着策略趋于确定性地选择某个动作。在 RL 训练中，策略熵的快速下降（熵崩塌，entropy collapse）通常意味着过早收敛到局部最优，丧失了进一步探索的能力。
实验表明 GOLF 能维持比基线更高的策略熵，这是其探索效率提升的直接证据。理解熵的概念有助于理解为什么 GOLF 在 Pass@k 和最终性能上都有显著优势。
Pass@k 指标
Pass@k 是衡量模型生成多样性和正确性的指标，定义为在 k 次独立采样中至少产生一个正确答案的概率。Pass@1 反映单次生成的质量，而更大的 k 值（如 Pass@128）则反映模型探索到正确解空间的广度。Pass@k 的提升不仅意味着模型更可能给出正确答案，还意味着模型的探索覆盖了更多样的推理路径。
GOLF 在 Pass@k 上的全面优势（从小 k 到大 k）是证明其改善了探索多样性而非仅仅提升了单次生成质量的关键证据。
研究动机
当前主流的 LLM 强化学习方法（如 RLHF、RLVR）完全依赖标量奖励信号来驱动训练，但在真实场景中，大语言模型从环境中获得的监督信息远不止一个二值的 +1/-1 奖励。例如，在人机交互中用户会给出具体的文本反馈（"这个回答太笼统了，缺少具体例子"），生成式奖励模型会产出带有错误诊断和修改建议的文本批评，代码执行环境会返回详细的运行时错误信息。然而，GRPO 等当前 RL 算法无法充分利用这些丰富的自然语言信息，导致探索效率低下：当标量奖励稀疏时，策略缺乏关于「如何改进」的明确指导，只能依靠昂贵的试错来发现奖励轨迹。更严重的问题是，当组内所有样本的奖励相同时（例如全零），组归一化优势值会坍缩为零，产生零梯度，导致学习完全停滞。论文的预备实验（§A）表明，在 500 道 Qwen-3-8B 完全无法解决的数学题上，仅使用简单二值反馈的改进尝试 pass@4 为 0%，说明没有有效的反馈引导，模型根本无法突破当前的能力瓶颈。
本文的目标是本文的具体目标是设计一个 RL 框架，能够显式地利用群体级（group-level）自然语言反馈来引导策略探索，从而在三个维度上实现提升：第一，在非可验证任务（如通用对话、创意写作）上超越现有最强基线；第二，显著提高样本效率，目标是在更少的训练步骤内达到与基线相同的性能水平；第三，在可验证任务（数学推理、指令遵循、代码生成）上保持一致的性能提升，验证方法的通用性。具体而言，论文希望将 GRPO 的样本效率提升 2 倍以上，并在最终性能天花板上超越纯标量奖励 RL 方法。
与已有工作不同的是，已有工作如 Critique-GRPO 仅利用外部批评（external critique）来引导改进，但忽略了同一采样组内其他失败尝试所蕴含的信息。本文的独特切入角度在于：不仅利用外部批评这一「显式」反馈，还系统地挖掘组内对比（intra-group comparisons）这一「隐式」反馈——同一 prompt 下多个失败尝试包含互补的局部思路和多样的失败模式。论文的预备研究证实，将两种反馈源聚合使用能在 pass@4 上比单独使用外部批评再提升 2.80 个百分点，Acc 提升 0.55 个百分点。此外，本文还发现标准 RL 微调甚至会降低模型的测试时自改进能力，因此提出在统一的 RL 循环中联合优化问题求解和自改进两个能力，形成正反馈循环。
核心方法
GOLF 的核心直觉可以用一个比喻来理解：想象一个学生在做练习题，如果老师只告诉他「对」或「错」（标量奖励），他很难知道怎么改进；但如果老师不仅指出具体错误（外部批评），还让他看看其他同学的错误答案（组内对比），他就能综合多条线索找到正确的改进方向。GOLF 的技术路线由三个紧密耦合的组件构成：首先，聚合反馈改进（Aggregated Feedback Refinement）将同一 prompt 下的失败尝试及其外部批评汇总为一个丰富的改进上下文，让模型生成改进后的回答；其次，自适应注入（Adaptive Guidance）在策略学习困难的低奖励区间，将高质量的改进样本作为离策略脚手架注入训练组，恢复有效梯度；最后，联合优化（Joint Optimization）在统一的 RL 循环中同时训练问题求解和自改进能力，使两者互相促进形成良性循环。
GOLF 与已有方法最本质的区别在于两点。第一，它不只利用外部批评，而是将外部批评和组内对比两种互补反馈源在群体层面聚合，产生比任何单一来源更高质量的改进文本。外部批评提供精确的错误定位和修改方向，组内对比则提供可复用的局部思路和多样化的失败模式——前者像「诊断报告」，后者像「参考案例库」，两者结合才能实现有效的改进。第二，GOLF 将改进过程本身也纳入 RL 训练目标，而非仅作为推理时的辅助手段。这意味着随着问题求解能力的提升，改进阶段生成的轨迹质量也会提高，这些更高质量的轨迹又作为更强的离策略脚手架进一步改善探索效率——这是一个 Critique-GRPO 等方法不具备的正反馈循环。实验表明，这种设计使 GOLF 的改进能力在 RefineBench 上从 GRPO 的 42.80% 提升到 57.07%（引导改进设置）。
方法步骤详情
GOLF 的完整流程可以分为五个步骤。第一步，对每个 prompt $x$，策略 $\pi_{\theta_{old}}$ 采样 $N$ 个候选响应 $G_{gen}(x) = \{y^{(i)}\}_{i=1}^N$，奖励模型为每个响应返回标量奖励 $r^{(i)}$ 和外部批评 $c^{(i)}$。第二步，收集失败集 $F(x) = \{(y^{(i)}, c^{(i)}) | r^{(i)} = 0\}$，构建聚合改进提示 $p_{agg}(x) = \text{CONCAT}(x, F(x))$，即把原始 prompt 和所有失败尝试及其批评拼接在一起。第三步，策略基于 $p_{agg}(x)$ 采样改进组 $G_{refine}(x) = \{\tilde{y}^{(j)}\}_{j=1}^N$，奖励模型对每个改进评分 $\tilde{r}^{(j)} = R(x, \tilde{y}^{(j)})$。第四步，计算生成组的平均奖励 $s(x)$，当 $s(x) < \tau$（阈值默认为 $1/N$）时触发自适应注入：从成功的改进中随机选一个 $\tilde{y}^*$ 替换生成组中的一个失败响应，形成增强组 $G_{aug}(x) = G_{on}(x) \cup G_{off}(x)$。第五步，在增强组上用混合策略优化目标更新策略：on-policy 部分使用标准裁剪目标，off-policy 部分使用重塑函数 $f(u) = u/(u+\lambda)$ 处理重要性采样比，且省略裁剪操作以强调低概率但有效的动作。
技术新颖性
GOLF 的技术新颖性体现在三个层面。首先，在反馈利用层面，已有工作（如 Critique-GRPO）仅使用外部批评进行单样本改进，而 GOLF 首次将组内对比（intra-group feedback）与外部批评在群体层面聚合，利用多个失败尝试的互补信息构建更丰富的改进上下文。其次，在训练架构层面，GOLF 是首个将问题求解和自改进在同一 RL 循环中联合优化的框架，而此前的方法要么只在推理时做改进（Self-Refine），要么用 SFT 模仿改进轨迹（Refinement-FT），都无法形成策略改进与探索效率之间的正反馈。最后，在注入策略层面，GOLF 提出的自适应注入机制仅在低奖励区间（组平均奖励低于阈值）才注入离策略脚手架，这比始终注入的策略在最终性能上高出 27.37%，因为自适应机制将脚手架精确分配到 GRPO 最容易遇到梯度坍缩的地方，避免了在已经足够好的样本上浪费计算资源。
实验结果
GOLF 在非可验证和可验证两类任务上都取得了最优结果。在非可验证任务上，GOLF 在 Llama-3.1-8B-Instruct 上取得 50.19% 的平均分，比最强基线 Critique-GRPO（40.92%）高出 9.27 个百分点；在 Qwen-3-8B 上取得 69.26%，比最强基线 Rubric-as-Reward（67.08%）高出 2.18 个百分点。在样本效率方面，GOLF 在 AlpacaEval v2.0 上仅需 80 步就能达到基线最终的 LC win rate，实现 2.25 倍的样本效率提升；在 WildBench 和 ArenaHard v2.0 上分别实现 2.3 倍和 2.1 倍的效率提升。在可验证任务上，GOLF 在 Qwen-3-4B 上将 AIME24 从 GRPO 的 42.72 提升到 49.18（+6.46），AIME25 从 35.42 提升到 38.10（+2.68）；在 Qwen-3-8B 上 AIME24 从 55.05 提升到 58.49（+3.44），AIME25 从 38.02 提升到 41.65（+3.63）。在代码生成任务上，GOLF 在 LCBv6 上取得 47.71 的 Avg@4，比 GRPO 提升 3.63，实现 1.5 倍样本效率。Pass@k 分析表明，GOLF 从小 k 到大 k（1 到 128）全面超越基线，说明其优势不仅来自单次生成质量提升，更来自探索多样性的增强。熵分析显示 GOLF 维持了显著更高的策略熵，而 Pairwise-GRPO 基线出现快速熵崩塌。消融实验表明，移除组内反馈和外部反馈分别导致非可验证任务性能下降 12.2% 和 18.9%，证实两种反馈源的互补性。混合策略优化比 SFT 方式平均提升 37.10%，自适应注入比始终注入提升 27.37%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AlpacaEval v2.0 (LC Win Rate, Llama-3.1-8B-Instruct) | LC Win Rate (%) | 69.67 | 43.31 (Critique-GRPO) | +26.36 绝对提升 |
| WildBench (LLM Judge, Llama-3.1-8B-Instruct) | LLM Judge Score | 34.42 | 26.51 (Rubric-as-Reward) | +7.91 绝对提升 |
| ArenaHard v2.0 (WR, Qwen-3-8B) | Win Rate (%) | 52.00 | 50.10 (Rubric-as-Reward) | +1.90 绝对提升 |
| AIME24 (Qwen-3-4B) | Pass@8 Accuracy | 49.18 | 42.72 (GRPO) | +6.46 绝对提升 |
| AIME25 (Qwen-3-8B) | Pass@8 Accuracy | 41.65 | 38.02 (GRPO) | +3.63 绝对提升 |
| IFBench (Qwen-3-4B) | Pass Rate | 37.67 | 33.33 (GRPO) | +4.34 绝对提升 |
| LiveCodeBench v6 (Qwen-3-8B, Avg@4) | Avg@4 Accuracy | 47.71 | 44.08 (GRPO) | +3.63 绝对提升 |
局限与改进
论文存在几个值得关注的局限性。首先，GOLF 的训练计算开销是 GRPO 的约两倍，因为每个 prompt 需要额外采样一个改进组（同样大小 N），虽然消融实验表明在同等计算预算下 GOLF 仍然优于基线（rollout-matched 设置下 GOLF 49.55 vs Pairwise-GRPO 41.08），但实际训练成本仍然显著增加。其次，外部批评的质量依赖于作为奖励模型的大语言模型（本文使用 Qwen3-235B-A22B-Instruct），批评本身的准确性和偏差会直接影响 GOLF 的效果——如果批评本身存在系统性偏差，这种偏差会在 RL 训练中被放大。第三，自适应注入的阈值 $\tau = 1/N$ 是一个简单的启发式设置，论文未探讨更复杂的自适应策略，这在奖励分布不均匀的任务上可能不是最优选择。第四，虽然论文在数学推理、指令遵循、代码生成和通用对话上进行了广泛验证，但未涉及多轮对话、长期规划、或多模态任务等更复杂的场景，GOLF 在这些场景下的有效性尚待验证。最后，论文承认 LLM 作为评判者可能引入偏见，且更强的探索和改进能力可能放大模型生成具有说服力或策略性优化内容的风险。
独立分析的弱点
从独立分析的角度，GOLF 存在以下几个弱点。第一，聚合改进的构建方式是简单的文本拼接（CONCAT），当失败集 $F(x)$ 包含大量样本时，输入序列会显著增长，可能超出模型的有效上下文窗口。改进方向是引入选择或摘要机制，从失败集中智能选取最具信息量的子集进行聚合，而非简单拼接全部。第二，组内反馈的质量取决于采样多样性——如果策略已经高度集中，组内不同样本可能非常相似，组内对比的边际信息增量会递减。可以考虑引入多样性促进机制（如 DPO-style 的多样性奖励）来维持采样的多样性。第三，off-policy 轨迹的重要性采样比经过重塑函数 $f(u) = u/(u+0.1)$ 处理后，对极端值的抑制可能过强，尤其在训练早期策略分布变化剧烈时。可以探索更灵活的重塑函数或自适应的 $\lambda$ 参数。第四，改进阶段的奖励信号来源（生成式奖励模型的批评+评分）可能与最终评估的 judge 模型不一致，存在奖励-评估不对齐的风险。应该探索使用多个不同 judge 模型的集成来减少这种偏差。
未来方向
论文提出和暗示了几个有价值的研究方向。首先，论文在代码生成实验中提到 GOLF 和 SDPO（利用成功尝试的执行反馈进行 on-policy 蒸馏）从不同角度利用了互补信号（过去的成功 vs 多样的失败），两者的结合是一个值得探索的方向。其次，GOLF 的框架可以自然地扩展到多轮交互场景，例如在对话式 RLHF 中，每轮对话后用户的自然语言反馈可以作为外部批评，而多个对话轨迹之间的对比可以作为组内反馈。第三，自适应注入策略可以从简单的阈值机制升级为学习式的调度器，根据当前策略的熵、奖励分布等信号动态决定何时以及注入多少离策略轨迹。第四，GOLF 的群体级反馈聚合思想可以与过程奖励模型（Process Reward Model, PRM）结合，在推理步骤的粒度上进行反馈聚合和改进。最后，探索将 GOLF 的框架应用于多模态模型（如视觉-语言模型）的 RL 训练也是一个有前景的方向。
复现评估
论文在复现性方面做得较好。代码已在 GitHub 开源（https://github.com/LuckyyySTA/GOLF）。训练数据方面，数学推理使用 OpenR1-Math 的高质量子集（4000 题），指令遵循使用 IFTrain 数据集（筛选后 3798 样本），代码生成使用 LCBv6 子集（50% 私有测试作为训练），非可验证任务使用 WildChat-IF（7500 prompts），这些数据集的来源和筛选标准都有明确说明。算力需求方面，训练使用 4 个节点、每节点 8 张 GPU 的配置，使用 verl 框架和 vllm 推理引擎，这对一般研究团队来说算力门槛较高但不算极端。奖励模型使用 Qwen3-235B-A22B-Instruct，评估使用 GPT-4o 作为 judge，这些大模型的 API 调用成本需要考虑。总体而言，论文提供了详细的超参数表（附录 C/D）、完整的提示模板（附录 B/F）和消融实验设置，复现难度中等偏低。
论文图表
