基于分块优势估计的多目标强化学习方法：面向可验证奖励 Blockwise Advantage Estimation for Multi-Objective RL with Verifiable Rewards
提出分块优势估计方法，为LLM结构化生成中的不同目标分配独立优势信号，解决奖励干扰问题
前置知识
Group Relative Policy Optimization (GRPO)
GRPO是一种无需critic网络的强化学习算法，专门为大语言模型设计。其核心思想是对同一个prompt生成一组（group）候选回复，计算每个回复的奖励，然后通过组内归一化得到相对优势值。具体来说，给定prompt x，GRPO采样G个回复，计算每个回复的奖励r，然后通过 $$\hat{A} = \frac{r - \mu_r}{\sigma_r + \epsilon}$$ 进行归一化。这个优势值随后用于PPO风格的策略梯度更新。GRPO的优势在于避免了训练额外的价值网络，显著降低了计算开销。
本文的核心方法BAE是在GRPO框架上的改进，理解GRPO的基本原理是理解本文技术贡献的前提
信用分配问题 (Credit Assignment)
在强化学习中，信用分配是指如何将最终的奖励信号合理地分配给导致该结果的各个决策步骤。在LLM生成场景中，一个完整的回复可能包含多个语义段落（如推理过程、最终答案、置信度分析），每个段落对最终奖励的贡献不同。如果用单一标量优势值更新所有token，就会导致无关的奖励信号相互干扰，这就是信用分配问题。
本文的核心动机就是解决多目标场景下的信用分配问题，让每个文本块只接收与其目标相关的学习信号
条件基线 (Conditional Baseline)
在GRPO中，基线（baseline）用于计算优势值，通常是组内奖励的均值。但当生成被分割成多个段落时，后续段落的采样是条件依赖于前面段落的。例如，置信度分析块的采样条件依赖于前面的解答块。条件基线是指针对这种条件依赖性，使用更精确的基线估计，通常是给定前缀条件下的期望奖励 $$E[r_k | x, X_{<k}]$$。
本文提出的Outcome-Conditioned Baseline (OCB)就是一种高效的条件基线近似方法，理解条件基线的概念对理解本文技术贡献至关重要
校准误差 (Expected Calibration Error, ECE)
ECE是衡量模型置信度与实际准确率匹配程度的指标。它将预测的置信度分成若干个区间（bin），计算每个区间内平均置信度和实际准确率的差异，然后加权平均。ECE越低表示模型的置信度越可靠。例如，如果一个模型对所有预测都给出0.9的置信度，但实际只有70%的预测正确，那么它的ECE就很高。
本文的主要实验任务之一是同时优化推理准确率和校准置信度，ECE是评估校准质量的核心指标
Brier分数
Brier分数是一种严格恰当的评分规则，用于评估概率预测的质量。对于二分类事件，Brier分数定义为预测概率与实际结果之差的平方的均值：$$Brier = \frac{1}{N}\sum_{i=1}^{N}(q_i - c_i)^2$$，其中 $$q_i$$ 是预测置信度，$$c_i$$ 是实际正确性（0或1）。Brier分数越低表示预测越准确。它是严格恰当的，意味着当预测概率等于真实概率时期望得分最低。
本文使用Brier分数作为置信度块的奖励信号，也是评估校准质量的重要指标
研究动机
在使用GRPO训练大语言模型处理结构化生成任务时，一个关键问题是奖励信号的干扰。具体来说，当模型需要生成包含多个语义段落的回复时（例如数学问题的解答过程和置信度分析），标准GRPO将所有奖励合并为单一标量值，并将同一个优势值应用于所有token。这种做法存在三个主要问题：首先，不同段落的目标可能相互冲突，例如解答块追求准确率，而置信度块追求校准性，将两者混合会导致优化目标模糊；其次，单一优势值无法区分哪个段落对最终奖励贡献更大，导致信用分配不准确；最后，当后续段落的采样条件依赖于前面段落时（如置信度分析依赖于解答内容），使用全局归一化的基线会产生'苹果对橘子'的比较偏差。论文指出，在Qwen2.5-3B-Instruct模型上，使用标准GRPO训练时，校准误差(ECE)高达0.099，而使用本文方法后降至0.030。
本文的目标是本文的目标是提出一种计算高效、与GRPO兼容的方法，能够为结构化生成中的不同目标分配独立的优势信号，从而实现更精确的信用分配。具体来说，作者希望：(1) 消除不同目标之间的奖励干扰，让每个文本块只接收与其局部目标相关的学习信号；(2) 在不增加额外推理开销的情况下，准确估计后续段落的条件基线；(3) 保持或提升模型在各个目标上的性能，例如同时提高推理准确率和校准质量。
与已有工作不同的是，本文的独特切入角度在于重新审视了多目标强化学习中的信用分配问题。已有工作（如RLCR、GRPO-Verif）主要通过奖励设计来解决多目标问题，即精心设计一个标量奖励函数来平衡不同目标，但这需要大量超参数调优且容易导致奖励黑客（reward hacking）。本文则从信用分配的角度出发，认识到当生成自然分割成多个段落时，优化问题不必被框架为奖励设计问题，而可以让每个段落基于其局部目标独立更新。这种视角转换使得方法更加模块化，不需要针对每个任务设计特定的奖励函数，且能自然扩展到任意数量的目标。
核心方法
本文的方法可以用一个直观的类比来理解：想象一个学生在做数学考试，标准GRPO就像老师只看最终答案给一个总分，然后用这个总分来评价学生的所有解题步骤；而本文的方法就像老师分别评价解题过程和最终答案，对解题过程用解题过程的评分标准，对答案用答案的评分标准。技术路线如下：首先，将模型的生成内容通过确定性解析规则分割成多个连续块（block），每个块对应一个特定的目标（如解答块对应准确率，置信度块对应校准质量）；其次，为每个块计算独立的奖励；然后，为每个块估计一个条件基线，用于计算局部优势值；最后，使用块级别的PPO风格目标进行策略更新，每个token只接收其所属块的优势信号。
本文的核心创新点是Outcome-Conditioned Baseline (OCB)，这是一种无需额外采样就能高效估计条件基线的方法。与已有方法的本质区别在于：标准GRPO使用全局均值作为基线，忽略了后续段落采样的条件依赖性；蒙特卡洛方法虽然能无偏估计条件基线，但需要从中间状态进行大量额外采样，计算成本极高；而OCB的核心洞察是，当块级别的奖励主要依赖于一个粗粒度的任务相关结果（如解答是否正确）时，可以通过根据这个结果对样本进行分层来近似条件基线。具体来说，对于第k个块，OCB根据前缀的中间结果（如解答的正确性）将组内样本分成两个子组（正确/不正确），然后用子组内的均值作为基线。这样，条件基线 $$\hat{b}_k^{(i)} = \frac{1}{|G_o|}\sum_{j \in G_o} r_k^{(j)}$$ 就近似了真实的条件价值 $$E[r_k | x, X_{<k}]$$。
方法步骤详情
方法的具体步骤如下：(1) 分块解析：对于每个prompt x，使用确定性解析规则将模型生成的完整回复y分割成K个连续块 $$[X_1; X_2; ...; X_K]$$，每个块对应一个特定的目标。例如在数学问题中，解答块包含推理过程和最终答案，置信度块包含自我分析和置信度分数。(2) 块级奖励计算：为每个块计算独立的奖励 $$r_k$$。对于第一个块（解答），奖励基于答案正确性；对于后续块（置信度），奖励基于校准质量（如Brier分数）。(3) 条件基线估计：对于第一个块，使用组内所有样本的均值作为基线；对于后续块，使用OCB方法，即根据前缀的中间结果将样本分层，用层内均值作为基线。(4) 优势值计算：为每个块计算局部优势值 $$\hat{A}_k^{(i)} = r_k^{(i)} - \hat{b}_k^{(i)}$$。(5) 策略更新：使用块级别的PPO风格目标进行策略更新，损失函数为 $$\mathcal{L}_{BAE} = -\frac{1}{G}\sum_{i=1}^{G}\sum_{k=1}^{K}\frac{1}{|T_k^{(i)}|}\sum_{t \in T_k^{(i)}} \min(\rho_t^{(i)}\hat{A}_k^{(i)}, \text{clip}(\rho_t^{(i)}, 1-\epsilon, 1+\epsilon)\hat{A}_k^{(i)})$$，其中每个token只接收其所属块的优势信号。
技术新颖性
本文的技术新颖性体现在三个方面：首先，在框架层面，提出了分块优势估计的概念，将多目标强化学习问题从奖励设计问题转化为信用分配问题，这种视角转换使得方法更加模块化和可扩展；其次，在技术层面，提出了OCB方法，通过根据中间结果分层来近似条件基线，这是一种计算高效的近似方法，不需要额外的蒙特卡洛采样，只需利用GRPO组内已有的样本；最后，在应用层面，展示了该方法在数学问题求解和不确定性估计任务上的有效性，特别是证明了在不牺牲推理准确率的情况下显著提升校准质量。与已有方法（如RLCR、GRPO-Verif）相比，本文方法不需要设计复杂的标量奖励函数，且能自然扩展到任意数量的目标。
实验结果
本文在三个模型（Qwen2.5-7B-Base、Qwen2.5-7B-Instruct、Qwen2.5-3B-Instruct）和三个数据集（MATH500、GSM8K、AIME23-25）上进行了全面评估。核心发现如下：首先，OCB是最强的无额外计算开销的条件基线方法。在Qwen2.5-3B-Instruct上，OCB将ECE从0.059（RLCR）降至0.030，同时保持了接近的准确率（67.9% vs 68.7%）。其次，在Qwen2.5-7B-Base上，OCB与RLCR性能相当：MATH500上准确率75.1% vs 75.0%，ECE 0.032 vs 0.043；GSM8K上准确率89.7% vs 88.9%，ECE 0.039 vs 0.037。第三，无条件基线（如Group Mean）在分布外数据上表现不稳定，例如在Qwen2.5-7B-Instruct的GSM8K上，Group Mean的ECE高达0.125，而OCB仅为0.032。第四，在测试时缩放（Test-Time Scaling）评估中，OCB保持了与RLCR相当的性能，表明其产生的置信度估计是有实际价值的。最后，在二次尝试优化任务中，OCB也展示了其通用性，第二次尝试在所有采样预算下都优于第一次尝试。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH500 (in-distribution) | ECE | 0.032 | 0.043 (RLCR) | 降低25.6% |
| MATH500 (in-distribution) | Accuracy | 75.1% | 75.0% (RLCR) | +0.1% |
| GSM8K (easy OOD) | ECE | 0.039 | 0.037 (RLCR) | 略高5.4% |
| GSM8K (easy OOD) | Accuracy | 89.7% | 88.9% (RLCR) | +0.8% |
| AIME23-25 (hard OOD) | ECE | 0.126 | 0.092 (RLCR) | 略高37% |
| Qwen2.5-3B MATH500 | ECE | 0.030 | 0.059 (RLCR) | 降低49.2% |
| Qwen2.5-3B MATH500 | Accuracy | 67.9% | 68.7% (RLCR) | -0.8% |
局限与改进
本文存在以下局限性：首先，OCB依赖于分层的样本数量，当某个层（如正确或不正确）的样本很少时，基线估计的方差会增大，可能导致校准指标下降。这在模型性能极好（大多数样本都正确）或极差（大多数样本都错误）的情况下可能成为问题。其次，BAE假设块边界是明确定义且稳定的，对于边界模糊的任务（如开放式对话），定义段落可能需要额外的设计选择，错误的分割可能重新引入跨目标干扰。第三，虽然本文在数学问题求解和不确定性估计任务上验证了方法的有效性，但在更复杂的多目标任务（如代码生成、长文档摘要）上的表现尚待验证。最后，作者也承认，在分布外的困难数据集（如AIME23-25）上，OCB的校准性能有时不如RLCR，这表明在极端分布偏移下，条件基线的近似质量可能下降。
独立分析的弱点
本文存在几个值得改进的弱点：首先，OCB当前仅使用二元分层（正确/不正确），这可能过于粗糙。改进方向是使用更细粒度的分层，例如根据验证器的置信度分数、答案的类型或难度级别进行分层，从而提供更精确的条件基线估计。其次，方法依赖于确定性解析规则来定义块边界，这限制了其在非结构化生成任务中的应用。可以探索使用学习到的分段模型或基于注意力机制的软分段方法。第三，OCB的无偏性依赖于一个重要假设：分层变量o捕获了所有前缀相关的条件依赖性。当这个假设不成立时，OCB会引入偏差。可以通过引入收缩估计（shrinkage estimation）或贝叶斯方法来缓解这个问题。第四，论文没有讨论如何自动确定最优的块数量和块定义，这在实际应用中可能是一个重要的工程挑战。
未来方向
作者提出了几个有前景的未来研究方向：首先，可以探索更丰富的分层策略，例如使用多bin结果（如验证器的置信度区间、中间目标的达成程度）或学习结果聚类，从而在不增加额外采样开销的情况下提供更高保真度的条件基线。其次，将方法扩展到更广泛的可验证奖励之外，例如在代码生成、工具使用、长文档处理等任务中验证有效性。第三，研究块级信用分配在长上下文代理任务中的应用，其中段落级别的解耦可能实现对极长上下文的高效优化。第四，探索与过程奖励模型（Process Reward Model）的结合，将BAE的信用分配能力与PRM的细粒度监督能力相结合。最后，研究自适应块分割策略，让模型自动学习如何将生成内容分割成语义上有意义的段落。
复现评估
本文的复现性较好。作者提供了详细的实验配置（Table 4），包括序列长度4096、温度1.0、批大小2048、组大小32、学习率1e-6等关键超参数。训练数据是公开可得的MATH和DAPO数据集，共25k个训练prompt。评估使用的MATH500、GSM8K、AIME23-25数据集也都是标准基准。作者还提供了系统提示词（Appendix A）和奖励结构的详细描述（Appendix C）。计算资源方面，实验使用了标准的GRPO训练设置，没有特殊的硬件要求。主要的复现挑战在于需要正确实现分块解析逻辑和OCB基线计算，但作者提供了伪代码（Algorithm 1）。总体而言，对于熟悉GRPO训练的研究者来说，复现难度中等。
论文图表
