CorrGRPO：面向多奖励学习的相关性归一化 GRPO CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning
用皮尔逊相关系数替代协方差做归一化，让大尺度奖励不再主导多奖励 GRPO 的优势估计
前置知识
GRPO（组相对策略优化）
DeepSeek 提出的在线强化学习算法：对同一提示采样一组（$n$ 条）响应，用组内奖励均值作基线、标准差作缩放，得到优势 $A_i=(R_i-\bar R)/\sqrt{\mathrm{Var}(R)+\epsilon}$，从而省去独立的价值网络。它已是训练推理大模型的主流 RL 方法。
本文的全部改动都围绕 GRPO 的归一化分母展开，不理解 GRPO 的优势估计方式就无法理解 CorrGRPO 改了什么、为什么有效。
协方差与皮尔逊相关系数
协方差 $\mathrm{Cov}(X,Y)$ 度量两个变量联合偏离均值的程度，量纲是二者单位的乘积；皮尔逊相关系数 $\rho=\mathrm{Cov}(X,Y)/(\sigma_X\sigma_Y)$ 把它除以各自标准差，归一到 $[-1,1]$ 且与量纲无关。GRPO 分母中的协方差和正是尺度与相关性纠缠的地方。
CorrGRPO 的核心操作就是把分母里的每个协方差项替换成相关系数，以消除奖励数值尺度对归一化的支配。
多奖励标量化
把 $r$ 个奖励分量加权求和成单一标量奖励再做 RL 的常见做法。分量之间可以相互促进（如代码的编译成功与测试通过），也可能彼此冲突（如 Agent 的任务效用与抗注入安全），它们的协方差结构会通过总奖励方差影响策略梯度的缩放。
论文讨论的正是多奖励场景下奖励分量之间的统计相关结构如何隐式地控制学习信号强度。
间接提示注入
攻击者把恶意指令嵌入工具返回内容等模型可见的间接渠道，诱导工具调用型 Agent 放弃用户任务、转而执行攻击者目标。评测常用指标是攻击成功率（ASR，越低越好）与攻击干扰下的任务完成率。
Agent 安全实验是论文三大验证域之一，效用与安全奖励天然存在权衡，是多奖励相关结构最直观的现实案例。
Pareto 前沿
多目标优化中，无法在不牺牲任何一项指标的前提下继续改进其他指标的解构成的集合。扩展经验 Pareto 前沿意味着新方法在正确率-效率这类权衡上找到了原有方法都不曾达到的非支配配置，而不只是移动某个旧点。
论文用正确率-效率 Pareto 前沿的扩张来证明 CorrGRPO 带来的是真实的多目标收益，而非单一指标的此消彼长。
研究动机
GRPO 在多奖励场景下把 $r$ 个奖励分量求和成总奖励 $R=\sum_{l=1}^r R_l$，再用组内标准差归一化优势。由方差和恒等式 $\mathrm{Var}(R)=\sum_l\sum_m \mathrm{Cov}(R_l,R_m)$ 可知，归一化分母聚合了全部两两协方差；而 $\mathrm{Cov}(R_l,R_m)=\sigma_l\sigma_m\rho_{lm}$，协方差把「相关性」与「数值尺度」纠缠在一起，取值范围大的分量会同时主导对角与非对角项。论文 Figure 2 的四轨迹三奖励算例中，$r_3$ 与 $r_1,r_2$ 的相关系数仅约 0.1098，却因组内方差高达 14.1696 而独占协方差总和 $S=15.5520$ 的约 91.1%，它与弱相关分量的协方差（0.1728）甚至超过强相关对 $r_1,r_2$（$\hat\rho_{12}\approx0.9756$）之间的协方差（0.1707）。结果优势缩放被大尺度奖励劫持，强相关的小尺度奖励对归一化几乎没有发言权，其中蕴含的有用区分信号被系统性压制，在二值奖励与连续奖励混用时尤为严重。
本文的目标是本文目标是修正多奖励 GRPO 的归一化机制：在完全保留分子中的中心化总奖励 $\sum_l(R_{il}-\bar R_l)$（即训练目标规定的相对奖励权重）的前提下，把分母中的每一个协方差项替换为组内样本皮尔逊相关系数 $\hat\rho_{lm}$。替换后每个非零方差分量在对角线上贡献恒为 1，非对角项只反映两两相关的强度与方向且无量纲，分母因此仍对奖励间相关性敏感，却不再被任何大尺度分量垄断。作者在代码生成、工具调用、Agent 效用-安全三个天然需要多奖励信号的领域，用 0.5B–8B 共多种 Qwen 系列模型系统验证：这一处改动应同时提升任务正确率、执行效率与效用-安全的联合平衡，并扩张经验 Pareto 前沿。
与已有工作不同的是，已有方法大多直接改写奖励的聚合方式：MO-GRPO 按方差自动重加权各奖励函数；GDPO 对每个奖励独立做组内归一化、再聚合并施加批级归一化；RDPO 先做幅度感知分位数归一化再用 Mahalanobis 白化消除相关维度的冗余变异。这些方法要么重新定义了各奖励的相对权重，要么破坏了总奖励的原有语义。本文的独特切入是先给出一个恒等式视角——GRPO 的分母天然等于协方差矩阵全部元素之和，从而把「多奖励归一化」问题重述为「如何度量协方差矩阵」问题；随后给出极小改动：仅把分母的度量从协方差换成相关系数，分子与设定权重原封不动。改一行代码、不引入新超参，却机理清晰地实现了尺度无关的相关性自适应缩放。
核心方法
直觉上，GRPO 的归一化分母等价于给全组共享一个缩放系数 $g=(\sqrt{S+\epsilon})^{-1}$，其中 $S=\sum_{l,m}\mathrm{Cov}(R_l,R_m)$：组内奖励正相关越强，总奖励方差越大，$g$ 越小、优势越被压缩；负相关则抵消方差、放大优势。这本是一种逐组、逐步自适应调节学习信号强度的优雅机制，问题在于协方差带量纲，大尺度分量垄断了 $S$。CorrGRPO 保留分子（各分量中心化后的加权和，语义上就是按设定权重组合的总奖励信号），只把分母换成相关系数矩阵元素之和 $\sum_{l,m}\hat\rho_{lm}$：每个方差非零的分量对角线贡献 1，非对角项是 $[-1,1]$ 内的无量纲数。技术路线因此非常克制——在 GRPO 训练循环里仅替换分母的计算方式，采样、奖励计算、中心化、token 级优势广播等其余流程全部不变。
核心创新是从恒等式 $\mathrm{Var}(R)=\sum_{l=1}^r\sum_{m=1}^r\mathrm{Cov}(R_l,R_m)$ 出发重新解释 GRPO：它一直在「隐式地」用协方差矩阵调节优势缩放，问题在于这种调节会与分量尺度耦合。CorrGRPO 的本质区别在于只动分母的度量而不动分子与权重：$$A_i^{\text{CorrGRPO}}=\frac{\sum_l(R_{il}-\bar R_l)}{\sqrt{\sum_{l,m}\hat\rho_{lm}+\epsilon}},\qquad \hat\rho_{lm}=\frac{\widehat{\mathrm{Cov}}(R_l,R_m)}{\sqrt{\widehat{\mathrm{Var}}(R_l)\,\widehat{\mathrm{Var}}(R_m)}}$$ 不同于 GDPO 等逐奖励归一化方法，它不改变奖励权重，也不重定义总奖励。Figure 2 算例中强相关对的分母贡献从 0.1707 变为 0.9756（8.89 倍于弱相关项），组缩放系数从 0.2536 升至 0.4307。
方法步骤详情
对每个提示 $q$：(1) 用旧策略采样 $n$ 条轨迹；(2) 计算每条轨迹的 $r$ 个奖励分量 $R_{il}$，如代码任务的加权组合 $R_{\text{code}}=0.05R_{\text{fmt}}+0.05R_{\text{syn}}+0.05R_{\text{compile}}+0.25R_{\text{run}}+0.60R_{\text{pass}}+0.30R_{\text{ast}}+0.20R_{\text{eff}}$；(3) 对每个分量求组内均值 $\bar R_l$ 并中心化，分子取 $\sum_l(R_{il}-\bar R_l)$，恰为中心化总奖励；(4) 在同一组内估计 $\widehat{\mathrm{Cov}}$、$\widehat{\mathrm{Var}}$，算出 $\hat\rho_{lm}$，零方差分量的对应行列置零；(5) 分母为 $\sqrt{\sum_{l,m}\hat\rho_{lm}+\epsilon}$，处理后矩阵半正定、分母严格为正；(6) 优势 $A_i$ 赋给轨迹内全部 token，后续 PPO/GRPO 更新不变。
技术新颖性
技术新颖性有三层。其一，视角新：首次把 GRPO 的归一化分母显式写成协方差矩阵元素之和，揭示「GRPO 已经在做隐式相关性调节」这一被忽视的机制，把多奖励方法设计问题转化为对协方差矩阵的重新度量问题。其二，改动极小而语义干净：与 Safe RLHF 的拉格朗日乘子、动态奖励加权、GDPO 的逐奖励归一化、RDPO 的白化相比，CorrGRPO 不触碰奖励权重、除 $\epsilon$ 外不引入新超参、不改变中心化总奖励的含义，只在分母做无量纲化，可无痛嵌入任何基于组归一化的训练管线。其三，理论性质完整：零方差处理后的相关矩阵仍半正定，保证分母非负且 $\epsilon>0$ 时严格为正；缩放系数逐组、随训练进程自适应于奖励关系的变化，而非静态权重。
实验结果
代码生成：CorrGRPO 在 0.5B–7B 全部规模取得最高平均 Pass@1，相对 GRPO 提升 2.09、0.80、2.27、4.21 个百分点；7B 的 LeetCode Pass@1 达 24.12%（GRPO 15.79%），0.5B 效率 67.86% 为全场最高，并占据全部非支配 Pareto 点（Figure 3）。工具调用：RLLA-4K 全对正确率上三个骨干分别 63.38%→67.61%、57.75%→59.15%、61.97%→63.38%；API-Bank 平均提升 1.14、3.94、2.26 个百分点，Qwen3-4B-Thinking 在 v3 从 52.24% 跃升至 64.08%。Agent 安全：ASB Joint Accuracy：3B 14.88%→18.13%、7B 31.38%→47.88%、Qwen3-8B 57.38%→58.63%；AgentDojo 上 3B 从 60.13% 涨至 89.62%；InjecAgent 总 ASR 从 8.80%/13.53%/13.94% 降至 5.52%/6.17%/7.98%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 代码生成（LeetCodeDataset，Qwen2.5-Coder-7B-Instruct） | Pass@1 | 24.12% | GRPO 15.79% | +8.33 个百分点 |
| 代码生成（HumanEval+MBPP+LCB v6 平均，7B） | 平均 Pass@1 | 51.49% | GRPO 47.28% | +4.21 个百分点 |
| 代码执行效率（LeetCodeDataset，0.5B） | Efficiency | 67.86% | GRPO 60.71% | +7.15 个百分点 |
| 工具调用（RLLA-4K，Qwen2.5-7B-Instruct） | All Exact | 67.61% | GRPO 63.38% | +4.23 个百分点 |
| 工具调用泛化（API-Bank v3，Qwen3-4B-Thinking） | All Exact | 64.08% | GRPO 52.24% | +11.84 个百分点 |
| Agent 安全（AgentDojo，Qwen2.5-3B-Instruct） | Joint Accuracy | 89.62% | GRPO 60.13% | +29.49 个百分点 |
| Agent 安全泛化（InjecAgent 总体，Qwen2.5-7B） | ASR（越低越好） | 6.17% | GRPO 13.53% | -7.36 个百分点 |
局限与改进
作者坦诚承认：相关性归一化不修正有偏或设定错误的奖励，最终行为仍取决于所选目标与权重；安全实验只覆盖基准型提示注入，改进不等于真实部署中抵御未知攻击。我的补充观察：(1) 代码奖励链「语法→编译→运行→全通过」在结构上必然高度相关，此时相关系数度量的是依赖链的传递而非独立维度间的统计相关，解释需谨慎；(2) 零方差分量的行列被整体置零，意味着「组内人人都已满足」的信号（如格式全合格）完全退出归一化，其信息被丢弃；(3) 全部结果均为单次运行，未报告多种子方差，而优势缩放本身对采样随机性敏感；(4) 效用与安全等权相加（$R_{\text{util}}+R_{\text{sec}}$）是人为选择，论文未消融权重；(5) 奖励间强负相关时分母趋于 $\sqrt{\epsilon}$，虽有兜底但会放大梯度噪声；(6) 实验最大只到 8B，且分母涉及 $r^2$ 项计算，奖励数很多时的成本与稳定性未讨论。
独立分析的弱点
(1) 数值稳定性：论文未讨论 $\epsilon$ 的敏感性——当奖励间接近完全负相关时相关和趋近零，分母趋近 $\sqrt{\epsilon}$，优势会爆炸；改进方向是对相关和做下界截断，或对相关矩阵做向单位阵的收缩（shrinkage）估计。(2) 小组估计噪声：$r$ 个奖励需要估计 $r(r+1)/2$ 个自由度而样本只有 $n$ 条轨迹，$n$ 小、$r$ 大时 $\hat\rho_{lm}$ 方差很大；可用指数移动平均平滑或分组共享的相关估计，并消融 $n$ 与 $r$ 的配比。(3) 结构相关奖励：语法→编译→运行→通过这类依赖链使相关系数承载的语义混杂，可考虑先对依赖链奖励做条件化处理再算相关。(4) 奖励权重与方向固定：CorrGRPO 只调节幅度不调节方向，权重错配时归一化无能为力，可结合拉格朗日或动态权重形成完整方案。(5) 评测严谨性：单次运行、未报置信区间；AgentDojo 上 Qwen3-8B 的 Joint Accuracy（79.62%）还略低于 GRPO（80.26%），显示收益并非无条件。
未来方向
作者提出的方向：与其它优化方法兼容（附录 F）、走向更贴近真实的 Agent 安全评测。基于本文成果可延伸：(1) 把相关性归一化与 Safe RLHF 式拉格朗日乘子或梯度引导的动态权重结合，形成「方向由权重定、幅度由相关性定」的完整多奖励框架；(2) 推广到 RLOO、ReMax、best-of-n 蒸馏等其他组式优势估计器，以及过程奖励模型（PRM）场景；(3) 理论化：给出相关归一化下策略梯度方差的界与收敛性分析，明确何时优于协方差归一化；(4) 把组内相关矩阵本身当作诊断信号——例如通过相关性突变检测奖励黑客或奖励冗余；(5) 在 RLVR（可验证奖励）中处理上百个奖励分量时的稀疏/分块相关估计与计算优化；(6) 研究奖励相关结构在训练过程中的漂移规律，据此设计课程化的权重与缩放调度。
复现评估
复现条件较好。代码开源于 https://github.com/HKUST-KnowComp/CorrGRPO，附录 B 给出含数值稳定与零方差处理的核心实现。数据全部公开：训练用 LeetCodeDataset 2,641 题、RLLA-4K 3,920 例、AgentDojo 1,584 例（确定性按任务分组划分），评测用 HumanEval、MBPP、LiveCodeBench v6、API-Bank、Agent Security Bench、InjecAgent；附录 I/J/L/M 分别给出训练超参、奖励计算细节、理论推导与数据集设置。模型均为公开权重（Qwen2.5-Coder 0.5B–7B、Qwen2.5-3B/7B、Qwen3-4B-Thinking/8B）。主要成本在 GRPO 训练本身：最多 8B 模型加组采样，通常需要多卡 GPU 数天；而方法改动只有分母一行，工程风险低。风险点在于结果为单次运行，复现数值可能有随机偏差，但方向性结论有多模型、多基准交叉印证，整体复现难度中等偏易。
论文图表
四条轨迹、三个奖励的具体算例：奖励 $r_1,r_2$ 强相关（$\hat\rho_{12}=0.9756$）且尺度小，$r_3$ 与二者弱相关（约 0.1098）但方差高达 14.1696。协方差视角下 $r_3$ 独占总和 $S=15.5520$ 的约 91.1%，GRPO 缩放系数仅 0.2536；相关系数视角下强相关对的贡献 0.9756 远超弱相关项，CorrGRPO 缩放系数升至 0.4307。
用可手工验算的最小数值例子直观展示了「大尺度奖励支配归一化」的病灶与 CorrGRPO 的修复效果，是理解全文动机的钥匙。