← 返回 2026-05-07

ResRL：通过负样本投影残差强化学习提升大语言模型推理能力 ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning

Zihan Lin, Xiaohan Wang, Jie Cao, Jiajun Chai, Li Wang, Xiaodong Lu, Wei Lin, Ran He, Guojun Yin 📅 2026-05-01 👍 7 2026-07-13 08:36
GRPO LLM推理 Lazy Likelihood Displacement NSR Pass@1与Pass@k RLVR SVD投影 语义解耦
arXiv HuggingFace PDF

用隐藏态投影残差解耦正负样本的语义重叠，保护共享token免受误罚。

前置知识

RLVR与GRPO

RLVR用可验证奖励（如数学答对/错）做LLM后训练。GRPO是其代表：对每prompt采G条轨迹，用组内归一化优势 $\hat A_i$ 与clip后的重要性比 $\rho_{i,t}=\pi_\theta/\pi_{\theta_\text{old}}$ 做策略梯度。

ResRL在GRPO/NSR基础上改进，必须先理解GRPO的clip目标与'保留$\hat A_i>0$为PSR、$\hat A_i<0$为NSR'的分解，才能看懂它只对负样本重新加权的动机。

NSR与Lazy Likelihood Displacement

NSR只保留 $\hat A_i<0$ 的负样本做加权强化以维持多样性。但正负响应常共享大量token（推理步骤、句法结构），惩罚负样本会连带压低共享分布，引发LLD（似然懒散位移）甚至坍缩。

ResRL把LLD形式化为正负梯度内积干涉问题，用投影残差做选择性压制。没有LLD的直觉就难以理解为何要在'罚负'与'保共享'之间精确切割。

Transformer隐藏态与表征子空间

LLM每层隐藏态 $h\in\mathbb{R}^d$ 视为token语义向量。研究表明其具各向异性与近似低秩结构，可用截断SVD拟合秩-k子空间 $S=\text{span}(V_k)$ 与投影算子 $P_S=V_kV_k^\top$。

ResRL用倒数第二层隐藏态做LayerNorm+组中心化得到 $x$，在正样本token上跑SVD得到 $P_S$，再用 $\|(I-P_S)x^-\|^2$ 度量负样本偏离正确语义的程度。

Pass@1与Pass@k的权衡

Pass@1衡量单次采样的'确定性'能力，Pass@k衡量k次采样中至少对一次的概率。RL通常提Pass@1压低Pass@k（模式坍缩），二者此消彼长。Avg@16是16次Pass@1的均值。

论文核心卖点是ResRL在AIME24/25/AMC23上同时提升Avg@16与Pass@128（vs NSR：Avg@16+9.4%、Pass@128+7.0%）。'同时涨'是ResRL相对于NSR最硬的卖点。

研究动机

RLVR及其代表算法GRPO虽然能在数学、代码等任务上大幅提升Pass@1，但普遍被观察到会显著压低模型输出的多样性，出现'模式坍缩'——模型反复生成相似的高奖励轨迹，探索能力被削弱，进而损害Pass@k与跨任务泛化。Negative Sample Reinforcement（NSR）作为补救思路，放弃部分对正样本的强化，转而显式上调负样本梯度，让模型在'惩罚低分响应'的同时保留多样性。然而NSR并非没有副作用：当正负响应在token级别存在大量语义重叠（共享推理步骤、句法骨架、连接词），对负样本的无差别加压会同时降低这些共享分布出现在正确轨迹中的概率，引发Lazy Likelihood Displacement（LLD）。在数学推理上，这一矛盾具体表现为：NSR可以涨Pass@k却很难再涨Pass@1（论文表1显示Qwen3-4B下NSR的AIME24=38.5、AMC23=79.8，相比GRPO的AIME24=37.1虽略好但AIME25=33.1也只算持平），且负梯度与正梯度在共享语义方向上的'内积冲突'会进一步造成训练不稳定与突发性的梯度范数飙升。

本文的目标是本文的具体目标是在RLVR训练中同时提升Pass@1与Pass@k，办法是'只惩罚负样本中与正样本语义不共享的那部分'。具体而言，作者希望：理论层面把LLD形式化为正负梯度在表示空间的对齐问题，并给出单次前向的代理度量；算法层面在GRPO的clip目标基础上，对负token施加一个与'投影残差'成正比、但被'组内分位数归一化'夹紧到 $[\xi,1]$ 区间的权重 $\omega_{i,t}$，对正优势沿用NSR弱锚定 $\lambda_\text{pos}=0.1$；实验层面在Qwen3-1.7B/4B/8B/32B四种规模上、十二个数学/代码/智能体/Function-calling基准上同时刷新Avg@16与Pass@128。

与已有工作不同的是，现有方法的切入角度普遍停留在'调整正/负样本的损失权重'这一层（GRPO对所有 $\hat A_i$ 等权重、NSR对负样本整体上调、FlowRL做pass@k调度），但没有显式刻画'正负样本到底在哪些语义维度上共享'。ResRL的独特切角是'在表示空间做几何手术'：用倒数第二层隐藏态拟合正样本的低秩语义子空间 $S$，再用负样本投影到 $S$ 上的残差 $\|\,(I-P_S)x^-\|^2$ 度量它'偏离正确语义的程度'。残差小说明该负token与正样本共享语义、应少罚；残差大说明它携带错误独有成分、应重罚。这把'权重调节'从标量层面提升为token级几何层面，与GRPO/NSR/FlowRL/DAPO的正交路线形成对比。

核心方法

ResRL的核心直觉是'惩罚应只施加在与正样本正交的方向上'。它在策略模型的倒数第二层抽取每个token的隐藏态 $h_{i,t}\in\mathbb{R}^d$，先做LayerNorm与组中心化得到 $x_{i,t}=\text{LN}(h_{i,t})-\mu_+$，再用正样本token子集 $\hat X_+$ 跑截断SVD得到秩-k投影 $P_S=V_kV_k^\top$。对负token计算投影残差 $R_{i,t}=\|(I-P_S)x_{i,t}^-\|^2/d$，再用组内 $\alpha,\beta$ 分位数做min-max归一化并clip到 $[0,1]$，映射为NSR权重 $\omega_{i,t}=\xi+(1-\xi)z_{i,t}$（$\xi$ 为最小权重）。最终把GRPO clip目标中正优势替换为 $\lambda_\text{pos}\hat A_i$（$\lambda_\text{pos}=0.1$ 弱锚定）、负优势替换为 $\omega_{i,t}\hat A_i$，实现token级细粒度平衡。

与已有方法的本质区别在于'惩罚粒度从轨迹级降到token级、且惩罚强度由几何对齐度决定'。GRPO/NSR/FlowRL/DAPO都只在轨迹/优势层面分配权重，所有token共享一个 $\hat A_i$；ResRL则把每个负token按其表示与正样本子空间的对齐程度单独打分。技术路线上有三点核心创新：(1)把'梯度对齐/干涉'分解为logit项与表示项（Lemma 1），并用 $e(x^-)$ 作为代理度量；(2)通过Theorem 1证明 $e(x^-)$ 单调地给出 $|\langle x^-,x^+\rangle|$ 的保守上界，从而为'残差越大、负梯度应越被信任'提供理论背书；(3)用采样式截断SVD（每个组最多采 $M_\text{max}=4096$ 个正token）控制长上下文下的计算开销，并配合组内分位数clip保证不同prompt间的权重可比。这些设计一起把'惩罚负样本'这件事从黑盒标量变成可控、可解释的几何操作。

方法步骤详情

方法分五步。第一步是表征提取：从策略模型倒数第二层取隐藏态 $h_{i,t}\in\mathbb{R}^d$，按公式(12) $x_{i,t}=\text{LN}(h_{i,t})-\mu_+$ 做LayerNorm与组中心化。第二步是正样本子空间估计：均匀采样最多 $M_\text{max}=4096$ 个正token构成 $\hat X_+$，做截断SVD取前k大奇异向量 $V_k$ 构成投影 $P_S=V_kV_k^\top$。第三步是负token残差计算：对每个负token用公式(14) $R_{i,t}=\|(I-P_S)x_{i,t}^-\|^2/d$ 量化偏离。第四步是组内分位数归一化：在残差集上取 $\alpha,\beta$ 分位数做min-max clip，线性映射为 $\omega_{i,t}=\xi+(1-\xi)z_{i,t}$（$\xi=0.1$、$q\in\{0.1,0.2\}$）。第五步是替换GRPO clip目标(19)中的优势项为公式(18)，并附带长度缩放奖励（>3500 token段衰减到70%），不显式加KL。

技术新颖性

技术新颖性可归纳为四点。第一，理论侧用Lemma 1的因式分解 $\langle\nabla_W\ell_1,\nabla_W\ell_2\rangle=\langle\delta_1,\delta_2\rangle\cdot\langle x_1,x_2\rangle$ 把正负梯度内积拆为logit与表示两个独立因子。第二，提出单次前向代理度量 $e(x^-)=\|(I-P_S)x^-\|^2/d$，Theorem 1证明它单调给出 $|\langle x^-,x^+\rangle|$ 的保守上界，因此残差越大越值得重罚，避免了heuristic调参。第三，工程上把SVD限制在 $M_\text{max}\le 4096$ 子样本上，使4096-token响应、G=4组滚动下额外开销可控。第四，消融证明各组件不可或缺：去LayerNorm+组中心化会让优化在图11中剧烈震荡；k=64是保护-判别的甜点；倒数第二层可规避next-token偏置；q=0.1/0.2收敛最快。

Hidden Layer Selection
Figure 7: Hidden Layer Selection
Quantile Hyperparameter Selection
Figure 8: Quantile Hyperparameter Selection
Length-scaled Rewards
Figure 9: Length-scaled Rewards
SVD Subspace Budget
Figure 10: SVD Subspace Budget
LayerNorm Mechanism
Figure 11: LayerNorm Mechanism

实验结果

实验在Qwen3-1.7B/4B/8B/32B四种规模与十二个基准完成。数学方面（表1），ResRL在Qwen3-4B上平均Acc 57.0，比FlowRL(53.6)、NSR(52.1)分别高+3.4与+4.9；Qwen3-8B上平均64.7，比NSR(61.9)高+2.8。Pass@k上（图2/3），Qwen3-4B的AIME24/25、AMC23在k=20到27上ResRL几乎全程包络NSR/FlowRL/GRPO/DAPO基线，k=128时对NSR平均+7.0% Pass@128、对AIME24/25平均+9.4% Avg@16。代码（表2，Qwen3-4B）上CodeForces Rating=1469.5、Percentile=78.9%（vs NSR 1340.9/69.3%，+9.6%），LiveCodeBench Pass@16=59.9。智能体（表3）ALFWorld整体86.7%比EMPG(78.5)高+8.2。Function-calling（表4）BFCL多轮OA=41.25比ResT高+1.12。消融：k=64最优，倒数第二层稳定优于最后一层。

Avg@16 performance comparison on mathematical reasoning benchmarks using Qwen3 variants
Table 1: Avg@16 performance comparison on mathematical reasoning benchmarks using Qwen3 variants
Performance on code reasoning benchmarks using Qwen3-4B
Table 2: Performance on code reasoning benchmarks using Qwen3-4B
Performance on ALFWorld and WebShop using Qwen2.5-7B-Instruct
Table 3: Performance on ALFWorld and WebShop using Qwen2.5-7B-Instruct
Performance on BFCL benchmark
Table 4: Performance on BFCL benchmark
Pass@k performance on AIME24/25 and AMC23 using Qwen3-4B
Figure 2: Pass@k performance on AIME24/25 and AMC23 using Qwen3-4B
Pass@k performance on AIME24/25 and AMC23 using Qwen3-1.7B
Figure 3: Pass@k performance on AIME24/25 and AMC23 using Qwen3-1.7B
Impact of rank k on model performance and optimization stability
Figure 4: Impact of rank k on model performance and optimization stability
查看结构化数据
任务指标本文基线提升
数学推理 Qwen3-1.7B (AIME24/25/AMC23/MATH500/Minerva/Olympiad) Avg@16 平均准确率 48.6 GRPO 35.9 / DAPO 35.2 / FlowRL 42.0 / NSR 47.5 相比NSR +1.1, 相比FlowRL +6.6, 相比GRPO +12.7
数学推理 Qwen3-4B (同上六项) Avg@16 平均准确率 57.0 GRPO 53.1 / DAPO 46.2 / FlowRL 53.6 / NSR 52.1 相比NSR +4.9, 相比GRPO +3.9, 相比FlowRL +3.4
数学推理 Qwen3-8B (同上六项) Avg@16 平均准确率 64.7 GRPO 56.2 / DAPO 45.8 / FlowRL 62.1 / NSR 61.9 相比NSR +2.8, 相比FlowRL +2.6, 相比GRPO +8.5
代码推理 Qwen3-4B CodeForces Rating / Percentile 1469.5 / 78.9% NSR 1340.9 / 69.3% Rating +128.6 (+9.6%), Percentile +9.6
代码推理 Qwen3-4B LiveCodeBench Avg / Pass@16 43.2 / 59.9 NSR 32.8 / 52.3, FlowRL 42.4 / 58.7 相对NSR Avg +10.4, Pass@16 +7.6
代码推理 Qwen3-4B HumanEval+ Pass@16 97.0 NSR 96.9, GRPO/FlowRL/DAPO 95.7 +0.1 (接近饱和,主要展示不倒退)
智能体 Qwen2.5-7B-Instruct ALFWorld Overall Success Rate (%) 86.7 PPO 80.4, GRPO 74.8, EMPG 78.5 相对EMPG +8.2, 相对PPO +6.3
智能体 Qwen2.5-7B-Instruct WebShop Task Score / Success Rate (%) 81.2 / 71.5 EMPG 81.0 / 69.3, PPO 81.4 / 68.7 成功率比EMPG +2.2, 比PPO +2.8
Function-calling 8B BFCL Overall Acc (Multi-Turn OA) 41.25 ResT 40.13, ToolACE-2-8B 37.00, NSR 36.37 相对ResT +1.12, 相对NSR +4.88
Function-calling 8B BFCL Miss Func / Miss Param 准确率 47.00 / 34.00 ResT 45.00 / 32.00, NSR 41.00 / 29.00 MF +2.0/+6.0, MP +2.0/+5.0 (相对ResT/NSR)

局限与改进

作者坦承的局限：(1)ResRL在数学推理上的增益最为稳健（表1），但HumanEval+仅+0.1几乎与NSR持平，提示饱和任务上几何解耦边际收益有限；(2)SVD与残差计算相比纯GRPO有额外开销，虽用 $M_\text{max}\le 4096$ 控制但长上下文下仍可能成为瓶颈。我的观察还包括：(a)论文只在Qwen系列上验证，未在Llama/Intern等异构backbone上报告；(b)Theorem 1的代理度量假设logit项 $|\langle\delta^-,\delta^+\rangle|$ 为未建模乘子，真正的logit项在难样本上可能放大残差作用，作者未做敏感度分析；(c)BFCL上ResRL在'Single-Turn Live'子项（78.14）低于ResT（79.03）与NSR（80.23），单轮工具调用并非普涨。

独立分析的弱点

我认为ResRL还有几个可改进方向。第一，理论假设依赖正样本能覆盖正确语义子空间，但prompt过难导致组内正样本极少时 $V_k$ 估计会非常嘈杂，可引入RANSAC-style鲁棒子空间估计。第二，组内分位数 $\alpha,\beta$ 是全局超参，WebShop等长程任务上最优分位数可能不同，可做成prompt难度自适应。第三，'倒数第二层隐藏态'为默认选择但未做系统讨论，可引入层重要性打分让算法自适应。第四，残差计算是后验判别，不能采样前预筛易混淆prompt，可与curriculum learning结合优先采样。第五，$M_\text{max}=4096$ 是经验值，对>8k token的Olympiad难题未必足够，'长上下文鲁棒性'未被严格验证。

未来方向

作者提出的未来方向包括：把投影残差思想推广到多模态RLVR（如视频/音频推理），以及结合MCTS等探索机制做更主动的'负样本工程'。基于成果可延伸的方向有四点：(1)把残差度量替换为'可学习的语义对齐评分器'，即用一个轻量注意力网络替代SVD，从而支持端到端反向传播，进一步提升对齐精度；(2)与Process Reward Model结合——把'推理步骤级'的残差作为细粒度奖励信号，而不仅是token级梯度加权；(3)把 $P_S$ 的估计做成'在线滑动平均'，让正样本子空间随训练逐步漂移而非每step重算，从而更好地匹配策略演化；(4)将ResRL应用到多智能体RL或tool-use的long-horizon RL中（BFCL单轮Live子项倒退暗示此处仍有改进空间），通过分层投影（token级+step级）来增强决策稳定性。这些方向既呼应论文中'几何解耦'的核心思路，也回应了其在饱和任务与异构模型上泛化不足的隐忧。

复现评估

代码仓库公开在 https://github.com/1229095296/ResRL.git；backbone覆盖Qwen3-1.7B/4B/8B/32B与Qwen2.5-7B-Instruct；训练数据上数学使用DAPO、代码使用DeepCoder、Function-calling使用ToolRL、智能体沿用Wang et al.(2025)设置；训练用veRL实现，max response长度数学4096、代码8192；默认超参 $k=64$、$M_\text{max}=4096$、$\lambda_\text{pos}=0.1$。复现难度中等偏高：(1)需支持截断SVD与组内分位数的高效实现（论文未公布wall-clock开销）；(2)4B/8B单次训练可能需数百GPU小时；(3)Qwen3-32B规模（表5）对照配置不透明；(4)BFCL与ALFWorld评估接口依赖特定gym版本。方法本身透明但绝对数字需仔细对齐官方checkpoint或重训。

论文图表

ResRL overview
Figure 1: ResRL overview

示意性对比图：左侧展示GRPO对正负响应无差别地施加梯度、Pass@1提升但Pass@K下降；中间NSR加权负梯度、Pass@K回升但Pass@1有限；右侧ResRL通过对正样本做SVD分解、计算负样本在正子空间上的投影残差 R_{i,t}，据此动态调节负梯度权重，从而在Pass@1与Pass@K上同时获益。

这张图是全篇motivation的总图：把'正负样本在语义分布上的重叠'这一关键现象、'传统GRPO/NSR误伤共享token'的副作用、以及ResRL用SVD残差做token级调节的核心思路一次性讲清楚，是理解后续定理1和算法1的视觉入口。