← 返回 2026-03-10

打破训练瓶颈：面向代码生成模型的高效稳定强化学习方法 Breaking Training Bottlenecks: Effective and Stable Reinforcement Learning for Coding Models

Zongqian Li, Shaohan Huang, Zewen Chi, Yixuan Su, Lexin Zhou, Li Dong, Nigel Collier, Furu Wei 📅 2026-03-08 👍 5 2026-07-13 08:35
GRPO 代码大模型 代码生成 强化学习 训练算法
arXiv HuggingFace PDF

MicroCoder-GRPO在LiveCodeBench v6最高相对涨17.6%。

前置知识

GRPO (Group Relative Policy Optimization)

GRPO 是一种去掉了传统 value/critic 模型、用同一 prompt 采样 G 个回答并以组内相对奖励估计 advantage 的策略梯度方法。其目标函数为 $J_{GRPO}(\theta) = \mathbb{E}_{q\sim P(Q)}\left[\frac{1}{G}\sum_{i=1}^{G}\min\left(\frac{\pi_\theta(o_i|q)}{\pi_{\theta_{old}}(o_i|q)}A_i, \text{clip}(\cdot,1-\epsilon,1+\epsilon)\right) - \beta_0 D_{KL}(\pi_\theta\|\pi_{\theta_{old}})\right]$，其中 $A_i = \frac{r_i - \text{mean}(\{r_j\})}{\text{std}(\{r_j\})}$。

本文是 GRPO 在代码生成任务上的算法改造，所有改进都以 GRPO 为基线，必须先理解 advantage 估计、ratio clipping 和 KL 正则三大要素的作用。

PPO/RLHF 中的 clipping 与 KL 正则

Clipping 通过限制策略更新比率 $\frac{\pi_\theta}{\pi_{\theta_{old}}}$ 在 $[1-\epsilon, 1+\epsilon]$ 内来稳定训练；KL 正则 $\beta_0 D_{KL}(\pi_\theta\|\pi_{\theta_{old}})$ 防止策略漂移太远。但 KL 项在长输出时容易抑制 length growth，clip 上界过低会限制探索。

本文核心创新之一是去掉 KL 损失并把 clip 上界抬到 $1+\epsilon_{high}$，需理解这两者在原 GRPO/PPO 中各自承担什么角色以及为什么要去掉/放大。

LiveCodeBench v6 与代码评测器

LiveCodeBench v6 是一个持续更新的真实竞赛题评测集，按 Easy/Medium/Hard 分难度，支持 AtCoder、LeetCode 等多源。其官方评测器对输出做精确字符串匹配，但对浮点数、列表/元组/集合、空格容忍度差，容易把语义正确但格式不同的答案判错。

本文所有主结果都以 LiveCodeBench v6 为基准，且专门指出 LiveCodeBench 评测器与 MicroCoder-Evaluator 在 RL 训练中的 reward 信号噪声差异，所以理解评测器对训练反馈的影响至关重要。

on-policy vs off-policy 训练

on-policy 指采样数据的策略与被优化的策略一致（即训完即用），off-policy 指用旧策略采的数据更新当前策略。在 GRPO 实现里这通常由 train batch size 与 PPO mini batch size 的比值控制：每采一批就更新越接近 on-policy，多批累积再更新则更 off-policy。

本文 §7.1 显示 on-policy 训练稳定性差（accuracy 上升后回落），off-policy 稳定性更好，中间设置取得最优性能，这与 batch size 设计直接相关。

研究动机

以 Qwen-3 为代表的新一代代码生成模型普遍具备长输出、强推理能力，传统的 GRPO 训练范式在它们身上出现了三类失效：第一，奖励稀疏导致策略震荡，输出长度在 4K–8K 量级时截断带来的假阴性奖励会污染 advantage 估计；第二，标准温度（如 $t=0.6$）和 KL 正则项会持续压低输出多样性，使模型过早坍缩到几个高频解；第三，主流数据集（DeepCoder、OlympicCoder 等）对 Qwen-3 已经偏简单，critic 几乎没有负反馈，accuracy 几无提升。具体数据上，Qwen3-4B-Instruct 在 LiveCodeBench v6 全部题的 baseline 仅 34.1%，DeepCoder 集训 300 步后 accuracy 几乎水平，而同 Qwen 2.5-3B 架构上却能涨十几个点，说明传统 GRPO 配方已经无法匹配新一代模型的训练动力学。

本文的目标是本文面向「现代长输出、强推理」代码大模型，重建一套端到端的强化学习方案，包含三层目标：算法层面提出 MicroCoder-GRPO，把 GRPO 改造为在长输出下仍稳定且鼓励多样性探索；数据层面构建 MicroCoder-Dataset，使训练 reward 信号能持续驱动模型能力提升；基础设施层面提供 MicroCoder-Evaluator，把 RL 训练中的 reward 噪声压下来。最终在 LiveCodeBench v6、AtCoder、LeetCode 等多源、多难度基准上，相对强基线（GRPO / DAPO）实现最高 17.6% 的相对提升，并整理出可复用的训练指南。

与已有工作不同的是，已有 GRPO 改进工作（Dr. GRPO、DAPO、Polaris、SRPO）几乎都聚焦在数学推理任务，其结论（如数学题输出长度越长越好、KL 项必须保留）在代码任务上不一定成立甚至相反。本文的关键切入角度是「代码任务 vs 数学任务」的差异：代码必须通过全部测试用例且满足运行时约束，传统 insight 失效；据此提出条件截断掩码（区别于 Dr. GRPO 的全掩码）、多样性驱动温度调度（区别于 Polaris 的固定温度）、并以四个阶段的处理流水线从原始语料构造 MicroCoder-Dataset，弥补主流数据集对 Qwen-3 过易的问题。

核心方法

MicroCoder 体系由算法（MicroCoder-GRPO）、数据（MicroCoder-Dataset）、基础设施（MicroCoder-Evaluator）三部分组成。直觉上，作者观察到 RL 在代码任务上的失败模式可以归为三类：长输出截断带来的错误 advantage、采样多样性不足导致的策略坍缩、以及训练信号噪声过大引起的优化不稳。因此他们从这三处分别下刀：算法上让「超过长度上限的正确回答」的 advantage 选择性归零（条件截断掩码），把训练温度与初始输出多样性挂钩（多样性驱动温度），并像 DAPO 一样去掉 KL 项但同时放大 clip 上界到 $1+\epsilon_{high}$ 以保留探索。数据上用 Collect→Process→Filter→Verify 四步流水线，从多个开源仓库构造难度更高的题目集。基础设施上把评测器从精确匹配换成多方法近似匹配 + 并行执行，让 reward 信号更准确、训练反馈更及时。整套方案在 Qwen3-1.7B-Instruct、Qwen3-4B-Instruct-2507、DS 8B 三个模型规模以及 4K/6K/8K/16K 不同上下文长度上都得到了稳定增益。

MicroCoder-GRPO 与标准 GRPO 的本质区别在于三点：(1) 不再把 advantage 平均作为优化目标，而是对截断且非错误且非重复的回答按概率 $\rho$ 选择性屏蔽，相当于只在「真正给出有效信号」的样本上更新；(2) 温度被建模为关于初始输出多样性 $D$ 的函数 $T(D)$，而不是人工固定值，避免低温度在训练早期就抹平探索空间；(3) 显式去掉 $\beta_0 D_{KL}$ 项并把 clip 上界放大到 $1+\epsilon_{high}$，让长输出长度和多样性都能继续增长。这三点单独看都有人在数学任务上做过，但本文是首次把它们组合起来并证明在代码任务上能同时带来稳定性与性能增益——具体公式为 $A_i = \frac{r_i - \text{mean}(\{r_j\})}{\text{std}(\{r_j\})}\cdot(1 - \mathbb{I}[|o_i|=L_{max}\wedge \text{non-incorrect}(o_i)\wedge \neg\text{repeat}(o_i,m)\wedge U(0,1)<\rho])$，其中 $m=128$ 为重复检测窗口。

方法步骤详情

完整训练流程可分四步：第一步，准备 MicroCoder-Dataset——从多源原始语料出发，经过 Collect（多源汇集提升覆盖度）、Process（语言翻译、噪声去除、格式归一、完整性校验）、Filter（基于文本质量、内容相关度、难度分布的多准则筛选）、Verify（人工/自动校验题面可读性、测试用例正确性）四步流水线，产出比 DeepCoder 更难的高质量代码 RL 训练集。第二步，初始化策略与参考策略 $\pi_{\theta}, \pi_{\theta_{old}}$ 为 Qwen3-Instruct，每个 query 用温度 $T(D)$ 采样 $G=8$ 条回答并由 MicroCoder-Evaluator 给 0/1 二元奖励 $r_i$，同时记录每条回答的长度、是否到达 $L_{max}$、是否重复、是否非错误。第三步，按公式 $A_i$ 计算 advantage，对同时满足 $L_{max}$、非错误、最后 128 token 与前 128 token 不同三个条件且 $U(0,1)<\rho$ 的回答把 $A_i$ 置零（默认 $\rho=0.3$），然后做 PPO 风格 mini-batch 更新，clip 区间为 $[1-\epsilon, 1+\epsilon_{high}]$，无 KL 项。第四步，按观测到的初始输出多样性 $D$（4-gram 在 8 条采样中的 unique/total 比）选择 $T(D)$：若初始 $D$ 高于期望收敛值则可用低温度（如 $t=0.6$），否则必须抬到 $t=1.2$ 或 $t=1.8$ 以避免多样性快速坍缩；亦可采用「低温阶段 → 高温阶段」的动态调度以获得更高峰值性能。所有分析实验固定在 OlympicCoder/DeepCoder/MicroCoder 数据集、200 个随机测试问题、$L_{max}=4K$、Qwen3-4B-Instruct-2507、temperature 1.2、train batch 64、lr $1\times 10^{-6}$、DAPO 基线、4 次推理取平均 accuracy 的设置下进行。

技术新颖性

技术新颖性体现在四个层面。第一，把「截断响应的 advantage 屏蔽」从二元全掩码（DeepCoder 的做法）细化为带概率 $\rho$ 的条件掩码，并通过实验得到 $\rho=0.3$ 是稳定性与性能的最佳折中，比 SRPO、Dr. GRPO 的硬掩码更平滑。第二，温度被首次形式化为多样性的函数 $T(D)$，并系统比较了静态 vs 动态两种调度，给出「先低后高」优于「全程高温」的反直觉发现。第三，在 30+ 受控实验中同时考察 KL/clip ratio、batch size、context length、temperature、dataset、evaluator 等 7 个维度的交叉影响，并整理出 34 条可复用的训练 insight，这是同类工作中首次大规模交叉变量分析。第四，把评测器从训练外部工具上升为训练回路关键组件，证明 Multi-method fallback（6–7 种匹配方式 + 类型自动转换 + np.allclose 浮点容差 + 并行执行）相对 LiveCodeBench 单点精确匹配能带来约 25% 的 reward 准确度提升和 40% 的速度提升，从而影响最终 accuracy。

Truncation Masking Effects on Training. Performance trends under different masking strategies, comparing no mask, complete masking, and conditional masking at various rates.
Figure 2: Truncation Masking Effects on Training. Performance trends under different masking strategies, comparing no mask, complete masking, and conditional masking at various rates.
Temperature Dynamics and Scheduling Analysis. Temperature robustness trends during training showing increasing stability at higher temperatures, convergence of output diversity across different temperature settings, training failure when low temperatures cause initial diversity to fall below convergence values, and better performance of dynamic temperature scheduling (low-to-high transition) compared to static temperature approaches.
Figure 3: Temperature Dynamics and Scheduling Analysis. Temperature robustness trends during training showing increasing stability at higher temperatures, convergence of output diversity across different temperature settings, training failure when low temperatures cause initial diversity to fall below convergence values, and better performance of dynamic temperature scheduling (low-to-high transition) compared to static temperature approaches.
Influence of KL Loss and Clip Ratio on Training Dynamics. Performance comparison between standard KL loss and removed KL loss with high clipping, illustrating the relationship between diversity maintenance and sustained performance improvement.
Figure 4: Influence of KL Loss and Clip Ratio on Training Dynamics. Performance comparison between standard KL loss and removed KL loss with high clipping, illustrating the relationship between diversity maintenance and sustained performance improvement.
Dataset Quality Comparison. Training dynamics comparing MicroCoder and DeepCoder datasets across accuracy, critic reward, and response length metrics, demonstrating learning effectiveness on challenging problems.
Figure 5: Dataset Quality Comparison. Training dynamics comparing MicroCoder and DeepCoder datasets across accuracy, critic reward, and response length metrics, demonstrating learning effectiveness on challenging problems.
Training Performance with Different Code Evaluators. Accuracy and reward during training using MicroCoder-Evaluator versus LiveCodeBench Evaluator, demonstrating the benefits of robust output validation for coding task training. The right subfigure shows the efficiency improvements of MicroCoder-Evaluator through parallel processing optimization compared to the original DeepCoder single-threaded version.
Figure 6: Training Performance with Different Code Evaluators. Accuracy and reward during training using MicroCoder-Evaluator versus LiveCodeBench Evaluator, demonstrating the benefits of robust output validation for coding task training. The right subfigure shows the efficiency improvements of MicroCoder-Evaluator through parallel processing optimization compared to the original DeepCoder single-threaded version.

实验结果

在 LiveCodeBench v6 主表（Table 1）上，MicroCoder-GRPO 在所有 6 个 (模型规模 × 上下文长度) 配置下都优于 DAPO 与 GRPO：Qwen3-1.7B 训 4K 测 4K 时 LiveCodeBench All 从 DAPO 20.4% 提升到 23.3%（+2.9 pp），训 4K 测 8K 时从 20.4% 提升到 24.0%（+3.6 pp）；Qwen3-4B 训 4K 测 4K 时从 DAPO 35.9% 提升到 37.7%（+1.8 pp），训 4K 测 8K 时从 DAPO 36.3% 提升到 38.7%（+2.4 pp），且在 AtCoder Hard、LeetCode Hard 上提升尤为明显（如 Qwen3-4B 测 8K 时 LeetCode Hard 从 DAPO 2.5% 升到 5.0%）；DS 8B 训 16K 测 16K 时从 DAPO 36.9% 升到 39.3%（+2.4 pp），LeetCode Hard 由 2.5% 跃升到 8.7%（+6.2 pp）。跨任务看，Medium/Hard 难度普遍比 Easy 涨得多，验证了长推理对复杂题的价值。训练动力学层面（图 1/2/3/4/7）显示：标准 GRPO 在 Qwen-3 上几乎学不动（曲线水平），DAPO 早期上升快但随后明显回落，而 MicroCoder-GRPO 兼具快速上升和稳定不衰减。图 5 显示 MicroCoder-Dataset 在 300 步内即把 accuracy 推到显著高于 DeepCoder 的水平，约 3 倍训练增益比。图 6 显示换成 MicroCoder-Evaluator 后 critic reward 与 accuracy 同时上升且早期反馈更及时。Batch size（图 8）实验表明 train batch=64（PPO mini batch=8 之类）这种中间配置优于极小或极大配置：过 on-policy 会引发多样性快速坍缩和长度先涨后跌，过 off-policy 则绝对性能低。Context length（图 9）实验显示早期把最大长度压得过低（如 4K）即使后来扩展到 8K 也无法完全恢复多样性，提示「能力一旦丢失就难以追回」。

Illustrative performance comparison between MicroCoder-GRPO and baseline approaches across different model scales and output lengths, illustrating training accuracy, response length, and output diversity dynamics, demonstrating the better stability and sustained improvements of the proposed method under both preset and extended context lengths.
Figure 7: Illustrative performance comparison between MicroCoder-GRPO and baseline approaches across different model scales and output lengths, illustrating training accuracy, response length, and output diversity dynamics, demonstrating the better stability and sustained improvements of the proposed method under both preset and extended context lengths.
On-Policy versus Off-Policy Training Effects. Performance comparison across different train batch size settings, demonstrating that off-policy configurations increase training stability while intermediate settings achieve optimal performance.
Figure 8: On-Policy versus Off-Policy Training Effects. Performance comparison across different train batch size settings, demonstrating that off-policy configurations increase training stability while intermediate settings achieve optimal performance.
Context Length Influence on Training Dynamics. Performance trends across different maximum output length settings showing accuracy, response length growth, and output diversity, demonstrating irreversible effects of early-stage length limitations on model capabilities.
Figure 9: Context Length Influence on Training Dynamics. Performance trends across different maximum output length settings showing accuracy, response length growth, and output diversity, demonstrating irreversible effects of early-stage length limitations on model capabilities.
查看结构化数据
任务指标本文基线提升
LiveCodeBench v6 (All), Qwen3-1.7B Instruct, 训4K测4K pass@1 (%) 23.3 20.4 (DAPO) +2.9 pp (相对 +14.2%)
LiveCodeBench v6 (All), Qwen3-1.7B Instruct, 训4K测8K pass@1 (%) 24.0 20.4 (DAPO) +3.6 pp (相对 +17.6%)
LiveCodeBench v6 (All), Qwen3-4B-Instruct-2507, 训4K测4K pass@1 (%) 37.7 35.9 (DAPO) +1.8 pp
LiveCodeBench v6 (All), Qwen3-4B-Instruct-2507, 训4K测8K pass@1 (%) 38.7 36.3 (DAPO) +2.4 pp
LiveCodeBench v6 (All), DS 8B, 训16K测16K pass@1 (%) 39.3 36.9 (DAPO) +2.4 pp
LeetCode Hard, Qwen3-4B, 训4K测8K pass@1 (%) 5.0 2.5 (DAPO) +2.5 pp (相对 +100%)
LeetCode Hard, DS 8B, 训16K测16K pass@1 (%) 8.7 2.5 (DAPO) +6.2 pp
AtCoder Hard, Qwen3-4B, 训4K测4K pass@1 (%) 9.6 10.0 (DAPO) / 11.7 (GRPO) 略低于 DAPO（−0.4 pp），但比 DAPO 在 8K 上下文下提升明显
MicroCoder-Evaluator vs LiveCodeBench Evaluator 评估准确率 / 执行速度 约 +25% accuracy、约 +40% 速度 LiveCodeBench 原始评测器 评测噪声降低，训练 reward 更可靠
MicroCoder-Dataset vs DeepCoder Dataset 300 步内 accuracy 提升幅度 约 3× 训练增益 DeepCoder 训 300 步即取得明显可见的 accuracy 增长，而 DeepCoder 几乎不动

局限与改进

作者在文中显式承认的局限主要集中在两点：第一，「训练阶段看到的能力增长」和「跨任务/跨难度的鲁棒性」之间还存在 gap，例如 Qwen3-4B 在 AtCoder Hard 上 MicroCoder-GRPO 反而比 GRPO/DAPO 略低（9.6% vs 10.0%/11.7%），说明 Hard 题的绝对水平仍然受限于底座模型；第二，本工作只在 Qwen3-1.7B、Qwen3-4B-Instruct-2507、DS 8B 三个模型和 LiveCodeBench v6、AtCoder、LeetCode 三个评测集上验证，未涉及更小（如 0.5B）或更大（如 70B+）的模型，也未覆盖函数调用、仓库级代码修复、多文件重构等更复杂的代码任务。基于本人观察，第三个隐性局限是 MicroCoder-Dataset 的构造管线（Collect/Process/Filter/Verify）只描述了总体框架，没有公开具体阈值和 prompt，复现时难度不低；第四，MicroCoder-GRPO 中条件掩码概率 $\rho=0.3$ 与温度 $T(D)=1.2$ 是在 Qwen3-4B 上调出来的，迁移到非 Qwen 家族或非 Instruct 底座时可能需要重新搜索。

独立分析的弱点

独立分析可识别出以下可改进方向。第一，$\rho=0.3$ 的条件掩码仍把「截断且正确」的回答部分纳入优势计算，可能仍存在稀疏奖励污染；可以探索按截断比例 $\min(1, L_{actual}/L_{max})$ 软化的 advantage 加权，而非简单的 0/1 屏蔽。第二，温度 $T(D)$ 函数目前是离散档位（0.6/1.2/1.8），应可参数化为 $T(D) = T_0 + \alpha\cdot (D_0 - D)$ 的连续形式，让不同多样性水平的模型自动匹配温度。第三，MicroCoder-Evaluator 用 6–7 种 fallback 做近似匹配虽然降低了假阴性，但可能反过来引入假阳性（语义不同但形式相似的解），需要校准每种 fallback 的触发条件并报告混淆矩阵。第四，MicroCoder-Dataset 在 Hard 难度上的增益仍弱于 Easy/Medium，说明题目难度天花板还需进一步抬高，可能要引入人工编写的「陷阱测试」或对抗生成的边角案例。第五，方法只在 Qwen 家族和 DS 上验证，未在 Llama、Codestral、DeepSeek-Coder 等其他底座上交叉验证，泛化性需要更多证据。

未来方向

作者明确表示将把方法迁移到更广泛的代码任务（函数调用、仓库级修复、跨文件重构、test-time scaling 等）。基于本文成果可以进一步延伸的方向包括：(1) 把 MicroCoder-GRPO 与 test-time compute scaling（如多次采样 + self-consistency、tree search）结合，进一步挖掘 $L_{max}=8K/16K$ 下的 reasoning budget；(2) 把多样性 $D$ 显式纳入 reward（如 $\text{reward}=\alpha\cdot\text{pass}+\beta\cdot\text{diversity}$）以避免再靠温度间接控制；(3) 用本文的 7 维度交叉实验范式（数据集/评测器/温度/上下文/截断/批大小/KL-clip）作为 RL for code 的 benchmark，去标准化地评估其他方法；(4) 将条件截断掩码从二元扩展到「截断比例 $\lambda$」的连续加权，使 advantage 估计对截断更鲁棒；(5) 把 MicroCoder-Dataset 与 KodCode、Taco、rStar-Coder 数据集做 ensemble，并研究在不同底座上数据集配比的影响。

复现评估

复现友好度评估如下：作者明确给出 GitHub 项目页（https://github.com/ZongqianLi/MicroCoder），数据集 MicroCoder-Dataset 与评估器 MicroCoder-Evaluator 均承诺开源，并附详细算法描述与超参（$G=8$, $\rho=0.3$, $L_{max}=8K$, $T=1.2$, batch=64, lr=$1\times 10^{-6}$）。底座模型均为公开的 Qwen3-1.7B/4B-Instruct-2507 与 DeepSeek-Coder 8B（来自 HuggingFace），无需私有权重。算力门槛偏高：完整主实验需要在 8K/16K context 上对 1.7B~8B 模型做数百步 GRPO 训练（表 1 主实验每配置 ~400–800 步），按文中所述 4K 上下文训相比 6K 上下文训节省 40–50% 算力，但单次跑通仍需要 8×A100/H100 量级 GPU 与数十小时。负样本方面，MicroCoder-Dataset 的四步处理流水线和 MicroCoder-Evaluator 的具体实现细节需要去仓库核对，单独靠论文复现略有难度。建议从 §7.1（batch size）和 §7.2（context length）这两个独立消融实验入手，它们的算力需求相对可控。

论文图表

Cross-Model Training Dynamics. Performance and response length across Qwen 2.5 and Qwen 3 models, illustrating generation-specific training behaviors and output characteristics.
Figure 1: Cross-Model Training Dynamics. Performance and response length across Qwen 2.5 and Qwen 3 models, illustrating generation-specific training behaviors and output characteristics.

横轴为训练步数 (0–300)，左两张子图分别画 Qwen2.5-3B-Instruct 和 Qwen3-4B-Instruct 在 critic reward 和 accuracy 上的训练曲线，右两张子图展示它们的 response length 分布和 unique 4-gram 比例（diversity）。可见 Qwen3-4B-Instruct 的 response length 持续上升至 6K 附近，diversity 维持在 4×10⁻⁴–6×10⁻⁴ 区间，而 Qwen2.5-3B-Instruct 长度从 ~1K 略升后稳定。

这张图直接展示了 §1.2 motivation 的核心数据——同样的 GRPO/DeepCoder 配方在 Qwen2.5 上能涨、在 Qwen3 上几乎不动——是后面所有改进的出发点。

Table 1: Quantitative evaluation results across different datasets comparing MicroCoder-GRPO against baseline methods on various model sizes, difficulty levels, and output budgets to assess algorithmic improvements and extended reasoning capabilities.

三列数据集 (AtCoder / LeetCode / LiveCodeBench) × 三难度 (Easy/Medium/Hard) × All，6 行配置：Qwen3-1.7B/4B 训 4K 测 4K 与测 8K，外加 DS 8B 训 16K 测 16K，每行给出 GRPO/DAPO/MicroCoder-GRPO 三组数字与相对 DAPO 的 Δ。MicroCoder-GRPO 在 All 列相对 DAPO 的提升在 +1.8~+3.6 pp 之间，对应相对增益最高 +17.6%。

这是整篇论文的「主成绩单」，所有算法、数据集、评测器改进的最终落地都汇总在这里。