利用经验回放实现大语言模型的高效强化学习训练 Efficient RL Training for LLMs with Experience Replay
通过经验回放缓冲区在LLM强化学习训练中节省高达40%计算成本而不降低性能
前置知识
On-policy vs Off-policy强化学习
在强化学习中，on-policy方法使用当前策略生成的数据进行更新，策略梯度估计更准确但数据利用率低；off-policy方法使用其他策略（通常是旧策略）生成的数据，需要重要性采样校正但数据可以重用。LLM训练中普遍认为on-policy数据对性能至关重要，这导致了轨迹生成后立即丢弃的做法。
理解on-policy和off-policy的区别是理解本文核心贡献的关键——挑战了LLM训练必须使用新鲜on-policy数据的假设，证明适当程度的off-policiness可以通过经验回放大幅提高计算效率。
GRPO (Group Relative Policy Optimization)
GRPO是一种策略梯度算法，通过生成一组候选响应并基于相对优势进行优化。给定提示q，模型生成G个响应z_1,...,z_G，每个响应的优势A_i定义为(r_i - mean(r))/std(r)，其中r_i是奖励。损失函数包含重要性比率和剪裁项，类似于PPO但使用组内相对优势而非基线。
GRPO是本文实验中使用的主要优化算法，理解其工作原理有助于理解实验设置和经验回放如何与之交互。
异步训练流水线
在大规模LLM训练中，GPU通常分为W个推理worker和T个训练器。推理worker使用当前模型权重持续生成rollouts并通过传输队列发送给训练器；训练器从队列提取rollouts进行前向-反向传播并更新权重。这种解耦设计可以最大化GPU利用率，但需要平衡生产者和消费者的速度。
本文的经验回放方法基于异步训练流水线，理解这种架构有助于理解缓冲区如何插入以及W/T比例如何影响计算效率和训练动态。
Bias-Variance分解
在随机优化中，梯度估计的误差可以分解为偏差（估计量的期望与真实值的差异）和方差（估计量围绕其期望的波动）。在经验回放设置中，off-policiness引入了偏差（因为数据来自旧策略），而样本重复引入了方差增加和相关性。学习需要在三者间权衡：计算效率、偏差和方差。
论文的理论分析基于bias-variance分解，证明了最优缓冲区设计需要权衡陈旧性诱导的方差、样本耦合以及rollout生成成本。
研究动机
现代大语言模型的强化学习训练面临着巨大的计算成本问题。不同于静态的预训练数据，RL需要持续生成新的训练轨迹。在最先进的流水线中，推理成本通常主导训练预算，可能消耗超过80%的后训练GPU小时。标准方法如PPO或GRPO通过极端的样本低效加剧了这一问题：它们尽可能on-policy操作，意味着rollouts被生成、用于单次梯度更新后立即丢弃。这种生成-然后-丢弃范式与经典强化学习中的经验回放形成鲜明对比，后者通过存储和重用过去的轨迹来提高样本效率。然而，在LLM训练中，普遍共识认为off-policy数据的性能下降超过了计算效益。
本文的目标是本文的具体目标是挑战LLM强化学习中必须使用新鲜on-policy数据的假设，通过系统性地研究经验回放缓冲区在LLM后训练中的应用，证明良好的缓冲区设计可以大幅减少推理计算而不降低——甚至在某些情况下提升——最终模型性能，同时保持策略熵。论文旨在将关注点从最大化每步性能转移到最大化每单位计算的性能，提供一种简单易实现的方法来实现高效率的RL微调。
与已有工作不同的是，本文的独特切入角度在于严格聚焦于计算效率而非探索新训练范式以超越最先进精度。虽然近期有工作重新引入replay buffer到LLM训练，但它们有不同动机：Wang et al. (2025)和Bartoldson et al. (2025)主要用缓冲区增强探索和最终性能，Lu et al. (2025)和Zhang et al. (2025)提出动态采样或多阶段训练来最大化数据质量。相比之下，本文严格关注在标准异步流水线中系统分析off-policiness和效率之间的权衡，证明简单的经验回放可以在保持精度的同时大幅减少计算预算。
核心方法
方法整体思路是在异步LLM后训练流水线中引入一个FIFO（先进先出）经验回放缓冲区。在标准设置中，GPU分为W个推理worker和T个训练器；推理worker生成rollouts并通过队列发送给训练器，rollouts使用一次后立即丢弃。经验回放的关键改动是：推理worker将rollouts添加到一个大小为N的缓冲区列表中，而不是队列；训练器持续从这个缓冲区采样，采样不移除轨迹，允许重用。这通过摊薄rollout生成成本来减少所需的总计算。直觉上，重用样本使每个梯度步骤在计算上更便宜，但过于激进的重复可能损害每个步骤的期望准确率增益。
核心创新点是证明了在计算成本高（即rollout生成昂贵）的场景下，严格的on-policy策略不是最优的。论文通过理论分析得出，最优计算效率不是通过严格on-policy实现，而是通过平衡数据新鲜度和多样性与其生成成本。具体来说，当相对推理成本增加时，最优策略进一步向经验回放偏移。理论给出了最优缓冲区大小N和重放比率B/R的界限，其中B是批大小，R是每步生成的新rollouts数，最优设计需要权衡陈旧性诱导的噪声增长、重放样本与参数迭代之间的耦合以及rollout-vs-training计算不平衡。
方法步骤详情
方法步骤的完整描述如下：首先，初始化一个大小为N的FIFO缓冲区，用于存储生成的rollouts。推理worker持续使用其权重集合生成rollouts，然后将它们添加到缓冲区，当缓冲区满时移除最旧的样本。同时，训练器从缓冲区随机采样批大小为B的rollouts组装训练批次。训练器对批次执行前向-反向传播计算梯度并更新其权重。每几个梯度步骤后，推理worker的权重用训练器的当前值更新。缓冲区采用FIFO策略保持最新样本，也可以使用其他策略如优先正确样本的positive-bias采样。计算比率gamma = (1 + W/T)/(1 + mu)衡量有/无缓冲区时参数更新的计算成本比，其中mu是rollout生成与处理的计算成本比。当mu = 5.28（Qwen2.5-7B）时，(W,T) = (5,3)给出gamma = 0.43，意味着计算成本减少57%。
技术新颖性
技术新颖性在于首次为LLM训练中的经验回放提供了系统性的理论框架和实证分析。理论分析形式化了计算效率、样本多样性和梯度偏差之间的权衡，推导了最优缓冲区大小和重放比率的理论界限。实证上，论文展示了经验回放不仅提高计算效率，还具有意外的正则化效果——通过重用来自旧策略的rollouts增加训练分布多样性，防止过拟合并稳定训练。这一效应超越了理论预测，使得训练更稳定，防止崩溃，有时实现更高的峰值准确率。此外，论文探索了更复杂的采样策略（如优先正确轨迹）和替代损失（如不包含重要性比校正的AsymRE），这些可以进一步扩展经验回放缓冲区的稳定性，允许更大的效率增益。
实验结果
实验验证了理论预测并发现了意外的正则化效应。Figure 1展示了核心发现：对于良好的缓冲区配置，可以节省高达40%的计算来达到给定准确率。对于所有计算预算，使用经验回放可达到的准确率都优于严格on-policy训练，挑战了当前范式。Qwen2.5-7B在OpenR1-Math-220k上的测试表明，使用缓冲区大小N=84和(W,T)=(5,3)配置，在相同计算下pass@1准确率提升约0.02-0.03。更重要的是，缓冲区稳定训练，防止崩溃并有时实现更高的峰值准确率。这些发现在其他缓冲区配置、模型（Qwen3-0.6B、Qwen3-8B、Llama 3.2 3B）和任务（数学、编码）中得到确认。Figure 3显示，增加缓冲区大小（因而增加平均off-policiness）有两个明显效果：它减慢训练但稳定它，导致可能更高的最大准确率，该准确率在训练运行后期达到。Figure 3的中间部分显示训练with experience replay可以改善pass@k（对于k>1），在绝对和比较上都是如此：使用缓冲区帮助大k的pass@k比pass@1更多，表明经验回放可以保持模型输出分布的多样性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH (pass@1) | Accuracy | 约0.74-0.76（取决于缓冲区配置） | 约0.72-0.74 | 约2-3%绝对提升，同时节省40%计算 |
| OpenR1-Math-220k (pass@1) | Accuracy | 约0.52-0.54（Qwen3-0.6B） | 约0.50-0.52 | 约2%绝对提升，计算效率提升40% |
| Lean coding (miniF2F) | Accuracy | 约0.28-0.32（Qwen3-8B） | 约0.25-0.28 | 约3%绝对提升，计算节省显著 |
| 计算效率 | Compute Budget | 0.57-0.82单位（取决于W/T配置） | 1.0单位 | 18-43%计算节省 |
局限与改进
局限性分析包括作者承认的约束和观察到的限制。首先，作者指出虽然结果在本文评估的模型尺度上一致，但需要在更大规模的frontier模型上验证这些效率增益。其次，理论分析在概念上更简单的同步设置中进行，而实验关注更计算高效的异步设置，这可能在某些场景下影响理论界限的直接可应用性。第三，实证分析主要集中在推理任务（数学、编码），经验回放在其他任务类型（如对话、创意写作）中的表现尚未探索。第四，论文专注于GRPO和AsymRE损失，与PPO等其他算法的交互需要进一步研究。第五，虽然positive-bias采样和替代损失显示出希望，但这些需要在更大规模实验中验证。此外，作者观察到当重放比率过于激进时（如(W,T)=(4,4)时重放比率达17.6），性能会下降，主要由于关联的局部样本多样性减少。最后，论文的简化计算假设忽略了实现细节如张量并行、数据并行、分片等，这些可能影响实际壁时增益。
独立分析的弱点
独立分析的弱点包括：第一，极端缓冲区配置（如大缓冲区结合低W/T比）可能导致训练动态恶化，因为重放比率过高（17.6+）和局部多样性减少。改进方向是引入更智能的采样策略，如论文提出的positive-bias采样，它保留(1-delta)N最新rollouts和delta N个不在其中的正确rollouts。第二，理论界限假设理想化条件，实际训练中存在实现细节如批大小整数约束、节点间通信延迟等，这可能导致理论与实践的差距。改进方向是扩展理论分析包含这些实际因素。第三，论文主要在推理任务上验证，对于开放域生成任务，off-policiness的影响可能不同。改进方向是在更广泛任务类型上系统评估。第四，缓冲区实现采用FIFO策略，没有考虑rollouts的质量或学习难度。改进方向是结合优先经验回放，根据优势或TD错误优先采样。第五，实验使用相对较小的模型（0.6B-8B），在更大模型（如70B+）上，训练动态可能不同。改进方向是扩展到更大规模验证。第六，论文使用简单的一致采样，更复杂的离策略校正方法（如Retrace、M2PO）可能进一步提高稳定性。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的方向。作者明确指出需要在更大规模的frontier模型上验证这些效率增益。作者还认为可以通过超越均匀缓冲区向更复杂的采样规则和离策略校正以及其他损失来进一步推动Pareto前沿。基于成果可延伸的方向包括：第一，结合更先进的采样策略，如根据rollouts的奖励、梯度范数或使用次数优先采样；第二，探索与其他离策略算法（如SAC、DDPG）的交互，这些算法天然使用经验回放；第三，研究动态缓冲区大小和采样策略，根据训练进度自适应调整；第四，探索在多阶段训练流水线中的应用，如先生成探索rollouts，然后在目标导向阶段重用高质量样本；第五，扩展到更多任务类型，如对话、创意写作、工具使用等；第六，研究与其他效率技术的协同效应，如模型并行、混合精度、蒸馏等；第七，开发更精确的理论界限，考虑实际实现细节和有限时间行为；第八，探索在联邦学习或分布式设置中的应用，其中数据生成和训练在多个节点间分布。
复现评估
复现评估：论文提供了详细的实验设置和超参数，包括批大小（60或63）、学习率（Qwen3-0.6B为3.37 * 10^(-7)，Qwen2.5-7B为6.8 * 10^(-8)）、GRPO参数（epsilon_low=epsilon_high=0.2，组大小G=16）和评估细节（温度参数：训练用1.0，评估pass@1用0.1，pass@k（k>1）用1.0）。论文提供了伪代码实现（附录B）和数学证明细节（附录C），这有助于理解和复现方法。实验在Nvidia H100和H200 GPU上运行，使用1、2或4个8-GPU节点。论文报告了超过4个随机种子的中位数和四分位距，显示了良好的统计可靠性。然而，论文没有开源代码或数据，这增加了复现难度。此外，某些实现细节如权重更新频率、缓冲区分片策略可能需要从描述中推断。算力需求方面，实验使用相对较小的模型（0.6B-8B），可在中等规模GPU集群上运行。总体而言，虽然缺少代码/数据使复现有一定难度，但论文提供了足够的细节使研究人员能够从论文描述重建实验，困难度为中等。
论文图表
