经验强化学习：通过显式反思-整合循环将反馈转化为持久行为改进 Experiential Reinforcement Learning
在RL训练中嵌入经验-反思-整合循环，使语言模型通过显式自我反思将环境反馈转化为持久行为改进
前置知识
强化学习与可验证奖励（RLVR）
RLVR 是当前训练语言模型执行推理和决策任务的主流范式。模型生成一个完整轨迹（trajectory），环境返回一个标量奖励信号，策略梯度方法（如 GRPO）根据该奖励更新模型参数。在实践中，这种反馈往往是稀疏且延迟的——例如在 Sokoban 推箱子游戏中，智能体只有在整个 episode 结束时才能获得 +1 或 0 的奖励。模型必须从这种低信息量的信号中隐式推断出哪些行为是好的、哪些是坏的，这个过程通常不稳定且样本效率低。
ERL 的核心动机就是解决 RLVR 的根本局限——将稀疏奖励转化为更丰富的中间监督信号。理解 RLVR 的工作方式和瓶颈是理解本文贡献的前提。
GRPO（Group Relative Policy Optimization）
GRPO 是一种策略梯度优化算法，通过在同一输入上采样多个响应并计算组内相对优势来估计梯度。它避免了传统 PPO 中需要单独训练价值网络的开销，通过组内对比来归一化优势估计。在本文中，GRPO 作为 ERL 和标准 RLVR 共用的底层优化器，确保对比实验的公平性。
本文使用 GRPO 作为所有实验的策略梯度优化器，理解其机制有助于理解 ERL 的训练流程和为什么需要额外的反思-整合步骤。
经验学习（Experiential Learning）
经验学习理论由 Kolb（2014）提出，描述人类通过经验循环（experience）、反思（reflection）、概念化（conceptualization）、实验（experimentation）来学习的过程。在观察结果后，学习者反思发生了什么、形成修正后的内部模型，并在后续尝试中应用这些修正。这个循环将原始反馈转化为可操作的行为纠正，然后再整合到未来行为中。
ERL 的核心创新正是将这一人类学习机制形式化并嵌入到语言模型的强化学习训练循环中。理解经验学习的四个阶段有助于理解 ERL 的整体设计逻辑。
知识蒸馏与自我蒸馏
知识蒸馏是一种模型压缩技术，将教师模型的知识转移到学生模型中。在 ERL 中，自我蒸馏（self-distillation）机制被用于整合步骤：模型学习从原始输入直接生成反思后的高质量响应，而不需要显式的反思步骤。具体地，用成功的第二次尝试作为监督信号，训练模型在没有反思上下文的情况下重现改进后的行为。这使得反思带来的改进能够持久化到基础策略中。
ERL 的整合机制依赖自我蒸馏将反思驱动的改进固化到策略中，这是 ERL 区别于推理时反思方法的关键——部署时无需额外的反思步骤和推理成本。
稀疏奖励问题
稀疏奖励是强化学习中的经典难题，指智能体在大多数时间步只获得零奖励，仅在任务完成（成功或失败）时才获得非零反馈。这导致信用分配（credit assignment）极其困难——模型无法判断轨迹中的哪些具体动作对最终结果贡献最大。在本文的 Frozen Lake 和 Sokoban 实验中，智能体只在 episode 结束时获得 +1 或 0 的奖励。
ERL 的设计初衷就是通过显式反思来解决稀疏奖励下的信用分配问题，将稀疏的终端信号转化为密集的中间修正信号。
研究动机
强化学习已成为语言模型从环境反馈中学习的核心方法，但在实践中面临严重的样本效率和训练稳定性问题。以 RLVR（Reinforcement Learning with Verifiable Rewards）为代表的主流范式将环境反馈简化为标量奖励信号，要求模型通过策略梯度隐式推断失败应如何转化为行为改变。这种隐式推断过程既不稳定又样本效率低下，尤其在智能体推理任务中更为严重——多步决策会放大微小错误并模糊信用分配。例如，在 Sokoban 这类需要长期规划的推箱子游戏中，智能体必须在 episode 结束时才能获得 +1 或 0 的稀疏反馈，无法知道是哪一步操作导致了最终失败。如论文 Figure 2 所示，标准 RLVR 的学习动态表现为反复的试错（trial-and-error），智能体在探索过程中来回徘徊（back-and-forth），缺乏持久的行为修正机制，导致学习进展缓慢甚至停滞。
本文的目标是本文的目标是提出一种新的训练范式，将显式的经验-反思-整合循环嵌入到强化学习过程中，使语言模型能够将环境反馈转化为结构化的行为修正，并在训练后将这些修正持久化到基础策略中。具体而言，ERL 旨在：（1）通过自我反思生成有针对性的行为纠正，提高探索效率；（2）通过跨 episode 的反思记忆机制积累有效的修正策略；（3）通过自我蒸馏将反思驱动的改进整合到部署策略中，使得模型在推理时无需额外的反思步骤即可重现改进后的行为。
与已有工作不同的是，现有的反思增强方法主要在推理时（inference time）发挥作用，如 Self-Refine 和 Reflexion 等方法需要在部署时进行显式的反思和重试，增加了推理成本和延迟。而 ERL 的独特切入角度是将反思作为训练时的中间推理信号，通过经验-反思-整合循环在训练阶段就将修正行为内化到策略中。这不同于传统的 RLVR 只从标量奖励学习，也不同于推理时反思方法需要在部署时额外计算。ERL 将反思视为一种结构化的信用分配机制，将原始经验转化为持久的行为改进，同时在部署时保持零额外推理成本。这种从'从反馈中学习'到'从经验中学习'的范式转变，是本文最核心的创新视角。
核心方法
ERL 的整体思路可以概括为：将人类经验学习的反思循环形式化并嵌入到语言模型的强化学习训练中。直觉上，当人类在某个任务上失败时，不会盲目重试，而是会先反思失败原因、形成改进策略，然后带着这些认知再次尝试。ERL 将这一过程分解为四个阶段：初始尝试、环境反馈、自我反思、精炼重试。技术路线是：模型首先生成初始响应并获得环境反馈（奖励和文本反馈），当表现低于阈值时触发反思阶段，模型基于初始尝试和反馈生成结构化反思 Delta，该反思作为条件输入指导第二次尝试。成功的反思和第二次尝试通过强化学习进行优化，同时通过选择性自我蒸馏将改进后的行为整合到基础策略中。整个过程通过跨 episode 的反思记忆机制实现修正策略的积累和复用。
ERL 的核心创新在于将反思作为训练时的中间推理信号，而非推理时的额外计算步骤。与标准 RLVR 的本质区别在于：RLVR 只从标量奖励学习，模型必须隐式推断如何修正行为；而 ERL 通过显式反思将环境反馈转化为结构化的修正建议，直接指导行为改变。具体创新点包括三个方面：（1）经验-反思-整合循环——在每个训练 episode 内嵌入显式的反思步骤，将稀疏奖励转化为密集的中间监督信号；（2）选择性内部化（Internalization）——通过自我蒸馏将反思驱动的改进固化到基础策略中，使模型在部署时无需反思即可重现改进行为；（3）跨 episode 反思记忆——将成功的修正模式持久化，为后续反思提供上下文先验，促进修正策略的复用和积累。
方法步骤详情
ERL 的完整训练流程如 Algorithm 1 所示，包含以下步骤：第一步：初始尝试（First Attempt）。给定输入任务 x，模型采样初始响应 y(1)，获得环境反馈和奖励 (f(1), r(1))。第二步：自我反思（Self-Reflection）。当第一次尝试的奖励 r(1) 低于阈值 tau 时，模型生成反思 Delta，其条件输入包括 x、y(1)、f(1)、r(1) 和跨 episode 反思记忆 m。反思描述了如何改进初始尝试。第三步：精炼重试（Second Attempt）。基于反思 Delta，模型生成改进响应 y(2)，获得新的反馈 (f(2), r(2))。反思的奖励被设为 r_tilde = r(2)。第四步：记忆更新。如果第二次尝试的奖励超过阈值 r(2) > tau，将反思存储到记忆 m 中，供后续 episode 复用。第五步：强化学习更新。对第一次尝试、反思和第二次尝试应用策略梯度更新，其中优势估计 A 基于关联奖励计算。第六步：内部化（Internalization）。通过选择性蒸馏训练模型从原始输入直接重现改进后的行为 y(2)，无需反思上下文。具体地，只对成功（r(2) > 0）的第二次尝试进行蒸馏监督。
技术新颖性
ERL 的技术新颖性体现在多个层面。首先，它将经验学习理论（Kolb, 2014）的反思循环形式化为可训练的神经网络组件，而非仅在推理时使用。这与 Self-Refine、Reflexion 等推理时反思方法有本质区别——ERL 的反思是训练过程的一部分，改进会被内化到策略中。其次，ERL 引入了选择性重试机制（reward threshold tau），只在第一次尝试表现不佳时触发反思，将计算资源集中在最可能受益的轨迹上，避免了不必要的精炼。第三，跨 episode 反思记忆机制使修正策略能够跨训练 episode 积累，类似于人类的长期记忆。第四，内部化机制通过选择性蒸馏实现了'反思到部署'的桥梁——训练时通过反思改进行为，部署时直接输出改进后的行为，无需额外推理成本。这种设计在保持与标准 RLVR 兼容性（使用相同的策略梯度目标）的同时，通过更丰富的轨迹结构（包含显式行为修正）提升了学习效率。
实验结果
ERL 在所有评估任务和两个模型规模上都一致地超越了标准 RLVR 基线，展示了显著的性能提升和学习效率改进。在 Sokoban 推箱子任务中，效果最为显著：Qwen3-4B-Instruct 的最终奖励从 RLVR 的 0.06 提升到 ERL 的 0.87（提升 +0.81），Olmo3-7B-Instruct 从 0.04 提升到 0.20（提升 +0.16）。Sokoban 需要长期规划和从复合错误中恢复的能力，ERL 的经验-反思-整合循环使模型能够分析失败原因、修正策略并内化纠正行为。在 Frozen Lake 任务中，Qwen3-4B 从 0.86 提升到 0.94（+0.08），Olmo3-7B 从 0.39 提升到 0.66（+0.27）。在 HotpotQA 多跳问答任务中，Qwen3-4B 从 0.45 提升到 0.56（+0.11），Olmo3-7B 从 0.47 提升到 0.50（+0.03）。HotpotQA 的提升较小，作者分析这是因为该任务的交互模式更同质（重复的工具调用和答案合成），RLVR 已能获得相对充分的梯度信号。消融实验表明，去除反思机制（w/o Refl.）会导致最大的性能下降（如 Qwen3-4B 在 Sokoban 上从 0.87 降至 0.59），而去除记忆机制（w/o Mem.）的影响相对较小，说明显式反思是 ERL 成功的核心驱动力。从训练效率看，如 Figure 4 所示，ERL 在所有任务上都更快达到更高奖励并保持持续优势，尤其是在 FrozenLake 和 Sokoban 上加速效果显著。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Frozen Lake (Qwen3-4B) | Final Evaluation Reward | 0.94 | 0.86 (RLVR) | +0.08 (+9.3%) |
| Frozen Lake (Olmo3-7B) | Final Evaluation Reward | 0.66 | 0.39 (RLVR) | +0.27 (+69.2%) |
| HotpotQA (Qwen3-4B) | F1 Score (token-level) | 0.56 | 0.45 (RLVR) | +0.11 (+24.4%) |
| HotpotQA (Olmo3-7B) | F1 Score (token-level) | 0.50 | 0.47 (RLVR) | +0.03 (+6.4%) |
| Sokoban (Qwen3-4B) | Final Evaluation Reward | 0.87 | 0.06 (RLVR) | +0.81 (+1350%) |
| Sokoban (Olmo3-7B) | Final Evaluation Reward | 0.20 | 0.04 (RLVR) | +0.16 (+400%) |
局限与改进
论文坦诚地指出了若干局限性。首先，在 Olmo3-7B-Instruct 的 Sokoban 设置中，去除记忆机制的变体（w/o Mem.）反而略微优于完整 ERL（0.24 vs 0.20），这表明当模型的自我反思能力有限或环境复杂且随机时，持久化的记忆可能传播早期不准确的反思，使恢复更加困难。其次，论文的评估环境局限于三个任务（Frozen Lake、Sokoban、HotpotQA），虽然涵盖了稀疏奖励控制和智能体推理两大类，但缺乏更广泛的基准测试（如代码生成、数学推理、真实世界工具使用等）。第三，ERL 每个任务需要两次尝试加上额外的反思步骤，虽然作者通过减少每次尝试的 rollout 数量来平衡计算量（RLVR 10 rollouts 每任务 vs ERL 每次尝试 5 rollouts 每任务），但总体训练时间仍然更长。第四，论文没有深入分析反思质量与模型能力的关系——当模型本身反思能力较弱时，如何保证反思的有效性？第五，奖励阈值 tau 的选择对性能的影响未被充分讨论。最后，论文仅在 4B 和 7B 规模的模型上验证，未探讨更大规模模型（如 70B+）是否仍然受益于 ERL，以及 ERL 的收益是否会随模型规模扩大而递减。
独立分析的弱点
基于独立分析，ERL 存在以下弱点：（1）反思质量的脆弱性：消融实验显示 Olmo3-7B 在 Sokoban 上去除记忆反而更好，说明反思质量高度依赖模型的推理能力。对于反思能力较弱的模型，错误的反思可能被记忆传播并固化。改进方向可以是引入反思质量评估机制，只存储经过验证的高质量反思，或对反思进行置信度加权。（2）计算开销：每个任务需要两次尝试加一次反思，虽然作者通过调整 rollout 数量平衡，但在实际大规模训练中仍是显著的额外成本。可以探索自适应反思触发机制，仅在真正需要时才进行反思和重试。（3）记忆管理缺乏精细设计：当前的记忆机制只是简单地存储成功反思，没有过期、冲突解决或重要性排序机制。随着训练进行，记忆可能包含过时或冲突的修正策略。（4）评估环境的局限性：仅在三个任务上评估，且 HotpotQA 的提升相对较小（+0.03 到 +0.11），需要在更多样化的任务上验证 ERL 的普适性。（5）阈值 tau 的敏感性：论文未充分讨论奖励阈值对性能的影响，这是一个重要的超参数，可能需要针对不同任务仔细调整。
未来方向
基于 ERL 的成果，以下研究方向值得探索：（1）多轮反思循环：当前 ERL 只进行一轮反思-重试，可以探索多轮迭代反思，类似于人类的深度思考过程。论文中 Olmo3-7B 的结果表明，更强的反思能力带来更大收益，多轮反思可能进一步提升效果。（2）反思的可解释性：反思 Delta 是自然语言文本，可以用于分析模型的推理过程和失败归因，为模型调试和改进提供洞察。（3）与推理时反思的结合：ERL 在训练时内化反思，推理时反思方法在部署时使用反思，两者可以互补——训练时用 ERL 内化基础改进，部署时对特别困难的样本启用推理时反思。（4）跨任务迁移：探索在一个任务上学到的反思模式是否能迁移到相关任务。（5）更大规模模型：在 70B+ 规模模型上验证 ERL，分析反思能力与模型规模的关系。（6）更复杂的环境：在代码生成、多轮对话、真实工具使用等更复杂场景中应用 ERL。（7）反思与搜索的结合：将反思作为搜索树中的启发式信号，指导更高效的探索。
复现评估
论文在复现方面提供了较好的基础。使用了开源模型（Olmo-3-7B-Instruct 和 Qwen3-4B-Instruct-2507）和开源任务环境（Frozen Lake、Sokoban、HotpotQA），降低了复现门槛。论文提供了详细的超参数和实现细节（Appendix C），包括 GRPO 的裁剪参数、KL 正则化系数等关键设置。训练使用标准的 GRPO 优化器和常见的 RL 稳定化技术（clipping、KL regularization、importance sampling），这些都是广泛可用的工具。然而，复现仍面临一些挑战：（1）完整的训练流程（两次尝试 + 反思 + 蒸馏）实现复杂度较高；（2）论文未明确说明是否开源代码或提供实现链接；（3）跨 episode 记忆机制的具体实现细节（如存储格式、检索策略）需要从 Appendix A 中仔细提取；（4）训练需要显著的计算资源（从 Figure 4 的 wall-clock time 看，Qwen3-4B 在 Sokoban 上需要约 32 小时）。总体而言，论文的技术描述足够详细，具备基本复现条件，但完整复现需要较强的工程能力和充足的计算资源。
论文图表
上下两部分对比了两种学习方式在未知环境中行动任务中的动态。上半部分（RLVR）展示了标准强化学习的试错过程：模型反复尝试、忘记、再尝试，始终没有奖励反馈，表现为来回徘徊的探索模式。下半部分（ERL）展示了经验学习的动态：模型进行试错后，通过自我反思（Self-Reflection）形成理解（如这是墙、我可以控制方向、把物体推入目标），然后通过经验内部化（Experience Internalization）将这些认知固化为持久的行为改进。
这张图直观地展示了 ERL 的核心动机——标准 RLVR 的盲目试错 vs ERL 的反思性学习，帮助读者理解为什么需要显式的反思机制。
三个子图分别展示了 FrozenLake、HotpotQA 和 Sokoban 上 ERL 和 RLVR 的最终评估奖励。柱状图同时显示两个模型（Qwen 和 Olmo）的结果。在所有任务上，ERL（深色柱）都高于 RLVR（浅色柱）。Sokoban 上差距最大（Qwen: 0.87 vs 0.06），FrozenLake 次之，HotpotQA 最小但仍有明显优势。
这张图提供了 ERL 与 RLVR 最终性能的直观对比，配合具体数字可以清晰看到各任务上的收益幅度。