告别过时反馈：面向开放世界智能体学习的协同进化评论家 No More Stale Feedback: Co-Evolving Critics for Open-World Agent Learning
通过策略与评论家的协同进化，解决强化学习中评论家过时导致反馈失效的问题
前置知识
Group Relative Policy Optimization (GRPO)
GRPO 是一种策略优化算法，通过在同一查询上采样多个输出构成一个组（group），然后利用组内输出的相对奖励差异来估计优势函数（advantage）。具体而言，对于每个查询 $q$，采样 $N$ 个输出 $\{o_1, ..., o_N\}$，计算每个输出的优势值 $A_i = \frac{r_i - \mu}{\sigma}$，其中 $\mu$ 和 $\sigma$ 分别是组内奖励的均值和标准差。这种方法避免了训练额外的价值网络，同时提供了稳定的梯度信号。GRPO 的优化目标包含重要性采样比率的裁剪机制和 KL 散度约束，确保策略更新的稳定性。
ECHO 的核心优化框架基于 GRPO 的双轨版本，理解 GRPO 的组相对优势估计和裁剪机制是理解本文方法的基础。
On-policy RL 与策略漂移
On-policy 强化学习要求智能体使用当前策略生成的数据进行训练。随着训练进行，策略不断更新，导致生成的轨迹分布随之变化。这意味着智能体在不同训练阶段会犯不同类型的错误：早期可能是粗糙的环境交互错误，后期则更多是细微的规划和推理失误。这种现象被称为「策略漂移」（policy drift），它使得基于早期数据训练的评论家逐渐与当前策略的失败模式脱节。
本文的核心论点就是 on-policy 训练中的失败模式漂移导致静态评论家过时，理解这一概念是理解论文动机的关键。
评论家引导的强化学习（Critique-guided RL）
这是一种通过自然语言反馈来增强稀疏奖励信号的训练范式。传统的强化学习只依赖标量奖励，评论家模型则对智能体的轨迹进行诊断并生成文字反馈，指出具体问题和改进方向。这些反馈可以作为额外的上下文信息，帮助策略模型在后续尝试中做出更优决策。现有方法主要分为两类：模板/规则基评论家（轻量但缺乏针对性）和独立训练的评论家模型（更精确但与策略训练脱节）。
本文属于这一研究范式，但提出了全新的评论家更新机制，理解现有方法的分类有助于把握本文的定位。
奖励饱和效应（Reward Saturation）
在模型优化过程中，当初始得分接近性能上限（如 $s \to 1$）时，实现进一步提升所需的努力和信息量急剧增加。从 0.9 提升到 0.95 远比从 0.1 提升到 0.15 困难得多，因为前者需要解决更细微的缺陷。如果用线性奖励 $\Delta s = s_r - s_o$ 来衡量改进，会产生「等距谬误」（equidistant fallacy），无法反映这种难度差异。
本文提出的饱和感知奖励设计正是为了解决这一问题，是理解论文技术贡献的关键概念。
研究动机
当前评论家引导的强化学习方法面临一个根本性问题：评论家与策略的训练过程是解耦的。无论是使用模板基还是独立训练的评论家模型，这些评论家都被视为静态监督者，在训练初期设定后便保持不变。然而，在 on-policy 强化学习中，策略的轨迹分布会随训练不断变化，导致失败模式发生显著漂移。作者通过实验验证了这一点：在 WebShop、ALFWorld、SciWorld 和 DeepSearch 四个环境中，使用 t-SNE 可视化训练早期、中期和晚期的失败轨迹诊断嵌入，发现不同阶段的失败模式形成明显不同的聚类，高密度中心随训练阶段发生大幅偏移。在复杂环境如 ALFWorld 和 SciWorld 中，失败分布更加分散且存在部分跨阶段重叠，但主导失败模式的密度质量仍在迁移。当评论家被冻结时，其性能在所有环境中均出现下降，甚至在 ALFWorld 和 SciWorld 上低于标准 GRPO，这表明过时的评论家不仅无用，还可能产生有害的冗余或偏离目标的诊断。
本文的目标是本文的目标是设计一种让评论家与策略协同进化的框架，使评论家的诊断能力能够持续适应策略不断变化的失败模式。具体而言，作者希望实现三个目标：(1) 建立评论家效用衰减的实证证据，量化批评引导 RL 中的评论家过时问题；(2) 提出一种同步优化范式，通过双轨 GRPO 同时更新策略和评论家；(3) 设计饱和感知的奖励机制，解决高分区域的「最后一英里」优化难题。
与已有工作不同的是，与现有方法的本质区别在于，本文将评论家从「静态监督者」重新定义为「协同进化模块」。现有方法要么使用固定的模板提示（如 HINT、GHPO），要么独立训练评论家然后冻结（如 RCO、CTRL），都隐含假设最优批评策略是固定的。本文的独特切入角度是：直接以评论家引发的策略性能提升作为其奖励信号，而非让评论家「听起来合理」。评论家的诊断反馈通过级联采样生成多组结构化轨迹，用组内相对优势来评估每条批评的效用。这种设计使得评论家的优化目标与策略的实际改进直接对齐，形成自我强化的课程学习循环。
核心方法
ECHO 的核心直觉很简单：如果评论家的反馈确实有帮助，那么基于该反馈改进后的策略应该表现得更好。反过来说，我们应该奖励那些能带来实际性能提升的批评。基于这一直觉，作者设计了一个闭环的协同进化系统。整个框架包含三个关键组件：(1) 级联演化采样（Cascaded Evolutionary Rollout），先由策略生成初始轨迹，评论家对其生成多条诊断，策略再基于每条诊断进行改进；(2) 饱和感知奖励设计，用非线性函数量化批评带来的改进，让高分区域的小幅提升获得更大奖励；(3) 同步双轨 GRPO 更新，在同一批数据上同时优化策略和评论家。这种设计将改进过程转化为一个自改进系统，评估精度和执行能力同步进化。
ECHO 与已有方法的核心区别在于将评论家从解耦的外部监督者转变为与策略共同进化的模块。传统方法中，评论家要么是固定的模板（缺乏适应性），要么是独立训练后冻结的模型（随时间过时）。ECHO 的创新在于：直接优化评论家以最大化策略的性能增益。具体而言，对每个查询生成一组批评 $\{c_o^{(1)}, ..., c_o^{(N)}\}$，然后基于每条批评生成改进轨迹，用改进轨迹的奖励来评估批评的质量。这与 RCO 等方法不同——RCO 虽然也训练评论家，但不更新策略模型本身，且评论家的训练信号与 on-policy 策略学习不同步。ECHO 的双轨 GRPO 确保评论家始终在策略的当前轨迹分布上训练，从而保持诊断精度与策略进化的一致性。
方法步骤详情
ECHO 的训练流程分为三个阶段。第一阶段：多视角诊断（Multi-view Diagnosis）。给定查询 $q$，策略 $P_\theta$ 生成初始轨迹 $\tau_o \sim P_\theta(\cdot | q)$，外部奖励模型评分 $s_o = R(q, \tau_o)$。然后评论家 $C_\psi$ 独立生成 $N$ 条多样化的诊断反馈：$c_o^{(j)} \sim C_\psi(\cdot | q, \tau_o, s_o)$，$j = 1, ..., N$。评分信息 $s_o$ 被纳入提示，使评论家能够提供「分数感知」的诊断。第二阶段：条件改进（Conditional Refinement）。策略 $P_\theta$ 基于增强输入 $\tilde{q}^{(j)} = (q, c_o^{(j)})$ 采样对应的改进轨迹：$\tau_r^{(j)} \sim P_\theta(\cdot | \tilde{q}^{(j)})$，每条改进轨迹获得评分 $s_r^{(j)} = R(q, \tau_r^{(j)})$。第三阶段：饱和感知奖励计算与双轨更新。对每条批评计算饱和感知奖励 $r_c^{(j)} = g(s_o, s_r^{(j)}) = \ln\frac{1-s_o+\eta}{1-s_r^{(j)}+\eta}$，其中 $\eta > 0$ 是平滑超参数。然后分别对策略和评论家计算组相对优势，进行同步 GRPO 更新。
技术新颖性
本文的技术新颖性体现在三个层面。第一，饱和感知增益设计：定义权重函数 $\omega(s) = \frac{1}{1-s+\eta}$，将奖励空间的非线性纳入优化，其路径积分 $g(s_o, s_r) = \int_{s_o}^{s_r} \omega(s) ds = \ln\frac{1-s_o+\eta}{1-s_r+\eta}$ 具有三个优良性质：饱和感知性（相同 $\Delta s$ 在高分区域产生更大增益）、可加性（$g(s_o, s_m) + g(s_m, s_r) = g(s_o, s_r)$）、反对称性（$g(s_o, s_r) = -g(s_r, s_o)$）。第二，级联演化采样机制：通过生成、诊断、改进的级联流程产生组结构化轨迹，为组相对优势估计提供样本。第三，双轨同步 GRPO：在同一训练批次上分别计算策略优势和评论家优势，确保两个模型始终在相同的 on-policy 分布上更新，避免了异步更新导致的分布不匹配问题。
实验结果
实验结果表明 ECHO 在四个开放世界智能体基准上均显著优于标准 GRPO 和其他强基线。在 Qwen3-4B 骨干上，ECHO 在 WebShop 上达到 90.03（GRPO 为 82.37，提升 9.3%），ALFWorld 达到 91.25（GRPO 为 87.50，提升 4.3%），SciWorld 达到 82.88（GRPO 为 79.14，提升 4.7%），DeepSearch 达到 47.25（GRPO 为 33.25，提升 42.1%），整体平均提升 7.28 个百分点。在 Qwen2.5-7B 上，ECHO 同样一致优于 GRPO，整体达到 79.03（GRPO 为 74.14）。消融实验证实了各组件的贡献：移除评论家协同进化导致 Qwen3-4B 平均下降 9.25 分，移除饱和感知设计导致下降 3.84 分。失败模式漂移分析显示，冻结评论家在后期训练阶段性能下降明显，而 ECHO 通过同步更新保持了评论家的有效性。批评-改进对齐率从早期的约 75% 提升到中后期的 90% 以上，表明策略越来越能遵循评论家的诊断反馈。训练时间分析显示 ECHO 相比 GRPO 平均增加约 15% 的计算开销。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WebShop（网页导航购物） | 购买成功率（Purchase-based success） | 90.03（Qwen3-4B）/ 89.97（Qwen2.5-7B） | 82.37 / 83.55（GRPO） | 相对提升约 9.3% / 7.7% |
| ALFWorld（具身家居任务） | 二值任务成功率（Binary episode success） | 91.25（Qwen3-4B）/ 93.75（Qwen2.5-7B） | 87.50 / 89.50（GRPO） | 相对提升约 4.3% / 4.8% |
| SciWorld（科学实验推理） | 进度评分（Progress-based scoring） | 82.88（Qwen3-4B）/ 85.63（Qwen2.5-7B） | 79.14 / 81.24（GRPO） | 相对提升约 4.7% / 5.4% |
| DeepSearch（深度搜索问答） | 答案正确率（Exact-match accuracy） | 47.25（Qwen3-4B）/ 46.75（Qwen2.5-7B） | 33.25 / 42.25（GRPO） | 相对提升约 42.1% / 10.6% |
局限与改进
作者承认了两个主要局限性。第一，ECHO 的效果依赖于外部奖励模型的质量和校准。如果奖励信号存在噪声、偏差或定义不充分，评论家可能优化向评估器伪影而非真正有价值的诊断反馈，策略也会继承同样的对齐问题。第二，当前实现中奖励评估和批评生成由不同模型处理，这可能导致「什么被奖励」和「什么被建议」之间的不一致性。从独立分析的角度看，本文还存在以下不足：实验仅在四个基准上验证，均为文本交互任务，未涉及多模态或具身物理环境；评论家和策略使用相同骨干模型，未探索不同容量模型间的协同进化效果；$N=8$ 的采样组大小固定，未分析采样多样性对性能的敏感性；此外，论文未提供代码开源计划，可能影响可复现性。
独立分析的弱点
本文存在几个值得关注的弱点。首先，奖励模型质量是一个关键瓶颈——ECHO 的优化目标完全依赖外部奖励模型的评分，但论文未讨论奖励模型本身的鲁棒性。当奖励模型对输出格式高度敏感（如 DeepSearch 环境）时，评论家可能学到的是迎合评估器格式的技巧而非真正的任务诊断能力。改进方向是引入奖励模型不确定性估计，或使用多个奖励模型的集成来降低单一评估器的偏差。其次，批评多样性保证不足。虽然通过独立采样 $N$ 次来获取多样化批评，但论文未分析这些批评之间的实际差异度。如果评论家收敛到生成高度相似的反馈，「多视角诊断」就名存实亡。可以考虑引入多样性正则化或显式的批评质量-多样性权衡目标。第三，当前方法假设每条批评都能被策略有效利用，但实际中某些批评可能过于抽象或与策略能力不匹配，导致改进轨迹反而退化。
未来方向
作者提出的一个重要未来方向是将奖励评估和批评生成统一到单一模型中，这可以简化训练管道并提高一致性。基于本文成果，还有几个有前景的延伸方向：(1) 跨任务迁移——研究在一个任务上协同进化的评论家是否能为其他任务提供有用的初始化；(2) 多评论家架构——引入多个专门化的评论家分别关注不同维度的诊断（如规划、推理、格式），然后进行批评融合；(3) 评论家课程——设计评论家的训练课程，从简单的二值判断逐步过渡到细粒度诊断；(4) 人类反馈整合——将人类对批评质量的评估纳入优化循环，确保评论家生成的反馈对人类也是可理解且有价值的；(5) 探索将 ECHO 扩展到多智能体协作场景，其中多个策略和评论家同时进化。
复现评估
论文提供了较为详细的实现信息：实验在 16 块 H20-100GB GPU 上进行，学习率设置为 $lr_\theta = lr_\psi = 1 \times 10^{-6}$，采样组大小 $N=8$，平滑参数 $\eta=0.1$。论文附录提供了完整的伪代码（Algorithm 1）和批评模型的提示模板（Box A.1），这对于复现很有帮助。然而，论文未提供完整代码仓库，数据集的具体处理流程也未完全公开。四个评估环境（WebShop、ALFWorld、SciWorld、DeepSearch）均为公开基准，但 DeepSearch 环境的具体版本和配置需要参考原论文。总体而言，中等难度的复现需要较多的 GPU 资源和对 GRPO 训练流程的熟悉。
论文图表
使用 t-SNE 在诊断嵌入空间中可视化 WebShop、ALFWorld、SciWorld 和 DeepSearch 四个环境中早期、中期和晚期检查点的失败轨迹。等高线表示密度区域，显示各阶段的失败模式形成不同的聚类，高密度中心随训练阶段发生显著偏移。
这张图是论文核心论点的关键实证证据，直观证明了 on-policy 训练中失败模式的非平稳性，从而论证了为何需要评论家协同进化。
展示了移除评论家协同进化（w/o evolving）和饱和感知设计（w/o SA-aware）后的性能变化。在 Qwen3-4B 上，移除协同进化导致平均下降 9.25 分，移除饱和感知导致下降 3.84 分。
验证了各组件的独立贡献，证明协同进化和饱和感知设计都是性能提升的必要组成部分。