智能体批判性训练：通过强化学习自主发展动作质量推理能力 Agentic Critical Training
用RL训练LLM智能体判断动作优劣，自主涌现批判性推理
前置知识
模仿学习（Imitation Learning, IL）
模仿学习是一种通过监督微调让模型复制专家示范轨迹的训练范式。给定专家数据集 $D_{\text{expert}}$，标准IL的目标是最大化专家动作的对数似然：$\mathcal{L}_{IL}(\theta) = -\mathbb{E}_{(s,a) \sim D_{\text{expert}}} [\log \pi_\theta(a|s)]$。这种方法简单有效，但只教智能体做什么，不教为什么这样做以及为什么不那样做，因此智能体缺乏对动作质量的判别能力，无法在失败时进行自我修正。
ACT的核心动机正是要超越模仿学习的局限，理解IL的问题是理解本文创新点的前提。
部分可观测马尔可夫决策过程（POMDP）
POMDP是序列决策问题的标准形式化框架，定义为七元组 $M = (S, A, T, \Omega, O, R, \gamma)$，其中 $S$ 为状态空间，$A$ 为动作空间，$T: S \times A \rightarrow \Delta(S)$ 为转移函数，$\Omega$ 为观测空间，$O: S \rightarrow \Delta(\Omega)$ 为观测函数，$R: S \times A \rightarrow \mathbb{R}$ 为奖励函数，$\gamma \in [0,1)$ 为折扣因子。在本文中，LLM智能体在POMDP环境中进行文本交互，每次决策基于任务描述、最近 $k$ 个观测-动作对和当前观测构成的上下文 $s_t$。
ACT的训练框架建立在POMDP之上，理解这一形式化有助于把握数据构造和训练流程的理论基础。
Group Relative Policy Optimization（GRPO）
GRPO是一种高效的群体相对策略优化方法，由DeepSeek团队提出。对于每个prompt，GRPO从当前策略中采样一组 $G$ 个响应，对每个响应计算可验证的奖励（verifiable reward），然后使用群体内的相对优势来更新策略。与PPO等需要额外价值网络的方法不同，GRPO直接利用同一prompt下多个采样响应的奖励差异来估计优势函数，从而实现更高效稳定的策略优化。本文的ACT和RL Action Training两个阶段均采用GRPO作为优化算法。
GRPO是ACT训练的核心优化算法，理解其机制对于理解ACT如何通过奖励信号驱动模型自主发展推理能力至关重要。
Early Experience（早期经验）
Early Experience是Zhang等人（2025a）提出的方法，旨在解决IL缺乏反面信号的问题。该方法在环境中同时执行专家动作和替代动作，观察产生的下一个状态，然后提示模型生成自我反思文本，解释为什么专家动作能带来更好的结果。这些反思数据与专家数据集混合后，通过标准的下一个token预测损失（即SFT）进行训练。然而，这种方法本质上仍是模仿学习，模型在模仿预生成的反思文本，而非自主发展推理能力。
Early Experience是ACT的主要对比基线，理解其工作原理和局限性是理解ACT创新之处的关键。
可验证奖励（Verifiable Reward）
可验证奖励是指可以通过客观标准自动判定正确性的奖励信号，而非依赖人类偏好或奖励模型的主观评估。在ACT中，奖励函数为 $R(s, y) = R_{\text{acc}}(a, a^+) + R_{\text{adm}}(a, A_{\text{admissible}}) + R_{\text{fmt}}(y)$，其中 $R_{\text{acc}}$ 在动作精确匹配专家动作时为1，$R_{\text{adm}}$ 在动作可执行但非最优时为0.1，$R_{\text{fmt}}$ 在格式不正确时为-0.5。这种奖励设计使得训练信号完全客观，无需额外的奖励模型。
可验证奖励是ACT通过RL而非监督学习实现自主推理的关键机制，理解它有助于把握ACT的训练动力学。
研究动机
训练LLM智能体的标准方法是模仿学习（IL），通过监督微调让模型复制专家示范轨迹。然而，IL存在一个根本性的局限：它只教智能体做什么，不教为什么这样做或为什么不那样做。由于智能体只观察成功轨迹，它们缺乏对动作质量的理解，也无法感知次优状态。这导致IL训练的智能体在遇到失败时缺乏自我修正能力。论文中的案例显示，IL模型在ALFWorld任务中遇到Nothing happens的失败反馈后，会无限重复同一个失败动作超过30步直到终止，因为它从未见过失败状态，无法诊断错误或提出替代方案。Early Experience方法尝试通过在环境中执行专家和替代动作、生成自我反思文本来解决这一问题，但本质上仍是模仿学习：模型在模仿预生成的固定反思文本，而非自主发展推理能力。这种方法的自我反思是被模仿出来的，不是自发产生的。
本文的目标是本文的目标是提出一种新的训练范式，让LLM智能体能够自主发展关于动作质量的批判性推理能力。具体而言，作者希望模型不仅能判断哪个动作更好，还能理解为什么更好。这种理解不是通过模仿预生成的文本来获得，而是通过强化学习中的奖励信号来驱动模型自主发现因果推理链。最终目标是训练出具有真正自我反思能力的智能体，能够在遇到失败时自主诊断问题并提出正确的替代方案，同时这种批判性推理能力还能迁移到分布外任务甚至通用推理任务上。
与已有工作不同的是，本文的独特切入角度在于将学习目标从模仿专家动作为转变为识别更好的动作。这一转变的关键洞察是：与其告诉模型反思内容是什么（通过SFT模仿反思文本），不如只告诉模型反思结果对不对（通过RL奖励正确判断），从而迫使模型自主发展因果推理。ACT与Early Experience的本质区别在于训练范式：Early Experience仍然是next-token prediction的模仿学习，而ACT是纯粹的强化学习，模型被奖励只因为选择了正确的动作，必须自己学习如何推理才能获得奖励。这种结果导向而非过程模仿的方法使得ACT能够产生真正的自我反思，而非模式记忆。
核心方法
ACT的核心思路非常直观：与其教模型模仿专家做什么，不如训练模型判断哪个动作更好。具体技术路线分为三个阶段。第一阶段是数据构造：从专家轨迹中提取状态-动作对，然后从初始策略中采样替代动作，将专家动作与替代动作配对形成对比训练样本。第二阶段是批判性训练（ACT阶段）：将两个候选动作随机排列呈现给模型，通过GRPO训练模型选择更好的动作，奖励信号仅基于选择是否正确。第三阶段是动作生成训练（RL Action Training）：在ACT增强的模型基础上，进一步用GRPO训练模型直接生成动作。整个流程的直觉是：如果模型能正确判断动作优劣，它就必然发展出了关于动作质量的内在推理能力，这种能力随后可以迁移到动作生成任务中。
ACT的核心创新点在于将自我反思从被模仿的目标转变为被奖励驱动涌现的能力。与Early Experience的本质区别在于：Early Experience在环境中执行两个动作，观察结果，生成反思文本，然后用SFT训练模型模仿这些文本，模型学到的是当看到这种状态时应该输出这样的反思。而ACT不提供任何反思文本作为监督，只提供你选对了吗这个二元奖励信号。由于GRPO每次采样 $G$ 个响应并基于相对优势更新策略，模型必须自主发现能导致正确选择的推理链，才能在群体中获得正向优势。这意味着推理过程完全是模型自己想出来的，而非背下来的。论文将这种区别概括为genuine self-reflection（真正的自我反思）vs imitated self-reflection（模仿的自我反思）。
方法步骤详情
ACT方法包含三个顺序执行的阶段。阶段一（数据构造）：给定专家轨迹数据集 $D_{\text{expert}} = \{\tau^{(n)} = (s_1^{(n)}, a_1^{(n)}, \ldots, s_{T_n}^{(n)}, a_{T_n}^{(n)})\}_{n=1}^N$，对每个状态-动作对 $(s_i, a_i)$，从初始策略 $\pi_{\theta_0}$ 采样 $K$ 个候选动作 $\{a_i^1, a_i^2, \ldots, a_i^K\}$，去除与专家动作相同的候选后得到负样本集 $A_i^{\text{neg}}$，将专家动作 $a_i^+$ 与每个负样本 $a_i^-$ 配对形成 $D_{\text{critic}}$。阶段二（ACT训练）：使用精心设计的prompt将两个候选动作（随机排列 $\sigma$）呈现给模型，要求模型思考后在action标签中输出选择。GRPO采样 $G$ 个响应，使用奖励 $R(s, y) = R_{\text{acc}}(a, a^+) + R_{\text{adm}}(a, A_{\text{admissible}}) + R_{\text{fmt}}(y)$ 更新策略。阶段三（RL动作训练）：在ACT增强的模型上，对每个上下文 $s_i$，GRPO采样 $G$ 个响应，奖励与专家动作匹配的响应，进一步优化动作生成能力。
技术新颖性
ACT的技术新颖性体现在多个层面。首先，它首次将批判性推理训练引入多轮智能体决策场景，此前的Critique RL Training工作（如R1-Reward、LLaVA-Critic-R1）聚焦于单轮聊天或代码生成场景，而ACT处理的是序列决策中的多步动作判别。其次，ACT提出了一种结果导向的推理涌现机制：通过只奖励最终选择的正确性，而非监督推理过程本身，模型被迫自主发展推理能力。这种机制与DeepSeek-R1中RLVR（可验证奖励强化学习）的思路一致，但应用于全新的动作质量评估场景。第三，ACT展示了从智能体任务到通用推理任务的正向迁移，在MATH-500和GPQA-Diamond上，ACT不仅没有出现灾难性遗忘，反而超越了原始模型，这表明在智能体环境中学习评估动作可能是一种增强通用推理能力的新途径。第四，ACT数据可以跨模型规模复用，用Qwen3-8B收集的数据在Qwen3-4B上同样有效，显著降低了数据收集成本。
实验结果
论文在三个基准上对Qwen3-8B进行了全面评估，得出了多项重要发现。首先，RL consistently优于IL：在所有基准上，使用相同专家数据训练的RL比IL获得更高的成功率，确认了RL是训练LLM智能体更有效的范式。其次，ACT提供正向迁移：单独使用ACT训练的效果超过prompting基线但不及IL或RL（因为ACT训练的是判断能力而非生成能力），但当ACT作为第一阶段与IL或RL结合时，在所有基准上都带来一致性提升，IL w/ ACT在ALFWorld ID上达到91.43%（IL为85.71%），RL w/ ACT在WebShop上达到33.80%（RL为29.40%）。第三，ACT优于Early Experience：IL w/ ACT相比Early Experience平均提升2.42个百分点，证明通过RL自主发展推理比模仿预生成反思更有效。第四，ACT改善OOD泛化：在ALFWorld OOD任务上，ACT对RL的提升（3.73pp）大于ID任务（2.15pp），表明ACT学到的推理能力可以泛化到未见过的任务配置。第五，ACT改善通用推理：在仅使用ALFWorld智能体数据训练的情况下，ACT在GPQA-Diamond上比CoT prompting基线提升1.85pp（53.37% vs 51.52%），而IL反而下降6.91pp。第六，跨规模可迁移：用Qwen3-8B收集的ACT数据在Qwen3-4B上同样有效，所有ACT增强方法都提升了对应基线。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld (In-Distribution) | Success Rate (%) | RL w/ ACT: 92.86% | IL: 85.71%, RL: 90.71%, Early Experience: 87.86% | 相比IL提升7.15pp，相比RL提升2.15pp，相比Early Experience提升5.00pp |
| ALFWorld (Out-of-Distribution) | Success Rate (%) | RL w/ ACT: 88.06% | IL: 82.84%, RL: 84.33%, Early Experience: 85.82% | 相比IL提升5.22pp，相比RL提升3.73pp，相比Early Experience提升2.24pp |
| WebShop | Success Rate (%) | RL w/ ACT: 33.80% | IL: 28.00%, RL: 29.40%, Early Experience: 31.00% | 相比IL提升5.80pp，相比RL提升4.40pp，相比Early Experience提升2.80pp |
| ScienceWorld | Next-Action Prediction Accuracy (%) | RL w/ ACT: 50.34% | IL: 42.80%, RL: 43.04%, Early Experience: 45.60% | 相比IL提升7.54pp，相比RL提升7.30pp，相比Early Experience提升4.74pp |
| MATH-500 (零样本迁移) | Accuracy (%) | ACT: 87.73±0.19% | CoT prompting: 86.93±0.74%, IL: 87±0.33% | 相比CoT prompting提升0.80pp，相比IL提升0.73pp |
| GPQA-Diamond (零样本迁移) | Accuracy (%) | ACT: 53.37±0.63% | CoT prompting: 51.52±1.89%, IL: 44.61±0.95%, Early Experience: 51.85±0.63% | 相比CoT prompting提升1.85pp，相比IL提升8.76pp，相比Early Experience提升1.52pp |
局限与改进
论文存在几方面局限性。首先，ACT的数据构造需要从初始策略采样 $K$ 个替代动作，这增加了额外的计算和环境交互成本，尽管跨规模迁移实验表明数据可以复用，但首次收集仍然昂贵。其次，ACT的有效性依赖于一个关键假设：初始策略 $\pi_{\theta_0}$ 生成的动作在平均水平上劣于专家动作，如果这个假设不成立，对比学习的信号质量会下降。第三，论文仅在Qwen3系列模型（4B和8B）上验证，未在更大规模模型（如70B+）或其他架构上测试，泛化性有待进一步确认。第四，ACT在ScienceWorld上的提升虽然显著（+4.74pp），但绝对性能（50.34%）仍远低于ALFWorld（92.86%），说明在复杂科学推理任务上仍有较大改进空间。第五，论文未深入分析ACT学到的推理链的具体内容和质量，虽然观察到了自我验证行为（如Figure 4所示），但缺乏系统性的推理链分析。第六，奖励函数设计中的超参数（ $R_{\text{acc}}=1$, $R_{\text{adm}}=0.1$, $R_{\text{fmt}}=-0.5$ ）似乎是手工设定的，未进行消融实验验证其最优性。
独立分析的弱点
ACT存在几个值得深入分析的弱点。第一，数据构造中的替代动作采样策略相对简单，从初始策略均匀采样 $K$ 个动作，未考虑动作多样性或难度控制。如果采样的替代动作与专家动作差异太大（太容易区分）或太小（几乎一样好），训练信号可能不够高效。改进方向：可以引入课程学习策略，从容易区分的对比对逐渐过渡到困难对比对。第二，ACT只使用二元判断（哪个更好），未利用好多少的细粒度排序信息。改进方向：可以引入Bradley-Terry模型或其他排序方法，让模型学习更精细的动作质量评估。第三，阶段二和阶段三的顺序训练是固定的，未探索端到端联合训练的可能性。改进方向：可以设计统一的训练目标，同时优化批判性推理和动作生成。第四，论文未分析ACT在连续动作空间或非文本环境中的适用性，目前仅在文本交互环境中验证。
未来方向
论文和其结果指向多个有价值的研究方向。作者指出ACT展示了智能体RL环境作为增强通用推理能力的途径的潜力，这一发现可以进一步探索：是否可以设计更丰富的智能体环境来系统性地提升不同类型的推理能力？基于ACT的结果，可以延伸出几个方向：（1）将ACT应用于代码生成等需要自我调试的场景，训练模型在生成代码后能自主判断正确性；（2）将ACT与Search-R1等方法结合，在搜索增强生成中训练模型判断搜索结果的质量；（3）探索ACT在多智能体协作场景中的应用，训练智能体评估其他智能体的行为质量；（4）研究ACT数据构造的自动化，例如使用更强的模型（如GPT-4）作为专家来提供更高质量的动作标签；（5）深入研究ACT为何能提升通用推理，Figure 4展示的自我验证行为是否可以被显式强化或迁移。
复现评估
从复现角度来看，ACT具有较好的可复现性。论文使用Qwen3-8B和Qwen3-4B作为基座模型，这两个模型都是公开可获取的。训练框架基于GRPO，虽然论文未明确提供代码仓库，但GRPO的实现已在DeepSeek等开源项目中有参考。三个基准（ALFWorld、WebShop、ScienceWorld）都是成熟的公开基准，有标准化的评估流程。论文提供了详细的prompt模板（附录A.5）和超参数设置，包括 $K$（采样替代动作数量）、$G$（GRPO采样组大小）、学习率等。然而，ACT的训练需要大量的环境交互（特别是阶段一的数据构造），这可能需要显著的计算资源。跨规模迁移实验表明可以复用数据来降低成本，但首次训练的计算需求仍然不可忽视。总体而言，拥有中等规模GPU集群的研究者应该可以复现本文结果，但小团队可能在环境交互和数据构造阶段面临挑战。
论文图表
案例对比展示了IL模型和ACT模型在遇到失败时的行为差异。左侧：IL模型在ALFWorld的Clean cloth到cabinet任务中，从Step 9开始重复执行put cloth 1 in/on cabinet 1失败动作，持续超过30步直到终止，因为它从未见过失败状态，无法诊断错误。右侧：ACT模型在Spoon到dining table任务中遇到同样的失败（Nothing happens），但通过内部推理诊断出根因（I am currently at sinkbasin 1. I need to GO TO the dining table first），发出正确的导航命令成功恢复。
这张图通过具体案例生动展示了ACT相比IL的核心优势，自我诊断和失败恢复能力，使抽象的方法论差异变得直观可理解。
展示了ACT模型在GPQA-Diamond第12题（介子衰变动能问题）上的推理轨迹。ACT模型先通过能量和动量守恒推导动能，然后进行了自我验证：将每个选项代入能量守恒方程 $E_{\text{total}} = 139.6$ MeV，逐个检验一致性。例如，Option C代入后总能量为130.02 MeV，小于139.6 MeV，不满足守恒，因此排除。Option D代入后为135.34 MeV，同样排除。最终只有Option A满足能量守恒，得出正确答案A。
这张图展示了ACT训练产生的一个令人惊喜的副产品，自我验证行为，说明在智能体任务中学习的动作质量评估能力可以迁移到通用推理任务中，支持了论文关于智能体环境作为推理增强途径的论点。