探索面向智能体的推理奖励模型 Exploring Reasoning Reward Model for Agents
提出多维度推理奖励模型Agent-RRM，通过文本批评和标量奖励的统一集成提升智能体性能
前置知识
Agentic Reinforcement Learning (Agentic RL)
智能体强化学习是一种让大语言模型在动态、开放式环境中通过试错学习执行复杂任务的范式。智能体能够与外部工具（如搜索引擎、代码执行器）交互，通过多步推理和工具调用来解决问题。与传统强化学习不同，Agentic RL需要处理长时序决策、多轮工具交互和复杂的推理链，这使得奖励信号的设计尤为关键。
本文的核心研究对象就是Agentic RL，理解这一范式是理解论文动机和方法的基础。论文指出当前Agentic RL普遍依赖稀疏的结果奖励，这是推动本文研究的核心问题。
Group Relative Policy Optimization (GRPO)
GRPO是一种强化学习算法，其核心思想是对每个查询$q$生成一组$G$个输出$\{o_i\}_{i=1}^G$，然后通过组内归一化计算优势函数$A_i = \frac{R_i - \text{mean}(R)}{\text{std}(R)}$。优化目标为$J_{GRPO}(\theta) = \mathbb{E}_{q \sim P(q)} \left[ \frac{1}{G} \sum_{i=1}^{G} \min(r_i(\theta)A_i, \text{clip}_\epsilon) - \beta D_{KL}^{(i)} \right]$，其中$r_i(\theta) = \frac{\pi_\theta(o_i|q)}{\pi_{\theta_{old}}(o_i|q)}$是重要性采样比率。
GRPO是本文采用的核心RL算法框架，论文提出的三种Reagent变体都是在GRPO基础上的不同奖励集成策略，理解GRPO才能理解各变体的技术细节。
Reward Model (RM)
奖励模型是用于评估模型输出质量的模型，在RLHF和RLVR中扮演核心角色。传统奖励模型通常只输出标量分数或二元偏好，而推理感知奖励模型（Reasoning-aware RM）会在分配奖励前进行显式推理，生成推理轨迹来解释评估依据，从而提供更高质量、更透明的监督信号。
本文的核心贡献就是提出了Agent-RRM，一个面向智能体轨迹的多维度推理奖励模型，它不仅输出分数，还生成批评文本和推理轨迹，这是论文的关键创新。
Reward Hacking
奖励破解是指智能体学会利用奖励函数的漏洞或偏差来获得高分，而不是真正完成任务目标。在基于步骤的奖励模型中，智能体可能学会生成看起来合理但实际上无用的中间步骤来获取奖励，导致最终任务表现反而下降。
论文指出步骤级奖励容易受到奖励破解的影响，这是本文选择轨迹级评估而非步骤级评估的重要原因之一。
研究动机
当前智能体强化学习（Agentic RL）方法普遍依赖稀疏的、基于结果的奖励信号，即仅根据最终答案的正确性给出二元奖励（正确/错误）。这种设计在长时序、多步骤的智能体任务中存在严重局限性：当一个轨迹仅在最后一步失败时，结果奖励会将其视为完全失败，无法区分中间推理步骤的质量。例如，一个智能体经过6步正确的搜索和推理后在最后的格式转换上出错，会获得与完全随机尝试相同的零奖励。这种粗粒度的二元监督掩盖了成功中间步骤的价值，导致训练效率低下。此外，现有的步骤级奖励模型虽然提供更细粒度的反馈，但面临两个瓶颈：一是标注成本高昂，需要对每个步骤进行人工评估；二是容易受到奖励破解的影响。现有的推理感知奖励模型主要关注成对偏好比较，存在固有偏差，无法捕获轨迹间的细粒度质量差异，也无法提供可操作的改进建议。
本文的目标是本文的目标是开发一个面向智能体轨迹的多维度推理奖励模型（Agent-RRM），该模型能够生成结构化的反馈信号，包括：（1）显式的推理轨迹，分析轨迹的逻辑一致性；（2）有针对性的批评，指出具体的推理缺陷并提供改进指导；（3）整体质量分数，评估轨迹的过程表现。基于这些信号，论文系统性地探索三种集成策略，旨在为智能体强化学习提供一个全面的路线图，展示如何利用多层次反馈来加速智能体训练。
与已有工作不同的是，本文的独特切入角度在于：首先，它将推理感知奖励模型从通用LLM输出评估扩展到智能体轨迹评估，这需要考虑工具使用、多轮交互等智能体特有的行为模式；其次，它不仅生成标量分数，还生成自然语言批评文本，这在现有智能体奖励模型研究中几乎未被探索；第三，它提出三种不同的集成策略（文本增强细化、奖励增强指导、统一反馈集成），系统性地研究如何将这些多维度信号整合到智能体训练中；最后，论文构建了四个专门设计的数据集，覆盖数学推理、多模态理解、网页信息检索和复杂工具使用等多种场景，为社区提供了宝贵的研究资源。
核心方法
本文的方法体系可以分为三个层次来理解。首先是数据准备层：论文构建了Reagent-RL-709K（70.9万问答对用于RL训练）和Reagent-SFT-55.6K（5.56万高质量轨迹用于SFT），以及两个奖励模型专用数据集Reagent-RRM-SFT-28K和Reagent-RRM-RL-90K。其次是奖励模型层：Agent-RRM是一个多维度评估器，采用两阶段训练——先在28K数据上进行SFT以建立结构化输出能力，再在90K数据上通过GRPO进行强化学习以优化评估质量。最后是智能体策略层：基于Qwen3-8B基础模型，先在SFT数据上进行监督微调获得基础能力，然后探索三种不同的奖励集成策略进行RL训练。这种分层设计使得奖励模型和智能体模型都能从高质量数据中学习，同时三种集成策略的对比研究为实际应用提供了选择依据。
本文的核心创新点是Agent-RRM的多维度结构化反馈机制。与传统奖励模型仅输出标量分数或二元偏好不同，Agent-RRM为每条轨迹生成三个组成部分：$\text{Agent-RRM}(o_i) = \{\text{}, \text{}, \text{}\}$。其中$\text{}$是分析轨迹逻辑一致性的内部推理过程；$\text{}$是针对推理缺陷的有针对性批评，提供可操作的改进指导；$\text{}$是$[0,1]$范围内的标量质量评估。这种设计的本质区别在于：它将奖励模型从单纯的评分器转变为具有诊断能力的评估专家，能够解释为什么某个轨迹好或不好，而不仅仅是给一个分数。自然语言批评的引入为智能体提供了显式的错误修正指导，这是纯数值反馈无法提供的。
方法步骤详情
方法的完整流程包括以下步骤：（1）**工具设计**：为智能体配备6个专业工具——Search（Bing搜索）、Web Browse（网页浏览）、Python Code Interpreter（代码执行）、File Reader（文件读取）、Image Descriptor（图像描述）、Audio Converter（音频转录）。（2）**数据构建**：从公开数据集收集709K问答对，通过三阶段流水线（过滤模糊样本、跨源去重、难度感知采样）确保质量；使用DeepSeek-V3.1生成轨迹，仅保留最终答案正确的作为SFT数据。（3）**奖励模型训练**：使用GPT-OSS-120B对多模型轨迹进行标注，生成结构化判断；先SFT建立格式能力，再GRPO优化评估质量。（4）**智能体SFT**：在Reagent-SFT-55.6K上微调Qwen3-8B获得基础策略$\pi_\theta^{SFT}$。（5）**三种RL集成策略**：Reagent-C通过批评文本引导推理时细化；Reagent-R将模型分数与规则奖励线性组合$R_i = R_{rule}(q, o_i) + \lambda \cdot R_{model}(q, o_i)$；Reagent-U将初始和细化轨迹统一到一个RL循环中进行联合优化。
技术新颖性
本文的技术新颖性体现在多个方面。首先，Agent-RRM是首个专门为智能体轨迹设计的多维度推理奖励模型，不同于通用LLM的奖励模型，它特别关注工具使用行为的评估，如工具调用时机、参数正确性、结果利用效率等。其次，三部分结构化输出（think/critique/score）的设计在奖励模型领域是创新的，特别是$\text{}$部分提供了自然语言层面的反馈，这在现有研究中几乎未被探索。第三，三种集成策略的系统对比是独特的贡献：Reagent-C展示了批评文本在零样本推理时细化中的价值；Reagent-R量化了模型分数相对于纯规则奖励的提升；Reagent-U证明了统一优化可以产生协同效应。第四，论文构建的四个高质量数据集（覆盖数学、多模态、网页检索、工具使用）本身就是重要贡献，为社区提供了可复用的研究资源。最后，实验覆盖12个多样化基准的全面评估在同类工作中较为少见。
实验结果
论文在12个多样化基准上进行了全面评估，核心发现如下：（1）**Reagent-U表现最优**：在GAIA文本集上达到43.7%的pass@1，超越所有开源基线；在WebWalkerQA上达到46.2%，比最强基线WebDancer（38.4%）高出7.8个百分点；在Bamboogle上达到76.8%，比基线（61.6%）提升15.2个百分点；在AIME24数学推理上达到60.0%，比基线（50.0%）提升10个百分点。（2）**批评文本的直接价值**：Reagent-C（推理时细化）在无需任何参数更新的情况下，通过Agent-RRM的批评文本引导，在所有基准上都实现了性能提升。例如在GAIA上从25.2%提升到25.2%（初始），数学推理上从56.7%提升到56.7%。第二次响应$o_i^{(2)}$一致优于初始响应$o_i^{(1)}$，证明批评能够纠正执行错误和逻辑疏漏。（3）**模型奖励的有效性**：Reagent-R（仅使用标量分数）在所有基准上都优于纯规则奖励基线，例如在Bamboogle上从61.6%提升到72.8%（+11.2%），在xbench上从32.0%提升到41.0%（+9.0%），证明模型分数提供了比二元结果更丰富的监督信号。（4）**统一反馈的协同效应**：Reagent-U持续优于Reagent-R，例如在GAIA上Reagent-R为36.9%，Reagent-U为43.7%（+6.8%），表明标量奖励和文本批评的统一优化产生了协同效应。（5）**跨模态泛化能力**：在GAIA完整集（包含多模态任务）上，Reagent-U达到38.8% pass@1和53.9% pass@3，不仅保持了文本子集的竞争力，还在多模态任务上显著超越基线。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GAIA (text) | pass@1 | 43.7% | 38.8% (ARPO Qwen3-14B) | +4.9% |
| WebWalkerQA (avg) | pass@1 | 46.2% | 38.4% (WebDancer Qwen2.5-32B) | +7.8% |
| Bamboogle | pass@1 | 76.8% | 61.6% (Reagent w/o Agent-RRM) | +15.2% |
| AIME24 | pass@1 | 60.0% | 50.0% (Reagent w/o Agent-RRM) | +10.0% |
| HLE | pass@1 | 10.8% | 10.0% (ARPO Qwen3-14B) | +0.8% |
| xbench | pass@1 | 43.0% | 32.0% (Reagent w/o Agent-RRM) | +11.0% |
局限与改进
论文承认了以下局限性：（1）**模型规模限制**：当前实验主要在8B参数规模的模型上进行，虽然验证了方法的有效性，但在更大规模模型（如14B、32B、70B）上的扩展性尚未探索。更大的基础模型可能进一步放大结构化推理反馈的收益。（2）**基准范围限制**：实验主要集中在标准化基准上，未来需要在更开放的真实世界应用（如AI for Science）中验证方法的适应性，这些场景涉及更多样化的工具集和不可预测的任务环境。（3）**计算开销**：Agent-RRM需要对每条轨迹生成三个组成部分，相比传统标量奖励模型增加了推理开销，论文未详细分析这一成本。从个人观察来看，论文还存在以下局限：（4）**批评质量依赖**：Agent-RRM的批评质量依赖于GPT-OSS-120B的标注，可能存在标注偏差；（5）**工具集固定**：实验使用的6个工具是固定的，未探索动态工具添加或工具选择的影响；（6）**长期稳定性**：论文未分析长期训练（如超过300步）后奖励信号是否会出现退化或奖励破解。
独立分析的弱点
基于独立分析，本文存在以下弱点及改进方向：（1）**奖励模型泛化性**：Agent-RRM是在特定模型轨迹上训练的，对未见过的模型或任务类型可能泛化能力不足。改进方向：引入更多样化的轨迹来源，或采用元学习方法提升跨域泛化能力。（2）**批评文本的噪声问题**：尽管论文展示了批评的有效性，但自然语言批评可能包含不准确或误导性的建议。改进方向：引入置信度机制，让Agent-RRM对批评的确定性进行评分，低置信度批评可以被过滤或降权。（3）**单一评分标准**：论文使用单一标量分数综合评估推理和工具使用，可能无法区分不同维度的质量差异。改进方向：设计多维度评分，如分别评估推理逻辑、工具使用效率、信息整合能力等。（4）**超参数敏感性**：论文展示了$\lambda$在0.2-0.4之间表现最优，但这一范围可能因任务而异。改进方向：开发自适应$\lambda$调整机制，根据任务特性动态平衡规则奖励和模型奖励。（5）**推理时计算开销**：Reagent-C需要两次推理（初始+细化），增加了延迟。改进方向：研究选择性细化策略，仅对Agent-RRM预测低质量的轨迹进行细化。
未来方向
论文提出的未来研究方向包括：（1）**模型规模扩展**：探索方法在更大规模模型（14B、32B、70B）上的表现，研究更强大的基础模型如何进一步受益于结构化推理反馈。（2）**真实世界应用**：将方法应用于开放式、真实世界的场景（如AI for Science），这些场景涉及更多样化的工具集和不可预测的任务环境，以进一步验证方案的适应性。基于本文成果，还可以延伸以下方向：（3）**多智能体协作**：将Agent-RRM扩展到多智能体场景，评估智能体间的协作质量和任务分配效率。（4）**在线学习**：探索Agent-RRM的在线更新机制，使其能够随着智能体策略的进化而持续改进。（5）**人类反馈整合**：将人类专家的批评与Agent-RRM的自动批评相结合，构建混合反馈系统。（6）**可解释性增强**：利用$\text{}$部分的推理轨迹，开发智能体决策的可解释性工具，帮助用户理解智能体的推理过程。
复现评估
论文在可复现性方面做了较好的支持：（1）**开源情况**：论文明确声明代码、模型和数据集将全部开源（https://github.com/kxfan2002/Reagent），这在同类工作中较为少见。（2）**数据可得性**：四个专门构建的数据集（Reagent-SFT-55.6K、Reagent-RL-709K、Reagent-RRM-SFT-28K、Reagent-RRM-RL-90K）将公开发布，为社区提供了可复用的资源。（3）**算力需求**：论文使用8块NVIDIA A800-80G GPU进行训练，批大小32，SFT学习率$1 \times 10^{-5}$，RL学习率$5 \times 10^{-7}$，训练300步。这一算力需求对于研究机构是可接受的，但对于个人研究者可能仍有一定门槛。（4）**超参数细节**：论文在附录中提供了详细的超参数配置（Table 4），包括最大智能体步数13、温度0.7、top-p 0.95、rollout样本数8等。（5）**评估一致性**：评估使用Qwen2.5-72B-Instruct作为裁判模型，解码温度0.6、top-p 0.95，最大响应长度32768 token，最多30步工具调用。总体而言，复现难度中等，主要挑战在于数据构建阶段需要GPT-OSS-120B进行标注，以及RL训练的调参经验。
论文图表
该图展示了用于训练Agent-RRM的标注提示模板。提示要求评估者严格遵循三部分输出格式：$\text{<think>}$（分析推理轨迹的逻辑一致性，关注工具调用时机、参数正确性、结果利用等）、$\text{<critique>}$（简洁指出推理缺陷，不提供正确答案）、$\text{<score>}$（0-1之间的整体质量分数）。提示还列出了关键评估点：是否正确决定何时调用工具、是否误用工具、是否理解工具限制、是否随时间改进推理等。
这张图揭示了Agent-RRM训练数据的构建方式，是理解奖励模型质量来源的关键。通过查看提示模板，读者可以理解评估标准的具体内涵，以及为什么Agent-RRM能够生成高质量的结构化反馈。
该图展示了一个GAIA基准上的案例研究。问题要求根据Phys.org在2008年7月15日发布的文章找到灾难的爆炸力，然后找到具有相同当量的美国核试验名称。第一个响应中，智能体未使用browse工具打开Phys.org或Britannica页面，而是基于搜索片段假设是通古斯事件并假设当量为5兆吨，最终错误回答Cannikin。Agent-RRM的批评指出：缺少必要的工具调用、未验证的假设、模糊的测试选择。第二个响应中，智能体遵循批评使用browse工具打开Britannica页面，确认当量为15兆吨，最终正确回答Bravo。
这个案例生动展示了批评文本如何引导智能体修正错误。它证明了Agent-RRM的诊断能力——能够识别工具使用不足和未验证假设等问题，并提供可操作的改进建议，最终导致正确的推理结果。
该图展示了一个GSM8K基准上的数学案例。问题计算4名油漆工每天工作一天的3/8，连续工作3周，每人工作多少小时。第一个响应中，智能体进行了两次Python调用：第一次缺少print语句导致无输出，第二次才正确计算出47.25小时。Agent-RRM的批评指出：第一次Python调用缺少print语句是不必要的工具调用，浪费了一次调用机会。第二个响应中，智能体直接进行逻辑推理：3/8天=9小时/天，21天×9小时=189小时/人，无需再次调用工具。
这个案例展示了批评文本在数学推理中的价值。即使最终答案正确（47.25），Agent-RRM也能识别工具使用效率问题（缺少print语句），并引导智能体改进推理过程。第二个响应展示了批评如何促进更高效的推理策略。