ET-Agent：通过行为校准激励高效工具集成推理智能体 ET-Agent: Incentivizing Effective Tool-Integrated Reasoning Agent via Behavior Calibration
通过自演化数据飞轮和两阶段行为校准训练，系统性纠正LLM智能体的工具使用错误模式
前置知识
Tool-Integrated Reasoning (TIR，工具集成推理)
TIR是一种让大语言模型在推理过程中调用外部工具（如搜索引擎、代码编译器）来扩展自身能力的范式。与纯文本的Chain-of-Thought推理不同，TIR允许模型在遇到超出自身知识范围的问题时，主动发起工具调用获取外部信息或执行计算，然后将工具返回的结果融入后续推理。例如，模型可以搜索维基百科获取事实知识，或者编写Python代码求解数学方程。这种范式在数学推理、深度搜索和科学问答等任务上已展现出显著优势。
本文的核心就是优化TIR智能体的行为模式，理解TIR范式中工具调用与推理过程的交互方式是读懂全文的基础。
GRPO / ARPO（分组相对策略优化 / 智能体强化策略优化）
GRPO (Group Relative Policy Optimization) 是DeepSeek提出的一种强化学习算法，它不需要单独训练一个价值网络，而是通过在同一个问题上采样多条轨迹（一个group），用组内轨迹的相对奖励来估计优势函数（advantage），从而简化了训练流程。ARPO (Agentic Reinforced Policy Optimization) 是在此基础上针对智能体场景的改进版本，特别优化了分支策略以适应工具调用场景中动作空间的复杂性。ET-Agent使用ARPO作为其RL阶段的核心算法。
ET-Agent的行为校准训练框架的第二阶段直接基于ARPO算法进行强化学习，理解该算法的工作原理对于理解本文的训练流程至关重要。
Rejection Sampling Fine-Tuning (RFT，拒绝采样微调)
RFT是一种数据增强和模型训练方法。其核心思想是：对同一个问题让模型生成多条推理轨迹，然后只保留那些最终答案正确的轨迹作为训练数据，丢弃错误的轨迹。这种"只学好的"策略可以有效提升模型的推理能力。RFT的优势在于简单直接，不需要复杂的奖励建模，但其局限在于只能利用模型已有的能力范围内的正确样本，无法拓展模型的探索边界。
ET-Agent在行为空间探索微调阶段使用RFT作为基础训练方法，但通过自演化数据飞轮显著增强了RFT所用数据的多样性和质量，这是本文方法与普通RFT的关键区别。
Pareto最优与多目标优化
在多目标优化问题中，Pareto最优是指不存在一个解在所有目标上都优于另一个解的状态。Pareto前沿（Pareto frontier）上的解是非支配的最优解集合。在ET-Agent中，作者定义了两个采样指标：正确性离散度 $S_{corr}$（衡量轨迹正确性的变异程度）和行为离散度 $S_{tool}$（衡量工具调用次数的变异程度）。通过在由这两个指标定义的二维空间中进行Pareto采样，可以在保持轨迹多样性的同时选出最有训练价值的样本。
Group-wise Pareto Sampling是ET-Agent区别于普通GRPO训练的核心创新之一，理解Pareto最优的概念有助于理解作者如何解决RL训练中的轨迹同质化问题。
课程学习（Curriculum Learning）
课程学习借鉴人类"由易到难"的学习规律，在训练过程中逐步增加任务难度或调整训练策略。在ET-Agent中，课程学习体现为：在多轮RL训练中逐步减小奖励函数中的超参数 $\sigma_{tool}$ 和 $\sigma_{len}$，使得模型在训练初期获得较宽松的行为约束以充分探索，后期则逐渐收紧约束以收敛到最优行为模式。这种渐进式调整可以有效防止reward hacking（模型找到奖励函数的漏洞而走捷径）。
课程学习策略是ET-Agent稳定训练的关键机制，消融实验证明去掉该策略会导致正确率从60.1暴跌至48.1。
研究动机
当前基于LLM的智能体训练框架普遍只关注最终答案的准确性，而忽略了对工具集成推理（TIR）过程中行为模式的专门对齐。这导致智能体在执行TIR任务时频繁出现低效甚至错误的行为。具体而言，作者通过初步实验发现两大类四小类错误模式：第一类是不当工具调用（Improper Tool-Use），包括冗余工具调用（Redundant Tool Calls）——即调用工具后未获取额外有用信息，以及中断的工具执行（Aborted Tool Execution）——由于格式错误或查询为空导致工具调用失败。以冗余调用为例，作者用GPT-4o对模型输出进行分析，发现在数学和知识密集型任务中，冗余工具调用的比例分别高达约33%和53%。第二类是缺陷推理逻辑（Flawed Reasoning Logic），包括不充分的工具调用（Insufficient Tool Calls）——模型未能意识到需要额外调用工具就给出了错误答案（约20.8%的失败案例可以通过追加推理来纠正），以及错误的推理过程（Erroneous Reasoning Process）——推理链中存在逻辑错误或无关步骤。现有方法如Tool-Light虽然尝试优化行为模式，但仅使用DPO算法进行二元比较优化，容易导致模型输出坍缩到极窄的动作空间，限制了充分探索。
本文的目标是本文的目标是设计一个系统性的训练框架，能够在保证推理正确性的前提下，全面校准LLM智能体在TIR任务中的行为模式。具体来说，ET-Agent追求在多个维度上同时提升：（1）正确性（Correctness）——最终答案的准确性；（2）效率（Efficiency）——每个工具调用的平均正确率贡献；（3）简洁性（Conciseness）——减少冗余工具调用的比例；（4）执行成功率（Successful Execution）——工具调用的格式正确率；（5）推理长度（Reasoning Length）——思维链的紧凑程度。作者希望通过这种多维度优化，让模型不仅能给出正确答案，还能以更高效、更可靠的方式达到正确答案。
与已有工作不同的是，本文的独特切入角度在于：不同于以往方法只关注单一维度（如ToRL只优化准确性、Tool-Light只用DPO做二元比较），ET-Agent将TIR行为校准问题建模为一个在广阔工具使用动作空间中的多目标优化问题。作者敏锐地观察到，即使在正确答案中，不同轨迹的工具调用频率也存在巨大差异——这说明TIR的动作空间极其广阔，存在大量潜在的正确推理路径。现有的模仿学习和二元比较优化难以在这个广阔空间中充分探索。因此，ET-Agent从数据和算法两个层面同时发力：数据层面通过自演化飞轮扩展动作空间覆盖，算法层面通过基于Pareto采样的课程RL训练将探索收敛到最优轨迹。这种"先扩展再收敛"的两阶段范式是本文最本质的区别。
核心方法
ET-Agent的框架可以用一个直觉性的比喻来理解：想象一个学生在学习解题，第一阶段（自演化数据飞轮）相当于让学生反复练习大量题目，不仅做新题，还要回头检查和改进之前做过的题——做对的题尝试能不能用更简洁的方法解出，做错的题尝试能不能通过自我纠正或接受提示来找到正确解法。经过多轮这样的练习，学生积累了丰富的解题经验。第二阶段（行为校准训练）则相当于一位经验丰富的老师，从这些经验中精选最有学习价值的题目（Pareto采样），然后通过渐进式的指导（课程RL训练）让学生从"会做题"升级为"高效地做对题"。技术路线上，ET-Agent包含两个核心组件：Self-Evolving Data Flywheel通过迭代式的数据增强产生多样化高质量训练数据，Behavior Calibration Training Framework则通过Action Space Exploration Fine-tuning和Iterative Behavior Calibration RL两个阶段，逐步将模型的工具使用行为校准到最优模式。
ET-Agent最核心的创新在于提出了"先扩展再收敛"的行为校准范式，以及解决RL训练中轨迹同质化问题的Group-wise Pareto Sampling策略。具体而言，现有方法面临一个根本矛盾：如果只用模型自身生成的数据进行RL训练，由于初始模型的探索能力有限，生成的轨迹会高度同质化，导致组内奖励差异过小、梯度信号消失（vanishing gradients），训练无法有效进行。ET-Agent通过自演化数据飞轮先生成大量多样化的轨迹（包括对正确轨迹的精简改进和对错误轨迹的自我纠正），显著扩展了动作空间的覆盖范围。然后在RL阶段，通过定义正确性离散度 $S_{corr}$ 和行为离散度 $S_{tool}$ 两个指标，并在由这两个指标构成的空间中进行Pareto前沿采样，确保同一组内的轨迹既有足够的正确性差异（提供优化信号），又有足够的行为多样性（防止坍缩）。这种策略与传统GRPO中简单随机采样的方式有本质区别——它从多目标优化的角度系统性地保证了训练信号的有效性。
方法步骤详情
ET-Agent的完整训练流程分为以下步骤：（1）数据飞轮初始化：对原始数据 $D_{source}$ 中的每个问题 $q$，用提示 $I_1$ 引导模型 $M$ 生成多条轨迹 $D_q^{rollout}$，根据答案正确性分为正确集和错误集。（2）正确推理增强：对正确集执行两种策略——冗余修改（用提示 $I_2$ 识别并精简第一条冗余的工具调用步骤，然后从该点重新生成后续路径）和全局精炼（用提示 $I_3$ 在保持工具调用序列逻辑一致性的前提下精简所有思考过程）。（3）错误推理反思：对错误集执行两种策略——自我纠正（用提示 $I_4$ 找到第一个错误推理步骤并修正）和提示注入（在错误步骤后或轨迹末尾插入引导性提示，鼓励模型调用额外工具继续推理）。（4）迭代演化：将增强后的轨迹重新整合到 $D_q^{rollout}$ 中，重复步骤(2)-(3)共 $R$ 轮，最终得到增强数据集 $D_{aug}$。（5）动作空间探索微调：对 $D_{aug}$ 进行质量控制后执行RFT，扩展模型对动作空间的探索能力。（6）行为校准RL训练：进行三轮课程学习，每轮交替执行Group-wise Pareto Sampling（计算每个问题的 $S_{corr}$ 和 $S_{tool}$ 指标，通过快速非支配排序和拥挤距离截断选出 $N$ 个最有训练价值的样本）和ARPO训练（使用多目标组内奖励机制，包括格式奖励 $R_{format}$、正确性奖励 $R_{corr}$、工具调用效率分数 $f_{tool}$ 和推理长度分数 $f_{len}$），并逐步减小超参数 $\sigma_{tool}$ 和 $\sigma_{len}$ 以收紧行为约束。
技术新颖性
ET-Agent在技术新颖性上有多处贡献。首先，自演化数据飞轮的迭代增强机制不同于传统的单次数据构造——它让模型反复审视和改进自己的轨迹，形成"生成-评估-改进"的闭环，类似于self-play的理念但在数据层面实现。其次，Group-wise Pareto Sampling将多目标优化中的NSGA-II思想引入到RL训练的采样策略中，这是首次在TIR行为校准场景中系统性地应用Pareto采样。传统GRPO方法如DAPO、ARPO等都使用简单的随机采样分组，容易出现轨迹同质化问题，而ET-Agent通过双指标离散度定义和Pareto前沿选择，从理论上保证了组内轨迹的多样性和梯度信号的有效性。第三，多目标奖励机制中的效率驱动行为奖励设计（$f_{tool}$ 和 $f_{len}$ 使用sigmoid函数进行平滑惩罚）比简单的二元奖励更精细，能够在保持正确性的同时引导模型向高效行为模式收敛。最后，渐进式减小 $\sigma$ 的课程学习策略有效防止了reward hacking，消融实验证明该策略对于维持正确率至关重要。
实验结果
ET-Agent在六个具有挑战性的推理任务上进行了全面评估，结果表明其在正确性和效率两个维度上均达到了最佳性能。在正确性方面，ET-Agent的平均得分达到60.1，相比最佳基线Tool-Light的55.0提升了5.1个点。具体到各数据集，ET-Agent在AIME24上达到46.7（比Tool-Light的33.3提升13.4），在AMC23上达到77.5（比Tool-Light的72.5提升5.0），在MATH500上达到81.6（接近ToRL的84.6但远超其知识密集型任务表现），在2WikiMultiHopQA上达到67.2（比Research的67.1略高），在Bamboogle上达到59.4， 在MuSiQue上达到28.0。在效率方面，ET-Agent的平均效率达到46.0，相比Tool-Light的38.5提升了7.5个点，这说明ET-Agent在保持高正确率的同时显著减少了工具调用次数。在行为模式指标上，ET-Agent的简洁性（Conciseness）达到56.4%，执行成功率（Successful Execution）达到57.0%，均显著优于基线方法。推理长度（Reasoning Length）指标为3.07，虽然AutoTIR的3.61在某些任务上更长（可能意味着更深入的推理），但ET-Agent在效率和正确率之间取得了更好的平衡。消融实验进一步验证了各组件的必要性：去掉数据飞轮后正确率从60.1降至47.3，去掉Pareto采样后降至54.1，去掉奖励机制后降至58.5，去掉 $\sigma$ 递减策略后正确率暴跌至48.1（但效率保持不变为46.0，说明出现了reward hacking）。动作空间分布分析（t-SNE可视化）清晰展示了三个训练阶段的效果：从Instruct LLM到RFT LLM，输出分布变得更加分散（动作空间覆盖扩大）；从RFT LLM到RL LLM，输出分布变得更加紧凑（探索收敛到最优轨迹）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME24 (数学竞赛) | LLM-as-Judge正确率 | 46.7 | ToRL 40.0 / Tool-Light 33.3 | 比最佳基线ToRL提升6.7 |
| AMC23 (数学竞赛) | LLM-as-Judge正确率 | 77.5 | ToRL 75.0 / Tool-Light 72.5 | 比最佳基线ToRL提升2.5 |
| MATH500 (数学推理) | LLM-as-Judge正确率 | 81.6 | ToRL 84.6 / Tool-Star 80.4 | 排名第二，仅次于ToRL |
| 2WikiMultiHopQA (多跳问答) | F1分数 | 67.2 | Research 67.1 / AutoTIR 66.2 | 比最佳基线Research提升0.1 |
| Bamboogle (多跳问答) | F1分数 | 59.4 | Research 58.4 / Tool-Light 58.7 | 比最佳基线Tool-Light提升0.7 |
| MuSiQue (多跳问答) | F1分数 | 28.0 | AutoTIR 30.9 / Tool-Light 26.0 | 排名第二，仅次于AutoTIR |
| 全部任务平均正确率 | Avg P | 60.1 | Tool-Light 55.0 / Tool-Star 52.3 | 比最佳基线Tool-Light提升5.1 |
| 全部任务平均效率 | Avg Effi | 46.0 | Tool-Light 38.5 / Tool-Star 37.5 | 比最佳基线Tool-Light提升7.5 |
局限与改进
作者在论文中坦诚地承认了两个主要局限性。第一，由于计算资源的限制，所有实验仅使用了Wikipedia文档进行本地检索，而未在真实网络搜索场景中验证。这与实际部署中智能体需要访问实时互联网信息的需求存在差距，可能影响结论在真实场景中的泛化性。第二，受资源约束，实验仅在7B参数规模的模型（Qwen2.5-7B-Instruct）上进行，将ET-Agent框架扩展到更大规模的模型（如14B、72B）存在显著的计算挑战。从我自己的观察来看，还存在以下局限：（1）训练数据的多样性问题——虽然飞轮机制扩展了数据多样性，但原始数据主要来源于数学推理和知识密集型问答两个领域，对于代码生成、科学实验等其他TIR场景的适用性尚未验证；（2）评估指标的局限性——效率指标 $ ext{Effi} = ?rac{1}{N}\sum_{i=1}^{N}?rac{P_i}{T_i}$ 将正确率除以工具调用次数，这意味着模型完全不调用工具直接猜对答案时效率最高，该指标可能存在一定的误导性；（3）冗余调用的判断依赖GPT-4o作为评判者，可能存在评判偏差；（4）论文未报告训练的总计算成本和时间，这使得复现者难以评估资源需求。
独立分析的弱点
基于对论文的深入分析，我认为ET-Agent存在以下几个值得关注的弱点。首先，自演化数据飞轮的质量高度依赖于初始模型的能力。如果基础模型在某个任务上的初始表现极差（如MuSiQue上Qwen2.5-7B-Instruct的直接推理仅8.5分），那么飞轮生成的"正确轨迹"数量可能非常有限，数据增强的效果会大打折扣。改进方向：可以引入外部强模型（如GPT-4o）辅助生成初始正确轨迹，或者设计更智能的提示注入策略来提升错误轨迹的纠正成功率。其次，Group-wise Pareto Sampling的计算开销较大——每个问题需要采样K=16条轨迹来计算离散度指标，且需要在多维空间中进行非支配排序。在大规模数据集上这可能成为训练瓶颈。改进方向：可以探索近似Pareto采样方法，或者将采样过程与RL训练更紧密地结合以减少冗余计算。第三，奖励机制中的效率驱动奖励 $f_{tool}$ 和 $f_{len}$ 使用sigmoid函数，其形状由超参数 $\sigma_{tool}$ 和 $\sigma_{len}$ 控制。论文提到初始值设为0.1，但未详细说明每轮递减的具体策略，这使得该设计的可迁移性受限。改进方向：可以设计自适应的 $\sigma$ 调度策略，根据训练动态自动调整。第四，论文中的实验存在一个潜在的公平性问题——测试时数学推理任务使用Google Search，而知识密集型任务使用本地Wikipedia检索，这与其他基线方法的工具配置可能不完全一致。改进方向：应在统一的工具配置下进行公平比较。
未来方向
作者在论文的局限性部分提出了两个明确的未来方向：将ET-Agent框架扩展到更大规模的语言模型，以及整合实时网络搜索能力以拓宽TIR行为探索的范围。基于ET-Agent的成果，我认为还可以延伸以下研究方向：（1）将行为校准的思想推广到多工具协作场景——当前ET-Agent仅使用搜索引擎和代码编译器两种工具，未来可以研究如何在更复杂的工具链（如数据库查询、API调用、文件操作等）中进行行为校准；（2）探索跨任务的行为迁移——ET-Agent在数学推理和知识问答上分别训练，未来可以研究在一个任务上学到的高效行为模式能否迁移到其他任务；（3）将自演化飞轮的思想与在线RL更紧密地结合——当前的飞轮是离线的数据增强过程，未来可以设计在线版本，让模型在RL训练过程中实时改进自己的轨迹；（4）研究行为校准对模型安全性的影响——过度的行为校准可能导致模型在面对对抗性输入时过于"保守"地使用工具，这需要进一步研究。
复现评估
从复现的角度来看，ET-Agent具有较好的可复现性。作者已将代码开源在GitHub（https://github.com/asilverlight/ET-Agent），这大大降低了复现门槛。训练数据方面，论文使用的数据集均为公开可用的数据集（AIME、NuminaMATH、OpenR1-Math-220k、DAPO-Math-17k、2WikiMultiHopQA、HotpotQA、MuSiQue、TriviaQA等），其中大部分可从HuggingFace直接下载。算力需求方面，所有实验在4块NVIDIA A800 GPU上完成，这对于学术团队来说是可承受的资源配置。RFT阶段训练3个epoch，RL阶段进行3轮课程学习每轮3个epoch，使用DeepSpeed ZeRO-3和FlashAttention2进行训练优化。复现的主要难点在于：（1）自演化数据飞轮需要多轮迭代生成和增强轨迹，计算量较大且需要精心设计的提示模板（论文在附录中提供了完整的提示模板）；（2）Group-wise Pareto Sampling的实现细节（如K=16的采样数、非支配排序和拥挤距离计算）需要严格按照论文描述实现；（3）RL训练的超参数较多（$\sigma_{tool}$、$\sigma_{len}$的初始值和递减策略），论文未提供完整的超参数搜索过程。总体而言，对于具备一定RL训练经验的团队，在公开代码的基础上复现主要结果是可行的。
论文图表
该图通过两个具体问题展示了TIR智能体常见的两类错误行为模式。左侧展示了冗余工具调用（Redundant Tool Call）和不充分工具调用（Insufficient Tool Call）的场景，右侧展示了中断的工具执行（Aborted Tool Execution）和错误推理过程（Erroneous Reasoning Process）的场景。每个示例都标注了错误发生的具体位置和类型。
这张图是全文的出发点，直观地定义了ET-Agent要解决的核心问题——TIR智能体的四类错误行为模式，为后续的方法设计提供了清晰的目标。
该图包含多个子图，展示了冗余工具调用的统计数据。数据显示在数学任务和知识密集型任务中，冗余工具调用的比例分别约为33%和53%。图中还展示了冗余与非冗余工具调用的分布对比，以及不同任务类型中冗余情况的差异。
这张图用定量数据证明了冗余工具调用问题的严重性，为ET-Agent的必要性提供了实证支持。
图3(a)展示了通过追加推理修改错误输出所需的额外工具调用次数分布，约20.8%的失败案例可以通过追加推理纠正。图3(b)展示了同一问题的不同正确轨迹之间工具调用次数的显著差异，揭示了TIR动作空间的广阔性。
这张图从两个角度支撑了论文的核心论点：(a)说明"不充分工具调用"问题可以通过训练来改善，(b)说明TIR动作空间存在大量潜在的正确路径，需要充分探索。
该图展示了Aborted Tool Execution（中断的工具执行）错误发生的次数分布。大多数轨迹仅出现一次错误，只有少量样本出现多次错误。这说明通过训练提高工具调用触发准确性是高度可行的。
该图为ET-Agent通过训练纠正工具执行错误的可行性提供了统计依据。