通过 Fission-GRPO 实现稳健的工具使用：从执行错误中学习恢复 Robust Tool Use via Fission-GRPO: Learning to Recover from Execution Errors
FISSION-GRPO 框架：将执行错误转化为在线策略纠正性监督，提升工具使用错误恢复能力。
前置知识
GRPO (Group Relative Policy Optimization)
GRPO 是一种强化学习算法，它通过组内相对优势来优化策略，而无需训练价值网络。具体来说，对于每个查询，GRPO 会从当前策略中采样一组轨迹，然后计算这些轨迹的奖励均值和标准差，进而计算每个轨迹的组归一化优势值。这种方法特别适合工具调用任务，因为工具调用通常具有二元或标量奖励。GRPO 的优势在于它简化了训练过程，避免了价值网络带来的额外复杂性和不稳定性。
理解 GRPO 是理解本文方法的基础，因为 FISSION-GRPO 是在 GRPO 的基础上进行扩展的。本文的核心创新之一就是解决了 GRPO 在错误恢复方面的局限性。
工具使用 (Tool Use)
在本文中，工具使用指的是语言模型与外部 API 或环境进行交互的能力。模型需要根据用户查询生成合适的工具调用，包括选择正确的函数、提供正确的参数，并处理工具返回的执行结果。在多轮对话中，模型还需要跟踪状态变化，并根据之前的工具调用结果调整后续行为。工具使用是构建智能代理（Agent）的核心能力之一。
本文的研究焦点就是提升语言模型在工具使用场景中的鲁棒性，特别是当工具调用失败时的错误恢复能力。理解工具使用的挑战有助于理解本文的研究动机。
错误恢复 (Error Recovery)
错误恢复指的是当工具调用失败时，模型能够理解错误反馈、诊断问题原因，并采取正确的纠正措施的能力。在多轮工具使用中，错误恢复能力至关重要，因为 API 可能返回各种错误（如参数无效、状态冲突等），模型需要能够从这些错误中恢复，而不是陷入重复的无效尝试。错误恢复能力是衡量工具使用代理鲁棒性的关键指标。
错误恢复是本文要解决的核心问题。论文指出，现有方法（包括标准的 GRPO）在错误恢复方面表现不佳，而本文提出的 FISSION-GRPO 框架正是为了增强模型的错误恢复能力。
多轮对话 (Multi-turn Dialogue)
多轮对话指的是模型与用户或环境之间进行多次交互的场景。在工具使用上下文中，多轮对话意味着模型需要根据之前的对话历史和工具调用结果来生成下一步的响应。这要求模型具备状态跟踪能力，能够记住之前的交互结果，并据此调整当前的行为。多轮对话比单轮对话更具挑战性，因为错误可能会累积，并且模型需要处理更复杂的上下文信息。
本文的实验主要在多轮工具使用基准上进行，如 BFCL v4 Multi-Turn、TAU-Bench 等。理解多轮对话的挑战有助于理解本文方法的适用场景和评估方式。
强化学习 (Reinforcement Learning)
强化学习是一种机器学习范式，其中智能体通过与环境交互来学习策略，以最大化累积奖励。在语言模型训练中，强化学习通常用于对齐（Alignment）阶段，通过人类反馈或环境反馈来优化模型行为。在工具使用场景中，强化学习可以通过工具调用的成功与否来提供奖励信号，从而训练模型生成更有效的工具调用。
本文的方法基于强化学习框架，特别是 GRPO 算法。理解强化学习的基本概念有助于理解本文的训练过程和优化目标。
研究动机
现有方法在工具使用错误恢复方面存在严重不足。具体来说，当语言模型在多轮工具调用中遇到执行错误时，较小的模型（如 Qwen3-8B）往往陷入重复的无效调用循环，而不是解释错误反馈并尝试恢复。这种失败模式在 BFCL v4 Multi-Turn 基准上表现得尤为明显：Claude Sonnet 4 的错误恢复率超过 50%，而 Qwen3-8B 的平均错误恢复率仅约为 20%。标准的强化学习方法（如 GRPO）将错误仅仅视为稀疏的负奖励信号，这只能告诉模型“出错了”，但无法指导模型“如何恢复”。当所有采样的轨迹都失败时，组内优势方差会坍缩为零，导致梯度消失，学习过程停滞。此外，基于静态合成数据集的方法（如 ToolACE、LoopTool）虽然构建了错误-纠正对，但随着策略的演化，错误分布会发生变化，使得离线构建的错误语料库迅速过时，无法与模型当前的错误模式保持一致。
本文的目标是本文的目标是提出一个能够将执行错误转化为在线策略纠正性监督的框架，从而显著提升小型语言模型在工具使用中的错误恢复能力。具体而言，作者希望在 BFCL v4 Multi-Turn 基准上，将 Qwen3-8B 的错误恢复率提高 5% 以上，并将整体准确率提高 3-4 个百分点。此外，该方法还应该能够泛化到不同的工具生态系统（如 TAU-Bench 和 TAU2-Bench），并在不同模型规模（1.7B、4B、8B）上都取得一致的改进。最终目标是使小型模型能够在动态、多轮的工具使用环境中表现出更强的鲁棒性，从而适用于低延迟和设备端部署等场景。
与已有工作不同的是，本文的独特切入角度在于，它将执行错误视为宝贵的训练信号，而不是需要避免的负面结果。现有方法要么将错误作为稀疏的负奖励（标准 RL），要么使用静态的错误-纠正数据集（离线合成），这两种方式都无法提供针对模型当前错误模式的密集、有针对性的监督。本文提出的 FISSION-GRPO 框架通过“裂变”机制，将每个失败的轨迹转化为一个新的训练实例：通过一个经过微调的错误模拟器（Error Simulator）生成诊断性反馈，然后在增强的错误上下文中重采样多个恢复尝试。这种方法类似于核裂变，一个事件引发一系列反应，从而从单个失败中生成密集的训练信号。关键在于，这种监督是在线策略（on-policy）的，因为它基于模型当前策略产生的错误，并且通过错误模拟器生成的反馈是上下文感知的，能够指导模型进行具体的纠正。
核心方法
FISSION-GRPO 框架的核心思想可以用一个比喻来理解：当一个人犯错时，如果只是被告知“你错了”（稀疏的负奖励），他很难知道如何改正；但如果有人指出具体的错误原因并给出纠正建议（诊断性反馈），他就更容易从错误中学习。FISSION-GRPO 就是将这种思想应用到语言模型的工具使用训练中。该框架采用三阶段闭环流程：第一阶段是标准 GRPO 探索，模型生成多个工具调用轨迹，并根据组归一化优势进行更新，这维持了模型的基础工具使用能力。第二阶段是错误识别和纠正样本构建，通过一个经过微调的错误模拟器（Error Simulator）为失败的轨迹生成诊断性反馈，构建纠正性上下文。第三阶段是基于裂变的更新，从增强的错误上下文中重采样多个恢复尝试，进行有针对性的补救性更新。这三个阶段形成一个持续循环，使模型能够从自身的错误中学习，而不是从静态的、预先收集的数据中学习。
FISSION-GRPO 的核心创新点在于“裂变”（Fission）机制，它将单个执行错误转化为多个并行的恢复尝试，从而生成密集的训练信号。与已有方法最本质的区别在于，它解决了强化学习中错误恢复信号的稀缺性问题。标准 GRPO 将错误视为稀疏的负奖励，当所有采样轨迹都失败时，梯度消失，学习停滞。而 FISSION-GRPO 通过以下方式解决了这个问题：首先，它通过错误识别机制筛选出失败的轨迹；其次，通过一个学习到的错误模拟器为每个失败轨迹生成诊断性反馈；最后，从增强的错误上下文中重采样多个恢复尝试（称为“裂变组”），并基于这些恢复尝试计算优势值进行更新。这种方法将一个失败案例转化为多个并行的恢复尝试，从而在错误上下文周围密集化训练信号。此外，这种监督是在线策略的，因为它基于模型当前策略产生的错误，避免了离线数据与策略演化之间的分布不匹配问题。
方法步骤详情
FISSION-GRPO 的方法步骤可以详细描述如下：首先，在第一阶段（标准探索），对于每个查询，从当前策略中采样一组轨迹（例如 G=8 个），并计算每个轨迹的奖励，包括格式合规性奖励、功能正确性奖励和效率正则化奖励。然后计算组归一化优势值，并使用标准的 GRPO 目标函数更新策略。所有采样的轨迹都会被转发到第二阶段进行错误分析。在第二阶段（错误识别和纠正样本构建），通过一个两层过滤器来识别错误轨迹：如果格式奖励为零，则立即将轨迹标记为错误；否则，如果功能正确性奖励低于阈值（例如 δ_corr = 1），也将其标记为错误。对于格式错误，使用确定性的错误消息；对于语义错误，则查询错误模拟器 S_phi 来生成诊断性反馈 f。然后构建纠正性上下文 x_corr = [x; τ_err; f]，并将其存储在后进先出（LIFO）缓冲区中。在第三阶段（基于裂变的补救性训练），当缓冲区累积了足够的最近错误时，激活裂变机制。从缓冲区中弹出最新的纠正性上下文，并为每个上下文采样一个“裂变组”的恢复尝试（例如 G'=8 个轨迹）。
技术新颖性
FISSION-GRPO 的技术新颖性体现在以下几个方面：首先，它提出了“裂变”机制，将单个执行错误转化为多个并行的恢复尝试，这不同于传统的强化学习方法（如 GRPO）将错误视为稀疏负奖励的方式。其次，它引入了学习到的错误模拟器（Error Simulator），该模拟器通过监督微调（SFT）训练，能够生成逼真、上下文感知的诊断反馈，而不会泄露目标信息。这不同于使用固定错误消息或通用反馈的方法。第三，它采用后进先出（LIFO）缓冲区来存储纠正性样本，确保最新的错误被优先使用，从而保持纠正性批次分布与当前策略的接近程度。第四，它设计了时间依赖的复合奖励函数，包括格式合规性、功能正确性和效率正则化，并通过随时间衰减的权重来平衡语法和语义的重要性。最后，它通过可配置的触发间隔 N 来平衡纠正频率和计算效率，为实际部署提供了灵活性。
实验结果
本文在三个互补的多轮工具使用基准上进行了全面评估，结果表明 FISSION-GRPO 在所有设置下都取得了显著且一致的改进。在 BFCL v4 Multi-Turn 基准上，FISSION-GRPO 在 Qwen3 模型家族（1.7B、4B、8B）上都取得了最佳性能。对于 Qwen3-8B，FISSION-GRPO 将整体准确率从 42.75% 提高到 46.75%（绝对提升 4.0 个百分点），并将错误恢复率提高了 5.7 个百分点。在具体的子类别中，FISSION-GRPO 在 Base 子集上取得了 57.50% 的准确率（比 GRPO 的 50.50% 高出 7 个百分点），在 Miss Param 子集上取得了 38.00% 的准确率（比 GRPO 的 36.00% 高出 2 个百分点），在 Long Context 子集上取得了 48.00% 的准确率（比 GRPO 的 43.50% 高出 4.5 个百分点）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BFCL v4 Multi-Turn (Overall) | 整体准确率 (%) | 46.75% | GRPO: 42.75% | +4.00% |
| BFCL v4 Multi-Turn (Error Recovery Rate) | 错误恢复率 (%) | 50.6% | GRPO: 44.9% | +5.7% |
| TAU-Bench Retail (Qwen3-8B) | pass@1 (%) | 51.3% | GRPO: 39.1% | +12.2% |
| TAU-Bench Airline (Qwen3-8B) | pass@1 (%) | 40.0% | GRPO: 36.0% | +4.0% |
| TAU2-Bench Retail (Qwen3-8B) | pass@1 (%) | 36.8% | GRPO: 28.1% | +8.7% |
局限与改进
本文的局限性主要体现在以下几个方面：首先，评估范围有限。作者仅在 BFCL v4 Multi-Turn 和 TAU-Bench/TAU2-Bench 上进行了评估，这些基准都具有交互式错误反馈机制并允许重试。然而，该方法尚未在其他具有错误-重试动态的环境中进行验证，例如交互式代码调试或具有回退机制的网页导航。其次，计算开销问题。裂变机制通过为每个拦截的错误重采样 G' 个轨迹来引入额外的计算成本。虽然作者通过计算匹配的实验证明了在相同更新预算下增益依然存在，并且可以通过可配置的触发间隔 N 来权衡纠正频率和训练效率，但扩展到非常大的模型或需要昂贵真实 API 调用的环境可能会增加绝对成本。第三，错误模拟器的泛化能力虽然在跨域评估中表现良好，但其训练数据仅包含约 2000 个实例，并且仅覆盖 11 个领域。在更广泛或更专业的领域中，模拟器的性能可能会下降。第四，该方法依赖于一个经过微调的错误模拟器，这本身需要额外的训练数据和计算资源。虽然作者使用 Claude Sonnet 4 来生成模拟器的训练数据，但这可能引入偏差，并且模拟器的质量直接影响 FISSION-GRPO 的效果。
独立分析的弱点
尽管 FISSION-GRPO 取得了显著的成果，但仍存在一些可以改进的弱点。首先，错误模拟器的训练数据质量依赖于 Claude Sonnet 4 生成的诊断消息，这可能引入系统性偏差。改进方向是采用更强大的教师模型或结合人类专家反馈来提升模拟器训练数据的质量和多样性。其次，裂变机制在每次错误时都会重采样 G' 个轨迹，这可能导致计算资源分配不均。对于简单的错误，可能不需要那么多的恢复尝试；而对于复杂的错误，可能需要更多的尝试。一个潜在的改进方向是自适应地调整裂变组的大小 G'，根据错误的复杂性或历史恢复成功率来动态调整。第三，LIFO 缓冲区策略虽然确保了最新错误的优先使用，但可能忽略了某些反复出现的、难以解决的错误模式。可以考虑结合错误频率或难度权重来优化缓冲区的管理策略。第四，当前方法仅在工具使用场景中进行了验证，其核心思想（将错误转化为纠正性监督）可能也适用于其他需要从错误中学习的领域，如代码调试、数学推理等。然而，直接将框架迁移到这些领域可能需要针对特定领域的错误类型和反馈格式进行定制。
未来方向
未来研究方向可以从以下几个方面展开：首先，作者在论文中提到，裂变范式可以扩展到其他迭代细化领域，如代码调试和数学推理。这是一个很有前景的方向，因为这些领域同样面临从错误中学习的需求。其次，可以探索更高效的裂变调度策略，例如根据错误类型、模型置信度或历史恢复成功率来动态调整触发间隔 N 和裂变组大小 G'，以在性能和计算效率之间取得更好的平衡。第三，可以研究如何将 FISSION-GRPO 与更大的模型（如 70B 或 100B+ 参数）结合使用，以探索其在更强大模型上的效果和可扩展性。第四，可以探索将 FISSION-GRPO 与实时环境交互相结合，而不是仅依赖模拟器生成的反馈。例如，在安全沙箱中进行真实的 API 调用，以获取更真实的错误反馈，从而进一步提升模型的恢复能力。第五，可以研究如何将 FISSION-GRPO 应用于更复杂的多代理协作场景，其中多个代理需要协同工作，并且错误可能在不同代理之间传播。
复现评估
本文的复现性较好。作者在 GitHub 上开源了代码（https://github.com/zxzadm/Fission-GRPO），这为复现提供了基础。训练数据方面，作者描述了一个三阶段的数据构建流程：领域模式策划、轨迹合成和分层过滤，最终得到了 630 个高质量的训练实例。虽然作者没有直接发布数据集，但详细描述了数据构建过程，研究者可以据此重建。算力需求方面，所有模型都在单个节点（8×H800 80GB GPU）上使用 Verl 框架进行训练，这对于大多数研究机构来说是可以接受的。训练细节（如学习率、批大小、温度等）在论文中都有明确说明。然而，错误模拟器的训练需要额外的资源和 Claude Sonnet 4 的 API 访问权限，这可能会增加复现的门槛。总体而言，对于具备相应计算资源的研究者来说，复现本文的方法是可行的。
论文图表
图 1 展示了两个子图。(a) 展示了一个典型的失败案例：当 API 返回错误时，模型陷入幻觉重试循环，不断调用带有虚构参数（如 force=True）的函数，直到对话崩溃。(b) 报告了在 BFCL v4 Multi-Turn 基准上，不同模型规模（Qwen3-8B、Qwen3-32B、Claude Sonnet 4）和不同评估子集（Missing Parameter、Missing Function、Base、Long Context）的错误恢复率。结果显示，较小的模型（如 Qwen3-8B）错误恢复率较低（平均约 20%），而较大的模型或商业模型（如 Claude Sonnet 4）错误恢复率较高（超过 50%）。
这张图直观地展示了本文要解决的核心问题：较小模型在工具使用中的错误恢复能力不足。它为后续引入 FISSION-GRPO 框架提供了动机。