面向用户的多轮对话生成与规模化的工具使用 User-Oriented Multi-Turn Dialogue Generation with Tool Use at scale
提出面向用户模拟的多轮工具对话生成框架，显著提升长期任务型智能体的稳健性与一致性。
前置知识
大型推理模型（LRM）
论文将具备强推理能力的大型语言模型视为自主智能体的骨干，负责在复杂任务中进行高层决策、分解子任务、选择工具并处理工具结果。LRM不仅生成文本，还在多轮交互中维持状态、记忆先前上下文，并根据中间结果动态调整策略。理解LRM有助于把握论文为何强调长期连贯性与状态保持，以及为何在训练中需要高质量、真实交互的数据来提升工具使用的可靠性。
论文的方法围绕LRM在多轮工具使用场景下的训练与评估展开，理解LRM的角色有助于把握任务分解、状态维护与工具执行之间的耦合。
多轮对话与状态保持
与单轮查询不同，多轮对话要求模型在多步交互中记住上下文、跟踪用户意图变化并处理中间工具输出。论文强调真实场景往往包含澄清、逐步请求和反馈循环，因此训练数据应体现逐步推进的目标分解与信息积累。状态保持还意味着工具执行的结果会改变对话中的信息基线，模型需要在后续轮次中基于这些变化做出正确决策，而非依赖一次性完成的简化路径。
论文通过模拟用户行为生成长轨迹数据，以训练模型在多轮情境中的稳健性，理解状态保持是评估多轮工具使用能力的关键。
工具使用与函数调用
工具使用指模型通过调用外部API或函数获取信息、执行操作并解析返回结果。函数调用是实现工具使用的具体机制，要求模型正确选择工具、构造参数并解释输出。论文指出，现有数据集常依赖静态、固定的工具集，限制了模型对未知工具组合的泛化能力；因此，动态合成领域专属工具并生成可执行的对话轨迹，是提升长期协作能力的关键。
论文核心创新在于动态合成工具并生成可执行轨迹，理解工具使用机制有助于评估模型的工具选择、参数生成与错误处理能力。
研究动机
当前面向工具使用的多轮对话数据集与生成方法存在明显的局限性，难以满足现实世界中人类与智能体的长期、迭代协作需求。论文指出，现有数据通常依赖静态、固定的工具集，无法覆盖开放域、跨领域的真实场景，导致训练出的模型在面对未知工具组合时泛化能力不足。更重要的是，许多数据生成流程偏向单轮轨迹，即用户提出一个复杂请求，智能体在一轮内给出最优的工具调用序列，省略了澄清、逐步请求和反馈等真实对话要素。这样的数据无法反映现实中的互动节奏，模型难以学习到对长期状态的跟踪、对中间结果的纠错以及对目标的阶段性分解。论文以静态工具集、单轮高效完成任务的局限性为切入点，强调需要一种能生成高密度、可验证、真实多轮轨迹的训练数据，以提升模型在长线任务中的鲁棒性和工具使用的一致性。
本文的目标是本文的目标是建立一个可扩展、以用户行为驱动的多轮对话生成框架，能够产生高质量、长轨迹的工具使用数据，用于训练大型推理模型作为自主智能体在现实场景中的长期协作能力。作者希望通过解耦任务与交互，结合专用的用户模拟器来模仿真实人类的行为规则，从而在训练数据中保留逐步请求、反馈循环和中间验证等要素。同时，框架需要具备插件化、可从任意状态启动的能力，以便在不同领域、不同复杂度的任务中快速扩展数据多样性，并通过可执行的SQL后端等真实环境，确保工具输出的可验证性与真实性。最终目标是提升模型在多轮任务完成中的一致性、对中间状态的正确记忆，以及对工具调用策略的长期适配能力。
与已有工作不同的是，与以往依赖固定工具集和单轮轨迹的做法不同，本文的独特切入在于引入面向用户的模拟范式，将任务生成与用户交互显式解耦。通过专门的用户模拟器来控制请求节奏、逐步提供反馈，迫使智能体在多轮对话中进行中间推理、澄清与验证，而非一次性输出最终答案。此外，论文提出将工具执行落地到可执行的SQL环境，利用真实数据库的读写操作来生成工具输出，从而避免仅靠模型模拟带来的幻觉和不一致问题。这种“动态合成工具、插件化启动、以及基于执行环境的多轮数据生成”组合，旨在弥补现有静态工具集和单轮数据的不足，提升长期协作场景中的数据密度、可验证性与泛化能力。
核心方法
论文的方法框架分为两大阶段：先是对任务导向的多轮对话生成管线进行构建，再通过面向用户的模拟范式将其升级为更具现实性的长轨迹数据。整体思路是让一个基于LRM的生成器在无固定工具集的前提下动态合成领域特定工具、数据库模式和任务描述；随后，通过用户模拟器把任务拆解为阶段性请求，逐步推进对话，使智能体在多轮交互中进行推理、工具调用、结果分析和错误处理。该流程强调插件化和可扩展性，可以从任意状态启动，甚至在现有对话中注入工具使用需求，从而快速扩展训练数据的多样性与密度。通过这种方式，训练数据不仅包含最终答案，还记录了中间状态、多次工具调用的结果以及用户反馈，形成可验证、可追踪的长期协作轨迹。
本文的核心创新在于把“任务导向”和“用户导向”两个维度解耦并组合。传统方法往往让一个全知模拟器一次性完成任务，产出单轮高效轨迹，难以覆盖真实交互中的反复确认与反馈循环。作者提出使用专用用户模拟器，遵循人类行为规则（如逐步请求、逐轮反馈），迫使智能体在多轮中进行中间推理与纠错；同时，工具输出不再完全由模型假设生成，而是落地到可执行的SQL环境，确保输出的真实性和可验证性。这种动态工具合成、插件化启动和执行驱动的组合，显著提升了长期协作数据的质量和密度，使模型在多轮场景中的稳健性、对工具选择的一致性以及对长期状态的维护能力得到增强。
方法步骤详情
方法的核心步骤可概括为以下几环：第一阶段，工具准备与预处理。系统以一个种子工具集为起点，利用LRM生成工具规格（名称、描述、所需参数）并扩展至多达十个互补工具，形成多样化的领域工具池。接着对工具进行预处理，预测每个工具返回值的JSON模式，确保输出可机器验证，并维持跨工具的一致性（如共同字段的数据类型）。第二阶段，任务与对话生成。生成器基于工具集产出带有难度标注的任务描述及其评估标准，生成阶段性的对话内容并通过专用的用户模拟器逐步推进对话，模拟真实用户在每轮只提出一个或两个子任务、并基于工具输出给出反馈。第三阶段，SQL驱动的执行与验证。工具执行通过与真实数据库交互来产生输出，对话记录中的中间状态被持久化，验证模块则依据预定义的评价标准对轨迹进行筛选，保留高质量、高密度的多轮轨迹。整个流程是可插拔的，可以无缝替换任一组件并从任意状态启动。
技术新颖性
论文在技术层面的新颖性体现在三个方面。第一，动态合成领域特定工具并伴随可验证的输出模式，而非依赖固定工具集，提升了跨域泛化能力。第二，引入以用户行为驱动的交互范式，通过专门的用户模拟器把任务拆解为阶段性请求和反馈循环，使训练数据包含真实的澄清、纠错和中间推理，而非单轮快速完成的轨迹。第三，将工具输出落地到可执行的SQL环境，确保中间状态与结果的真实性，降低模型对非现实输出的依赖，从而提高长期工具使用的一致性和鲁棒性。这些创新组合使得数据生成管线能够在不同领域快速扩展，并产出高密度、可验证的长期协作轨迹，显著提升了模型在多轮工具使用场景中的表现。
实验结果
实验结果表明，面向用户模拟的多轮数据在长期、阶段性任务中的表现显著优于静态基线。以Qwen3-30B-Thinking-2507为例，在τ2 Telecom 子任务上的Pass@1从基线的22.8提升至42.1，增幅约85%，而BFCL多轮子任务从53.8提升至55.5，展示出对长期状态维护的明显收益。相较任务导向数据，用户导向与SQL执行组合在多个τ2领域的稳健性更强，特别是在需要持续状态追踪的Telecom场景。不同规模模型的趋势一致：Qwen3-4B-Thinking-2507在Telecom的提升为36.8 vs 21.1，BFCL多轮为52.7 vs 50.9。用户导向数据对τ2任务的提升尤为显著，表明长时间交互中的目标维护和工具使用一致性得到增强。执行落地的SQL环境比纯模拟工具输出更能降低幻觉风险，提升工具选择的可靠性与错误恢复能力。此外，生成管线的可扩展性与可插拔性使得不同领域的数据能快速积累，模型在多次重复试验中的Pass@k指标也表现出更高的稳定性，表明学习到的工具使用策略更具鲁棒性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BFCL Multi-turn | Pass@1 | 55.5 | 53.8 | 1.7个百分点 |
| τ2 Telecom | Pass@1 | 42.1 | 22.8 | 19.3个百分点 |
局限与改进
尽管本文在数据质量与长期稳健性方面取得显著提升，但仍存在若干局限。首先是生成成本与资源开销显著增加：用户导向管线需要多轮模拟、对工具输出进行真实执行以及验证，整体延迟和GPU消耗明显高于任务导向管线，文中报告的任务导向管线平均每条轨迹延迟约0.64秒、用户导向约4.11秒，吞吐量下降明显。这对大规模生产海量数据提出了实际挑战，尤其在没有高效并行化和缓存机制的情况下。其次，执行落地虽提升真实性，但也引入环境耦合：数据库模式与工具调用逻辑必须高度对齐，长轨迹中状态追踪错误可能带来错误传播，模型在面对部分信息或模糊数据库视图时表现出一定的鲁棒性不足。再者，跨域泛化仍需进一步验证，论文主要在τ2等基准上展示收益，实际跨领域迁移和未知工具组合的适应性尚需更多实验。最后，复现性受制于对大规模计算资源的依赖，以及对数据管线各组件的精细配置要求。
独立分析的弱点
论文的潜在弱点集中在成本与可控性之间的权衡。用户导向数据虽能提升长期协作能力，但高密度轨迹与执行验证显著拉长生成时间、增加算力开销，导致在同等资源下难以覆盖大规模训练集。此外，环境耦合使得数据质量高度依赖数据库设计与工具规范的对齐，若出现字段类型错位、状态更新不同步等问题，容易引发错误传播，影响后续训练信号的稳定性。为改进，可探索更高效的状态缓存与并行化策略，降低单轨迹成本；引入鲁棒的状态重置与错误恢复机制，减少长轨迹中的累积偏差；同时在工具预处理阶段引入更强的类型与约束检查，确保跨轮输出的一致性。也可以在数据管线中增加多样的错误注入场景，以提升模型对异常与部分信息的鲁棒性。
未来方向
作者已提出的未来方向包括将SQL执行与更多现实场景的工具结合、提升跨域泛化能力，以及优化生成管线的效率与可扩展性。基于本文成果，可进一步探索在不同数据库规模、不同SQL方言下的鲁棒性，以及将工具输出落地到非结构化数据源（如图像、文本检索）等场景。另一个方向是引入自适应的任务难度调节和动态工具生成策略，使训练数据更贴近真实用户的渐进式需求。最后，建立跨域评估框架，衡量模型在新领域、未知工具组合下的迁移能力，将有助于把本文的多轮数据方法推广到更广泛的智能体应用场景。
复现评估
论文给出了较为完整的训练与评估细节，包括使用DeepSpeed ZeRO-3、FlashAttention-2、bfloat16精度等实现细节，以及AdamW优化器的设定。但要完整复现实验，仍需大量计算资源（论文报告使用32块H100 GPU的4节点部署）和对训练数据管线的精细控制。数据来源来自Nemotron等公开数据集的扩展，文中也说明了在评测中对τ2等基准的使用与排除规则。总体而言，若具备同等规模的GPU资源并严格复现数据管线参数，复现难度中等偏高；若资源受限，复现可能需要显著简化数据规模或寻找替代的低算力实现路径。
论文图表
词云展示SQL执行数据覆盖的多样现实领域，突出跨域分布的广泛性。
帮助读者直观理解数据来源的多样性及其对跨域训练的重要性。
图示比较BFCL和Nemotron数据集中工具类别的分布，揭示静态数据集中的长尾现象。
揭示现有数据在领域覆盖上的不足，解释论文为何要引入动态合成与用户导向的多轮数据。
通过t-SNE可视化，呈现BFCL、Nemotron等数据集在语义域上的分布，显示部分域的孤立性。
支撑论文对跨域连通性不足的论点，凸显新框架在域间桥梁构建方面的潜在优势。
表格对比任务导向与用户导向数据管线的推理效率，包括平均延迟、吞吐量和GPU资源使用。
帮助评估在追求真实多轮数据时的成本-收益权衡。