ASTRA：智能体轨迹与强化竞技场的自动合成 ASTRA: Automated Synthesis of agentic Trajectories and Reinforcement Arenas
一个完全自动化的端到端框架，通过可扩展的数据合成和可验证的强化学习来训练工具增强的语言智能体。
前置知识
工具增强语言模型（Tool-Augmented Language Models）
这类模型能够调用外部工具（如API、数据库、计算模块）来执行语言模型本身无法完成的任务。模型通过生成结构化的工具调用指令（如JSON格式的函数调用），接收工具返回的结果，并基于这些结果继续推理或生成响应。这种能力使模型能够访问实时信息、执行精确计算、操作外部系统，从而扩展其应用范围。
ASTRA的核心目标就是训练更好的工具增强语言智能体，因此理解这一概念是理解论文研究动机和应用场景的基础。
监督微调（Supervised Fine-Tuning, SFT）
这是将预训练语言模型适配到特定任务或行为模式的标准方法。它使用高质量的输入-输出对（例如，用户查询和对应的正确工具调用序列）来训练模型，通过最小化模型生成与参考答案之间的差异来优化参数。SFT能快速教会模型基本的任务格式和工具调用模式，但缺乏在线环境交互的反馈信号。
论文采用SFT作为训练的第一阶段，用于为模型打下坚实的工具调用基础，理解SFT的优缺点有助于理解ASTRA为何需要结合强化学习。
强化学习（Reinforcement Learning, RL）
在本文的语境下，强化学习指的是让语言智能体在可执行的环境中，通过与工具的多轮交互来试错学习。智能体根据其轨迹（一系列动作和观察）获得奖励信号，并使用策略梯度方法（如GRPO）更新模型参数，以最大化长期累积奖励。与SFT不同，RL允许模型探索更优的策略，而不仅仅是模仿给定的示例。
ASTRA的核心创新之一就是设计了可验证的RL环境和轨迹级奖励，这是模型性能超越SFT阶段、实现泛化能力的关键。
工具调用图（Tool-Call Graphs）
这是一个有向图，节点代表工具，边代表工具之间可能的调用顺序关系。论文利用这个图的静态拓扑结构来合成多样化的、结构合理的工具调用链。通过在图上进行随机游走，可以生成符合工具依赖关系的多步骤任务，这比完全由LLM自由生成更可控、更可靠。
这是ASTRA SFT阶段数据合成的核心技术，理解它才能明白如何自动生成高质量的工具调用轨迹，避免人工标注。
可验证环境（Verifiable Environments）
与使用LLM模拟工具响应不同，可验证环境是用Python代码实际实现的工具和规则。每个环境都与一个具体的、可分解的问答对相关联，工具调用的结果是确定性的，可以通过代码执行获得真实反馈。这保证了奖励信号的可靠性和训练过程的稳定性，是进行稳健的长时程在线RL的前提。
这是ASTRA RL阶段的核心创新，解决了现有方法依赖不可验证模拟环境、无法进行稳定多轮RL的根本问题。
研究动机
当前训练工具增强语言智能体的方法面临几个关键挑战。首先，许多方法需要大量人工干预来构建训练数据或设计环境，这限制了可扩展性和覆盖范围。其次，依赖LLM模拟环境的方法缺乏可验证性，工具执行、状态转换和反馈都由语言模型生成，而非明确的规则或可执行的后端。这种不可验证性从根本上限制了稳定的长时程、多轮在线强化学习，而确定性的转换和可靠的奖励信号在这种场景下至关重要。此外，一些方法将多轮轨迹分解为孤立的单步训练实例，这限制了智能体学习连贯的长时程、多轮决策的能力。最后，许多现有方法只关注单一的训练机制——要么只用监督微调（SFT），要么只用强化学习（RL），前者缺乏来自环境交互的在线学习信号，后者则受限于初始模型的能力。
本文的目标是本文旨在提出一个名为ASTRA的完全自动化、端到端的框架，用于通过可扩展的数据合成和可验证的多轮在线强化学习来训练工具增强的语言智能体。具体目标包括：1) 消除数据构建和验证过程中的人工干预；2) 生成多样化的、结构合理的工具调用轨迹用于SFT；3) 构建独立的、可代码执行的、规则可验证的环境用于RL；4) 设计一种统一的训练方法，结合SFT和在线RL，平衡任务完成和交互效率；5) 在多个智能体工具使用基准测试中达到同规模参数下的最先进性能，同时保持核心推理能力。
与已有工作不同的是，ASTRA的独特切入角度在于同时捕获和利用两种互补的拓扑结构。第一种是工具调用图的静态拓扑，它描述了工具之间可能的调用顺序关系，用于SFT阶段合成多样化的、结构基础的轨迹，从而灌输广泛且可迁移的工具使用能力。第二种是人类语义推理的丰富组合拓扑，它捕获了将复杂问题分解为多个子任务的认知过程，用于RL阶段将分解的问答轨迹转换为独立的、可执行的环境，从而支持确定性的多轮RL。这种双拓扑视角使得ASTRA能够先通过静态拓扑拓宽智能体的工具使用能力，再通过语义拓扑深化其在复杂场景下的能力，实现泛化与鲁棒性的平衡。
核心方法
ASTRA的方法可以类比为建造一座桥梁。SFT阶段如同使用预制的、标准化的钢梁（工具调用图中的工具链）来搭建桥梁的主体结构，确保其基本稳固和功能（广泛的工具调用能力）。RL阶段则像是让桥梁在真实的车流和天气环境（可验证的语义环境）中经受考验和优化，通过实际反馈（代码执行结果）来调整和强化关键连接点（多轮决策策略），使其能够应对复杂多变的实际需求。整体技术路线分为两大并行的组件：1) 工具链驱动的轨迹合成管道，用于生成SFT数据；2) 基于问答对的环境合成框架，用于生成RL训练环境。最终，使用一个统一的训练方法论，先进行SFT学习一个更强的初始策略，然后在多样化的合成环境中进行在线、多轮的RL训练。
ASTRA最本质的创新点在于它完全摒弃了人工标注和不可验证的模拟，转而利用两种自动化的、结构化的合成范式来构建训练信号。对于SFT，它不再依赖人工设计任务或让LLM自由生成，而是利用工具调用图的静态拓扑作为“骨架”，通过图上的随机游走和约束验证来合成多样且可执行的工具调用链，这保证了数据的结构多样性和执行有效性。对于RL，它不再使用LLM模拟工具响应，而是捕获人类语义推理的拓扑结构（将问题分解为多个有依赖关系的子问题），并将每个子问题自动转换为一个独立的、用Python代码实现的、具有确定性行为的工具环境。这种将“语义依赖图”直接编译为“可执行代码环境”的做法，是确保RL奖励信号可靠、训练过程稳定的核心。此外，F1风格的轨迹级奖励和无关工具混合策略，分别从优化目标和训练数据分布上，解决了工具使用中“任务完成”与“交互效率”的平衡，以及“工具选择”与“工具拒绝”的辨别问题。
方法步骤详情
方法主要分为数据合成和训练两个阶段。数据合成阶段包含两个并行管道：A) 工具链轨迹合成（用于SFT）：第一步，从MCP注册中心、API平台等来源收集工具文档，并进行模式规范化、分组和过滤（保留了1,585个MCP服务器，19,036个工具文档，覆盖41个领域）。第二步，为每个服务器构建工具链：使用LLM联合合成任务和工具链，然后聚合成一个有向转换图，并通过有约束的随机游走生成候选链，最后进行依赖验证和任务-链一致性检查。第三步，任务构建、增强和评分：通过链条件构造和服务器构造两种方式生成初始任务，然后进行多样性、复杂性和角色增强，并基于问题质量、场景真实性和工具使用必要性三个维度进行评分过滤。第四步，通过多轮交互收集轨迹：使用Qwen-Agent处理工具调用循环，工具池包含已部署的MCP服务器（真实执行）和仅文档的MCP服务器（使用模拟器，注入20%的失败率以模拟真实世界的不可靠性）。第五步，奖励建模：设计了一个自动化的轨迹质量评估管道，包含查询理解、规划、工具响应理解、规划、工具调用状态、简洁性、最终答案质量七个维度，取平均值得到最终奖励。B) QA环境合成（用于RL）：第一步，QA实例合成：将每个实例形式化为一个主问题q0、主答案a0和一组中间子问答对S，通过两种模式（问题条件生成和无条件生成）合成，并捕获其依赖图G。第二步，质量验证：过滤掉不需要工具调用的子问题（仅允许在叶节点），并从依赖一致性、子问题原子性、序列合理性和任务完整性四个维度进行评分，只有通过所有阈值的实例才被保留。第三步，环境合成：为每个非叶子节点的子任务(qi, ai, di)生成一个工具规范文档，并进行复杂度扩展；然后生成工具调用声明，并合成Python工具实现代码；最后在沙箱中执行验证，确保输出包含目标答案ai。第四步，子环境合并：识别功能等价的同质子问题（例如不同城市的天气查询），将它们合并到一个工具实现中，通过扩展底层数据结构来避免动作空间膨胀。训练阶段：首先，使用SFT在两个模型（Qwen3-14B和Qwen3-32B）上训练两个epoch，最大序列长度为20k tokens。然后，进行RL训练：采用无关工具混合策略，为每个训练实例添加来自多个语义相似度带的任务无关工具（使用Qwen3-Embedding-8B计算工具嵌入，然后基于余弦相似度分为高、中、低三个带）；采用F1风格的轨迹级奖励，计算召回率r（解决的子任务比例）和精确率p（工具调用效率的倒数），然后计算调和平均数；使用GRPO算法进行策略优化，并采用自适应批次填充策略来确保每个训练步骤都有完整的有效批次数据。
技术新颖性
ASTRA的技术新颖性体现在多个层面。首先，在数据合成层面，它首次将工具调用图的静态拓扑与人类语义推理的组合拓扑明确区分开，并分别用于SFT和RL两个阶段，这种“双拓扑”视角是独特的。其次，在环境构建层面，它提出的“语义拓扑提取-环境合成”范式，将抽象的推理依赖关系自动编译为具体的、可执行的Python代码环境，这比使用LLM模拟环境或手动设计环境都更加自动化和可验证。第三，在训练策略层面，它提出的F1风格轨迹级奖励，同时优化任务完成（召回率）和交互效率（精确率），避免了仅优化召回率导致的工具调用爆炸或仅优化精确率导致的过度保守，这在多轮工具使用RL中是一个关键的设计。第四，无关工具混合策略，通过基于语义相似度带的工具采样，为模型提供了辨别“相关工具”和“无关工具”的负样本信号，这比随机添加无关工具或完全不添加都更有效。第五，在基础设施层面，它对SFT的checkpointing管道和RL的批次填充策略进行了针对性优化，以支持长上下文训练和稳定的在线RL，这些工程实践对复现者具有重要参考价值。
实验结果
ASTRA在多个智能体工具使用基准测试中取得了与同规模模型相比最先进的性能，并接近闭源系统的水平，同时保持了核心推理能力。具体而言，在BFCL-MT基准上，ASTRA-32B-thinking-v1在Overall指标上达到64.25，显著优于开源基线如Qwen3-32B的49.63和LoopTool-32B的57.75，并接近闭源模型Claude-Opus-4.5的68.38。在τ2-Bench上，ASTRA-32B-thinking-v1的Overall得分为63.70，同样大幅领先开源基线（如Qwen3-32B的49.70）并接近闭源模型（如Claude-Opus-4.5的85.79）。在ACEBench上，ASTRA-32B-thinking-v1的Overall得分为71.88，表现强劲。消融研究表明，SFT和RL两个阶段都带来了持续的增益，其中RL阶段贡献了最大的性能提升。例如，对于14B模型，SFT将BFCL-MT的Overall得分从44.50提升到48.50（+4.00），而后续的RL进一步将其提升到58.13（+13.63）。行为分析显示，SFT模型倾向于生成更简洁的输出（平均每子任务686.4 tokens），而RL模型则收敛到一个中间长度（898.6 tokens），比原始模型（1096.7 tokens）更高效，但比SFT模型更具探索性。在非智能体推理基准AIME2024和AIME2025上，ASTRA模型的表现与原始Qwen3模型基本持平甚至略有提升，表明该方法在增强工具使用能力的同时，没有损害核心推理能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BFCL-MT (Overall) | Overall Score | ASTRA-32B: 64.25 | Qwen3-32B: 49.63, Claude-Opus-4.5: 68.38 | +14.62 (vs Qwen3-32B) |
| τ2-Bench (Overall) | Overall Score | ASTRA-32B: 63.70 | Qwen3-32B: 49.70, Claude-Opus-4.5: 85.79 | +14.00 (vs Qwen3-32B) |
| ACEBench (Overall) | Overall Score | ASTRA-32B: 71.88 | Qwen3-32B: 59.79, Claude-Opus-4.5: 82.09 | +12.09 (vs Qwen3-32B) |
| AIME2024 (Avg) | Pass Rate | ASTRA-32B: 81.30 | Qwen3-32B: 82.70 | -1.40 (基本持平) |
局限与改进
尽管ASTRA取得了显著成果，但仍存在一些局限性。首先，当前的环境合成框架主要针对单轮用户交互设计，尚未扩展到多轮用户交互场景，这限制了其在需要持续对话和澄清的复杂交互任务中的应用。其次，环境合成过程本身可能计算成本高昂，特别是代码生成和沙箱验证步骤，这可能限制其在资源受限环境下的可扩展性。第三，F1风格的奖励虽然平衡了任务完成和效率，但在某些极端场景下（例如，任务本身要求大量探索性工具调用）可能不是最优的，需要更精细的奖励塑形。第四，无关工具混合策略依赖于预先计算的工具嵌入和相似度，这增加了训练管道的复杂性，并且其效果可能对嵌入模型的质量敏感。第五，论文主要在特定的基准测试上进行评估，这些基准测试可能无法完全代表真实世界中工具使用的全部复杂性和多样性。
独立分析的弱点
ASTRA的潜在弱点可以从几个具体场景来分析。首先，在工具文档质量参差不齐的真实场景中，工具链合成和任务构建的质量可能会显著下降，因为当前的过滤阈值可能无法有效处理模糊或错误的工具描述。改进方向是开发更鲁棒的工具文档解析和标准化模块，甚至引入工具文档的自动纠错机制。其次，将语义依赖图编译为Python代码环境的过程是自动化的，但生成的代码可能效率低下或存在安全漏洞。改进方向是引入代码静态分析、性能剖析和更严格的沙箱隔离，并对生成的代码进行优化。第三，F1奖励中的精确率项p = ˆn / (c + ε)假设所有工具调用的成本相同，但在实际应用中，不同工具调用的计算成本、延迟或API费用差异巨大。改进方向是引入加权的精确率项，根据工具的实际成本进行惩罚。第四，当前的训练完全在合成数据上进行，尽管这些数据具有多样性，但仍可能无法完全覆盖真实世界的所有边缘情况。改进方向是引入少量高质量的真实世界轨迹数据进行混合训练，或设计一种在线学习机制，允许模型在部署后从真实交互中持续学习。
未来方向
作者明确提出了几个未来研究方向。首先，将ASTRA扩展到包含多轮用户交互的训练和评估中，以提高对演变意图和交互反馈的鲁棒性，同时保持可验证性和可复现性。其次，探索更高效、更具成本效益的自动化环境合成方法，例如，在代码生成之前，先对QA派生的拓扑进行细化和验证，将经过验证的拓扑作为先验信息，仅为高置信度的规范实例化代码环境。基于ASTRA的成果，还可以延伸出更多方向：1) 将ASTRA的双拓扑思想应用于其他领域，如多模态智能体（结合视觉、语音工具）或具身智能体（控制物理机器人）；2) 探索更先进的强化学习算法，如基于模型的RL或层次化RL，以进一步提升长时程决策能力；3) 研究如何将ASTRA生成的合成环境与少量真实环境数据相结合，进行混合训练；4) 开发ASTRA的轻量化版本，使其能够在边缘设备或资源受限的服务器上运行，用于特定垂直领域的智能体训练。
复现评估
ASTRA在可复现性方面做得非常出色。作者完全开源了整个框架，包括数据合成管道、合成的环境以及训练好的模型，代码托管在GitHub（https://github.com/LianjiaTech/astra）。这为研究社区提供了宝贵的资源。复现ASTRA的主要挑战在于计算资源需求。SFT阶段需要在20k tokens的上下文长度上进行训练，并使用了上下文并行（CP=2或CP=4），这需要多GPU服务器。RL阶段需要在线生成轨迹并与代码沙箱交互，计算成本可能更高。此外，数据合成过程本身也需要调用LLM（如GLM-4.6-FP8）来生成工具链、任务、代码等，这会产生API调用成本。总体而言，对于拥有充足计算资源和LLM访问权限的研究团队来说，复现ASTRA是完全可行的，但需要仔细配置训练基础设施和数据合成流程。
论文图表
