SciAgentGym：面向LLM智能体的多步科学工具使用基准测试 SciAgentGym: Benchmarking Multi-Step Scientific Tool-use in LLM Agents
构建1780个科学工具环境与基准，揭示LLM在长序列科学推理中的瓶颈
前置知识
LLM Agent（大语言模型智能体）
LLM Agent是指将大语言模型作为核心推理引擎，结合外部工具调用、环境交互和反馈循环来解决复杂任务的系统架构。典型范式如ReAct（Reasoning + Acting），智能体在每一步先进行推理（Thought），再决定执行动作（Action），然后根据环境反馈（Observation）调整策略。这种架构使LLM能够突破纯文本推理的局限，通过实际执行工具获取精确计算结果、查询数据库、运行代码等。SciAgentGym正是基于这一范式构建的交互式评测环境。
本文核心研究对象就是LLM Agent在科学工具调用场景下的能力边界，理解Agent的基本交互范式是读懂本文的基础
工具调用（Tool Use / Function Calling）
工具调用是指LLM根据任务需求，生成结构化的函数调用请求（包含函数名和参数），由外部执行引擎实际执行后返回结果的能力。现代LLM（如GPT-5、Qwen3-VL等）已原生支持function calling格式，模型输出JSON格式的工具调用指令。在科学场景中，这些工具可能包括分子模拟（ASE）、化学信息学（RDKit）、生物序列分析（BioPython）等专业库的封装。SciAgentGym将1,780个科学工具组织为带有类型签名的函数接口。
论文的核心贡献就是构建了一个大规模科学工具集并评估Agent调用这些工具的能力，工具调用机制是整个研究的技术基础
依赖图（Dependency Graph）
在SciForge数据合成方法中，依赖图 $G_d = (V_d, E_d)$ 用于建模工具之间的类型兼容关系。图中每个节点代表一个工具，边 $(u, v)$ 表示工具 $u$ 的输出类型与工具 $v$ 的输入类型兼容（即存在类型满足关系 $?eta_{u_i} \preceq ?lpha_{v_j}$）。通过在这个图上采样有效的执行路径，可以自动生成逻辑一致的多步工具调用训练数据。这是SciForge方法的核心数据结构，使得训练轨迹的生成从人工标注变为自动化合成。
依赖图是SciForge方法的核心创新，理解它才能理解论文如何解决训练数据稀缺的问题
执行接地合成（Execution-Grounded Synthesis）
执行接地合成是SciForge的核心理念：训练数据的真值（ground truth）来自实际环境执行而非人工标注或LLM生成。具体而言，系统先在依赖图上采样工具序列，然后在真实环境中执行这些序列，将执行产生的输出作为golden trace。这种方法确保了训练数据的准确性和可执行性，避免了纯LLM合成数据可能存在的逻辑错误。此外，执行过程中的错误也被保留为error-recovery训练数据，教模型学会从失败中恢复。
这是论文提出的数据合成方法的核心哲学，区别于传统的静态数据集构建方式，使小模型能够获得超越大模型的工具使用能力
长序列推理（Long-Horizon Reasoning）
长序列推理指智能体需要执行多步操作（通常8步以上）才能解决的任务。在科学场景中，这类任务可能涉及：先查询数据库获取分子结构，再进行几何优化，然后计算能量，最后可视化结果。SciAgentBench将任务分为三个难度级别：L1（≤3步）、L2（4-7步）、L3（≥8步），其中L2+L3占比达79%。论文发现，随着交互步数增加，模型性能显著下降，这揭示了当前LLM在维持长序列推理连贯性方面的根本性挑战。
论文的核心发现之一就是长序列推理是当前模型的关键瓶颈，理解这一概念对于把握论文的贡献至关重要
研究动机
当前科学推理基准测试存在根本性的范式缺陷。现有数据集如ScienceQA、SciBench、MMMU、GPQA等采用静态问答范式，仅评估模型的最终答案准确性，完全忽略了科学工作中工具辅助的交互式推理过程。与此同时，通用工具使用评测（如ToolBench、BFCL）虽然关注工具调用能力，但缺乏对领域专用科学工具的覆盖。这导致了一个尴尬的评估真空：我们无法衡量LLM在真实科学工作流中编排多步工具调用、从执行错误中恢复、以及根据反馈调整策略的能力。论文通过实验数据揭示了问题的严重性：即使是GPT-5这样的顶级模型，在复杂科学任务（L3难度）上的成功率也从58.8%骤降至34.6%，平均成功率仅41.3%，说明长序列科学工具使用对当前模型构成了严峻挑战。
本文的目标是本文的目标是构建一个全面的科学工具使用评测生态，具体包括三个层面：第一，创建SciAgentGym——一个可扩展的交互式环境，集成物理、化学、生物、材料科学四个学科的1,780个领域专用工具，提供类型安全的执行基础设施；第二，开发SciAgentBench——一个分层评测套件，包含259个任务和1,134个子问题，从基础操作到长序列工作流全面测试智能体能力；第三，提出SciForge——一种基于执行接地的数据合成方法，通过工具依赖图生成逻辑感知的训练轨迹，使小模型能够获得超越大模型的科学工具使用能力。最终目标是推动科学智能体从静态知识问答走向动态工具辅助推理。
与已有工作不同的是，本文的独特切入角度体现在三个维度。首先是环境维度：区别于静态评测，SciAgentGym提供有状态的交互环境，支持多轮工具调用、错误恢复和中间结果积累。其次是评测维度：SciAgentBench通过分层设计（L1/L2/L3）精确定位智能体在工具编排流程中的薄弱环节，而非仅报告整体准确率。最后是训练维度：SciForge将工具环境从扁平集合形式化为依赖图，通过图采样和执行验证自动生成训练数据，这种execution-grounded的方法确保了数据的准确性和可执行性。这种'环境-评测-训练'三位一体的设计，使本文能够系统性地诊断问题、量化差距并提供解决方案。
核心方法
SciAgentGym的方法体系可以分为三个递进层次理解。直觉层面，科学研究本质上是一个'提出假设-执行实验-分析结果-调整策略'的迭代过程，LLM要成为有效的科学助手，就必须掌握这种多步工具编排能力。技术路线层面，系统首先构建一个分层的工具注册架构（SciAgentGym），将1,780个科学工具按学科组织，每个工具带有类型化的输入输出签名；然后设计分层评测框架（SciAgentBench），通过四阶段流水线（候选生成-难度筛选-执行验证-专家审核）构建259个高质量任务；最后提出图基数据合成方法（SciForge），在工具依赖图上采样执行路径，通过真实环境执行生成训练数据。这种'先建环境、再做评测、最后用数据合成提升能力'的递进设计，形成了从诊断问题到解决问题的完整闭环。
本文的核心创新在于将工具环境从扁平的函数集合形式化为结构化的依赖图 $G_d = (V_d, E_d)$，并在此基础上实现execution-grounded的数据合成。与已有方法的本质区别体现在：第一，与ToolLLM等通用工具评测不同，SciAgentGym专注于科学领域的专业工具，覆盖RDKit（化学信息学）、ASE（原子模拟）、SciPy（科学计算）、BioPython（生物信息学）、PyMatGen（材料科学）五大核心库；第二，与静态数据集不同，SciAgentBench的每个任务都经过实际环境执行验证，确保任务的可解性；第三，与纯LLM合成数据不同，SciForge的训练轨迹来自真实环境交互，包含错误恢复序列，这种'试错-纠正'的数据模式使模型能够学会从执行失败中恢复。实验表明，基于这种数据训练的SciAgent-8B（8B参数）超越了Qwen3-VL-235B-Instruct（235B参数），验证了数据质量对模型能力的决定性影响。
方法步骤详情
SciForge的数据合成流程包含四个关键步骤。第一步是构建工具依赖图：对于每个科学领域 $d$，构建依赖图 $G_d = (V_d, E_d)$，其中边 $(u, v)$ 表示类型兼容关系 $\beta_{u_i} \preceq \alpha_{v_j}$。第二步是约束采样：在依赖图上采样可执行的程序图 $P$，需要满足两个约束——参数绑定约束（每个工具输入必须绑定到兼容的前驱输出或根初始化器）和阶段感知采样（使用 $\epsilon$-贪心策略优先选择阶段合规的前驱，模拟数据库查询→计算→分析→可视化的科学工作流顺序）。第三步是前向执行：按拓扑序执行采样的程序图，环境返回验证后的输出或错误反馈，生成标准Golden Trace $T^* = (v_i, x_i, r_i, s_i)_{i=1}^L$。第四步是Trace-to-Question生成：使用LLM将验证后的执行轨迹转化为自然语言科学问题，通过语义抽象隐藏精确中间值（如将'浊度=47.3'映射为'略浑浊'），确保问题非平凡但可解。
技术新颖性
本文的技术新颖性体现在多个层面。在环境设计上，SciAgentGym采用类型安全的工具签名系统，每个工具 $v: (\alpha_{v_1}, ..., \alpha_{v_k}) \rightarrow (\beta_{v_1}, ..., \beta_{v_m})$ 具有明确的输入输出类型，支持自动验证，这区别于现有工具评测中缺乏类型约束的松散接口。在数据合成上，SciForge的阶段感知采样策略（公式4中的 $\epsilon$-greedy分布）平衡了逻辑工作流顺序（概率 $1-\epsilon$）和复杂非线性依赖探索（概率 $\epsilon$），这是首次在工具轨迹合成中引入领域知识引导的采样。在错误处理上，系统将执行失败视为有价值的训练信号而非丢弃，通过构建错误-恢复配对轨迹 $T_{aug}^*$，使模型同时学习正确用法和错误恢复策略。在评测设计上，SciAgentBench的SPL指标同时衡量正确性和效率，惩罚冗余工具调用，这比单纯的准确率指标更能反映真实科学工作流的质量要求。
实验结果
论文的实验结果揭示了三个核心发现。首先，当前模型在长序列科学任务上表现不佳：所有模型的准确率从L1到L3难度显著下降，GPT-5从58.8%降至34.6%，Claude-Sonnet-4从57.4%降至20.3%，平均而言模型在L1上达到47.4%，在L3上仅16.4%，相对性能下降65.4%。其次，工具增强对科学问题求解至关重要：Claude-Sonnet-4使用工具后从22.4%提升至35.9%（+13.5%），SciAgent-8B获得+6.8%的提升，说明纯推理无法替代工具提供的计算精度和领域功能。第三，跨学科性能存在显著差异：模型在物理和化学上表现较好，生命科学对工具依赖最强（平均工具增益+8.4%），材料科学工具增益+3.7%。失败模式分析显示，弱模型频繁陷入冗余工具调用循环（工具调用频率与成功率呈负相关 $r = -0.18$），而强模型能从错误中恢复：Claude-Sonnet-4的错误恢复率呈'Rise-Fall-Rise'模式，Qwen3-VL-8B则单调下降。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SciAgentBench总体评估（有工具） | Success Rate (SR, %) | SciAgent-8B: 30.1% | Qwen3-VL-235B-Instruct: 23.9% | +6.2%（绝对值），SciAgent-8B（8B参数）超越235B模型 |
| 物理学科工具使用 | Success Rate (SR, %) | SciAgent-8B: 33.0% | Qwen3-VL-8B-Inst: 24.0% | +9.0%（绝对值） |
| 化学学科工具使用 | Success Rate (SR, %) | SciAgent-8B: 35.2% | Qwen3-VL-8B-Inst: 28.6% | +6.6%（绝对值） |
| 材料科学工具使用 | Success Rate (SR, %) | SciAgent-8B: 9.1% | Qwen3-VL-8B-Inst: 7.1% | +2.0%（绝对值） |
| 生命科学工具使用 | Success Rate (SR, %) | SciAgent-8B: 31.0% | Qwen3-VL-8B-Inst: 24.1% | +6.9%（绝对值） |
| L3高难度任务（有工具） | Success Rate (SR, %) | SciAgent-8B: 20.3% | Qwen3-VL-8B-Inst: 7.0% | +13.3%（绝对值），在最难任务上提升最大 |
| 推理效率（SPL） | Success weighted by Path Length | SciAgent-8B: 0.16 | GPT-5: 0.24 | GPT-5效率更高，SciAgent-8B仍有改进空间 |
局限与改进
论文存在几个值得讨论的局限性。首先，SciAgentBench仅覆盖四个自然科学领域（物理、化学、材料、生命科学），未涉及工程、社会科学等其他需要工具辅助的学科，这限制了结论的普适性。其次，评测任务主要基于现有科学数据集（ScienceQA、GPQA等）转化而来，可能无法完全代表真实科研工作流的复杂性，实际科研中的开放性问题和创新性探索难以用现有benchmark衡量。第三，SciForge的依赖图构建依赖于预定义的类型系统，对于新出现的工具或跨领域工具组合，图的完整性可能不足。第四，训练数据合成过程需要实际环境执行，这带来了计算成本问题——论文提到SciAgent-8B使用11,074条轨迹训练，但未详细说明这些轨迹的生成耗时和计算资源需求。最后，错误恢复轨迹的构造方式（将失败-纠正配对）可能无法覆盖所有类型的失败模式，特别是那些需要完全重新规划策略的复杂失败场景。
独立分析的弱点
从独立分析的角度，本文存在以下几个弱点。第一，工具覆盖的广度与深度存在权衡：虽然声称有1,780个工具，但这些工具主要封装自五个Python库（RDKit、ASE、SciPy、BioPython、PyMatGen），对于实验设计、仪器控制、数据采集等科研前端环节的工具覆盖不足。改进方向是扩展工具集，纳入更多实验自动化工具和领域专用软件。第二，任务难度分级（L1/L2/L3）仅基于步骤数，未考虑单步操作的复杂度和工具调用的参数复杂度，可能导致同一级别内任务难度差异较大。改进方向是引入多维度难度评估，综合考虑步骤数、参数空间大小、错误恢复难度等因素。第三，错误恢复数据的构造方式较为简单——仅保留首次失败后的纠正序列，未探索多轮失败-恢复的复杂场景。改进方向是设计更复杂的错误注入和恢复策略，生成涵盖多种失败模式的训练数据。第四，跨学科迁移实验仅在物理、化学、材料、生命科学四个领域内进行，未验证科学工具使用能力能否迁移到非科学领域（如代码调试、数据分析等）。
未来方向
论文作者提出了几个重要的未来研究方向。首先是扩展工具生态：当前SciAgentGym的1,780个工具主要覆盖理论计算和数据分析，未来可以纳入实验自动化工具、仪器接口、数据采集系统等，构建从理论到实验的完整科研工具链。其次是提升长序列推理能力：论文发现当前模型在L3任务上表现最差（平均16.4%），未来可以探索更先进的训练方法，如强化学习（从环境反馈中学习）或课程学习（从简单到复杂的渐进式训练）。第三是错误恢复机制的深化：当前方法仅将错误作为训练数据，未来可以设计专门的错误检测和恢复模块，使Agent能够在执行过程中主动识别并纠正错误。基于本文成果可延伸的方向包括：将SciForge方法应用于其他领域的工具使用训练（如软件工程、数据分析）；开发更高效的工具选择算法，减少冗余调用；构建持续学习框架，使Agent能够随着工具库更新而持续适应。
复现评估
从复现评估的角度，本文在可复现性方面具有一定优势但也存在挑战。优势方面：论文的核心代码和数据预计会开源（基于Fudan NLP Lab的开源传统），SciAgentGym的工具主要基于成熟的开源Python库（RDKit、ASE、SciPy等），环境搭建相对可控。SciAgentBench的构建过程有明确的四阶段流水线描述，理论上可以复现。挑战方面：评测涉及多个闭源模型（GPT-5、Claude-Sonnet-4等），完整复现评测结果需要这些模型的API访问权限，成本较高。训练数据合成需要实际环境执行，生成11,074条轨迹的计算成本未明确说明。此外，论文中的专家审核环节（第四阶段）可能引入主观因素，不同专家的判断标准可能导致复现结果的差异。总体而言，核心方法（依赖图构建、阶段感知采样、执行接地合成）的复现难度中等，但完整的评测流水线复现需要显著的计算和API成本投入。
论文图表
