FinMCP-Bench：基于模型上下文协议的真实金融场景大语言模型智能体工具调用评测基准 FinMCP-Bench: Benchmarking LLM Agents for Real-World Financial Tool Use under the Model Context Protocol

数据构建分为三个主要阶段。第一阶段是单工具样本筛选：从1,484个单工具日志中随机抽取700个样本（S），由专家评审后保留145个高质量样本作为评测集；剩余784个样本（So）用于后续的样本合成。第二阶段是多工具样本构造，包含三个子步骤：(1) 工具依赖图构建——从183个多工具日志中提取工具对的依赖关系，即如果工具tj出现在紧跟在包含ti的组之后的组中，则提出候选依赖ti→tj，使用LLM（Qwen3-235B-2507）验证后形成包含65个节点和288条边的有向图；(2) 用户查询生成——在每个场景中采样工具对(ti,tj)，找到它们之间的最短路径作为工具链C，从So中选取包含每个工具ci的单工具样本si作为示例，使用Qwen3-235B-2507生成对应的用户查询；(3) 轨迹生成——将生成的查询发送到真实的Qieman MCP服务器，由Qwen3-235B-2507生成执行轨迹，保留正确保持依赖关系的样本，最终从1K候选中获得496个多工具样本，与183个真实样本合并后经专家评审保留249个。第三阶段是多轮样本构造：通过角色扮演框架采样用户画像（从Zhu et al. 2025a的角色池）和目标，使用Qwen3-235B-2507同时扮演用户和助手模拟多轮对话，从500个候选中经自动验证（检查所有用户查询是否被成功处理）后剩378个，再经专家评审后保留219个高质量样本。

FinMCP-Bench在技术上具有多项新颖之处。首先，它是首个基于MCP协议的金融工具调用评测基准，而MCP作为2024年才提出的新标准，此前尚无专门针对它的评测工作。其次，链式多工具样本构造方法是原创贡献，不同于传统的数据增强方法（如随机添加噪声或同义替换），该方法基于真实的工具依赖图进行结构化的样本合成，保证了样本的逻辑合理性和实际意义。第三，论文提出的评测指标体系（TP、TR、TF1、EMR）专门针对工具调用场景设计，特别是EMR指标首次在金融工具调用评测中引入了对工具组织结构的严格匹配要求，同组内工具可并行（顺序不敏感），但组间顺序必须严格对应。第四，评测框架同时覆盖单工具、多工具、多轮对话三种复杂度层次，能够全面评估模型在不同难度下的表现。第五，质量控制流程采用了两阶段方法——自动验证（检查工具执行是否成功）加六位领域专家的双盲评审（使用5点Likert量表在五个维度上评分），确保了评测基准的高质量。

独立分析FinMCP-Bench存在以下可改进的弱点。第一，样本数量相对有限，整个benchmark仅包含613个样本，对于统计显著性而言可能不够充分，特别是Hard难度仅有25个样本（占4.1%），难以对模型在极端复杂场景下的表现做出可靠结论。第二，评测指标体系未考虑工具调用的时间成本和资源消耗，在实际部署中，一个需要调用10个工具但全部正确的方案可能不如一个只调用5个关键工具但高效完成的方案，因此需要引入效率相关的指标。第三，评测框架假设模型在每一轮都有完整的对话历史可用（使用gold history），这与真实场景中模型需要维护自己的对话状态不同，可能高估了模型的实际表现，一个更严格的评测应该让模型自己管理上下文。第四，论文未探索不同提示策略（如few-shot、chain-of-thought等）对工具调用能力的影响，而在实际应用中，提示工程往往是提升性能的关键手段。第五，工具依赖图的构建仅使用了LLM验证，未引入人类专家的直接审核，可能引入系统性的验证偏差。第六，论文的评测忽略了工具参数填充的正确性，仅关注工具选择是否正确，而在金融场景中，错误的参数（如错误的基金代码或日期范围）可能导致严重的业务后果。

基于FinMCP-Bench的当前成果，未来研究可在多个方向上延伸。第一，扩展工具集和场景覆盖范围，纳入更多金融机构（如证券、保险、银行等）的工具和场景，构建更全面的金融工具调用评测生态。第二，开发针对工具依赖推理的专项训练方法，当前实验表明多工具和多轮场景是模型的主要瓶颈，需要设计专门的训练策略来提升模型对工具间依赖关系的理解，例如通过强化学习奖励正确的工具调用顺序。第三，引入更细粒度的错误分析框架，将工具调用错误分类为工具选择错误、参数填充错误、调用顺序错误、依赖关系理解错误等类型，为模型改进提供更精确的指导。第四，探索多智能体协作的工具调用方案，将复杂的金融任务分解给多个专门化的智能体协同完成，可能比单一智能体处理所有工具更高效。第五，研究工具调用的可解释性，开发能让用户理解模型为什么选择特定工具调用顺序的技术，这对于金融合规场景尤为重要。第六，将评测扩展到工具调用的安全性维度，评估模型在面对恶意工具或被污染的工具返回结果时的鲁棒性。第七，探索few-shot和chain-of-thought等提示策略对金融工具调用性能的提升效果。

从复现性角度来看，FinMCP-Bench具有一定的开放性但存在限制。论文提供了详细的实验设置描述，包括使用的六个模型及其具体版本（Qwen3-4B-Thinking、Qwen3-30B-A3B-Thinking、Qwen3-235B-A22B-Thinking、DeepSeek-R1、GPT-OSS-20B、Seed-OSS-36B），推理时使用gold conversation history而非模型自生成的历史，评测指标的计算方法也有明确定义。然而，论文未明确说明是否开源了benchmark数据集、评测代码或工具依赖图。613个样本的构建过程依赖于盈米基金的私有MCP服务器和10,000条匿名化的真实交互日志，这些原始数据不太可能完全公开。对于研究者而言，复现评测（在已公开的样本上运行模型）相对容易，但复现整个数据构建流程（特别是基于真实MCP服务器的轨迹生成）则较为困难。论文中提到的所有工具调用均连接到Qieman的MCP服务器，这意味着只有获得访问权限的研究者才能完全复现轨迹生成过程。算力需求方面，论文使用了多个大规模模型（最大235B参数），需要相当的GPU资源。总体而言，如果作者能公开评测数据集和评测脚本，将大大提升工作的可复现性和影响力。