FinToolBench：面向真实世界金融工具使用的 LLM 智能体评测基准 FinToolBench: Evaluating LLM Agents for Real-World Financial Tool Use
首个可运行的金融工具使用基准，760工具+295题+合规评估
前置知识
工具增强型LLM智能体（Tool-Augmented LLM Agent）
这类智能体将大语言模型与外部工具（如API、数据库查询、计算模块）结合，通过交替进行推理和工具调用来完成复杂任务。经典范式如ReAct框架，智能体在每一步先「思考」（推理当前状态），再「行动」（调用工具），然后「观察」（接收工具返回结果），如此循环直到得出最终答案。与纯文本生成不同，工具增强智能体能够获取实时数据、执行精确计算，从而避免「幻觉」问题。在金融场景中，这意味着智能体可以将自然语言请求转化为一系列API调用来获取实时行情、公司财务数据或宏观经济指标。
本文的核心就是评测这类智能体在金融领域工具使用的能力，包括工具选择准确性、参数构造正确性和执行成功率。
金融合规约束（Finance Compliance Constraints）
金融行业对AI工具有着区别于其他领域的特殊约束要求。首先是时效性（Timeliness）：金融数据的价值随时间快速衰减，使用过时数据（如用日收盘价回答「当前汇率」问题）等于给出错误答案。其次是意图约束（Intent Restraint）：智能体必须严格区分信息查询和交易操作，未经明确授权不得将查询升级为交易行为。最后是领域对齐（Domain Alignment）：工具链必须与查询的监管领域一致（如加密货币查询不能使用股票市场工具）。这三类约束在传统通用工具评测中几乎不存在，却是金融从业者最关心的指标。
本文的创新之处正是引入这三个合规维度的量化评测（TMR/IMR/DMR），这构成了论文的核心贡献。
评测基准与工具库（Benchmark & Tool Library）
评测基准是一组标准化的问题集和评估协议，用于衡量AI系统在特定任务上的表现。工具库则是智能体可以调用的外部工具集合。现有工具学习基准（如API-Bank、StableToolBench）主要关注通用API调用的正确性，很少涉及领域特定的合规约束。而现有金融基准（如FinanceBench、FinQA）专注于知识问答或文档分析，几乎不包含可执行的工具。这意味着金融领域的工具增强智能体一直缺乏一个既包含真实可执行工具、又能评估领域合规性的评测标准。
理解基准和工具库的概念有助于把握本文填补的空白：将真实可执行的金融工具与领域合规评测相结合。
LLM-as-a-Judge（LLM作为评判者）
由于开放式问题的答案正确性难以自动化评分，近年来研究者使用LLM本身作为评判工具来打分。这种方法通过结构化的评分标准（rubric），让LLM对智能体的输出进行多维度打分。代表工作包括MT-Bench和G-Eval。然而，LLM评判存在不稳定性：同一问题多次评判可能给出不同分数，且对提示词设计敏感。为了降低方差，常见做法是重复评判多次取平均值，或采用多数投票机制。本文使用GPT-5.1作为评判模型，对每个答案重复评判三次来确保评分稳定性。
本文的Soft Score和合规指标（TMR/IMR/DMR）都依赖LLM评判，理解这一机制对评估结果的可靠性至关重要。
研究动机
当前LLM智能体在金融领域的工具使用评测存在严重的结构性缺陷。一方面，通用工具学习基准（如API-Bank、StableToolBench、BFCL）侧重于API调用的可执行性，但几乎不涉及金融领域特有的合规约束——一个智能体可能完美执行了工具调用，却使用了过时数据回答「当前汇率」问题，或在未获授权时将信息查询升级为交易操作，这些在金融场景中都是不可接受的失败。另一方面，现有金融评测基准（如FinanceBench、OpenFinData、FinQA、FLAME）聚焦于静态文本分析和文档问答，几乎没有涉及可执行工具。例如，Finance Agent Benchmark虽然引入了工具使用，但既未发布标准化的大型工具库，也未定义调用级别的合规指标。这就造成了一个关键盲区：我们无法区分一个「工具调用成功但选择不当」的智能体和一个「真正可靠」的智能体。具体来说，论文指出三种反复出现的失败模式：（1）时效性失败——使用每日快照回答需要实时数据的问题；（2）意图越界——将信息查询升级为交易行为；（3）领域错配——用股票工具回答加密货币问题。
本文的目标是本文的具体目标是构建第一个面向真实世界金融场景的、可运行的工具使用评测基准FinToolBench，实现三个可量化的目标：（1）提供一个包含760个可执行金融工具的大规模工具库，覆盖RapidAPI和AkShare两个互补的工具生态；（2）构建295个严格筛选的、必须使用工具才能回答的问题集，包含166个单工具问题和129个多工具问题；（3）设计一套全新的评测框架，将传统的能力指标（工具调用率、执行成功率）与金融领域的合规指标（时效性失配率TMR、意图失配率IMR、领域失配率DMR）分离评估，从而全面衡量智能体的工具使用是否既「能用」又「合规」。
与已有工作不同的是，本文的独特切入角度在于：它不是简单地增加金融问答题目或扩大工具数量，而是首次将「调用级别的合规审计」引入工具使用评测。已有工作要么只看最终答案是否正确（金融QA基准），要么只看工具是否成功执行（通用工具基准），却忽略了工具调用过程中每一步是否满足金融领域的约束条件。FinToolBench通过为每个工具标注三个金融属性（时效性、意图类型、监管领域），使得每次工具调用都可以被追溯审计。当智能体调用一个「仅更新频率为daily」的工具来回答需要「realtime」数据的问题时，即使工具调用本身没有报错，评测系统也能识别出这是一个时效性失配。这种从「执行正确性」到「执行合规性」的评测范式转变，是本文区别于所有已有工作的核心视角。
核心方法
FinToolBench的整体思路可以类比为一个「金融工具使用的驾照考试」：不仅考你能不能开车（工具调用能力），还要考你是否遵守交通规则（金融合规约束）。技术路线分为两大块：基准构建和评测框架。在基准构建方面，论文采用了一个8阶段的流水线：从RapidAPI和AkShare两个源头收集原始工具（5470个候选），经过规则过滤、可执行性验证、标准化归一、金融属性标注等步骤，最终得到760个可执行工具的统一清单。问题集则从FinanceBench和OpenFinData中筛选，通过语义检索、多数投票验证和人工审核，确保每个问题都必须使用工具才能回答。在评测框架方面，论文将评测指标分为两组：能力指标（TIR工具调用率、TESR执行成功率、CER条件执行率、Soft Score软分数、CSS条件软分数）衡量智能体是否能正确使用工具，合规指标（TMR时效性失配率、IMR意图失配率、DMR领域失配率）衡量工具使用是否满足金融约束。同时，论文提出了FATR（Finance-Aware Tool Routing）基线方法，通过将金融属性注入工具卡片来增强LLM规划器的合规意识。
本文最核心的创新点在于「调用级别合规审计」的概念和实现方式。传统评测只看最终答案或工具是否执行成功，但FinToolBench将合规检查下沉到每一次工具调用的粒度。具体而言，每个工具都被标注了三个金融属性：更新频率（update_frequency，分为realtime/daily/as_filed/periodic/static五级）、意图类型（intent_type，分为informational/advisory/transactional三类）、监管领域（regulatory_domain，支持equity/bond/fund/forex等10个领域的集合值标注）。这些属性通过LLM（Qwen3-8B）的三次多数投票协议自动生成。评测时，系统遍历智能体的完整工具调用轨迹 $\tau = \{(t_k, x_k, o_k)\}_{k=1}^{m}$，对每一步调用 $t_k$ 查找其金融属性 $A(t) = (f(t), i(t), d(t))$，然后由LLM评判器（GPT-5.1）判断该调用是否与时效性、意图、领域约束匹配。只要轨迹中存在一次失配，该问题就被标记为失配。这种设计的本质区别在于：它将「合规」从最终答案层面拆解到工具调用层面，使得评测能够精确定位失败发生在哪一步、违反了哪类约束。
方法步骤详情
FinToolBench的完整方法可分为基准构建和评测执行两大部分。基准构建流水线包含8个阶段：Stage 1从RapidAPI（4507个候选端点）和AkShare（963个候选接口）收集原始工具来源。Stage 2进行规则过滤：对RapidAPI检查接口完整性、去重、速率限制（要求≥10/小时、≥100/天、≥300/月）、认证可行性和运行时可执行性；对AkShare按金融关键词（stock、fund、bond等）筛选并通过实际调用验证。Stage 3将所有工具归一化为统一清单格式，包含稳定标识符、短描述和机器可读签名。Stage 4使用Qwen3-8B进行金融属性标注，采用三次多数投票协议为每个工具标注更新频率、意图类型和监管领域。Stage 5从FinanceBench和OpenFinData筛选工具依赖型问题。Stage 6使用BGE-M3稠密嵌入进行语义检索（Top-20），再用Qwen3-8B进行三次多数投票验证工具-问题对齐。Stage 7进行人工抽检确认数据质量。Stage 8输出最终基准（760工具+295问题）。评测执行时，智能体使用ReAct循环与工具交互（最多5步，每步60秒超时，最多2次重试），系统记录完整工具调用轨迹，然后分别计算能力指标和合规指标。
技术新颖性
FinToolBench的技术新颖性体现在三个层面。首先，在基准设计层面，它是第一个将「可执行工具库」与「金融合规评测」结合的基准。之前的金融基准（FinanceBench、FinQA等）只有静态问答，通用工具基准（API-Bank、BFCL等）不涉及领域合规。FinToolBench首次建立了两者之间的桥梁。其次，在评测指标层面，论文引入了三组全新的调用级别合规指标——TMR（Timeliness Mismatch Rate）、IMR（Intent Mismatch Rate）、DMR（Domain Mismatch Rate），这些指标不是对最终答案的评分，而是对工具调用轨迹中每一步的合规性审计。公式为：$\text{TMR}(q, \tau) = 1[\exists k: J_T(q, A(t_k), \tau_k) = 0]$，即只要轨迹中存在一次时效性失配就标记整个问题为失配。第三，在工具标注层面，论文设计了一个轻量但系统的金融属性模式（三个维度、五级时效性、三类意图、十个监管领域），并通过自动化LLM标注+多数投票协议实现可扩展的标注流程，使合规层与被测智能体解耦。
实验结果
论文在FinToolBench上评估了四个代表性LLM后端作为规划器，揭示了几个重要发现。第一，工具调用积极性与执行可靠性之间存在显著权衡。Qwen3-8B展现出最高的工具调用率（TIR=0.8712）和最高的软分数（Soft Score=0.4234），但其条件执行率CER仅为0.3385，说明它虽然积极调用工具，但经常因参数构造错误或执行失败而无法成功完成。相反，GPT-4o采取了极为保守的策略，TIR仅为0.2267（即77.33%的问题没有调用任何工具），导致TESR仅0.1400。但当GPT-4o确实选择调用工具时，它表现出最高的精确度：CER达到0.6176，CSS达到0.6700，且意图和领域失配率最低。第二，Doubao-Seed-1.6展现了最均衡的整体表现，TESR为0.3254（最高），CER为0.5000（第二高），表明其在工具规划和参数构造方面较为可靠。GLM-4.7-Flash表现最弱，各维度失配率均较高（TMR=0.4615，IMR=0.7231），且条件成功分数最低（CSS=0.3791）。第三，金融属性注入实验表明，在工具卡片中显式注入金融标签后，TIR略有下降（因为规划器在约束更明确时更谨慎），但CER提升，TMR、IMR、DMR均有所降低。这意味着属性注入主要改善的是工具选择的合规性，而非执行器本身的稳定性。第四，从工具使用分布看，295个问题中103个（34.9%）未调用任何工具，114个（38.6%）产生单工具轨迹，78个（26.4%）需要多工具调用。多工具轨迹中以三工具最多（35.9%），其次为两工具（28.2%）和四工具（26.9%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 综合评测（能力+合规） | TESR（工具执行成功率） | Doubao-Seed-1.6: 0.3254 | GPT-4o: 0.1400, Qwen3-8B: 0.2949, GLM-4.7-Flash: 0.2102 | Doubao-Seed-1.6比GPT-4o高132% |
| 工具调用积极性 | TIR（工具调用率） | Qwen3-8B: 0.8712 | GPT-4o: 0.2267 | Qwen3-8B比GPT-4o高284% |
| 条件执行可靠性 | CER（条件执行率） | GPT-4o: 0.6176 | Qwen3-8B: 0.3385 | GPT-4o比Qwen3-8B高82% |
| 答案质量 | Soft Score（软分数） | Qwen3-8B: 0.4234 | GPT-4o: 0.2302, GLM-4.7-Flash: 0.2769 | Qwen3-8B比GPT-4o高84% |
| 条件答案质量 | CSS（条件软分数） | GPT-4o: 0.6700 | GLM-4.7-Flash: 0.3791 | GPT-4o比GLM-4.7-Flash高77% |
| 合规性：时效性 | TMR（时效性失配率） | Qwen3-8B: 0.3307 | GLM-4.7-Flash: 0.4615 | Qwen3-8B比GLM-4.7-Flash低28%（越低越好） |
| 合规性：意图 | IMR（意图失配率） | GPT-4o: 0.5000 | GLM-4.7-Flash: 0.7231 | GPT-4o比GLM-4.7-Flash低31%（越低越好） |
| 合规性：领域 | DMR（领域失配率） | GPT-4o: 0.1176 | GLM-4.7-Flash: 0.1769 | GPT-4o比GLM-4.7-Flash低34%（越低越好） |
局限与改进
论文的局限性可以从多个角度分析。首先在工具覆盖方面，FinToolBench目前仅使用免费层级的工具（RapidAPI和AkShare），这限制了工具库的覆盖面——许多专业金融数据源（如Bloomberg Terminal、Reuters Eikon）的API不在其中，这意味着基准可能无法充分代表真实金融工作场景中工具使用的全部复杂性。其次在评测规模方面，295个问题虽然覆盖了多种金融类别，但相对于真实应用的多样性仍然有限，某些类别（如intent understanding和value extraction）的问题数量可能不足以得出统计可靠的结论。第三在评测稳定性方面，论文使用LLM-as-a-Judge（GPT-5.1）进行合规判断和答案评分，虽然采用了三次重复评判来降低方差，但LLM评判固有的不稳定性仍然存在，特别是对于边界情况的判断。第四，FATR基线方法虽然展示了金融属性注入的价值，但它只是一个相对简单的基线，使用固定的Top-20检索和ReAct循环，没有涉及更复杂的规划策略或工具链优化。第五，论文的类别级别诊断（Figure 7）显示某些类别（如sector analysis）的CER为0%但DMR也为0%，这种「没有执行就没有失配」的模式暗示合规指标在低TIR情况下可能失去区分度。最后，论文虽然使用了Qwen3-8B和GPT-5.1等具体模型进行标注和评判，但对这些模型标注质量的系统性评估（如与人类标注的一致性）缺乏充分讨论。
独立分析的弱点
从独立分析的角度，本文存在以下几个值得改进的弱点。第一，工具-问题对齐的验证过于依赖自动化流程。虽然使用了BGE-M3嵌入检索加Qwen3-8B三次多数投票，但论文中缺乏与人类专家标注的系统性对比，只提到进行了「统计显著样本」的人工抽检。考虑到金融工具的语义多样性（如同一概念可能有多种API表示），自动化对齐可能存在系统性偏差。建议未来增加大规模的人类标注验证，特别是对多工具问题的工具组合合理性进行人工评估。第二，合规指标的评判粒度可以进一步细化。当前的TMR/IMR/DMR都是二值指标（匹配/不匹配），没有区分「轻微偏差」和「严重违规」的严重程度。例如，使用日更新数据回答需要日内数据的问题（时效性偏差）和在信息查询中触发交易操作（意图越界）的严重程度显然不同。建议引入加权或分级的合规评分。第三，多工具轨迹的评测可能不够公平。论文中129个多工具问题保留了所有组合而未去重，这意味着某些高频工具组合可能主导了多工具类别的评测结果。建议按工具组合频率进行分层报告。
未来方向
基于本文的成果，未来研究可以从以下几个方向展开。作者在结论中提出，未来可以扩展到专有的实时数据源（如Bloomberg、Reuters），这将大幅增加工具库的真实性和覆盖面。此外，作者提到可以研究智能体在工具API不可避免地更新和策略漂移下的鲁棒性——这在实际部署中极为重要，因为金融API的端点、参数格式和返回结构经常变化。从本文成果延伸，一个有前景的方向是将合规评测扩展到多轮对话场景：当前基准只评估单次问题-回答交互，而真实的金融顾问场景通常涉及多轮追问和上下文累积。另一个方向是将FinToolBench的评测框架推广到其他高风险领域（如医疗、法律），这些领域同样存在「执行成功但合规失败」的风险。此外，可以探索基于FinToolBench的工具调用轨迹进行强化学习训练，让智能体从合规反馈中学习，而不仅仅是从答案正确性中学习。
复现评估
论文的复现条件总体较好。作者承诺将工具清单、执行环境和评估代码全部开源（GitHub仓库：Double-wk/FinToolBench），这为独立复现提供了基础。工具来源均为免费层级——RapidAPI需要API密钥但提供免费套餐，AkShare是完全开源的Python库，因此复现不需要昂贵的数据订阅。评测使用了四个LLM后端，其中GPT-4o需要OpenAI API访问，而其他三个（Doubao-Seed-1.6、Qwen3-8B、GLM-4.7-Flash）可以通过国内API平台访问。评判模型GPT-5.1的可用性可能是一个潜在障碍。工具库从5470个候选过滤到760个的过程涉及多个自动化和人工步骤，论文在附录中提供了详细的过滤标准和流程，但某些步骤（如人工抽检的具体标准和覆盖率）描述不够详细，可能影响精确复现。BGE-M3嵌入模型和Qwen3-8B标注模型的使用都增加了GPU资源需求。总体而言，复现难度属于中等偏低——只要有基本的API访问权限和中等算力，应该能够复现主要结果。
论文图表
对比了financebench_9问题上基线（无属性标签）和FATR（有属性注入）的端到端执行轨迹。基线因接口不匹配失败（未产生最终答案），FATR恢复了工具执行并产出了有工具支撑的答案，但最终答案仍被评为不正确，因为其推理角度与数据集标注的立场不一致。
这个案例揭示了一个重要洞察：属性注入可以改善执行连续性，但不能保证语义对齐，即「能用工具」不等于「用对工具」。
对比了openfindata_release_155问题上基线和FATR的执行轨迹。基线经过多次失败或不匹配的调用（基金分析工具、银行间利率工具等超时或错误）才找到正确的基金概览工具，FATR直接定位到基金特定的信息工具，一次调用即成功。两者最终答案均正确。
展示了金融属性注入在提高执行效率方面的实际价值——即使最终答案正确，更干净的工具轨迹在实际部署中也更有价值。
对比了financebench_33问题（Nike三年平均COGS/收入比例，正确答案55.1%）上两种方法的表现。基线因历史数据不可用而放弃计算，FATR使用毛利率代理指标估算出61.4%，两者均不正确。
揭示了当前方法的另一个局限：当所需数据不在可用工具的直接输出中时，即使属性注入引导智能体选择了更合理的工具路径，代理指标也可能产生数值偏差。