BizFinBench.v2：面向专家级金融能力对齐的统一双轨双语基准 BizFinBench.v2: A Unified Dual-Mode Bilingual Benchmark for Expert-Level Financial Capability Alignment
首个基于真实业务数据的大规模金融LLM评测基准，含29578个问答对
前置知识
大语言模型（LLM）
大语言模型是基于Transformer架构、通过海量文本数据预训练的神经网络模型，具备理解和生成自然语言的能力。在金融领域，LLM被广泛应用于文本理解、情感分析、时间序列预测和财富管理等任务，为构建通用金融业务能力提供关键技术支撑。
本文的核心研究对象就是LLM在金融业务场景中的表现，理解LLM的基本原理和能力边界是阅读本文的前提
基准评测（Benchmark）
基准评测是用于系统性评估模型能力的标准测试集，通常包含多个任务类型、标准化的评估指标和明确的评分规则。在NLP领域，基准评测为不同模型之间的横向对比提供公平、可复现的评估框架。
本文提出的BizFinBench.v2本身就是一个新型基准评测，理解基准评测的设计原则和评估方法是理解本文贡献的关键
零样本评估（Zero-shot Evaluation）
零样本评估是指在不提供任何示例的情况下，直接让模型完成目标任务的评估范式。这种方式最能考察模型的泛化能力，避免了示例带来的偏差。本文主要采用零样本评估作为标准化评估方法。
本文将零样本评估作为主要实验设置，理解这一评估范式有助于正确解读实验结果
保形预测（Conformal Prediction）
保形预测是一种机器学习中的不确定性量化方法，能够为预测结果构建具有统计保证的置信区间。与传统的点预测不同，保形预测通过构建预测区间来反映模型的不确定性，用户可以通过设定容忍度来控制区间的宽度。
本文在情感分析和股价预测任务中借鉴了保形预测的思想，要求模型构建预测区间而非给出单一答案
研究动机
现有金融领域的大语言模型评测基准存在两个根本性缺陷，导致评测结果与实际业务表现之间存在显著差距。第一个问题是脱离真实业务场景：大多数现有研究依赖模拟样本或通用数据集，这些数据集普遍难度较低，与真实金融业务脱节，缺乏业务工作流的核心逻辑，无法反映金融领域的实际挑战。例如，CFLUE、FinEval和CGCE等基准关注基础金融知识和文本理解，但其数据来源多为模拟合成或人工改写，难以与真实业务需求对齐。第二个问题聚焦于纯静态离线任务：现有基准普遍只关注离线静态任务，缺乏对金融场景中在线任务的覆盖，无法支持实时市场数据推送和动态风险监控等在线业务场景中的模型性能评估。这两个问题共同导致了LLM在基准测试上的表现与实际业务表现之间存在巨大鸿沟。
本文的目标是本文的具体目标是提出BizFinBench.v2，这是首个大规模金融业务评估基准，它同时整合了来自中美两个股票市场的真实业务数据，并实现了'核心业务能力+在线表现'的双轨评估。该基准包含29,578个基于真实业务数据的专家级问答对，覆盖四个核心业务场景：业务信息溯源、金融逻辑推理、利益相关者特征感知和实时市场辨别。通过这个基准，作者希望为LLM在金融领域的实际应用效果提供科学的评估框架，弥合现有基准与真实业务需求之间的差距。
与已有工作不同的是，本文的独特切入角度在于三个创新点的结合。首先，它是首个以真实业务数据为驱动的大规模金融评估基准，而非依赖模拟或合成数据。其次，它创新性地提出了'核心业务能力+在线表现'的双轨评估框架，弥补了传统静态评估在场景覆盖上的不足。最后，它从金融专家的业务视角进行错误分析，提供了针对性的优化方向。这种从真实用户数据出发、兼顾离线和在线评估、结合专家业务视角的综合方法，使得BizFinBench.v2能够真正反映LLM在金融业务中的实际能力，而非仅仅是理论上的表现。
核心方法
BizFinBench.v2的整体构建思路是锚定真实金融业务平台的核心功能，以实际用户需求为导向进行任务设计。研究团队通过对金融平台上大量真实用户查询进行聚类分析，识别出四个核心业务场景，并据此构建了八个基础任务和两个在线任务。在数据质量控制方面，采用了'平台聚类脱敏-一线工作人员审核-专家团队交叉验证'的三级渐进机制，确保评估数据的有效性和合规性。整个基准覆盖了中美两个股票市场，所有数据均来自真实金融服务请求，总计29,578个问答对。
BizFinBench.v2的核心创新点在于其真实性和在线性。与现有基准相比，它有三个本质区别：第一，数据来源的真实性强——所有数据均来自真实金融业务平台的用户查询，而非模拟合成或人工改写，这保证了评估结果能够反映模型在真实业务环境中的表现；第二，评估框架的创新性——首次提出'核心业务能力+在线表现'的双轨评估，弥补了传统基准只关注离线静态任务的缺陷；第三，任务设计的业务导向性——通过聚类分析真实用户查询来定义任务类型，确保任务能够覆盖金融业务的核心流程。
方法步骤详情
BizFinBench.v2的构建分为三个主要步骤。第一步是任务构建：研究团队基于真实金融业务平台的核心功能，对大量用户查询进行多维度聚类分析，自动聚合和分类不同任务类型，最终确定四个核心业务场景（业务信息溯源、金融逻辑推理、利益相关者特征感知、实时市场辨别），涵盖八个基础任务和两个在线任务。第二步是质量控制：对于离线任务，采用三级渐进机制——首先进行平台聚类和数据脱敏，然后由十名拥有五年以上经验的一线业务人员逐个审核数据样本，最后由六名拥有十年以上经验的高级金融专家进行交叉验证；对于在线任务，专家团队严格定义了所需的结构化数据、股票市场配置和系统提示。第三步是评估实施：所有问题均采用零样本评估，使用准确性作为主要指标，对于情感分析和股价预测任务借鉴保形预测算法要求模型构建预测区间，对于资产配置任务则采用累计收益率、夏普比率和最大回撤等实际业务指标。
技术新颖性
BizFinBench.v2的技术新颖性体现在多个层面。首先，它是首个同时覆盖中美两个股票市场的金融LLM评测基准，打破了现有基准单一市场的局限。其次，它创新性地引入了在线评估任务，包括股价预测和投资组合资产配置，其中资产配置任务构建了一个LLM投资模拟系统，还原了真实交易规则（包括交易费用、延迟和滑点），LLM可以在真实市场环境中使用模拟资金进行资产配置。第三，它从金融专家的业务视角进行错误分析，识别出五类典型业务困境：金融语义偏差、长期业务逻辑不连续、多变量集成分析偏差、高精度计算扭曲和金融时间序列逻辑紊乱。这种业务导向的错误分析方法为模型优化提供了精准方向。
实验结果
实验结果表明，ChatGPT-5在所有参与评估的模型中表现最为突出，平均准确率达到61.5%，在金融场景中展现出全面的竞争优势。在专有模型中，Gemini-3和Doubao-Seed-1.6也表现出色，在多个任务中排名前三。在开源模型中，Qwen3-235B-A22B-Thinking-2507表现最佳，平均准确率为53.3%，但与ChatGPT-5相比仍有8.2%的差距。值得注意的是，金融领域的领先模型Dianjin-R1平均准确率仅为35.7%，落后于Qwen3-32B 5.6个百分点。从任务角度看，参数规模较大的模型在需要高数据精度的任务（如FDD、FQC和CI）上表现更好，但Claude-Sonnet-4和Grok-4在这些任务上与其他专有模型存在显著差距。在在线任务中，DeepSeek-R1在资产配置任务中表现最为出色，总收益率达到+13.46%，夏普比率为1.8，最大回撤为-8%，展现出卓越的风险收益平衡能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 异常信息溯源（AIT） | 准确率 | ChatGPT-5: 54.2% | 金融专家: 92.6% | LLM与专家差距38.4个百分点 |
| 金融多轮感知（FMP） | 准确率 | ChatGPT-5: 90.8% | 金融专家: 98.0% | LLM与专家差距7.2个百分点 |
| 金融数据描述（FDD） | 准确率 | Gemini-3: 69.7% | 金融专家: 94.5% | LLM与专家差距24.8个百分点 |
| 金融定量计算（FQC） | 准确率 | ChatGPT-5: 89.2% | 金融专家: 100% | LLM与专家差距10.8个百分点 |
| 事件逻辑推理（ELR） | 准确率 | Gemini-3: 69.5% | 金融专家: 91.7% | LLM与专家差距22.2个百分点 |
| 反事实推理（CI） | 准确率 | ChatGPT-5: 83.9% | 金融专家: 100% | LLM与专家差距16.1个百分点 |
| 用户情感分析（SA） | 准确率 | DeepSeek-V3.2: 23.5% | 金融专家: 57.9% | LLM与专家差距34.4个百分点 |
| 金融报告分析（FRA） | 准确率 | ChatGPT-5: 54.1% | 金融专家: 96.0% | LLM与专家差距41.9个百分点 |
| 股价预测（SPP） | 准确率 | Qwen3-235B: 36.9% | 金融专家: 32.3% | Qwen3-235B超过金融专家4.6个百分点 |
| 资产配置（PAA） | 总收益率 | DeepSeek-R1: +13.46% | SPY基准: +3.7% | DeepSeek-R1超越市场基准 |
局限与改进
作者在论文中坦诚地指出了BizFinBench.v2的三个局限性。首先，在数据覆盖方面，尽管问答对主要来自真实业务平台的用户数据，但核心获取方法依赖平台数据聚类，这可能导致低比例的小众用户查询类型被排除在外，需要进一步扩大数据源范围。其次，在任务设计方面，在线评估任务仅关注用户需求最高的两个场景——股价预测和资产配置，意味着后续研究可以将评估场景扩展到更广泛的在线金融业务环节，如个性化股票推荐和开户指导。第三，在评估范式方面，由于数据输入文本长度普遍较长，当前评估主要集中在零样本和思维链两种范式，需要在未来添加少样本评估实验。此外，作者还提到评测标准和量化标准因业务隐私保护而无法公开，这在一定程度上影响了研究的可复现性。
独立分析的弱点
从独立分析的角度来看，BizFinBench.v2存在几个值得关注的弱点。首先，数据来源的多样性有待提升：尽管基准声称覆盖中美两个市场，但数据主要来自特定金融平台的用户查询，可能无法代表所有类型的金融业务场景，特别是新兴的数字金融和跨境金融业务。其次，评估指标的局限性：对于大部分任务仅使用准确性作为单一指标，这可能无法全面反映模型在实际业务中的表现，例如模型的响应速度、推理成本和鲁棒性等因素未被纳入评估。第三，在线评估的可扩展性：股价预测和资产配置任务的评估时间窗口固定（截至2025年12月24日），这使得基准难以持续更新和扩展，无法反映金融市场的动态变化。针对这些弱点，建议未来可以引入更多元的数据来源、设计更丰富的评估指标体系，并建立动态更新的评估机制。
未来方向
作者在论文中提出了几个重要的未来研究方向。首先，需要进一步扩大数据源范围，纳入更多小众但有实际价值的用户查询类型，特别是那些在聚类分析中被排除的低比例查询。其次，在线评估任务可以扩展到更广泛的金融业务场景，如个性化股票推荐、开户指导、风险预警等。第三，需要补充少样本评估实验，以更全面地评估模型在不同评估范式下的表现。从更广阔的视角来看，基于BizFinBench.v2的发现，未来研究可以在以下方向深入：一是针对识别出的五类典型业务困境（金融语义偏差、长期业务逻辑不连续等）开发专门的优化策略；二是探索如何将真实业务数据的特性融入模型训练过程，而非仅用于评估；三是研究如何建立持续更新的评估基准，以适应快速变化的金融市场环境。
复现评估
在复现性评估方面，BizFinBench.v2在开源方面做出了积极努力。作者承诺将数据和代码在GitHub上开源（https://github.com/HiThink-Research/BizFinBench.v2），这对于社区验证和扩展该基准非常重要。然而，复现仍面临一些挑战：第一，由于业务隐私保护，离线任务的具体评估标准和量化标准无法公开，这可能影响社区对该基准评估结果的验证；第二，在线评估任务依赖实时市场数据和特定的交易模拟系统，这些系统的完整配置和实现细节需要进一步公开；第三，论文中提到的21个LLM模型的评估在8×NVIDIA H100 GPU集群上执行，这对大多数研究机构来说算力要求较高。总体而言，虽然核心数据和代码的开源为复现提供了基础，但评估标准的部分缺失和高算力要求可能限制社区的广泛参与。
论文图表
