FinForge：半合成金融基准生成框架 FinForge: Semi-Synthetic Financial Benchmark Generation
构建半合成流水线生成5000道高质量金融问答对用于评估LLM
前置知识
LLM-as-a-Judge
LLM-as-a-Judge 是一种利用大型语言模型作为自动评估器的方法论范式。在本文中，该方法被用于FinForge流水线的第五阶段，对生成的问答对进行质量验证。具体而言，系统会将生成的问题输入一个更强大的LLM，要求其从金融相关性、自足性、逻辑一致性、清晰度和复杂度五个维度对问题进行评分。只有同时满足所有五个标准的问题才会被保留。这种方法的优势在于可以大规模自动化质量控制，但本文也揭示了其局限性——自动验证通过率为100%，而人工专家验证仅通过70%，存在30个百分点的差距。
理解LLM-as-a-Judge的优缺点对于评估该基准的可靠性至关重要，也是理解本文实验设计和局限性分析的核心。
数据污染 (Data Contamination)
数据污染是指评估数据在模型训练过程中被泄露，导致模型可能通过记忆而非推理来回答问题。在金融领域这一问题尤为严重，因为金融知识具有动态性，静态基准容易被互联网爬取的训练数据包含。本文通过半合成方法来缓解此问题——使用Gemini 2.5 Flash生成问题，然后评估其他模型，同时特意排除了生成模型及其同系模型（如Gemma 27B）的评估结果，以确保评估的公正性。
数据污染是本文动机的核心驱动力之一，也是FinForge采用半合成而非纯爬取方法的根本原因。
半合成基准 (Semi-Synthetic Benchmark)
半合成基准是指结合真实世界数据与LM生成技术构建的评估数据集。与纯爬取的静态基准不同，半合成方法从权威金融来源获取真实文档，然后利用LM生成与这些文档相关但不完全重复的问答对。这种方法既保留了真实金融知识的复杂性和深度，又能通过重新生成来避免数据污染。FinForge的核心创新正在于这种混合方法论：专家引导的数据策展结合受控的LM合成，可以持续生成新的评估集。
这是本文方法论的核心概念，理解半合成方法有助于把握FinForge与现有基准的本质区别。
多选题评估 (Multiple-Choice Evaluation)
本文采用多选题形式进行模型评估，每道题包含一个问题、一个正确答案和多个干扰选项。这种格式允许准确计算准确率指标（正确预测比例），便于模型间的横向比较。FinForge-5k包含5000道这样的多选题，覆盖11个金融子领域。每个选项都经过精心设计，干扰项需要具备合理性但与正确答案有明确的区分度。论文还提到，验证过程中约30%的问题因为干扰项存在歧义或上下文假设不足而被过滤掉。
理解评估格式对于解读实验结果至关重要，多选题格式的选择直接影响了准确率指标的可比性和有效性。
分层随机采样 (Stratified Random Sampling)
分层随机采样是一种统计抽样方法，将总体划分为若干子群（层），然后从每个子群中按比例随机抽取样本。在FinForge中，该方法被用于从11个金融子领域的10万份文档中抽取1万份用于问题生成，确保每个子领域获得与其规模成比例的代表性。这种采样策略避免了随机抽样可能导致的某些子领域代表性不足的问题，保证了基准的覆盖面和公平性。
该方法确保了FinForge-5k在11个子领域间的均衡覆盖，是理解基准代表性的关键。
研究动机
现有金融领域LLM评估面临严重的质量问题和覆盖不足。FinQA仅有8200个围绕数值推理的QA对，TAT-QA仅针对年报表格数据，ConvFinQA聚焦多轮对话中的数值推理，FinanceBench虽试图覆盖更广泛的金融主题但仅包含150道题且问题复杂度有限。即使是近期的FinTextQA也仅有1262道题，且主要来自教科书。这些基准的共同问题是：要么规模太小无法可靠评估现代LLM，要么主题覆盖狭窄（如仅聚焦股票数据或基础计算），要么缺乏真实的行业复杂性。此外，所有静态基准都面临数据污染风险——模型可能在训练过程中记忆了测试数据，导致评估结果虚高。具体数据表明，即使顶级通用模型如GPT-4o和Claude Sonnet 4，在FinForge-5k上的准确率也仅为73.4%和72.6%，而它们在更简单的现有基准上表现明显更好，这说明现有基准未能充分暴露模型在真实金融推理中的弱点。
本文的目标是本文的目标是构建一个可扩展、动态更新的半合成金融基准生成框架FinForge，使其能够：(1) 从权威金融来源策展高质量语料库，覆盖11个金融子领域共143M tokens；(2) 利用受控的LM工作流生成5000道高质量、人类验证的多选题；(3) 通过该基准系统地评估开源和闭源LLM的金融推理能力，识别出模型在概念推理与量化推理方面的具体弱点。最终目标是提供一个既能诊断当前模型局限性、又能指导未来改进的评估基础设施。
与已有工作不同的是，FinForge的独特切入角度在于采用'专家引导的数据策展+受控LM合成'的混合流水线。与现有方法相比，这一方法有三个本质区别：第一，FinForge从权威来源（学术教科书、机构研究）而非用户论坛或简单股票数据获取内容，确保了问题的深度和专业性；第二，FinForge采用五阶段流水线（文档分析→答案规划→问题生成→标签化→验证），每个阶段都有特定的领域规则和质量控制；第三，FinForge具有动态性——可以随时重新运行流水线并纳入新文档来更新问题集，从而适应不断变化的金融知识。这种'可刷新'的特性是静态基准无法比拟的，直接解决了数据污染问题。
核心方法
FinForge的核心思路是将金融基准构建分解为两个互补阶段：数据策展（Data Curation）和问题生成（Question Generation）。第一阶段采用'人工+程序化'的混合方法，将金融领域分解为11个子领域（包括个人理财、公司金融、投资理论、宏观经济学等），针对每个子领域由人类专家识别权威网站并建立白名单，然后利用Trafilatura和BeautifulSoup等开源工具自动抓取和解析内容，最终构建包含143M tokens的金融语料库。第二阶段利用Gemini 2.5 Flash作为生成模型，采用五阶段LM工作流从语料库中生成问答对：首先深度分析文档提取关键信息，然后生成结构化答案规划，接着基于规划生成自足性问题和干扰项，最后通过LM-as-a-Judge框架进行验证。整个流程的核心直觉是：只有结合真实金融文档的复杂性与LM生成的可控性，才能产出既有深度又可动态更新的评估集。
FinForge的核心创新在于'先规划后生成'（Planning First, Question Second）的方法论。传统方法直接从文档生成问题，容易产生不清晰或错误的问答对。FinForge借鉴了Li和Zhang (2024)的PFQS方法，先让LM识别文档中的因果关系、竞争性假设、必要假设和反事实可能性，然后创建结构化答案规划（包括目标答案、相关事实、认知步骤和难度评级），最后再基于此规划生成问题。这一方法的本质区别在于：问题生成不是被动的文档解析，而是主动的推理蓝图构建。每道题都经过1-5级难度评级（从基础回忆到专家级综合），确保了问题的多样性和层次性。此外，验证阶段采用五维度评估（金融相关性、自足性、逻辑一致性、清晰度、复杂度），只有同时满足所有维度的问题才会被保留。
方法步骤详情
FinForge的方法包含两个主要阶段共七个子步骤。第一阶段（数据策展）：(1) 领域分解——将金融分为11个子领域，包括个人理财、公司金融、投资理论、宏观经济学等；(2) 来源识别——人类专家为每个子领域识别权威网站，排除讨论论坛和非学术来源；(3) 内容抓取——使用Trafilatura、BeautifulSoup和PyMuPDF4LLM等工具自动抓取HTML和PDF内容，实现并行化域名过滤和异步内容提取。第二阶段（问题生成）：(4) 文档深度分析——识别因果关系、竞争性假设、必要假设和反事实可能性；(5) 答案规划——创建结构化蓝图，包括目标答案、相关事实、认知步骤和1-5级难度评级；(6) 问题生成——基于规划生成自足性多选题，包含自然语言问题、干扰项和解释；(7) 验证与过滤——LM-as-a-Judge从五个维度评估，结合规则过滤，从10000个初始QA对中筛选出5000个高质量问题。整个流水线在7天内执行完成。
技术新颖性
FinForge的技术新颖性体现在三个层面。首先，在方法论层面，FinForge是首个将'专家引导策展+受控LM合成'应用于金融基准构建的框架，突破了现有方法要么纯人工（如BizBench的600道题）、要么纯自动（如直接爬取）的局限。其次，在质量控制层面，FinForge实现了多阶段验证机制：文档级的质量筛选（排除非权威来源）+问题级的五维度评估+人工专家的抽样验证，形成了三重保障。第三，在可扩展性层面，FinForge的流水线设计允许动态更新——当新的金融文档发布时，可以重新运行流水线生成新的评估集，这是静态基准无法实现的。论文还首次对LLM-as-a-Judge在金融领域的有效性进行了定量分析，发现自动验证通过率（100%）与人工验证通过率（70%）存在30个百分点的差距，这一发现对于理解自动评估的局限性具有重要参考价值。
实验结果
本文在FinForge-5k基准上评估了多个开源和闭源LLM，揭示了金融推理能力的系统性差异。Qwen 3 235B以77.1%的整体准确率领先，DeepSeek V3达到73.9%，GPT-4o达到73.4%，Sonnet 4达到72.6%，Llama 3.3 70B达到72.5%。值得注意的是，开源大模型（如Qwen 3 235B）在金融推理上超越了闭源模型（如GPT-4o），这与通用基准上的表现形成对比。中等规模模型（32-110B）表现出与大型专有模型相当的性能——Qwen3-Next 80B仅比Qwen 3 235B低5个百分点，且与DeepSeek、GPT-4o和Sonnet模型的差距在1%以内。这表明单纯扩大模型规模并不能保证金融推理能力的提升。在子领域分析中，个人理财与财富管理（61.0%）和公司金融与估值（70.4%）是最具挑战性的领域，而金融科技与创新（95.0%）和金融伦理与治理（93.8%）表现最好。论文还发现模型在量化问题上表现最差，其次是反事实推理，概念推理失败（错误的金融方法论）比算术错误更为严重。人工专家验证了500个样本，确认70%的问题质量合格，但剩余30%主要因上下文假设不足而被标记。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 金融问答（FinForge-5k 整体） | 准确率 (Accuracy) | Qwen 3 235B: 77.1% | GPT-4o: 73.4%, Claude Sonnet 4: 72.6% | Qwen 3 235B 比 GPT-4o 高 3.7 个百分点，开源模型首次在金融推理上超越闭源模型 |
| 个人理财与财富管理 | 准确率 (Accuracy) | GPT-4o: 65.3% | Qwen 3 235B: 61.0% | 该子领域各模型表现最差，最高仅65.3%，暴露了多约束优化问题的薄弱环节 |
| 金融科技与创新 | 准确率 (Accuracy) | Qwen 3 235B: 95.0% | GPT-4o: 87.5% | 该子领域表现最好，各模型准确率均超过87.5% |
| 金融推理（量化问题） | 错误类型分析 | 概念错误比算术错误更严重 | 现有基准未区分错误类型 | 首次区分了概念推理失败与算术计算失败，指出算术错误可通过工具缓解，但概念错误反映了根本性缺陷 |
局限与改进
本文存在几个重要的局限性。首先，对Gemini 2.5 Flash的依赖是一个核心问题。该模型被同时用于问题生成和验证，存在循环依赖风险。人工验证发现，尽管问题具有挑战性，但约30%的问题缺乏明确定义的上下文假设，可能导致被评估模型做出错误假设。其次，Gemini 2.5 Flash的速度优化设计导致其在评估复杂推理模型时能力不匹配——作为评判者可能缺乏评估高级输出所需的精细度，这可能扭曲了性能指标。第三，布尔验证器作为'黑箱'运作，缺乏透明度，阻碍了对失败问题的分析和流水线的改进。第四，数据污染和循环依赖问题仍然存在——当评估与生成模型同系列的模型时（如Gemma 27B与Gemini 2.5 Flash），污染风险更高，因此论文将这些模型从主要结果中排除，但这限制了评估的完整性。最后，FinForge-5k仅是一个快照基准（snapshot benchmark），其5000道题的规模虽然比FinanceBench（150道）大幅增加，但仍难以覆盖金融领域的全部复杂性。
独立分析的弱点
FinForge存在几个值得改进的具体弱点。第一，生成模型与评判模型的同质性问题——Gemini 2.5 Flash既用于生成又用于验证，这导致了30%的问题质量问题未被自动检测。改进方向是引入异构模型进行交叉验证，例如用Claude或GPT-4o作为独立验证器。第二，30%的问题因上下文假设不足而质量不佳，这源于Gemini 2.5 Flash的速度优化倾向。改进方向是在生成阶段增加'假设明确化'步骤，强制要求模型列出回答问题所需的所有前提条件。第三，个人理财子领域（准确率仅61.0%）的问题可能过于复杂或表述不清，需要对该领域的问题进行专项优化。第四，验证阶段的五个维度（相关性、自足性、一致性、清晰度、复杂度）可以进一步细化，例如增加'干扰项合理性'和'计算步骤完整性'维度。
未来方向
论文提出了几个明确的未来研究方向。首先是扩展语料库到更多金融子领域，当前的11个子领域可能无法覆盖所有金融细分领域（如加密货币、另类投资的细分）。其次是整合时间序列和动态数据，以评估模型对最新金融知识的掌握能力，这对于金融应用至关重要。第三是建立持续学习基准（continual-learning benchmarks），使评估集能够随着金融市场的发展而自动更新。第四是探索更复杂的评估格式，如开放式问答和多轮对话，以超越多选题的局限。此外，基于本文的发现，未来研究可以聚焦于：开发针对量化推理和反事实推理的专项训练方法；研究如何利用工具增强（如计算器API）来改善模型的算术能力；以及探索如何在不增加数据污染风险的前提下扩大评估规模。
复现评估
从复现角度来看，FinForge具有较好的可复现性。论文明确声明所有代码和数据均开源，托管在GitHub (https://github.com/gtfintechlab/FinForge)，这降低了复现门槛。然而，复现面临几个挑战：(1) 生成模型依赖——流水线依赖Gemini 2.5 Flash，虽然论文使用的是闭源模型，但可以替换为其他LM，不过会改变生成质量；(2) 计算资源——虽然未明确说明，但处理10万份文档（143M tokens）并生成10000个QA对需要相当的计算成本；(3) 专家验证——人工验证需要三位领域专家，这在一般研究环境中可能难以实现；(4) 数据来源——虽然提供了抓取逻辑，但网站结构可能变化，长期可复现性存疑。总体而言，代码开源和方法论文档化使得核心流程可以复现，但精确复现可能需要接近原始的计算资源和专家验证能力。
论文图表