FINESSE-Bench：面向大语言模型金融领域知识与技术分析的分层基准套件 FINESSE-Bench: A Hierarchical Benchmark Suite for Financial Domain Knowledge and Technical Analysis in Large Language Models

第一步是题目收集与规范化：从公开互联网资料、备考材料、奥运题与教学题库中收集题目，统一为 MCQ（选择题）或 NAQ/SAQ（数值/简答）格式，并人工核对答案正确性。第二步是按主题分发到 8 个子基准，每个子基准统计题量、格式、平均字符长度与语言（Table 1）。第三步是统一评测流程：每道题使用固定 prompt，固定推理超参，固定 judge prompt，由 GPT-5.2 输出二值分数并汇总为准确率 $\text{Accuracy} = \frac{1}{n}\sum_{i=1}^{n} s_i$，其中 $s_i\in\{0,1\}$。第四步是按组聚合：使用按题量加权的分层 bootstrap 得到 exam-like、public benchmarks、trading/TA 三组的总体准确率与置信区间。第五步是诊断分析：分别计算转移差距、层级退化、同族缩放曲线与 mid-band 10–90 饱和度，形成论文 Table 2–10 与 Figure 1–2 的全部证据。

从技术新颖性看，本文并不是在算法层面提出新模型，而是把基准工程做到了接近"评测科学"的层次：判定题库是否真正分层（不是堆题量）、是否真正区分模型（不是被最强模型刷爆），并把这些元属性用具体数字呈现出来。论文同时承认 MCQ 格式可能被选项结构和排除启发式利用，因此刻意保留了 NAQ/SAQ 与 case-linked 题型作为平衡。整套评测流程也做了若干工程化设计——固定 prompt、deterministic 推理、reasoning effort=medium、固定 judge（GPT-5.2）——从而把"评测结果"的可复现性放在了与分数同等优先的位置。

独立分析下，论文的弱点主要有三处。其一，judge 单一：全文仅用 GPT-5.2 作为唯一评分模型，没有交叉验证，例如再用一个开源强模型做二次判定或做 judge 一致性分析，这意味着所有分数都可能带有 GPT-5.2 的系统性偏差。其二，污染控制不足：作者承认可能有题目出现在训练数据中，但没有像 MMLU 那样的去污染协议，也没有公开每题是否被任何模型在预训练阶段见过的统计。其三，CFA-L2 / L3 题量偏小：只有 293 与 318 题，而 sub-benchmark 的 mid-band 又高度依赖题目多样性，样本量不足可能让"分数高 1–2pp 即代表更好"的结论不稳定。改进方向分别是引入多 judge 集成 + 仲裁机制、给出类似 GSM8K 那种针对每题的 contamination 标记，以及把 L2/L3 各扩到 500+ 题以提升统计稳定性。

作者在 Section 9 提出的方向包括：扩展金融子领域覆盖、强化多语言组件（增加中文等更多 VLigaBench 风格板块）、提升开放题比例、并对 judge 模型做专家级校验。基于结果还可延伸出几条自然的下一步：（1）把 FINESSE-Bench 与训练数据去污染工具联动，做"未污染切片"上的子分析；（2）用本套基准作为 reward signal 训练面向金融的 RL 模型，验证其是否能改善 $\Delta_{public\to exam}$；（3）把 mid-band 10–90 作为"基准健康度指标"推广到其它领域基准，做跨学科元评测；（4）结合 Tool-Use，让模型在 derivatives 板块调用符号计算器后再评分，观察任务能力是否被算术错误"压低"。

数据集以非商用许可开源在 https://github.com/LimexAILab/FINESSE-Bench，仓库中应包含 8 个子基准的题目、答案与统一 prompt 模板。论文给出了 LLM-as-judge 模板与温度 0.0、reasoning effort medium 的推理设置，并明确报告所有模型各题准确率以及按题量加权的分层 bootstrap 置信区间（虽然主表只显示点估计，详细数值已放在仓库）。复现难度中等偏低：跑一次完整评测只需访问 GPT-5.2 API 与若干闭源/开源模型接口，硬件门槛不高，主要成本是 API 调用费用；但要复现 judge 的一致性分析、污染检测、扩展子基准等额外实验，仍需投入相当人力。