识别不等于落地：多语言财务证据抽取基准 MULTIFINGROUND Recognition Is Not Grounding: Benchmarking Multilingual Financial Evidence Extraction
提出 MULTIFINGROUND 基准，揭示大模型能认对会计概念却常漏抽数值证据。
前置知识
IFRS Accounting Taxonomy（IFRS 会计分类法）
国际财务报告准则（IFRS）配套的标准化概念字典，把财报中可披露的每个报告概念（如收入 ifrs-full:Revenue、净利润 ifrs-full:ProfitLoss）定义为带唯一标识符、数据类型、期间类型（instant/duration）和余额方向（debit/credit）的条目。财报编制者把报表上的每个数字映射到分类法中的某个概念，从而让不同公司、不同语言的报表在语义层面对齐可比。
本文的全部任务都围绕这些共享概念展开：跨语言对齐靠的是不同发行方报表中出现的同一 ifrs-full 概念，T2a/T2b/T2c 的选项与目标都是分类法概念，读懂任务设计必须先理解这套概念体系。
iXBRL 与 ESEF 报告制度
Inline XBRL（iXBRL）把机器可读的 XBRL 标签直接嵌入人类可读的 HTML 财报，每个数字被标签标注上其会计概念。欧洲证券与市场管理局（ESMA）要求欧盟上市公司以 ESEF（欧洲单一电子格式）提交年报，并对主要报表中的数字逐个打 iXBRL 标签。这意味着真实财报自带事实级的黄金标注。
本文的数据来源正是 FY2025 ESEF 年报：作者无需人工标注即可抽取每个数字的概念与上下文，这是整个基准低成本、可追溯的构建基础，也是理解其标注质量讨论（发行方标注可能有错）的前提。
期间类型与余额方向（period type / balance）
期间类型区分 instant（某一时点的存量，如年末现金）与 duration（一段期间的流量，如全年收入）；余额方向是 XBRL 中概念的正常借贷属性：收入、负债、权益和现金流出为 credit，费用、资产和现金流入为 debit。注意余额是概念的会计属性，与数字页面上显示的正负号无关。
T1 任务要求模型同时判断类型/期间/余额七类属性，实验发现余额（尤其 debit 流量类）是模型最弱的维度，是理解『T1 为什么难』这一核心分析的关键。
精确率、召回率与 exact-set 准确率
对集合预测任务：精确率 $\text{precision} = |\hat{S} \cap S^\star| / |\hat{S}|$ 衡量选出的数字中有多少是对的，召回率 $\text{recall} = |\hat{S} \cap S^\star| / |S^\star|$ 衡量目标中有多少被找全，F1 是二者调和平均；exact-set 准确率进一步要求预测集合与黄金集合完全一致，不允许任何遗漏或多选。concept-macro F1 则先在每个概念内平均组 F1、再跨概念平均，避免常见概念主导。
T2b（穷尽事实选择）用这套指标量化『漏抽』：召回率低说明证据找不全，exact-set 低说明做不到一次选全且选对，这是论文核心结论『识别不等于落地』的度量基础。
McNemar 检验
一种针对配对二元结果（同一批题目在两种条件下对/错）的统计显著性检验，用于判断两种实验条件下的准确率差异是否显著超出随机波动。论文用 $p < 0.05$ 作为显著阈值，并在图中用星号标注显著的分数变化。
论文的语言消融（去掉英文证据、标签本地化）结论几乎都靠 McNemar 检验支撑，例如『希腊语官方标签使 8 个模型显著下降』『Plutus 显著提升 +5.8（$p=0.007$）』，看懂图 3 需要理解这些星号的含义。
研究动机
投资者和分析师越来越需要跨国家比较财务披露，例如把一家法国公司的财报与一家希腊公司的财报放在一起对比收入、利润等共享会计概念。这要求模型既能在不同语言中识别出表达同一会计概念的数字，又能完整恢复这些概念对应的全部数值事实。但现有基准只覆盖了这些能力的一个侧面：FiNER、FNXL 和 FinTagging 评估单语言中的财务数字标注与分类法链接；FinQA 和 TAT-QA 测试基于财务证据的数值推理（FinQA 额外报告检索召回）；MultiFin、MultiFinBen 和 XTREME-R 覆盖多语言金融分类或抽取任务。论文用一个具体例子说明被忽视的问题：一份法国报告给出本年收入 2.8 亿欧元、上年 2.5 亿欧元，模型可能正确识别了『收入』概念，却只抽出本年数值而漏掉上年比较值——单看答案正确率无法暴露这种遗漏，但缺失的比较值直接导致无法计算同比增长。也就是说，『概念识别』与『证据完整恢复』之间的关系此前完全没有被配对评估过。
本文的目标是本文的目标是构建 MULTIFINGROUND 基准，专门测量多语言财报场景下『识别—落地鸿沟』（recognition–grounding gap）。具体包括四个互补目标：其一，用真实欧洲 ESEF 年报构造跨英、法、希腊三种语言、通过共享 IFRS 概念链接的事实级可追溯标注；其二，在同一批证据实例上配对评估概念识别（T2a）与穷尽式事实选择（T2b），使得即使在模型答对概念的情况下也能度量它漏掉了多少目标事实；其三，用事实识别（T1，判断哪些数字是财务事实及其会计属性）和无候选标签的概念判别（T2c）补齐对数值解读与概念区分能力的诊断；其四，系统考察证据语言、分类法标签呈现方式这两个条件如何影响表现，并检验金融领域专用微调模型相对其基座模型是否真有收益。
与已有工作不同的是，本文最独特的切入角度是把『发行方自己打的 iXBRL 标签』变成基准标注：ESEF 制度强制财报编制人员把每个披露数值映射到 IFRS 分类法概念，作者因此无需人工标注就能获得事实级的黄金标注，再用共享概念把不同发行方（而非同一文本的翻译版本）的英法希语段落链接成组——这保证了证据来自真实、独立撰写的披露，而非人工对齐的平行语料。第二个独特设计是『配对评估』：与以往基准『同时包含两个任务但各测各的』不同，T2a 与 T2b 共享完全相同的语境和目标集合，从而可以在『识别正确』这一条件之下直接度量证据遗漏率，把识别与落地两个能力解耦又关联。第三个差异点是 T2c 的无候选标签判别：不给出概念选项，直接问四个摘录中哪一个表达不同概念，考察模型是否真正理解概念间的会计区分而非做选项匹配。
核心方法
直觉上，这篇论文的做法是『借监管之力拿免费标注』：欧洲 ESEF 制度要求发行人在年报里给主要报表的每个数字打上 iXBRL 概念标签，作者把这些标注连同上下文一起抽取出来，就得到了带概念、数据类型、期间类型、余额方向的事实级标注。技术路线分四步。第一步数据收集：从英、法、希腊三种语言各选 30 家发行方（共 90 家）的 FY2025 年报（财年截至 2025 年 12 月 31 日），每家只出现在一种语言中——英文来自 filings.xbrl.org 索引的 ESEF 包（覆盖六个司法辖区），法文为 CAC 40 成分股，希腊文为雅典交易所发行人。第二步证据抽取：用无头浏览器渲染 iXBRL 报告，把 HTML 表格转成保留表头的 Markdown，保留每个事实的文本偏移量，并做 Unicode 归一化。第三步任务构造：以共享 IFRS 概念为桥梁，把不同发行方的语境（段落或表格窗口）组成 521 个组、覆盖 187 个概念，支撑配对的 T2a/T2b；另构造 534 个 T2c 项覆盖 267 个概念。第四步质量控制：两名持有 ACCA/CPA 资格的金融专家独立审计每任务 10% 的分层样本，修正与剔除合并进最终标注。模型端只看到任务文本和表格，看不到原始 iXBRL 标签，四任务均为独立无状态调用，平均输入 1.2k token（最大 3.7k），输出预算 16,384 token。
核心创新是『在匹配实例上配对测量识别与覆盖』。T2a（概念识别）给模型看英、法、希三个不同发行方语境中被标注的目标数字，从四个候选概念（标识符+英文标签，干扰项与目标共享数据类型和报表呈现节）中选出它们共享的概念；T2b（穷尽事实选择）把问题反过来：给定目标概念和该组所有编号数字（平均 40.6 个），要求选出全部对应事实（平均 7.8 个目标），包括法语的比较期数值，并排除其他数字。两个任务使用完全相同的 521 组语境和目标，因此可以计算『T2a 答对的组里，T2b 至少漏掉一个目标的比例』——这正是以往任何基准都没有提供的关键量。与已有工作的本质区别在于：FiNER/FNXL/FinTagging 只测单语言语义标注精度，FinQA 只报告支持事实检索召回，MultiFinBen 虽含多语言抽取但从不考察识别正确时的覆盖完整性；本文则证明这两者可以严重脱节。形式化地，T2b 的预测为 $\hat{S} = f_b(X, U_X, c) \subseteq U_X$，黄金集合为 $S^\star = \{n \in U_X : \tau(n) = c\}$，其中 $\tau$ 是黄金概念指派，漏掉任何一个 $n \in S^\star$ 都构成遗漏。
方法步骤详情
整个基准的构建与评测流程如下。（1）数据收集：每语言 30 家发行方各出一份 FY2025 完整年报（附录表 13 列出全部名单与行业），如英文组含 ASML、壳牌、ING 等，法文组含 LVMH、赛峰、法巴等，希腊组为雅典交易所较小市值的发行人。（2）证据抽取与归一化：浏览器渲染 iXBRL → HTML 表格转 Markdown → Unicode NFC、不间断空格、软连字符等归一化 → 每个标注事实保留可见文本偏移量、概念、数据类型、期间类型与余额；超过 60 个标注事实的表格按行切分并重复表头。（3）构造四类任务。T1 事实识别：每个数字样字符串获得编号 $[N_i]$，模型输出 $f_1(x, N_x) = \{(n, \hat{b}_a^n) : n \in \hat{F}_x\}$，即选出财务事实并给出（类型、期间、余额）三元组，按七类（monetary×instant/duration×debit/credit、per-share、shares、none）算 macro-F1。T2a 概念识别：预测 $\hat{c} = f_a(X, H, C) \in C$，从四个候选概念中选共享概念。T2b 穷尽事实选择：预测目标集合 $\hat{S} = f_b(X, U_X, c)$，指标为 concept-macro F1 与 exact-set 准确率。T2c 概念判别：四个不同发行方摘录中三个标注概念 $c$、一个标注易混概念 $d$（同数据类型、同期间类型、非计算上下级），模型预测 $\hat{j} = f_c(E) \in \{1,2,3,4\}$，随机线 25%。（4）诊断变体：T2a/T2b 分别在去掉英文证据、仅保留单一语言的条件下重跑；标签呈现设 C1（标识符+英文标签）、C2（仅法语/希腊语官方标签、无标识符）、C3（英法希三语标签）三种；另有加入计算近邻和词面匹配干扰项的更难选项集（4 或 20 选项）。（5）专家验证：两名金融专家独立审阅分层 10% 样本（131 个 T1 项、52 个 T2a/T2b 共享组、53 个 T2c 项），讨论后合并决定，讨论前一致性 $\kappa$ 为 0.87/0.74/0.84/0.88。（6）评测 15 个模型：4 个 API 模型（GPT-5.6 Luna、Claude Haiku 4.5、Gemini 3.8 Flash、DeepSeek-V4.1-Flash）、4 个开源权重参考模型（Qwen3.8-27B、Qwen3.8-Flash-Next、Gemma 4 31B IT、Qwen3.5-122B-A10B）、4 个金融专用模型（Fin-R1、Fin-o1-8B、ODA-Fin-RL-8B、希腊语 Plutus-8B-Instruct）及其 3 个基座；全部用英文指令、原始语言证据、关闭推理、严格评分（无效输出计为错误）。
技术新颖性
技术新颖性体现在五个层面。第一，标注获取范式新颖：不靠人工标注也不靠翻译对齐，而是把监管强制的 iXBRL 标签转化为基准黄金标注，使 90 份真实年报中 34,061 个财务事实（11,583 英文 + 12,191 法文 + 10,287 希腊文）的标注几乎零成本且可追溯到原文偏移量；跨发行方（而非平行文本）的概念对齐在多语言评测中也较少见。第二，评估协议新颖：『配对评估』作为明确的设计维度（表 1 中对 8 个既有基准逐项打勾，只有 MULTIFINGROUND 同时满足概念落地、事实覆盖、多语言、无候选标签判别与配对评估五项）。第三，T2c 把『无候选标签的概念判别』引入金融领域，直接探测选项匹配之外的语义区分能力，并揭示出 T2a 完全看不到的模型分化（如 DeepSeek T2a 98.3% 但 T2c 仅 35.6%）。第四，诊断变量系统化：证据语言组合、标签呈现（C1/C2/C3）、选项难度（4/4-hard/20）三轴正交扰动，配合严格协议（无效输出计错、报告 invalid 率）和 McNemar 显著性检验。第五，专家审计流程完整可复核：分层抽样、双人独立评审、争议讨论、$\kappa$ 与原始一致率、修正率及『原标注 vs 修正标注』的分数敏感度（参考模型变化 ≤1.4 点）全部报告。
实验结果
核心发现是『强识别与不完整落地可以共存』。在 15 个被评模型中，8 个 API/开源参考模型的 T2a 概念识别准确率高达 97.3%–99.4%（Gemini 3.8 Flash 最高 99.4%），但在这 521 个组中，它们在 26.6%（Qwen3.5-122B）到 41.9%（Qwen3.8-27B）的『识别正确』组里至少漏掉一种语言中的至少一个目标事实（图 2、表 5）。T2b 上最好的成绩是 Qwen3.5-122B 的 90.4 concept-macro F1 和 71.8% exact-set 准确率；按语言看精确率高达 88.5%–100%，但召回率只有 51.6%–83.5%——『选出来的基本对，但找不全』。语言差异明显：8 个参考模型中 7 个在希腊语上召回最低（如 Gemini 为英 81.7/法 82.2/希 75.1%），且 Gemini 在目标数 3–6 个的组中漏检率 27.7%，在 ≥7 个目标的组中升至 46.3%。T2c 进一步暴露分化：Gemini 95.1%、Qwen3.5-122B 91.6%、Gemma 89.0%，而 T2a 高达 98.3% 的 DeepSeek 在 T2c 上仅 35.6%（随机线 25%）；每个模型在『另一个摘录与奇项同语言』时都更不准。T1 上 Gemini 以 95.4 七类 macro-F1 居首，参考模型在识别正确的事实上类型准确率 ≥99.9%、期间 98.4%，但余额只有 80.6%–95.7%，debit 余额的流量类最差；短文普遍比表格更难。语言消融（图 3）：去掉英文证据对参考模型影响仅 −0.8–+0.4 点，但 Fin-R1 掉 9.2 点、Qwen2.5-7B 掉 5.6 点；只留英文反而更贵——7/8 参考模型比联合输入低 1.9–3.1 点（McNemar $p<0.05$）。标签呈现：希腊语官方标签（C2）使 8 个模型显著下降 1.7–5.0 点，唯一显著提升的是希腊语适配的 Plutus（+5.8，$p=0.007$）；三语标签（C3）影响 ≤1.0 点。更难选项下（表 11）：词面匹配基线从 70.2% 跌到 49.1%（4 难选项）和 36.3%（20 选项），而参考模型保持 94.4%–98.7% 和 89.4%–97.5%，说明强模型不是靠词面匹配。金融专用模型整体令人失望（图 6）：四个专用模型在 T1、T2a、T2c 上全部不如各自基座——Plutus 希腊语 T1 落后基座 Krikri 25.4 点（80% T1 输出无效），Fin-o1-8B 的 T1 落后 19.7 点；唯一例外是 Fin-R1 在 T2b 上比基座高 9.9 macro-F1（法 +12.5、希 +14.8）。生成可靠性也影响排名：Qwen3.8 系列在 31–33% 的 T1 项上耗尽输出预算，ODA-Fin-RL 在 43% 的 T2c 上无效，Plutus 频繁返回空答案。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| T1 事实识别（七类 macro-F1，全部语言） | 7-class macro-F1 (%) | 最佳 Gemini 3.8 Flash 95.4（开源最佳 Gemma 4 31B 90.5） | 多数类/全选基线 7.4；随机 8.8 | 远超平凡基线，但金融专用模型 Plutus 仅 12.6，接近随机 |
| T2a 概念识别（521 组四选一） | Accuracy (%) | Gemini 3.8 Flash 99.4；8 个参考模型 97.3–99.4 | 随机 23.8；多数类 24.2 | 接近饱和，说明识别本身已基本解决 |
| T2b 穷尽事实选择（同一批组） | concept-macro F1 (%) | 最佳 Qwen3.5-122B 90.4 | 全选基线 32.9；随机 27.5 | 显著高于基线，但按语言召回率仅 51.6–83.5%，暴露大量遗漏 |
| T2b exact-set 准确率（选全且无多选） | Exact-set (%) | 最佳 Qwen3.5-122B 71.8 | 随机/多数类均为 0.0 | 近三成识别正确的组做不到完整精确恢复，是本文核心差距的直接体现 |
| T2c 无候选标签概念判别（534 项四选一） | Accuracy (%) | Gemini 95.1 最高；DeepSeek 仅 35.6 | 随机线 24.7–24.9 | 与 T2a 近满分的落差最大达 62.7 点，揭示候选标签掩盖的能力缺陷 |
| T2a 更难选项集（4-hard/20 选项） | Accuracy (%) | 参考模型保持 94.4–98.7 / 89.4–97.5 | 词面重叠基线 70.2→49.1/36.3 | 强模型对干扰项增强稳健，而词面匹配策略崩溃 |
局限与改进
作者明确承认四点局限。其一，标注质量：黄金标注来自发行方自打的 iXBRL 标签，可能含错误或概念选择不一致，专家只审计了每任务 10% 的分层样本，未审计部分的错误与歧义可能残留（审计显示 T2a 干扰项中 5.1% 判为歧义、12.8% 的被审单元需要修正）。其二，T1 对未标注的类金额数字不计分，可能让漏判被放过。其三，T2 语境大多是表格窗口，且能跨三语共享的概念偏向主报表常见概念，长文和罕见概念的难度未被覆盖。其四，混杂变量：语言与发行方、行业、文档风格同时变化（每种语言的 30 家发行方互不重叠，希腊组公司普遍更小），因此单语言条件的差异不能归因于语言本身。我自己的观察补充几点：语言覆盖仅三种欧洲语言且同属 ESEF 制度，结论对亚洲或拉美报告制度的外推性未知；T2b 组平均只有约 40.6 个编号事实、2.5–2.7 个目标/语境，真实年报中动辄数百个数字的整表场景更难；部分模型的排名受生成可靠性污染（Qwen3.8 系列预算耗尽、Plutus 80% 无效输出），严格协议下分数混淆了『能力』与『格式遵循』；所有模型关闭推理模式，推理型模型是否缩小覆盖缺口没有被检验；作者也承认组间共享发行方导致的依赖性使 McNemar $p$ 值只能视为探索性；另外论文未给出公开代码/数据链接（至少正文未出现），复现依赖作者承诺的发布。
独立分析的弱点
独立分析可见以下弱点，每条附带改进方向。（1）覆盖缺口可能部分源于『输出纪律』而非语义理解：模型在识别正确的组里仍漏掉法语比较期数值，提示它没有执行『穷尽枚举』的输出策略。改进：把 T2b 拆成逐语言的子查询或引入自我验证（列出候选后逐个核对行标签与期间），或用强化学习把 completeness 直接写进奖励。（2）语言与发行方完全绑定，语言效应与公司规模/行业/披露风格纠缠：希腊组多为小市值公司，希腊语召回最低可能混杂了文档难度。改进：收集在多个司法辖区以多语言发布同一报告的跨国发行人，或构造受控翻译对照集以解耦语言与文档因素。（3）黄金标注依赖发行方一致性：不同发行方对同一行项目可能选择不同粒度的概念（审计已发现 12.8% 单元需修正、T2a 干扰项 5.1% 歧义）。改进：扩大专家审计覆盖、引入跨发行方一致性检查、对歧义概念做显式消歧规则。（4）T2c 与 T2a 在证据布局和任务结构上同时不同，无法把 35.6%–95.1% 的落差归因于『去掉候选标签』这一个因素。改进：设计只改变标签可得性、其余全同的消融版本。（5）金融专用模型的失败混淆了领域知识与格式遵循：Plutus 80% 无效输出使其 T1 分数（12.6）几乎不可解释。改进：评测时加入格式修复重试或宽松评分对照，把『答不出』与『答不对』分开报告。（6）基准只覆盖短上下文（平均 1.2k 输入 token）与主报表概念，遗漏长文档多表推理这一真实困难。改进：加入跨页、跨报表注释（notes）的组，以及 block tag 区域中未单独打标的金额。
未来方向
作者在结论中指出的方向包括：评估应同时考察跨语言概念识别与各语言的证据完整性，模型在会计属性（尤其余额方向）和易混概念区分上仍需改进，金融专用模型在捕获概念与对应数字方面收益有限。在此基础上可以延伸出多条研究路线。其一，把覆盖缺口变成训练信号：既然 T2a/T2b 配对数据天然标注了『识别正确但遗漏』的实例，就可用其对模型做针对性 RL 或 DPO 微调，奖励完整集合预测。其二，扩展语言与制度覆盖：把 iXBRL 管线推广到 ESEF 之外的披露制度（如美国 EDGAR 的 XBRL、日本 TDnet），并加入低资源语言检验希腊语效应是否普遍。其三，引入推理与智能体式方法：测试开启推理的模型、检索增强与多步『先定位行标签、再枚举数值』的流水线是否缩小鸿沟。其四，下游价值验证：把 T2b 输出接入跨语言财务比率计算、同比增长核算、XBRL 重标注等真实任务，量化证据遗漏对最终财务分析的影响。其五，机制分析：探究模型识别概念与检索证据是否依赖相同的内部表征，解释为什么 T2c 能分化出 T2a 看不到的强弱。其六，基准本身的迭代：加入更难的干扰项生成器、更长上下文与多表组，以及把『无效输出』与『错误答案』分开的报告维度。
复现评估
复现条件总体较好但有一些不确定因素。数据侧：90 份 FY2025 ESEF 年报均为公开监管文件，附录表 13 完整列出所有发行方、语言与行业，英文来自 filings.xbrl.org（六个辖区），法文为 CAC 40 成分股（20 份来自 filings.xbrl.org、10 份来自 AMF 官方机制），希腊文来自雅典交易所；对于无法再分发的全文，作者承诺发布标注、来源信息与重建指令，且报告只含公司信息、无个人数据。管线细节充分：附录 G 给出浏览器渲染、HTML 转 Markdown、偏移量保留、Unicode 归一化、表格切分（>60 个标注事实按行切分并重复表头）等全部规则，附录 B 给出提示词，附录 F 给出专家评审指南与审计结果（$\kappa$ 0.74–0.88、修正率 1.3%/2.1%、参考模型分数敏感度 ≤1.4 点）。算力侧：开源模型用 SGLang 本地服务、默认聊天模板与生成配置，API 模型关闭推理，输出预算统一 16,384 token，输入平均仅 1.2k token，属于中等规模评测（521 组×多条件×15 模型）。主要门槛有三：需要能处理 iXBRL 的渲染管线（无头浏览器+表格重建最棘手）；复现专家审计需要 ACCA/CPA 级别、具备 IFRS 与法/希语（CEFR C1）能力的会计专家；论文正文未给出代码或数据集的公开 URL，实际可得性取决于作者后续发布。综合评估：有会计与工程背景的小团队可在数周内重建数据管线并复现主要实验，但完整复现审计环节成本较高。
论文图表
T2b 按语言拆分的 F1 表，对比联合输入与去英文两种条件。参考模型三语 F1 大多在 74–91 区间，希腊语普遍最低（如 Gemini 89.8/90.3/85.3）；去掉英文对多数参考模型影响很小甚至略升，而金融模型 Fin-R1 希腊语仅 53.8，基座 Qwen2.5-7B 希腊语只有 39.0。
补全『证据语言如何影响落地』的证据链：识别端（T2a）几乎不掉分，但覆盖端（T2b 召回）在希腊语上系统性更低。