EBISU：日语金融领域大语言模型基准测试 Ebisu: Benchmarking Large Language Models in Japanese Finance
首个针对日语金融语言理解的基准，揭示主流LLM在隐式意图识别和术语抽取上的系统性短板
前置知识
黏着语（Agglutinative Language）
日语是典型的黏着语，语法意义通过在词干上依次附加词缀（助词、助动词、语尾等）来表达，且每层词缀承载相对独立的语法功能。与英语等屈折语不同，日语的否定、时态、情态、礼貌等信息往往堆叠在句末，形成所谓的「句末决定论」。例如「〜していただけるでしょうか」一个句尾就同时编码了受益态、可能态、推测和礼貌四个层次。这意味着模型必须解析完整的句末结构才能判断说话者的意图，而非仅凭局部关键词。
JF-ICR任务的核心难点在于公司回答的承诺/拒绝意图往往隐藏在句末助动词和语尾变化中，不理解黏着语的句末堆叠机制就无法准确推断立场。
语用隐含义（Pragmatic Implicature）
语用隐含义是指说话者通过非字面手段传达的真实意图，在日语中尤为普遍。日语商务沟通遵循「高语境」（high-context）传统，直接拒绝被视为不礼貌，因此企业常用委婉表达、条件句、省略主语等方式暗示立场。例如「検討してまいります」（我们将予以研究）字面上是积极承诺，但在日语企业沟通中常作为婉拒的套话。这种隐含义依赖语境、文化规范和句末情态来解码，远超表面语义。
JF-ICR任务专门评估模型能否区分真正的承诺和策略性不承诺，这是日语金融沟通的核心语用难题，也是当前LLM最大的盲区。
混合书写系统与嵌套术语（Mixed Script & Nested Compounds）
日语同时使用汉字（kanji）、平假名（hiragana）和片假名（katakana）三种书写系统。金融术语大量使用汉字复合词（如「潜在株式調整後1株当たり当期純利益」）和片假名外来语（如「コミットメントライン」），且外来语常发生语义漂移——与英语源词含义不同。术语边界还涉及嵌套结构：一个长术语内部可能包含多个独立的子术语，形成层次化的术语树。模型需要同时识别术语边界、处理书写变体、理解嵌套层次。
JF-TE任务要求模型提取并排序嵌套金融术语，混合书写系统和嵌套结构是造成HitRate@1与HitRate@10差距大的核心原因。
HitRate@K 指标
HitRate@K是一种排名质量评估指标，衡量在模型输出的前K个预测结果中是否包含至少一个正确答案。在本文中用于评估嵌套金融术语的排序能力：对于每个最大术语（maximal term），模型需输出其包含的子术语按相关性排序的列表，HitRate@K检查金标准子术语是否出现在前K个预测中。K取1/5/10分别考察精确命中、宽松召回和完全覆盖能力。HitRate@1与HitRate@10的差距反映了模型在术语边界解析和变体处理上的困难。
该指标是理解JF-TE实验结果的关键，论文的核心发现之一就是HitRate@1与HitRate@10之间存在巨大差距，说明问题不在词汇量不足而在排序和边界判断。
研究动机
当前主流LLM评估体系在日语金融领域存在系统性盲区。一方面，现有的多语言基准（如MultiFinBen、FinBen）为了跨语言可比性，倾向于使用短文本、显式目标和稳定标签体系（如选择题、情感分类），这些格式天然不适合评估需要深层语用推理的任务。另一方面，日语金融基准（如EDINET-Bench、Japanese-LM-Fin-Harness）虽然覆盖日语金融知识，但主要考察知识型问答或情感分析，忽略了日语沟通中核心的隐式意图推断问题。具体而言，日语是黏着语且语序为「主语-宾语-谓语」（SOV），情态和否定信息出现在句末（McCawley, 1975），拒绝常用间接策略表达（Ide, 1989），而金融术语由三种书写系统混合构成且嵌套层次深。这些语言特性使得现有以英语为中心训练的LLM在处理日语企业沟通时，系统性地将间接拒绝误读为中性甚至积极回应。考虑到外国投资者在2024财年持有日本上市公司32.4%的市值（Tsutsumi, 2025），这种理解缺陷对跨境金融决策有实质影响。
本文的目标是本文提出EBISU基准，旨在填补日语金融语言理解评估的空白，具体目标包括：（1）构建两个深度嵌入日语语言特性和金融实务的专家标注任务——JF-ICR（隐式承诺识别）和JF-TE（金融术语抽取）；（2）对22个涵盖开源、闭源、通用、日语适配和金融领域适配的LLM进行全面评估；（3）通过控制变量的对比分析（同族模型大小对比、语言适配前后对比、金融领域适配前后对比），诊断模型能力的真正来源和瓶颈；（4）为社区提供公开的数据集、标注指南和评估代码，推动语言和文化感知的金融NLP研究。
与已有工作不同的是，本文的独特切入点在于它没有延续「更大模型=更好性能」的主流假设，而是聚焦于日语金融沟通中三个被忽视的维度：（1）语用隐含义——企业回答中的承诺和拒绝不通过字面词汇表达，而通过句末助动词、条件句式和文化惯例来编码；（2）术语层次性——金融术语不是扁平的命名实体，而是嵌套的、书写变体密集的结构化概念；（3）文化规范——日语企业沟通中的「婉拒」是一种制度化的表达策略，而非语言模型需要修复的「歧义」。论文通过实证发现，增加模型规模带来的改善有限（Qwen3-8B到235B仅提升约0.38 F1），日语适配甚至可能降低性能（Swallow-70B低于Llama-70B），金融领域持续预训练甚至可能有害（nekomata-14b-pfn-qfin低于nekomata-14b），这些反直觉的结果表明问题根源不在算力或数据量，而在训练范式无法捕捉的语言-文化耦合现象。
核心方法
EBISU的设计思路可以类比为「给LLM做日语金融执业资格考试」。与通用基准不同，它不考察模型的知识量，而是考察模型在真实金融沟通场景中的「读人」和「读文」能力。「读人」对应JF-ICR任务：给模型一段日语企业的投资者问答，让它判断管理层的真实立场——是坚定承诺、有所保留、含糊其辞、委婉拒绝还是明确拒绝。「读文」对应JF-TE任务：给模型一段专业披露注释，让它从中提取并排序所有金融术语及其嵌套子术语。技术路线包括四个环节：（1）数据采集——从真实企业披露文件和EDINET系统收集原始文本；（2）专家标注——由两位具有金融行业经验的母语级日语标注员独立标注，高级专家仲裁分歧；（3）质量验证——使用Macro-F1、Cohen's κ和Krippendorff's α三个指标验证标注一致性；（4）统一评估——基于LM Evaluation Harness构建标准化评估流水线，对22个模型在相同条件下评估。
本文的核心创新在于提出了两个前所未有的评估维度：（1）隐式承诺识别——将日语语用学中的「间接拒绝」现象操作化为五级分类任务（+2到-2），这是对传统情感分析的根本性超越。情感分析关注正面/负面，而JF-ICR关注的是「承诺强度」——一个字面积极的回答（如「検討してまいります」）可能实际上是一个零承诺或弱拒绝。（2）层次化术语排序——不同于传统的命名实体识别（NER）将术语视为扁平的span，JF-TE要求模型同时识别最大术语（maximal term）、其内部的嵌套子术语，并按术语性（termhood）排序。这种设计源自C-value方法论（Frantzi et al., 2000），但首次应用于日语金融领域。与已有工作的本质区别在于：EBISU不评估模型「知不知道」，而是评估模型「读不读懂」——在同样的信息面前，模型能否像一位有经验的日本金融分析师那样，从句末助动词中读出管理层的真实意图，从混合书写中正确划分术语边界。
方法步骤详情
EBISU的构建和评估流程分为以下步骤：第一步，数据采集。JF-ICR从4家日本大型企业（三菱UFJ、三井住友、伊藤忠、三菱商事）的投资者问答、股东大会和财务说明会记录中收集8份源文件（2023-2026年），经过筛选只保留单轮、单一主题的问答对，最终得到94个实例。JF-TE从EDINET系统获取10家上市公司的2025年度有价证券报告，手动提取注释部分（注記/※），得到202个笔记级实例。第二步，标注方案设计。JF-ICR采用五级承诺/拒绝量表（+2强承诺到-2强拒绝），由标注员根据句末情态、条件表达和语境判断管理层立场。JF-TE采用跨度级标注，标注员标记每个笔记中的最大金融术语及其内部的嵌套子术语。两套方案均经过多轮预标注迭代优化。第三步，专家标注与质量控制。两位母语级日语金融专家独立标注，使用Label Studio平台，分歧由高级专家仲裁。质量验证显示JF-ICR的Macro-F1为0.9215、Cohen's κ为0.8769，JF-TE分别为0.8230和0.7786，表明标注高度可靠。第四步，指令格式转换。将标注实例转换为结构化指令格式，JF-ICR使用固定的提示模板要求模型输出五级标签，JF-TE要求模型输出JSON格式的嵌套术语列表。第五步，统一评估。基于LM Evaluation Harness构建评估流水线，闭源模型通过官方API评估（temperature=0），开源模型通过TogetherAI或本地vLLM部署在4块H100 GPU上评估，最大生成长度统一为1024 token。
技术新颖性
EBISU在技术新颖性上有三个突出特点。首先，它是第一个将日语语用学的「间接拒绝」现象操作化为可评估任务的基准。之前的日语金融基准要么考察知识型问答（EDINET-Bench），要么考察情感分类（Japanese-LM-Fin-Harness），都没有触及「承诺强度推断」这一核心能力。EBISU通过五级量表和详细的标注指南，将模糊的语用现象转化为可量化的分类任务。其次，JF-TE任务首次在日语金融领域引入层次化术语评估。传统NER只考察术语识别的准确率，不考虑术语间的嵌套关系和排序质量。JF-TE受C-value方法论启发，要求模型不仅识别术语，还要区分最大术语和子术语，并按术语性排序，这更贴近金融分析师的实际工作方式。第三，EBISU的评估设计强调诊断性而非排名性。通过同族模型的大小对比（如Qwen3系列从8B到235B）、语言适配前后对比（如Llama-3.3 vs Swallow-70B）、金融适配前后对比（如nekomata-14b vs nekomata-14b-pfn-qfin），论文能够精确隔离模型规模、语言适配和领域适配的独立贡献，而非仅仅给出一个综合排名。
实验结果
论文对22个LLM的评估揭示了一系列重要发现。首先，EBISU对当前最先进的模型构成严峻挑战：在JF-ICR任务上，表现最好的模型Llama-4-Scout-17B仅达到60.64%准确率，意味着近四成的管理层回应意图被模型误判；在JF-TE任务上，最强的Llama-3.3-70B-Instruct的F1仅为41.33%，HitRate@1仅12.77%，说明模型在精确识别和排序日语金融术语方面远未成熟。其次，模型规模的提升效果有限但存在：在Qwen系列中，从8B到235B参数，JF-ICR准确率从12.77%提升到45.74%（+33个百分点），JF-TE的F1从5.48%提升到43.55%（+38个百分点），但即使最大的模型也远未达到可用水平。第三，语言适配的效果出乎意料地不稳定：Llama-3.3-Swallow-70B-Instruct（日语适配版，综合得分0.3851）反而低于Llama-3.3-70B-Instruct（英语原版，0.4011），日语通用模型nekomata-14b（0.0251）低于其英语基座Qwen-14B（0.0857）。第四，金融领域持续预训练可能有害：日语金融模型nekomata-14b-pfn-qfin（0.0198）不仅低于日语通用版nekomata-14b（0.0251），也远低于英语基座Qwen-14B（0.0857），在JF-TE上甚至损失了0.12 F1。第五，模型存在系统性偏见：在JF-ICR上，英语中心模型倾向于给出更高的承诺分数——Llama-3.3-70B-Instruct的平均承诺分（0.9787）远高于Swallow-70B（0.8404），Qwen-14B（0.3830）远高于nekomata-14b（-0.8511），说明模型将日语中的间接拒绝和策略性不承诺系统性地误读为接受或弱同意。第六，错误集中在语言和语用层面而非知识层面：在JF-ICR上，模型主要在句末助动词决定立场和间接拒绝策略的场景中出错；在JF-TE上，排序质量随复合深度和混合书写变体增加而恶化，HitRate@1与HitRate@10的巨大差距表明问题在于术语边界解析而非词汇量不足。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| JF-ICR 隐式承诺识别 | Accuracy | Llama-4-Scout-17B: 0.6064 | Qwen3-8B: 0.1277 / gpt-5: 0.5532 | 最佳开源模型比最小模型高+47.87个百分点 |
| JF-TE 术语抽取 F1 | F1 | Llama-3.3-70B-Instruct: 0.4370 | Qwen3-8B: 0.0548 / nekomata-14b-pfn-qfin: 0.0468 | 最佳模型比最小模型高+39.02个百分点 |
| JF-TE 术语排序 HitRate@1 | HitRate@1 | Llama-3.3-70B-Instruct: 0.1277 | Qwen3-8B: 0.0050 / FinMA-7B: 0.0000 | 最佳模型仅12.77%精确命中率 |
| JF-TE 术语排序 HitRate@10 | HitRate@10 | Llama-3.3-70B-Instruct: 0.5111 | Qwen3-8B: 0.0233 | HR@10(0.5111)远高于HR@1(0.1277)，差距反映边界解析困难 |
| Qwen3系列规模对比 (JF-ICR) | Accuracy | Qwen3-235B-A22B-Instruct: 0.4574 | Qwen3-8B: 0.1277 | 29倍参数增长仅带来+32.97个百分点 |
| 日语适配效果 (JF-ICR综合) | Avg | Llama-3.3-Swallow-70B: 0.3851 | Llama-3.3-70B-Instruct: 0.4011 | 日语适配反而降低-1.6个百分点 |
局限与改进
论文作者坦诚地指出了几个重要局限。首先是数据规模和覆盖范围的限制：JF-ICR仅包含94个问答对，来源限于4家大型上市公司的披露文件（2023-2026年），JF-TE仅包含202个笔记实例，来源限于2025年10份年度有价证券报告。这种有限覆盖可能无法反映日本金融沟通的全貌，尤其是中小企业、不同行业和不同披露格式的多样性。时间跨度（2023-2026年）也可能无法捕捉不断演变的金融术语和监管变化。其次，由于数据规模有限，当前版本不提供训练/测试划分，限制了模型微调和训练的评估。第三，两个任务都操作于相对短的文本段，无法评估长上下文理解和多轮对话推理能力。第四，评估指标存在内在局限：JF-ICR的Accuracy将所有错误分类等同对待（将+2误判为-2与误判为+1后果不同），JF-TE的精确匹配可能惩罚语义正确但span略有偏差的预测。从我的观察来看，还有几个值得注意的问题：（1）标注员仅两人，虽然一致性指标良好，但对于五级分类这种细粒度任务，更多标注员会更可靠；（2）JF-ICR的94个实例中，五类标签的分布未详细披露，可能存在严重的类别不平衡；（3）所有评估模型的temperature设为0，这可能不是所有模型的最优解码策略；（4）论文未对比人类专家在这些任务上的表现，读者难以判断60%准确率是「好」还是「差」。
独立分析的弱点
从独立分析来看，EBISU存在几个可改进的弱点。第一，数据规模偏小：JF-ICR仅94个实例、JF-TE仅202个实例，对于需要精细统计分析的基准来说样本量不足，尤其是JF-ICR的五级分类在94个实例上每类平均不到19个，置信区间较宽。改进方向包括扩大公司覆盖范围（从4家到20家以上）、延长时间跨度（5年以上）、增加披露类型（从问答和报告扩展到内部备忘录、监管回复等）。第二，任务范围有限：EBISU只考察了隐式承诺识别和术语抽取两个能力，未涵盖日语金融NLP的其他重要任务，如财务数据推理、跨文档信息整合、多轮对话跟踪等。可以考虑增加财务报表数值推理、多文档矛盾检测、投资者情绪的时序分析等任务。第三，评估协议的严格性可以提升：论文未报告人类专家基线（human baseline），读者无法判断当前最佳模型60%的准确率相对于人类的85%还是95%而言意味着什么。此外，论文未进行详细的错误分析（如混淆矩阵、按标签类别的准确率分解），限制了对模型失败模式的深入理解。第四，JF-TE的精确匹配标准可能过于严格：在日语中，同一术语可能有多种合法的书写变体（如汉字vs片假名），精确匹配会惩罚这些合理变体。可以引入基于语义相似度的软匹配指标作为补充。
未来方向
基于EBISU的发现，未来研究可以在以下几个方向展开。首先，日语金融语用能力的训练方法探索：论文发现日语适配和金融领域适配都无法可靠提升性能，说明当前的「预训练+指令微调」范式不足以捕捉语用隐含义。可以探索基于强化学习的语用推理训练（如用RLHF/DPO直接优化对间接拒绝的识别）、引入语用学知识的课程学习、或构建面向语用推理的合成数据。其次，跨文化金融沟通基准扩展：EBISU揭示的日语特有现象（间接拒绝、句末情态、混合书写术语）在韩语、中文等亚洲语言中也存在类似特征，可以构建跨文化的金融语用基准。第三，术语层次结构的建模方法：JF-TE的层次化评估揭示了当前模型在嵌套术语排序上的困难，可以探索专门的层次化术语识别架构（如基于图神经网络的术语树建模）或引入术语学知识（如C-value、termhood measures）到模型训练中。第四，实际应用评估：论文的基准评估是离线的，未来可以在实际的跨境金融分析流程中部署这些模型，评估其对投资决策的实际影响。
复现评估
EBISU在可复现性方面做得较好。数据集和评估代码均已公开发布：数据托管在HuggingFace（TheFinAI/JF-ICR和TheFinAI/JF-TE），代码托管在GitHub（The-FinAI/Ebisu）。标注指南（Appendix A和B）详细公开，包括分类定义、标注规则和示例，其他人可以按照相同标准进行标注或扩展数据。评估基于LM Evaluation Harness这一广泛使用的标准化框架，确保评估流程的可复现性。算力需求方面，论文报告了200+ GPU小时的评估成本（4块H100 GPU），这对于学术团队来说是可承受的，但对于个人研究者可能需要借助云端资源。闭源模型通过官方API评估，需要API访问权限。复现的主要挑战在于：（1）标注需要具有金融行业经验的母语级日语专家，这类人才稀缺；（2）论文使用的部分模型版本（如Llama-4-Scout-17B、gpt-5）可能随时间更新，结果不一定完全可复现；（3）论文未提供训练/测试划分，当前版本只能用于评估不能用于训练。总体而言，EBISU的可复现性在金融NLP基准中属于上乘水平。
论文图表
