SampoNLP：面向子词分词器形态学分析的自参考工具包 SampoNLP: A Self-Referential Toolkit for Morphological Analysis of Subword Tokenizers
提出无语料形态学词典构建方法，系统评估BPE分词器在乌拉尔语系中的最佳词表规模
前置知识
Byte-Pair Encoding (BPE)
BPE是一种广泛使用的子词分词算法，其核心思想是迭代地合并语料库中出现频率最高的相邻字符对。初始时每个字符都是独立的token，然后逐步将高频双字符组合合并为新token，直到达到预设词表大小。这种'贪心合并'策略能自动发现常见的子词单元，平衡字符级和词级表示之间的粒度，是GPT、LLaMA等现代大语言模型的标准分词方案。
本文的核心目标之一就是评估BPE在形态学复杂语言中的表现并确定最优词表大小，因此理解BPE的工作原理是理解全文的基础。
形态学分析与形态素
形态学是语言学的一个分支，研究词的内部结构和构成规则。形态素（morpheme）是语言中最小的有意义单位，例如英语 unhappiness 由三个形态素组成：un-（否定前缀）、happy（词根）、-ness（名词后缀）。在黏着语（如芬兰语、匈牙利语）中，一个词可以由大量形态素紧密组合而成，例如芬兰语 talo-i-ssa-ni-ko-kaan 意为也不在我的房子里，包含7个形态素。
论文的IMDP管道目标是从噪声候选列表中筛选出高质量的形态素词典，理解形态素概念才能理解评估指标LMC和OSR的含义。
乌拉尔语系（Uralic Languages）
乌拉尔语系是一个横跨北欧和北亚的语言家族，包括芬兰语、匈牙利语、爱沙尼亚语、萨米语等。这些语言以丰富的形态变化著称，属于典型的黏着型语言——通过在词根上附加大量词缀来表达语法关系。这种高度形态学复杂性对基于统计的分词算法（如BPE）构成重大挑战，因为BPE倾向于学习表面字符共现模式而非真正的形态学边界。
本文聚焦于三种乌拉尔语言（芬兰语、匈牙利语、爱沙尼亚语），实验结果表明这些语言的形态复杂性直接影响BPE分词器的最优设计。
最小描述长度原则（MDL）
MDL（Minimum Description Length）是一种源自信息论的模型选择原则，核心思想是最优模型是能够用最少信息量描述数据的模型。它源于Rissanen（1978）的工作，借鉴了Kolmogorov复杂度的思想。在形态学分析中，MDL意味着好的形态素词典应该能用最少的形态素来解释最多的词汇形式——既要词典足够小，又要覆盖足够多。Morfessor等经典无监督形态学工具就是基于MDL原则设计的。
SampoNLP的MDL启发式自参考原子性评分方法在理论上借鉴了MDL思想，但将其适配到了无语料、纯类型（type-only）的新范式中。
Otsu阈值法
Otsu方法（Otsu, 1979）是一种自动确定最优阈值的经典算法，最初用于图像处理中的前景/背景分割。其原理是遍历所有可能的阈值，计算将像素分为两类后的类间方差，选择使类间方差最大的阈值作为最优分割点。该方法的优点是完全数据驱动，不需要手动调参，能够自适应地根据数据分布确定最佳分割边界。
本文将Otsu方法创造性地应用于形态素评分分布的阈值确定，将候选形态素自动分为原子和复合两类，这是IMDP管道第三阶段的核心技术。
Integrated Performance Score (IPS)
IPS是本文提出的统一评估指标，用于在单一数值中捕获分词器在形态素覆盖（coverage）和过度分割（over-segmentation）之间的权衡。其计算公式为：$$IPS = 1 - \frac{\sqrt{(1-LMC)^2 + OSR^2}}{\sqrt{2}}$$，其中LMC为词汇形态素覆盖率，OSR为过度分割率。该指标几何化地建模了权衡关系——理想分词器位于(覆盖率=1, 过度分割=0)的点，IPS表示实际分词器到该理想点的归一化欧氏距离。
IPS是本文所有实验结论的核心度量，最优词表大小的推荐都基于IPS曲线的分析。理解IPS才能理解为什么推荐80k-128k的词表范围。
研究动机
子词分词算法（如BPE）是现代大语言模型的基石，但其纯粹的统计本质对形态学丰富的黏着语构成严峻挑战。在乌拉尔语系中，词往往由大量形态素紧密拼接而成，例如芬兰语中 talo-i-ssa-ni-ko-kaan（也不在我的房子里）包含7个形态素。对于这类语言，分词质量不仅是一个工程细节，而是决定模型能否理解语法结构并有效泛化的关键因素（Hämäläinen et al., 2021; Gerz et al., 2018）。一个关键的实践问题一直悬而未决：对于这些形态学复杂的语言，最优的BPE词表大小k是多少？这个问题的重要性已被最近的研究（Chelombitko和Komissarov, 2024）所强调，他们证明了专门化的分词器对乌拉尔语言有显著益处，但未能给出具体的最优词表大小建议。解决这个问题面临一个更根本的障碍：高质量形态学评估资源的匮乏。虽然拼写检查词典中有词汇数据，但原始的词干和词缀组合会产生大量噪声候选。手动筛选不具可扩展性，而经典的基于语料的方法（如Morfessor, Creutz and Lagus, 2007）又不适合许多低资源的乌拉尔语言，因为它们需要token频率信息，而这些信息在低资源环境下往往不可用。
本文的目标是本文的目标是双重的且同等重要。第一，提出一个完全自动化、可复现的无语料形态学词典精炼管道（IMDP），能够在不需要语料频率或外部资源的情况下，从噪声候选列表中提炼出高纯度的形态素词典，并以开源工具包SampoNLP的形式发布。第二，利用生成的高纯度形态素词典，对芬兰语、匈牙利语和爱沙尼亚语的BPE分词器进行系统性评估，覆盖从8k到256k的词表规模范围，通过新提出的统一指标IPS（Integrated Performance Score）精确建模词汇形态素覆盖率（LMC）和过度分割率（OSR）之间的权衡关系，最终为每种语言提供有实证依据的最优词表大小建议。
与已有工作不同的是，本文的独特切入角度在于三个方面。首先，在方法论上，虽然IMDP在理论上借鉴了MDL原则，但它开创了一种全新的范式：无语料、纯类型（type-only）的自参考过滤。与Morfessor等需要语料库token频率信息的传统MDL方法不同，SampoNLP仅通过分析候选集内部的结构模式来评估每个候选的原子性，这使其特别适合数据稀缺的低资源环境。其次，在评估维度上，本文提出了IPS这一统一指标，将形态素覆盖率和过度分割率这两个相互矛盾的目标融合为一个单一分数，实现了对分词器质量的直接比较。这响应了社区对更好的、语言学基础的评估方法的呼吁（Chelombitko et al., 2024; Beinborn and Pinter, 2023）。最后，在应用价值上，本文首次为三种乌拉尔语言的BPE分词器提供了基于实证的最优词表大小建议，将词表大小的选择从基于启发式的猜测转变为有原则的优化问题。
核心方法
SampoNLP的方法体系包含两个层次：首先是形态学词典的构建方法（IMDP管道），然后是基于该词典的分词器评估方法。整体思路是：既然缺乏干净的形态素词典来评估分词器，那就先开发一个能自动从噪声数据中提炼出高质量词典的方法，然后用这个词典来系统性地回答最优词表大小的问题。IMDP管道的核心直觉是：在一个形态学候选列表中，真正的原子形态素（如词根、基本词缀）应该具有自解释性——它们能作为构建块来解释其他更复杂的形式，而复合形式则可以被其他更简单的形式所解释。通过迭代地量化这种可解释性，原子形态素会保持高分，而复合形式会被逐步压低到接近零的分数。这种自参考的评分机制不需要任何外部语料，仅依赖候选集本身的内部结构信息。
本文的核心创新点是MDL启发式自参考原子性评分（MDL-inspired Self-Referential Atomicity Scoring），它与已有方法有本质区别。传统的Morfessor等MDL方法是语料依赖的：它们通过寻找能最好压缩文本语料库的形态素词典来工作，需要token频率信息。而SampoNLP的方法是语料无关的：它在一个纯类型（type-only）的设置中运作，只分析候选形态素列表的内部结构。其核心创新在于引入了一个动态竞争机制：每个形态素的得分不是静态计算的，而是在与其他形态素的竞争中迭代更新。一个形态素的最佳解释力（Best Explanation Power, BEP）定义为用其他形态素最优分解它所能获得的最大得分和：$BEP_k(t) = \max_{n \geq 2} \sum_{i=1}^{n} S_k(m_i)$。得分更新规则为：$S_{k+1}(t) = S_k(t)$ 如果 $BEP_k(t) \leq S_k(t)$，否则 $S_{k+1}(t) = \frac{S_0(t)}{1 + BEP_k(t)}$。这个规则创造了一种竞争动态：原子形态素因为难以被其他形式分解而保持高分，复合形式因为可以被更简单的形态素解释而被惩罚到接近零。
方法步骤详情
IMDP管道包含三个主要阶段。第一阶段是候选预过滤和初始评分：首先应用硬过滤规则，丢弃包含非目标文字（如拉丁语系列表中的西里尔字母）、非字母字符（数字、标点、URL）、专有名词或缩写（首字母大写或全大写）、过长（|t|>30）或过短（除非在单字符白名单W中）的token。然后应用类型支持过滤，只保留在至少m个其他候选中作为子串出现的候选（m=3），确保只考虑在数据集中结构上重复出现的模式。最后为每个存活的候选分配初始原子性得分 $S_0(t) = \frac{1}{|t|}$，基于MDL启发原则：在其他条件相同的情况下，较短的形式更可能是基本形态单元。第二阶段是迭代得分精炼：对于每个token t，使用动态规划算法找到其最优分解为更小token序列 $(m_1, m_2, ..., m_n)$ 的方式，使分解后的成分得分之和最大（即BEP）。然后按照上述更新规则调整得分。迭代过程持续到收敛，即连续两次迭代中任何token得分的最大绝对变化小于阈值 $\epsilon = 10^{-7}$，或达到安全上限100次迭代。第三阶段是通过Otsu方法进行自动阈值过滤：得分收敛后，使用Otsu方法自动确定分离阈值 $\tau$，将所有最终得分 $S_{final}(t) \geq \tau$ 的token分类为原子形态素，形成最终的高纯度形态素词典。
技术新颖性
SampoNLP的技术新颖性体现在多个层面。第一，它开创了无语料形态学分析的新范式。此前的无监督形态学方法（如Morfessor的各种变体）本质上都是语料驱动的，需要token频率来指导分割决策。SampoNLP证明了仅通过分析候选形态素列表的内部结构关系，就能实现高质量的形态素筛选，这为低资源语言开辟了新路径。第二，它创造性地将MDL原则适配到纯类型设置中。传统MDL以压缩率为优化目标，而SampoNLP以原子性为优化目标——一个形态素越难以被其他形态素分解，就越可能是真正的原子单元。第三，将Otsu方法从图像处理领域迁移到形态学评分分布的阈值确定，避免了手动调参，使整个管道完全自动化。第四，提出IPS指标将两个相互矛盾的评估维度（覆盖率和过度分割率）融合为一个单一、可解释的几何度量，其公式 $IPS = 1 - \frac{\sqrt{(1-LMC)^2 + OSR^2}}{\sqrt{2}}$ 捕捉了理想分词器与实际分词器之间的距离。这些创新共同构成了一个端到端的、完全自动化的形态学分析和分词器评估框架。
实验结果
实验结果揭示了几个重要发现。首先，IMDP管道在去噪效率上表现惊人：芬兰语从499,647个初始候选精炼到3,850个原子形态素（缩减率99.23%，压缩因子129.8倍），爱沙尼亚语从281,256个缩减到5,705个（97.97%，49.3倍），匈牙利语从103,317个缩减到3,189个（96.91%，32.4倍）。这证明了IMDP能够从高度噪声的拼写检查词典中有效提炼出纯净的形态素词典。其次，三种语言呈现出三个截然不同的性能层级：匈牙利语表现最好，IPS曲线从0.29快速上升到最大值0.73，表明BPE能较好地学习匈牙利语的统计规律；爱沙尼亚语处于中间层级，IPS从0.22增长到最大0.39，不到理想分词器性能的40%；芬兰语最为困难，最大IPS仅为0.31，定量证明了标准BPE在捕捉芬兰语形态复杂性方面的根本局限。第三，所有语言的IPS曲线都呈现经典的对数增长模式，体现了收益递减规律。通过分析IPS曲线，研究者识别出拐点（elbow point）和90%质量点：匈牙利语和爱沙尼亚语的最优范围为80k-128k词表，芬兰语需要更大的范围80k-150k。具体来说，匈牙利语的拐点在80k，90%质量点在128k；芬兰语的拐点也在80k，但90%质量点需要150k，反映了其更高的形态复杂性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 匈牙利语BPE分词器最优词表评估 | Integrated Performance Score (IPS) | 最大IPS 0.73，最优范围80k-128k | 无直接基线，此前缺乏系统性形态学评估 | 首次提供基于实证的最优词表大小建议 |
| 爱沙尼亚语BPE分词器最优词表评估 | Integrated Performance Score (IPS) | 最大IPS 0.39，最优范围80k-128k | 无直接基线 | 首次提供基于实证的最优词表大小建议 |
| 芬兰语BPE分词器最优词表评估 | Integrated Performance Score (IPS) | 最大IPS 0.31，最优范围80k-150k | 无直接基线 | 首次提供基于实证的最优词表大小建议 |
| 形态学候选列表去噪 | 缩减率 | 芬兰语99.23%，爱沙尼亚语97.97%，匈牙利语96.91% | 原始Hunspell词典候选列表 | 从数十万噪声候选精炼至数千高纯度形态素 |
| 形态素覆盖率（LMC） | 词汇形态素覆盖率百分比 | 匈牙利语在256k词表下LMC达79.12%，爱沙尼亚语26.81%，芬兰语23.73% | 8k词表下的基线（匈牙利语25.15%，爱沙尼亚语11.27%，芬兰语7.85%） | 随着词表增大LMC持续提升，但增速递减 |
局限与改进
作者坦诚地指出了方法的几个局限性。首先，IPS指标抽象掉了定性的分割差异——它只关注形态素是否出现在词表中作为单个token，而不考虑具体的分割质量如何。作者承认这是为可扩展性所做的必要妥协。其次，实验使用的是干净、标准化的语料库（维基百科快照），这虽然隔离了词表大小这个变量，但未能反映真实世界数据的噪声特性。第三，虽然IMDP方法产生了精炼的亚词单元集合，但作者明确声明不声称达到了完全的语言学形态素正确性。IMDP的分割是正字法的、自参考性质的，提供的是实际近似而非基于音韵学的形态学分析。此外，从独立观察来看，该方法还存在以下局限：评估仅限于三种乌拉尔语言，虽然这些都是形态学复杂的语言，但结果的泛化性需要在更多语言类型上验证；IMDP依赖于Hunspell词典作为输入源，对于没有此类资源的语言，方法的适用性存疑；实验中未与其他分词算法（如Unigram Language Model）进行对比，只评估了BPE；IPS虽然优雅地融合了两个指标，但LMC和OSR的等权重组合是否最优值得商榷。
独立分析的弱点
尽管本文贡献显著，仍存在几个值得关注的弱点。第一，IMDP管道对输入数据质量的依赖性较强。虽然它被称为无语料方法，但仍需要Hunspell词典作为输入。对于缺乏此类资源的语言（如许多真正的低资源语言），方法的适用性受限。改进方向可以是探索从原始文本中自动提取候选形态素的预处理步骤，使管道完全独立于词典资源。第二，迭代得分精炼的计算复杂度可能在候选列表很大时成为瓶颈，因为每轮迭代需要对每个token进行动态规划分解。对于像芬兰语这样有近50万初始候选的语言，这可能带来显著的计算开销。可以考虑引入近似算法或采样策略来加速收敛。第三，IPS指标将LMC和OSR以等权重组合，但在实际应用中，这两个维度的重要性可能因场景而异。例如，对于下游任务性能至关重要的场景，覆盖率可能比过度分割更关键。改进方向是引入可配置的权重参数。第四，实验中BPE分词器使用min_frequency=2进行训练，这个超参数的选择缺乏消融实验支持，可能影响结果的普适性。
未来方向
作者在论文中明确指出，虽然优化词表大小是一个关键步骤，但对于像芬兰语这样的高度黏着语言，它可能并不足够。BPE性能的低天花板凸显了发展更具形态学意识的分词方法的必要性。基于本文的成果，可以延伸出多个研究方向：（1）开发基于IMDP生成的形态素词典的形态学感知分词器，在训练过程中显式利用形态学边界信息；（2）将评估框架扩展到Unigram Language Model等其他分词算法，建立更全面的分词器比较基准；（3）在下游任务（如机器翻译、文本分类）上验证IPS与实际任务性能之间的相关性，验证IPS作为内在评估指标的有效性；（4）将IMDP管道应用于更多语言家族（如突厥语族、闪米特语族），测试其在不同类型形态学复杂语言上的泛化能力；（5）探索将IMDP生成的形态素信息整合到语言模型预训练中的方法，可能通过特殊token标记形态学边界或设计形态学感知的位置编码。
复现评估
本文在可复现性方面表现优秀。SampoNLP库及其所有生成的资源都已在GitHub上公开发布（https://github.com/AragonerUA/SampoNLP）。实验使用了公开可得的数据源：形态学候选列表来自Hunspell框架的开源拼写检查词典（LibreOffice项目为匈牙利语和爱沙尼亚语提供，hunspell-fi项目为芬兰语提供），BPE分词器训练使用维基百科快照语料库。IMDP管道的参数设置清晰明确：min_length=1, m=3, $\epsilon = 10^{-7}$, max_iterations=100。BPE分词器使用HuggingFace的tokenizers库和SentencePiece训练，min_frequency=2。实验覆盖了从8k到256k的16个词表大小。从算力角度看，训练16个不同词表大小的BPE分词器对三种语言需要一定的GPU时间，但IMDP管道本身是纯CPU的，主要计算开销在迭代得分精炼阶段。整体而言，有中等NLP经验的研究者应该能够在标准硬件上复现核心结果。
论文图表