大规模最优土耳其语子词策略：数据、词表与形态学交互的系统性评估 Optimal Turkish Subword Strategies at Scale: Systematic Evaluation of Data, Vocabulary, Morphology Interplay
首个系统性研究土耳其语子词分词策略的大规模综述，揭示词表-数据-形态学三方交互规律
前置知识
Subword Tokenization（子词分词）
子词分词是将文本切分为介于字符和单词之间的单元的技术。主流方法包括 BPE（Byte Pair Encoding，字节对编码）、WordPiece 和 Unigram。BPE 通过反复合并最频繁的字符对来构建词表；WordPiece 使用似然最大化来选择合并操作；Unigram 则从大词表开始逐步裁剪。这些方法在英语等分析性语言上效果良好，但在土耳其语等黏着语上面临独特挑战——一个词根可以附加多个后缀，生成大量低频表面形式。
本文的核心主题就是比较不同子词分词策略在土耳其语上的表现，理解这些分词算法的工作原理是阅读本文的基础。
Agglutinative Morphology（黏着语形态学）
黏着语是一种通过在词根上依次附加词缀来表达语法和语义关系的语言类型。土耳其语是典型的黏着语，例如 'evlerimizden'（从我们的房子）= ev（房子）+ ler（复数）+ imiz（我们的）+ den（从）。一个词根可以生成数十甚至上百种词形变化，导致词汇表膨胀和数据稀疏问题。这种特性使得标准的子词分词器容易将词素边界打碎，丢失重要的语法信息。
土耳其语的黏着特性是本文研究的核心动机。理解黏着语形态学才能理解为什么标准分词方法在土耳其语上效果不佳，以及本文提出的形态学感知评估框架的意义。
Fertility（生育率/分词密度）
Fertility 是衡量分词粒度的指标，定义为每个词被切分成的平均子词数量。计算公式为 $Fertility = \frac{1}{N}\sum_{i=1}^{N}|t(w_i)|$，其中 $t(w_i)$ 是词 $w_i$ 的子词序列。低值表示强压缩（更多词被表示为单个 token），高值表示过度碎片化。对于黏着语，fertility 过高意味着接近字符级行为，序列长度膨胀；过低则意味着整词记忆化，可能丢失形态组合性。
Fertility 是本文分析分词行为的核心指标之一，与 continuation rate 一起构成理解分词器行为的基本框架。论文中的 Pareto 前沿分析就是基于 fertility 和下游任务性能的关系。
Boundary F1（边界 F1 分数）
边界 F1 是本文提出的形态学感知评估指标，用于衡量分词器预测的子词边界与黄金形态素边界的一致程度。具体做法是将分词器产生的子词结束位置视为预测的形态素边界，与人工标注的黄金形态素边界进行比较，计算精确率、召回率和 F1 值。该指标在词内字符偏移层面进行计算，比传统的 fertility 或 token 级指标更精细地反映分词质量。
这是本文方法论贡献的核心——一个连接分词器内在质量与下游任务性能的诊断工具。理解该指标才能理解论文的实验结果和分析框架。
TrGLUE（土耳其语 GLUE 基准）
TrGLUE 是土耳其语版本的 GLUE（General Language Understanding Evaluation）基准测试，包含多个语义和语法任务：TrCoLA（语法可接受性判断）、TrMNLI（自然语言推理）、TrMRPC（释义识别）、TrSST-2（情感分析）和 TrSTS-B（语义文本相似度）。该基准为土耳其语 NLP 提供了标准化的评估框架，使不同分词策略的比较成为可能。
TrGLUE 是本文下游任务评估的主要基准之一，理解各任务的特点和评估指标对于解读实验结果至关重要。
研究动机
在土耳其语等黏着语中，分词器设计是一个核心建模决策，但现有研究存在三个关键不足。首先，现有工作（如 Erkaya 和 Güngör 2023、Toraman 等人 2023、Kaya 和 Tantuğ 2024）虽然比较了不同分词器家族和词表大小，但没有系统控制分词器训练语料的规模和组成——即没有实现数据-词表的联合控制。其次，这些研究提供的分词质量诊断指标过于粗糙，通常只报告 fertility、平均 token 长度、单 token 词比例等粗粒度指标，无法解释分词器为什么在某些任务上成功或失败。第三，下游评估覆盖的任务范围较窄，常常缺少形态学和句法敏感的任务（如 POS 标注、依存分析），而这些任务恰恰是对形态素边界保真度最敏感的。结果是，从业者缺乏关于何时应优先选择大词表、形态学感知分词器还是字符级分词的可操作指导。
本文的目标是本文的目标是提供第一个全面的、有原则的土耳其语子词分词研究——一个 '子词宣言'（subwords manifest）。具体而言，作者要实现四个目标：（1）系统研究词表-语料-性能三元组，包括比先前工作更大的数据规模（最高约 80 GB）；（2）建立统一的、形态学感知的评估框架，将内在分词质量诊断与外在下游任务性能联系起来，实现因果解释而非事后相关；（3）在匹配参数预算下进行广泛的、受控的分词器家族比较，找出字符级和形态学级分词在什么条件下有优势；（4）完全开源评估代码、分词器训练管线和 Transformer 检查点，确保可复现性。
与已有工作不同的是，本文的独特切入角度在于三个层面的系统耦合。第一，数据-词表耦合：先前工作通常固定训练语料只变词表大小，或反之，而本文同时变化两个维度（5 GB / 20 GB / 80 GB 语料 × 2k–128k 词表），揭示它们的交互效应。第二，诊断-性能耦合：先前工作仅报告聚合指标如 fertility，而本文提出边界级 micro/macro-F1、词素原子性、过度/不足分割指数、CER/WER、词缀覆盖率等细粒度指标，解释分词器为何成功或失败。第三，任务覆盖的全面性：本文横跨语义（NLI、STS、情感、NER）、句法（POS、依存分析）和形态学敏感探针，覆盖了先前工作遗漏的关键任务类型。
核心方法
本文的方法论可以用一个三维度实验矩阵来理解：横轴是分词器家族（字符级、词级、形态学感知子词、WordPiece），纵轴是词表大小（2k 到 128k），第三维是分词器训练语料规模（约 5 GB、20 GB、80 GB）。在每个配置下，作者既训练 BERT 风格的编码器并评估下游任务，又运行一套形态学感知的内在诊断指标来解释分词行为。直觉上，这就像一个大规模的对照实验：在控制其他变量的条件下，逐一观察每个设计选择对分词质量和任务性能的影响。技术路线分为三个层次：（1）预 Transformer 基准层，使用 BiLSTM 架构比较字符/词/形态学分词的极端情况；（2）WordPiece 系统实验层，在三个语料规模上训练 7 种词表大小的 WordPiece 分词器，预训练 Transformer 并评估；（3）诊断分析层，提出并实例化一套形态学感知的分词质量指标体系。
本文的核心创新不是提出新的分词算法，而是建立了第一个全面的诊断框架，将分词器的内在特性与下游任务性能进行因果关联。关键洞察是：不同任务对分词粒度的需求是不同的——句法/形态学任务偏好保留形态素边界的中等粒度分词，而语义任务对过度融合更宽容。先前工作要么只看内在指标（如 fertility），要么只看下游分数，无法回答 '为什么' 的问题。本文通过引入边界级 F1、词素完整性指标和归因分析（Integrated Gradients），首次建立了 '分词器特性 → 形态学对齐 → 任务性能' 的因果链条。另一个关键创新是数据-词表联合扫描：作者发现 '更多数据并不总是更好'，而是需要词表大小与数据规模匹配——小词表配大数据会导致过度碎片化（fertility 高达 6.5），大词表配小数据则过度融合。这一发现直接指导了实际配置选择。
方法步骤详情
本文的方法分为四个主要步骤。第一步是分词器训练：在三个语料规模（Minimal 约 5 GB、Medium 约 20 GB、Alldata 约 80 GB）上分别训练 7 种词表大小（2k、5k、10k、20k、32k、52k、128k）的 WordPiece 分词器，共 21 种配置。同时准备字符级、词级和形态学感知子词的分词方案。第二步是内在诊断：在土耳其语形态学测试集上计算每种分词器的完整指标体系，包括 fertility、continuation rate、边界 precision/recall/micro-F1、lemma boundary hit rate、lemma single-token rate、过度/不足分割指数、CER/WER、词缀覆盖率和原子性。第三步是预训练 Transformer：使用每种分词器对预训练语料进行分词，在 TPU v2-8 上以 BERT 风格预训练 100 万步（序列长度 128），记录训练时间。第四步是下游评估：在 TrGLUE（CoLA、MNLI、MRPC、SST-2、STS-B）、NER（WikiNER）和 POS-DEP-Morph（BOUN Treebank）上微调并评估，同时使用 Integrated Gradients 进行归因分析以解释模型决策。
技术新颖性
本文的技术新颖性体现在三个层面。第一是评估框架的创新：先前的分词研究（如 Erkaya 和 Güngör 2023 的 suffix precision/recall，Toraman 等人 2023 的 fertility 和 OOV 率）使用粗粒度指标，而本文提出了 boundary-level micro/macro-F1、decoupled lemma atomicity vs. surface boundary hits、over/under-segmentation indices、CER/WER、affix-type coverage 和 token-level atomicity 等细粒度诊断工具，能够精确定位分词器的成功和失败模式。第二是实验设计的创新：首次实现数据-词表联合扫描，揭示两者的交互效应（如小词表+大数据导致 fertility 6.5 的极端碎片化），这一设计先前从未被系统研究过。第三是分析深度的创新：将 Integrated Gradients 归因分析与分词器配置关联，展示不同分词粒度下模型注意力分布如何变化——从 2k 词表的分散归因到 32k-52k 的集中归因再到 128k 的过度融合。
实验结果
本文的实验结果揭示了土耳其语分词的清晰规律。在预 Transformer 基准实验中，字符级基线在形态学标注上表现惊人——整体 micro-accuracy 达到 96.19%，远超 BERTurk 的 30.76%，尤其在 Voice（97.11 vs 2.01）、Mood（97.26 vs 6.54）和 Case（88.48 vs 11.96）等特征上差距悬殊。但字符级模型在依存分析上表现较差（UAS 65.19/LAS 57.15 vs BERTurk 的 81.51/74.59）。词级分词则全面崩塌：NER F1 仅约 0.50（字符级 0.70，BERTurk 0.77），POS 仅约 60%（字符级 91.56%），且 MCC 为负值。在 WordPiece Transformer 实验中，核心发现是 32k-52k 词表搭配 Medium/Alldata 语料是最优配置。SST-2 情感分析在此配置下达到 85.38-85.75% 准确率，MNLI 达到 82-85% matched/mismatched 准确率。CoLA 语法可接受性任务最具挑战性，大部分配置 MCC 接近 0，仅在 52k-128k 词表下略微提升到 0.11-0.13。NER 最佳分数在 10k 词表+Minimal 语料下达到 0.714 F1。POS 标注在 52k 词表+Alldata 下达到 93% 准确率，LAS 达到 0.68。训练效率方面，更大词表显著缩短预训练时间——Alldata 上从 2k 词表的 74 小时降至 128k 的 34 小时。形态学诊断显示，mid-range 词表（5k-32k）的边界 F1µ 在 Common Nouns 上达到 0.73-0.82，在 Common Verbs 上达到 0.54-0.71。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| NER (WikiNER) | Macro F1 | 0.714 (10k-Minimal) | 0.770 (BERTurk) | 字符级 0.70 为纯字符基线最强 |
| SST-2 情感分析 | Accuracy | 85.75% (128k-Minimal) | 87.4% (BERTurk) | 52k-128k 区间稳定在 85-86% |
| MNLI 自然语言推理 | Matched/Mismatched Acc | 83-85% (52k-Medium/Alldata) | 87.9/90.8% (BERTurk) | 20k+ 词表后性能趋于稳定 |
| POS 标注 (BOUN) | UPOS Accuracy | 93% (52k-Alldata) | 92.63% (BERTurk) | 超过 BERTurk 基线 |
| 依存分析 (BOUN) | UAS/LAS | UAS 0.68/LAS 0.68 (52k-Alldata) | UAS 81.51/LAS 74.59 (BERTurk) | 仍低于 BERTurk，但字符级形态学 96.19% 远超 BERTurk 的 30.76% |
| 形态学标注 (BOUN) | Micro Accuracy | 96.19% (字符级基线) | 30.76% (BERTurk) | 字符级在形态学上碾压 BERTurk |
| CoLA 语法可接受性 | Matthews Correlation | 0.13 (128k-Minimal/Alldata) | 42 (BERTurk) | 所有配置均表现困难 |
| STSB 语义相似度 | Pearson/Spearman | 0.68/0.68 (20k-Minimal) | 71.3/69.9 (BERTurk) | 中等词表后性能稳定 |
局限与改进
本文虽然提供了迄今最全面的土耳其语分词研究，但仍存在几个明显局限。第一，预训练设置相对简单——所有模型仅训练 100 万步、序列长度 128，远低于现代 LLM 的训练规模，这意味着结论可能在更大规模预训练下不完全成立。第二，仅使用 BERT 风格的编码器架构，没有测试解码器风格（如 GPT）或编码器-解码器架构，而不同架构对分词粒度的敏感性可能不同。第三，虽然作者测试了形态学感知分词器，但使用的形态学分析器（Zeyrek、spaCy Turkish）的准确率未被报告，分析器本身的错误可能传递到分词质量中。第四，本文仅研究土耳其语，虽然作者声称框架可推广到其他黏着语，但没有实际验证。第五，CoLA 任务在所有配置下表现都很差（MCC 接近 0），作者没有深入分析原因——是预训练不足还是数据质量问题。第六，NER 实验的结果波动较大且非单调（如 128k-Books 达到 0.726 但 128k-Minimal 仅 0.542），说明分词器与下游任务的交互比论文主要结论呈现的更为复杂。
独立分析的弱点
基于独立分析，本文有几个值得改进的弱点。第一，预训练规模偏小：100 万步、128 序列长度的设置在当今 LLM 时代已显不足，作者应该至少测试 512 和 1024 序列长度以及更长的训练步数，因为更长上下文可能改变分词粒度的最优选择——短序列下小词表的碎片化问题更严重，但长序列下这一劣势可能被缓解。第二，缺乏与 Unigram 分词器的比较：作者提到使用了 BPE、WordPiece、Unigram 三种分词器家族，但实际 Transformer 实验仅使用 WordPiece，这是一个重要遗漏，因为 Kudo 2018 的 Unigram 方法在理论上对形态学丰富语言有更好的概率基础。第三，形态学感知分词器的实验不够深入：作者仅使用了现有的形态学分析器，没有尝试将分词器训练过程与形态学信息融合（如在 BPE 合并规则中加入形态学约束），这可能是一个更有前景的方向。第四，缺少跨语言验证：论文仅研究土耳其语，但结论声称可推广到其他黏着语（如芬兰语、匈牙利语、韩语），这种泛化需要实验支撑。第五，归因分析仅在少数示例句子上进行，缺少系统性的定量评估（如平均归因与黄金标注的相关性），使得可解释性分析更像是定性展示而非严格评估。
未来方向
本文开辟了几个值得深入的研究方向。第一，作者明确提出的扩展方向包括：将比较扩展到其他子词学习算法（如 BPE、SentencePiece）、更长上下文预训练、以及在相关黏着语家族（如芬兰语、匈牙利语、韩语）中的跨语言验证。第二，基于本文的数据-词表耦合发现，一个自然的延伸是研究自适应分词策略——根据输入文本的形态学复杂度动态调整分词粒度，而不是使用固定词表。第三，本文发现形态学感知分词在句法任务上有优势，但在语义任务上优势不明显，这启发了混合分词策略的设计——在不同层或不同任务头使用不同粒度的分词。第四，将本文的诊断框架应用到大规模语言模型（如 LLaMA、GPT-4 的 tokenizer）的分析中，理解现代 LLM 的分词选择如何影响多语言能力。第五，探索端到端可微分的分词学习方法，将形态学对齐作为训练目标之一直接优化，而非作为后处理约束。
复现评估
本文在可复现性方面做得非常好。作者完全开源了所有评估代码（GitHub 仓库 turkish-nlp-suite/Turkish-subwords-research）、分词器训练管线、和中间 Transformer 检查点（Hugging Face 仓库 turkish-nlp-suite/turkish-subwords-research）。形态学评估数据集也单独开源（turkish-nlp-suite/turkish-morph-analysis）。预训练语料来自已公开的 BellaTurca 集合（Altinok 2024）和 OSCAR 土耳其语子集。训练使用 Google TPU v2-8，这是通过 TPU Research Cloud 获得的资源，对学术研究可及。主要的复现门槛是计算资源——21 种分词器配置各训练 100 万步 Transformer 需要大量 TPU 时间（总计约 33-74 小时/配置），但单个配置的复现是可行的。形态学诊断工具链也有完整代码支持。总体而言，这是 NLP 领域可复现性较好的大规模实验研究之一。
论文图表
