Morpheus：面向土耳其语的形态感知神经分词器与词嵌入器

针对土耳其语黏着特性，提出无损可逆形态感知分词器，同时生成词嵌入。

前置知识

Subword Tokenization

子词分词是将单词分解为更小单位的技术，如BPE、WordPiece、Unigram等。这些方法通过语料库统计频率学习分段规则，而非语言学知识。在形态丰富的语言中，这种频率驱动的方法会破坏语义完整性，将同一个词根的不同屈折形式分割成不相关的片段。

论文直接对比了多种子词分词器在土耳其语上的表现，并指出了它们在可逆性和形态对齐方面的缺陷。理解这些方法的局限性是读懂论文创新点的基础。

Agglutinative Morphology

黏着语是土耳其语等语言的核心特征，通过有序的词缀链表达复杂语法和语义。一个词根可通过添加词缀扩展成数百个表面形式，如ev（房子）→evlerimizdekiler（我们房子里的那些）。每个词缀携带特定的语法信息（复数、领属、格等），且顺序固定，因此形态单位是语素而非单词。

这是论文解决的核心问题。土耳其语的黏着特性使传统分词器失效，因为它们无法理解词缀的语义价值和有序结构。论文的所有设计都围绕这一语言学特性展开。

Reversibility

可逆性指分词器的decode(encode(w)) = w性质，即将单词编码为token ID后能完美解码回原始字符串。这对生成式语言模型至关重要，因为每个生成的ID必须解码为忠实文本。WordPiece会去除土耳其语变音符号，TurkishTokenizer会进行语音规范化，都破坏了可逆性。

论文强调这是区分可用于生成和不可用于生成的分词器的关键门槛。论文提出的方法实现了100%可逆性，而许多在孤立指标上表现优秀的分词器因此被排除在生成场景之外。

Rotary Position Embedding (RoPE)

旋转位置嵌入通过在注意力计算的点积中注入相对位置偏移来编码序列位置信息。对于每个注意力头的子空间，将查询向量和键向量旋转相对位置角度，使相同相对距离的表示具有相似的注意力模式。这种方法使模型能推理字符间的相对偏移而非绝对索引。

土耳其语中，同一音节在不同后缀位置扮演不同角色。RoPE让模型学习从前一个边界两个字符后这样的模式，而非特定绝对位置，这对跨不同长度词根的泛化至关重要。

Skip-gram Negative Sampling

Skip-gram是词嵌入训练的经典方法，通过预测上下文词来学习中心词的表示。负采样通过从噪声分布中采样负例来加速训练，损失函数为负对数似然形式，通过最大化上下文词和正样本的点积、最小化与负样本的点积来学习词向量表示。

论文使用SGNS作为自监督目标之一，利用分布信号塑造嵌入几何。这与边界检测的监督信号结合，形成从教师信号到分布信号的课程学习，是训练稳定性的关键。

研究动机

现代语言模型依赖的子词分词器在土耳其语等黏着语言上存在两个根本性缺陷。首先，频率驱动的分段方法如BPE、WordPiece、Unigram将富含语义的后缀在任意位置切分，导致过度碎片化：更多token per word（更高生育率），从而膨胀序列长度、计算和内存消耗。其次，广泛使用的分词器不可逆：WordPiece去除土耳其语变音符号，TurkishTokenizer应用规范化重和谐化，使大量屈折词无法重建。在生成式LLM中，每个生成的token ID必须解码为忠实文本，这种有损解码直接破坏模型输出，并悄然降低任何读取解码字符串的任务性能。现有工具各自只回答问题的一部分——要么可逆性，要么形态对齐，要么低生育率——没有一个能同时回答所有三个要求。

本文的目标是本文提出Morpheus，一个针对土耳其语的单一神经形态边界模型，同时作为无损形态感知分词器和结构化词嵌入生成器。具体目标是：实现无推理时规范化的可逆分词，保证decode(encode(w)) = w由构造成立；通过可微分的Poisson-binomial动态规划将软边界概率转化为训练时的软形态成员资格和推理时的精确分段，统一训练和推理；在同一次前向传播中同时输出形态边界和320维词嵌入，将分词和表示解耦为单一系统；在参数相等的语言模型预算下，实现最低的BPC、最强的形态对齐和最高的token纯度。

与已有工作不同的是，现有工作的独特切入角度在于系统性地识别并利用可逆性这一决定性维度。以往土耳其语分词比较研究侧重于形态对齐和词汇大小影响，但忽略了生成场景的关键门槛。Bayram等虽然提出了语言学对齐指标，但未明确区分有损和无损方法。更重要的是，词表示目前由与分词器分离的更大模型处理，这种分离在黏着语言中是浪费的——分段良好所需的结构信息和表示良好所需的结构信息是同一个形态信号。Morpheus创新地耦合这两个问题：单一神经模型既是分词器又是词嵌入器，通过可微分的Poisson-binomial分割算子连接，使同一形态信号既放置边界又塑造嵌入几何。

核心方法

Morpheus的整体思路是将土耳其语的形态边界检测问题转化为可微分的概率推理问题，然后用自监督目标驱动边界学习，最终实现软训练-硬推理的统一。直觉上，模型学习每个字符间位置成为形态边界的概率，然后将这些概率通过动态规划软分配字符到各个语素。训练时，梯度通过软成员资格流动，边界由教师信号和分布信号共同塑造；推理时，边界概率收敛到0或1，自动产生精确硬分段，无需架构切换。因为动态规划只分组字符不插入、删除或重写它们，所以拼接分段完美重现输入词，这是可逆性的构造保证。因为模型是神经的，同一前向传播既输出边界又输出注意力池化的分段向量，形成320维词嵌入。

核心创新点是可微分的Poisson-binomial动态规划软分割算子，这是连接训练和推理、边界检测和嵌入生成的桥梁。与现有方法的本质区别在于：训练-推理统一：不像Morfessor和Zemberek等基于规则或词典的方法，Morpheus学习边界而非查表；不像需要arg max或阈值切换的非可微分方法，Poisson-binomial算子在训练时产生软成员资格，推理时自动收敛到硬分段，无需架构改变。表面保留：不像TurkishTokenizer的规范化重写，动态规划只分组字符，不修改表面形式，保证可逆性由构造成立。分词-嵌入耦合：不像分离的分词器和编码器，同一形态信号既驱动分段又塑造嵌入几何，使同一模型既分词又生成表示。

方法步骤详情

方法步骤完整描述如下：字符编码：每个字符嵌入与学习的大小写标志嵌入连接，通过多尺度卷积捕获局部n-gram，然后通过3层自注意力生成上下文感知字符向量，工作维度320。边界检测：4层RoPE自注意力的堆叠操作后接相邻对评分头，为每个字符间位置发出边界概率。Poisson-binomial软分割：通过动态规划将软边界概率转化为软成员资格矩阵，其中字符j属于语素k当且仅当j之前恰好k个边界发生。矩阵M是每行的分布之和为1，是可微分函数。分段池化和词嵌入：每个语素通过注意力池化总结字符向量，权重使语素内字符竞争而语素间泄漏被M抑制。词嵌入是有效分段向量的均值后接两层残差LayerNorm前馈网络，输出320维向量。多目标训练：总损失是四个加权项之和，包括深度监督边界BCE加计数正则化、skip-gram负采样、根身份对比损失和字符级掩码语言模型。

技术新颖性

技术新颖性体现在四个层面：算法层面：首次将Poisson-binomial分布引入NLP分割任务，用动态规划的解析形式实现软成员资格计算，代价可微分。这打破了训练时软推理和推理时硬分割的二元对立，使同一模块在训练和推理模式下工作，无需架构切换。架构层面：首次将分词器和词嵌入器统一为单一神经模型。传统分离架构中，分词器输出无意义ID，需要更大的独立模型将ID转为向量。Morpheus通过同一形态信号既放置边界又塑造嵌入几何，在黏着语言中避免了结构信息重复编码的浪费。语言学层面：首次将土耳其语的位置形态建模为相对位置问题，通过RoPE注入字符间相对偏移，使模式跨不同长度词根泛化。评估层面：首次在土耳其语分词比较中明确引入可逆性门槛，展示许多在孤立指标上领先的方法因此被排除在生成场景之外，重构了评估标准。

实验结果

核心发现分为可逆性、形态对齐、语言建模和嵌入评估四个维度。可逆性方面，在30,204个屈折词上，Morpheus实现100%往返准确率，BPE/Byte/Unigram也为100%，但WordPiece仅58.2%、TurkishTokenizer仅95.4%。这验证了Poisson-binomial算子只分组字符的特性。表面保真度方面，在50个OOV倾向词上，Morpheus在根识别率、分段数匹配率、边界位置正确率和精确字符串匹配率上表现最优，且从边界正确率到精确匹配率无下降，证明每个边界都是忠实表面字符串。TurkishTokenizer则相反：边界放置最佳但字符串匹配仅10%。形态对齐方面，在UD Turkish-Kenet的MorphScore上，Morpheus达到macro-F1 0.61，约为子词族的两倍，接近TurkishTokenizer但零长度不匹配；在SIGMORPHON屈折上，Morpheus在lemma前缀率0.76后Morfessor排名第二，根校正提升根在分段中比例从0.35到0.48。语言建模方面，在参数相等的58M GPT上训练10K步后，Morpheus达到最低验证BPC 1.425，比BPE、Unigram更低，WordPiece的1.384是建模去变音符号文本的人为假象。在TR-MMLU上，Morpheus达到最高频率加权纯度83.5%和土耳其token率91.8%。生育率1.73介于子词族和基于规则的分词器之间，峰值GPU内存3020 MB比64K词汇子词分词器低19%。嵌入评估方面，在冻结词向量上，Morpheus在根族检索MAP 0.85和同根验证ROC-AUC 1.00上领先，尽管维度最小。但在形态探测和NER上落后，这些任务依赖上下文和细粒度屈折信息。

**Table 1**: Reversibility over 30,204 inflected words. WordPiece strips diacritics; TurkishTokenizer applies lossy canonicalization.

**Table 2**: Qualitative surface fidelity on 50 curated OOV-leaning words.

**Table 3**: Representative decode outcomes.

**Table 4**: Morphological alignment: MorphScore macro-F1 (UD Turkish-Kenet) and SIGMORPHON lemma-prefix and root-in-segments rates.

**Table 5**: Language modeling and efficiency. BPC at equal 10K steps; frequency-weighted %Pure on TR-MMLU; peak GPU memory at batch 32.

**Table 6**: Frozen word-embedding evaluation. Morpheus leads on lexical / root-level tasks; contextual encoders lead on inflection- and context-dependent tasks.

**Figure 1**: Training dynamics. Left: total train/validation loss. Right: boundary-detection precision, recall, F1, and accuracy over training.

**Figure 2**: Per-objective train/validation curves: auxiliary boundary loss, skip-gram (SGNS), root-identity contrastive, and character-level MLM.

**Figure 3**: Optimization regime. Left: cosine learning-rate schedule. Middle: geometric decay of the auxiliary-loss weight (0.50→0.08), realizing the teacher-to-distribution curriculum. Right: gradient norm, stable throughout under full-precision training.

**Figure 4**: Roundtrip accuracy per tokenizer. The reversible cluster (Morpheus, BPE/ByteBPE/Unigram) versus the lossy WordPiece and TurkishTokenizer.

**Figure 5**: Morphological alignment. Left: MorphScore (UD Turkish-Kenet) macro-F1. Right: SIGMORPHON inflection rates (lemma-prefix and root-in-segments).

**Figure 6**: Downstream language-model training. Left: training loss versus optimizer step for the param-equalized 58M GPT under each tokenizer. Right: validation BPC.

**Figure 7**: BPC versus generation throughput. Among reversible tokenizers Morpheus is on the quality frontier, trading throughput (higher fertility) for the lowest BPC and morphological structure.

**Figure 8**: Language-modeling efficiency. Left: BPC at equal 10K steps. Middle: peak GPU memory during generation. Right: end-to-end generation throughput.

**Figure 9**: TR-MMLU tokenization quality: Turkish-token (%TR) and pure-token (%Pure) rates. Morpheus leads on the frequency-weighted measures.

**Figure 10**: Tokenizer throughput, separate from end-to-end generation. Left: encoding speed (chars/s). Right: decoding speed (words/s).

**Figure 11**: t-SNE of word embeddings colored by root family, for Morpheus (left), BERTurk (middle), and BGE-M3 (right).

**Figure 12**: Embedding evaluation across encoders. Morpheus leads on lexical retrieval (MAP) and same-root verification (ROC-AUC); the heavier contextual encoders lead on morphological probing and NER.

查看结构化数据

任务	指标	本文	基线	提升
Reversibility (Roundtrip Accuracy)	decode(encode(w)) = w	100.0% (30,204 words)	WordPiece 58.2%, TurkishTokenizer 95.4%	完全可逆，适用于生成场景
Morphological Alignment (MorphScore)	Macro-F1 on UD Turkish-Kenet	0.61	BPE/Unigram ~0.32, TurkishTokenizer 0.65	约为子词族的两倍，且零长度不匹配
Language Modeling (Bits-Per-Character)	Validation BPC at 10K steps	1.425	BPE 1.436, Unigram 1.437, WordPiece 1.384 (invalid)	最低可逆分词器BPC
Token Quality (TR-MMLU)	Frequency-weighted %Pure and %TR	83.5% %Pure, 91.8% %TR	BPE 48.8% %Pure, Unigram 50.0% %Pure	最高token纯度和土耳其token率
Root-Family Retrieval	Mean Average Precision (MAP)	0.85 (320-dim)	BGE-M3 0.80 (1024-dim), BERTurk 0.49 (768-dim)	领先多语言检索器
Same-Root Verification	ROC-AUC	1.00	BGE-M3 0.98, BERTurk 0.70	完美区分同根词
Named Entity Recognition	Macro-F1 on WikiANN	0.48	BERTurk 0.79, BGE-M3 0.76	落后于上下文编码器（静态嵌入限制）

局限与改进

作者明确承认的局限性包括：生育率权衡：Morpheus emit更多token per word（1.73 vs 子词族~1.5），这膨胀序列长度并降低原始生成吞吐量约1.6倍慢于BPE，尽管分词器本身编码速度快于BPE/ByteBPE和解码速度近2倍子词族。静态嵌入限制：Morpheus是每词静态向量，无句子语境，这解释了它在上下文依赖任务上的落后。根身份对比目标故意将词根的所有屈折形式拉向共同点，这锐化了根级几何但坍塌了线性探针需要读取的数/格信号。维度限制：320维嵌入低于BERTurk和BGE-M3，这可能限制表示能力。语言特定：模型和监督都是土耳其语特定的，评估集强调屈折形态，衍生词族和长罕见黏着链相对探索不足。神经部署成本：未见的词由神经模型而非查找表分段，部署的分词器携带PyTorch检查点而非几MB词汇表。我观察到的额外局限性包括：训练复杂性：需要多目标优化和课程学习，优化敏感性较高，虽然论文报告梯度范数稳定。评估集局限：主要在土耳其语上测试，缺乏跨黏着语泛化。生成速度：尽管分词器本身快速，但高生育率导致端到端生成较慢，对延迟敏感的场景可能仍偏好子词分词器。

独立分析的弱点

独立分析的弱点包括：上下文依赖任务弱：Morpheus在NER和屈折探测上显著落后，这是因为静态嵌入缺乏句子语境且根级几何坍塌了细粒度屈折对比。改进方向：引入上下文感知机制，如将句子级上下文通过注意力注入词嵌入，或与上下文编码器联合训练。高生育率慢生成：1.73 tokens/word导致序列膨胀，生成吞吐量慢于BPE。改进方向：探索token压缩技术，或对高频屈折模式引入预定义分段以减少神经分段的依赖，或与子词分词器混合使用。维度限制：320维嵌入可能不足以捕获复杂语义。改进方向：增加工作维度，或引入多尺度表示。语言特定：当前仅土耳其语，难以泛化。改进方向：将土耳其语语言学知识抽象为可配置规则，使模型适应其他黏着语，或学习语言无关的形态边界检测器。训练复杂性：四目标优化和课程学习增加了超参数敏感性和调试难度。改进方向：研究更简单的单目标设计，或自动化超参数搜索和课程调度。

未来方向

作者提出的未来方向包括：与上下文编码器联合：Morpheus与BERTurk或BGE-M3联合训练，使形态感知嵌入与上下文信息互补，可能在NER和屈折探测上提升。多向量检索系统部署：Morpheus作为词法/关键词索引，上下文模型作为密集语义索引，形成两阶段检索。其他黏着语扩展：将Poisson-binomial软分割框架和位置形态建模扩展到芬兰语、匈牙利语等黏着语言。衍生形态学扩展：当前评估强调屈折形态，未来探索衍生词族和长罕见黏着链。动态上下文感知嵌入：将静态词嵌入扩展为依赖句子语境的动态表示。基于成果的可延伸方向包括：零样本跨语言：用多语言数据训练通用形态边界检测器，然后在目标土耳其语上微调。生成式分词：不仅检测边界，还生成合理解释。分词器压缩：量化、蒸馏或架构搜索使Morpheus更轻量，适合边缘部署。端到端预训练：用Morpheus作为分词器预训练土耳其语GPT/BERT，研究形态感知分词对下游任务的影响。人类可解释性：分析边界检测器的注意力权重，可视化模型学习到的形态模式。

复现评估

论文开源情况良好：代码、模型、交互式演示都已公开。数据使用大规模单语土耳其语料约10GB原始文本，结合多语料作者语料库和完整清理后的土耳其维基百科，包括四个语料库：EkşiSözlük（非正式/口语）、Dergipark（学术）、土耳其新闻网站（标准新闻）、土耳其维基百科（百科）。预处理包括土耳其语感知的大小写折叠，原始大小写作为每字符侧通道保留而非丢弃。句子按95/5分割为训练和测试，固定种子。每个句子预分词一次为缓存tensor束，包含字符ID、每字符大小写标志、来自Morfessor教师的边界标签向量、120K词库的词ID、30K根库的根ID，以及句子注意力掩码。边界标签由Morfessor产生然后根校正。Morpheus训练capped在900K训练和100K验证句子。训练在单张NVIDIA A100 80GB上运行，每epoch约30分钟，总共约5小时。优化使用AdamW、余弦学习率调度、梯度裁剪，有效批次512训练10个epoch。TF32矩阵乘法启用而损失分量在FP32计算以保证数值稳定性。总体复现难度中等，主要挑战是数据收集和清理，但模型训练在单张A100上可行，超参数详细报告。论文包含训练动态曲线，显示平滑收敛和稳定性。评估数据集公开可用，基线分词器标准。关键实验参数明确报告，使比较公平可复现。

Morpheus：面向土耳其语的形态感知神经分词器与词嵌入器 Morpheus: A Morphology-Aware Neural Tokenizer and Word Embedder for Turkish