Diffutron：面向土耳其语的掩码扩散语言模型 Diffutron: A Masked Diffusion Language Model for Turkish Language
307M参数的土耳其语掩码扩散语言模型，媲美数倍大的自回归模型
前置知识
掩码扩散语言模型（MDLM）
掩码扩散语言模型是一种非自回归的文本生成范式，它借鉴了离散扩散模型的思想，将文本生成视为一个离散扩散过程。在前向过程中，原始文本 $x_0$ 中的 token 逐步被替换为特殊的 `` token，最终在时间步 $T$ 变为完全由 `` 组成的序列 $x_T$。在反向过程中，模型从全掩码状态出发，通过迭代预测被掩码位置的原始 token，逐步恢复出完整文本。关键区别在于：自回归模型一次只能看到左侧上下文，而 MDLM 可以双向同时关注整个句子上下文。
理解 MDLM 是理解本文核心贡献的基础，Diffutron 是首个将 MDLM 应用于土耳其语（一种形态丰富的黏着语）的模型。
低秩适配（LoRA）
LoRA 是一种参数高效的微调方法，其核心思想是将预训练模型的权重更新矩阵分解为两个低秩矩阵的乘积。具体来说，对于原始权重矩阵 $W_0 \in \mathbb{R}^{d \times k}$，LoRA 将其更新表示为 $W_0 + \Delta W = W_0 + BA$，其中 $B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times k}$，$r \ll \min(d, k)$ 为秩（rank）。通过这种分解，可训练参数量大幅减少。在本文中，作者采用了极高的秩 $r = 256$ 和 $\alpha = 256$，并覆盖所有线性模块（注意力的 Q/K/V/O 和 MLP），使得可训练参数占比达到 14.94%。
LoRA 在本文中不仅是一种高效的适配策略，更是防止灾难性遗忘的关键机制，使得模型能在适应土耳其语的同时保留多语言预训练知识。
持续预训练（CPT）
持续预训练是指在已预训练的模型基础上，使用目标语言的大规模语料继续进行无监督训练的过程。与从头训练不同，CPT 旨在将模型的表示空间微调到与目标语言分布对齐，同时保留原有预训练阶段获得的语义推理能力。在本文中，CPT 阶段使用了约 200 万条土耳其语序列，在 B200 GPU 上训练约 5.9 小时，共 62,680 步（4 个 epoch）。
CPT 是将多语言编码器转化为土耳其语专用编码器的第一步，其训练数据质量和策略直接影响后续指令微调的效果。
黏着语（Agglutinative Language）
黏着语是一种语言类型，其特点是通过在词根上依次添加多个语素（前缀、后缀）来表达语法关系和语义信息，每个语素通常只承担一个语法功能。土耳其语是典型的黏着语，一个词可以通过层层后缀产生极长的形态变化，例如 ev-ler-imiz-den（从我们的家里），其中 ev 表示'家'，-ler 表复数，-imiz 表'我们的'，-den 表'从'。这导致词汇表极大、同一词根的表层形式众多。
黏着语的形态复杂性是现有 NLP 模型面临的主要挑战之一，也是本文选择土耳其语作为研究对象的核心动机。
过渡矩阵（Transition Matrix）
在离散掩码扩散模型中，过渡矩阵 $Q_t$ 定义了从前一时间步 $x_{t-1}$ 到当前时间步 $x_t$ 的状态转移概率。对于单个 token，其转移概率为：以概率 $1 - \beta_t$ 保持不变，以概率 $\beta_t$ 被替换为 ``，其他转移概率为 0。这意味着随着 $t$ 增大，序列中越来越多的位置变为 ``，最终在 $T$ 时刻完全被掩盖。
过渡矩阵是 MDLM 前向过程的数学基础，理解它才能理解反向生成过程中的去噪逻辑。
CETVEL 基准测试套件
CETVEL 是一个专为土耳其语 LLM 设计的统一基准测试套件，涵盖语言理解、生成和文化能力等多个维度。本文选取了其中 7 个子任务进行评估：Belebele_TR（阅读理解）、EXAMS_TR（跨语言问答）、IronyTR（反讽检测）、新闻分类、MNLI_TR（自然语言推理）、STS_TR（语义文本相似度）和 XCOPA_TR（因果常识推理）。该套件的优点在于针对土耳其语特性设计，而非简单翻译英文基准。
CETVEL 是本文评估模型性能的核心工具，了解其构成有助于理解实验结果的含义和局限。
研究动机
自回归（AR）Transformer 模型当前主导着大语言模型的格局，GPT、Llama 等模型取得了巨大成功。然而，自回归模型一次只生成一个 token 的本质特性在推理速度和上下文利用方面带来了固有瓶颈。近年来，掩码扩散语言模型（MDLM）作为一种有吸引力的非自回归替代方案崭露头角，LLaDA、Dream 7B、Mercury 等模型已证明 MDLM 在生成质量上可以媲美自回归基线，同时支持并行生成。然而，现有扩散模型的研究几乎完全聚焦于英语，对于形态丰富的黏着语（如土耳其语）的效果仍然知之甚少。将这些新架构应用于黏着语面临着独特的挑战，涉及训练稳定性、特定数据需求以及形态复杂性的建模问题。土耳其语 NLP 虽然已有 BERTurk、Kanarya、Kumru、TURNA 等模型，但这些模型无一例外都是自回归范式，非自回归建模在这一领域几乎完全空白。
本文的目标是本文的具体目标是：（1）构建第一个针对土耳其语的掩码扩散语言模型 Diffutron，验证 MDLM 在形态丰富黏着语上的可行性；（2）设计一套资源高效的训练流水线，从多语言编码器出发，通过 LoRA 持续预训练和两阶段指令微调，将模型适配到土耳其语；（3）在 CETVEL 等基准测试上与现有的多倍参数量的自回归基线进行对比，证明参数效率的优势；（4）发布模型和数据集，推动社区在非自回归建模领域的进一步探索。
与已有工作不同的是，本文的独特切入角度体现在三个层面。首先，从语言学角度，这是首次将 MDLM 架构系统性地应用于黏着语，填补了扩散模型在非英语、形态丰富语言上的研究空白。其次，从方法论角度，作者采用了 LoRA 作为持续预训练阶段的正则化机制（而非仅作为轻量微调工具），用 $r = 256$ 的高秩配置来充分捕获土耳其语的形态复杂性，同时保留预训练骨干的跨语言能力。第三，从训练策略角度，作者设计了渐进式指令微调方案：先用通用指令数据建立基础的指令遵循能力，再用更复杂的土耳其语专用指令数据提升处理精细任务的能力。这种分阶段的方法有效地在模型容量有限的情况下最大化了性能。
核心方法
Diffutron 的整体技术路线可以概括为「多语言编码器 → LoRA 持续预训练 → 两阶段指令微调」的三阶段流水线。直观地理解，这就像让一个已经通晓多种语言的学者专注于学习土耳其语：先通过大量土耳其语文本让其沉浸在土耳其语的语言环境中（持续预训练），再通过由易到难的指令任务逐步培养其执行土耳其语特定任务的能力（指令微调）。在技术实现上，模型以 jhu-clsp/mmBERT-base 多语言编码器为骨干，通过在持续预训练阶段使用 LoRA 对所有线性模块进行高秩适配，将编码器的潜在空间与土耳其语的语言分布对齐。随后，第一阶段指令微调使用 LlamaTurk-Instruction-Set 教会模型基本的指令遵循，第二阶段使用 InstrucTurca 数据集提升模型处理复杂、上下文敏感任务的能力。
Diffutron 的核心创新在于将离散掩码扩散模型的非自回归生成能力与参数高效的多阶段适配策略相结合，专门针对土耳其语的黏着语特性进行了优化。与已有的 MDLM 研究（如 LLaDA、Dream 7B 等主要面向英语）不同，Diffutron 不仅要解决扩散模型本身的训练和生成问题，还要应对黏着语带来的独特挑战：大量形态变化导致的词汇表膨胀、语素叠加带来的长距离语义依赖等。区别于标准 LoRA 实现仅作用于查询/值投影的做法，本文将 LoRA 扩展到所有线性模块（注意力的 $W_q, W_k, W_v, W_o$ 以及 MLP 的输入输出层），并采用极高的秩（$r = 256$），使可训练参数达到 14.94%。这种高秩策略是刻意为之的设计选择——作者认为土耳其语的形态复杂性需要更大的模型容量来捕获，而低秩适配可能不足以建模这种语言的细节。
方法步骤详情
Diffutron 的训练流水线包含以下关键步骤：第一步，准备骨干模型，选用 jhu-clsp/mmBERT-base 多语言编码器作为起点。第二步，数据策展与处理，整合三个数据源——Havadis（土耳其语新闻）、Temiz-OSCAR（清理后的 Common Crawl 数据）和土耳其语维基百科，过滤掉超过 512 token 的序列，最终得到约 200 万条序列（160 万条网页/新闻 + 40.6 万条百科）。第三步，持续预训练（CPT），使用 MLM 目标函数和 Paged AdamW 8-bit 优化器，设置 LoRA 秩 $r = 256$、$\alpha = 256$、dropout 0.1，峰值学习率 $5 \times 10^{-5}$，每设备 batch size 64，梯度累积 2 步，有效 batch size 128，在单块 NVIDIA B200 GPU 上训练 62,680 步（4 个 epoch），耗时约 5.9 小时。第四步，第一阶段指令微调，使用 LlamaTurk-Instruction-Set 数据集，最大序列长度 256，batch size 16，训练 20 个 epoch，学习率 $1 \times 10^{-4}$，在 A100 40GB GPU 上耗时 1 小时 40 分钟。第五步，第二阶段指令微调，使用 InstrucTurca 数据集，最大序列长度 256，batch size 96，训练 8 个 epoch，学习率 $1 \times 10^{-4}$，在 2 块 A100 80GB GPU 上耗时 9 小时 53 分钟。
技术新颖性
Diffutron 在技术新颖性上有多处值得关注的地方。第一，这是首个将掩码扩散语言模型系统性应用于土耳其语（黏着语）的工作，填补了 MDLM 在非英语形态丰富语言上的研究空白。第二，作者创新性地将 LoRA 用作持续预训练阶段的正则化机制，而非常规的微调工具。具体来说，LoRA 的低秩约束天然具有正则化效果，通过冻结原始骨干参数并仅更新低秩适配器，可以防止模型在适应新语言时发生灾难性遗忘——这一「稳定性-可塑性」困境是持续学习中的核心难题。第三，覆盖所有线性模块的高秩 LoRA 策略（$r = 256$，可训练参数 14.94%）区别于标准实现，体现了对黏着语形态复杂性的深刻认识。第四，渐进式两阶段指令微调策略——先用通用数据建立基础能力，再用专业数据提升复杂任务处理能力——在有限参数量的约束下最大化了指令遵循性能。第五，整个训练流水线极其资源高效，总训练仅需单块 B200（CPT）+ 单块 A100 40GB（阶段一）+ 两块 A100 80GB（阶段二），远低于训练同等规模自回归模型的算力需求。
实验结果
Diffutron 的实验结果揭示了几个重要发现。首先，在语言建模能力方面，持续预训练（CPT）带来了显著的困惑度改善：基础多语言编码器 mmBERT-base 的困惑度为 3.42，经过 CPT 后的 DiffutronLM-0.3B-Base 降至 2.75，下降了 19.6%，证明 CPT 阶段有效提升了模型对土耳其语的预测能力和语言分布对齐。其次，在下游任务性能方面，Diffutron（第二阶段）在 7 个 CETVEL 基准上的平均得分为 34.68，参数量仅为 307M，但超过了参数量 7 倍大的 Kumru-2B（34.09）和 TURNA（33.19）。第三，两阶段微调策略的效果得到验证：从第一阶段到第二阶段，模型在新闻分类任务上从 20.00 提升至 64.00，在 XCOPA_TR 上从 59.60 降至 54.60，但总体平均从 31.78 提升至 34.68。第四，与其他基线的对比中，Diffutron 在新闻分类（News_Cat）上达到 64.00，大幅超越多数对比模型。然而，在需要大量世界知识的任务（如 EXAMS_TR 问答）上，Diffutron（28.50）仍不及更大规模的模型（Llama-3.2-3B 为 30.03）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 机器阅读理解（Belebele_TR） | 准确率 | 36.22（2nd-Stage） | Kumru-2B: 29.00, TURNA: 22.56, Llama-3.2-3B: 55.78 | 超越 Kumru-2B 约 7.2 个百分点，但不及 3B 参数的 Llama-3.2-3B |
| 跨语言问答（EXAMS_TR） | 准确率 | 28.50（2nd-Stage） | Kumru-2B: 30.03, TURNA: 23.66, Trendyol-7B: 26.21 | 超越 TURNA 约 4.8 个百分点，但不及 Kumru-2B |
| 反讽检测（IronyTR） | 准确率 | 50.00（2nd-Stage） | Kumru-2B: 51.00, TURNA: 48.33, Llama-3.2-3B: 50.00 | 与 Llama-3.2-3B 持平，超越 TURNA 约 1.7 个百分点 |
| 新闻分类（News_Cat） | 准确率 | 64.00（2nd-Stage） | Kumru-2B: 26.40, TURNA: 32.80, Llama-3.2-3B: 66.80 | 大幅超越 Kumru-2B（+37.6）和 TURNA（+31.2），接近 Llama-3.2-3B |
| 自然语言推理（MNLI_TR） | 准确率 | 34.76（2nd-Stage） | Kumru-2B: 36.42, TURNA: 34.94, Llama-3.2-3B: 33.40 | 接近 TURNA，超越 Llama-3.2-3B 约 1.4 个百分点 |
| 语义文本相似度（STS_TR） | 相关性得分 | 12.91（2nd-Stage） | Kumru-2B: 11.75, TURNA: 14.21, Llama-3.2-3B: 12.91 | 与 Llama-3.2-3B 持平，超越 Kumru-2B |
| 因果常识推理（XCOPA_TR） | 准确率 | 54.60（2nd-Stage） | Kumru-2B: 54.00, TURNA: 55.80, Llama-3.2-3B: 64.20 | 与 Kumru-2B 基本持平，超越 Kumru-2B 约 0.6 个百分点 |
局限与改进
作者坦诚地指出了 Diffutron 的多项局限。首先，土耳其语 NLP 生态系统中缺乏专用的原生编码器基础模型，迫使作者使用多语言骨干 mmBERT-base，这可能限制了模型对土耳其语的表征质量，一个专为土耳其语设计的原生编码器可能带来更好的性能。其次，高质量的土耳其语原生指令数据集稀缺，现有资源往往依赖翻译或合成数据，难以充分捕获土耳其语特有的文化和语言细微差别。第三，模型继承了骨干网络 256 token 的上下文窗口限制，这严重制约了模型在长文本生成和摘要等任务中的应用。第四，受计算资源限制，评估仅覆盖了 CETVEL 基准的一个子集（7 个任务），而非完整套件，可能遗漏了模型在其他维度上的表现。从独立观察的角度来看，作者未报告模型在实际推理速度上与自回归模型的对比数据，而推理速度正是 MDLM 的主要卖点之一；此外，论文缺乏消融实验来验证各设计选择（如 LoRA 秩、两阶段策略、数据配比）的单独贡献。
独立分析的弱点
Diffutron 存在几个值得深入分析的弱点。第一，上下文窗口仅 256 token，这严重限制了模型处理长文本的能力，对于土耳其语中常见的长句（由于黏着语特性，一个句子可能由多个复合从句组成），256 token 的窗口可能不足以覆盖完整的语义单元，建议后续研究扩展上下文长度至 1024 或更长。第二，缺乏消融实验，作者未单独验证 LoRA 秩 $r = 256$ 的选择是否最优，也未比较单阶段与两阶段指令微调的效果差异，以及不同数据配比（网页/新闻 vs. 百科）的影响，这些消融对于理解各设计选择的贡献至关重要。第三，论文未提供推理速度的对比数据，MDLM 的核心优势之一是并行生成带来的推理加速，但作者仅报告了训练时间而未展示推理效率的实验结果。第四，评估基准的选择受限于计算预算，仅使用了 CETVEL 的 7 个子任务，且部分任务（如 STS_TR 的所有模型得分都很低）可能不适合当前的评估设置。第五，模型生成质量（附录 A 的示例）显示生成的土耳其语虽然语法基本正确，但在复杂推理和详细解释方面仍显不足，回答往往较短且缺乏深度。
未来方向
基于本文成果，未来研究可以沿多个方向展开。作者建议的第一个方向是进一步探索非自回归建模在低资源和黏着语中的应用，将 Diffutron 的方法论推广到其他形态丰富的语言（如芬兰语、匈牙利语、韩语等）。第二个方向是扩大模型规模和上下文窗口，使用更大容量的骨干网络（如 mmBERT-large）并扩展至更长的序列，以覆盖更广泛的应用场景。第三个方向是丰富土耳其语专用的预训练和指令数据，收集更多原生（非翻译）的高质量数据，特别是专业领域数据（法律、医学、科技等）。第四个方向是进行系统的消融研究，验证高秩 LoRA、两阶段策略、数据配比等设计选择的最优配置。第五个方向是将扩散模型的并行生成能力与实际推理加速相结合，开发针对土耳其语 MDLM 的高效推理框架。此外，可以探索将 Diffutron 与其他技术（如检索增强生成 RAG、思维链推理等）结合，进一步提升模型在复杂任务上的表现。
复现评估
从可复现性角度来看，Diffutron 的工作具有较好的开放性。作者已在 Hugging Face 上发布了三个模型检查点：DiffutronLM-0.3B-Base（CPT 后）、DiffutronLM-0.3B-1st-Stage（第一阶段微调后）和 DiffutronLM-0.3B-Instruct（最终指令模型），以及预训练语料库 DiffutronLM-Pretraining-Corpus。训练使用的数据集（LlamaTurk-Instruction-Set 和 InstrucTurca）均为公开可用的 Hugging Face 数据集。然而，完全复现仍面临一些挑战：CPT 阶段使用了单块 NVIDIA B200 GPU（这是一款高端 GPU，不一定所有研究者都能获取），指令微调阶段使用了 A100 40GB 和 80GB GPU；论文中提到使用了 dllm 库进行指令微调，但未提供完整的训练脚本或配置文件；数据预处理的具体细节（如 tokenizer 的选择、数据去重策略等）描述不够详细。总体而言，有经验的研究者在拥有足够计算资源的情况下可以复现这项工作，但完整的端到端复现仍需要作者进一步开源训练代码和详细配置。
论文图表
