Mecellem 模型：从头训练并持续预训练的土耳其法律领域语言模型 Mecellem Models: Turkish Models Trained from Scratch and Continually Pre-trained for the Legal Domain
针对土耳其法律领域，从头训练编码器+持续预训练解码器，实现高效法律检索
前置知识
ModernBERT
ModernBERT 是一种现代双向编码器架构，基于 BERT 进行了多项改进：采用旋转位置编码（RoPE）支持最长 8192 token 的上下文窗口；使用交替的局部滑动窗口注意力和全局注意力层来降低计算复杂度；采用 RMSNorm 预归一化和 GeGLU 激活函数；移除所有偏置项以提高硬件吞吐量。这些改进使其在保持 BERT 风格的掩码语言建模能力的同时，能够高效处理更长的文档。
本文的编码器模型基于 ModernBERT 架构从头训练，理解其设计特点对于理解预训练策略和序列长度对法律文档检索的影响至关重要。
持续预训练（Continual Pre-training, CPT）
持续预训练是在已有的预训练模型基础上，使用特定领域或语言的数据继续训练的过程。与从头预训练不同，CPT 保留了基础模型的通用语言能力，同时注入领域特定知识。关键挑战在于避免灾难性遗忘——即新知识覆盖已学习的通用能力。常用策略包括课程学习（从简单到复杂逐步训练）、重放缓冲（混入旧数据）和保守的学习率调度。
本文的核心贡献之一就是对 Qwen3 解码器模型进行土耳其法律领域的 CPT，理解 CPT 的原理和挑战是评估本文方法效果的基础。
对比学习与 InfoNCE 损失
对比学习是训练嵌入模型的核心方法，通过拉近相似样本（正样本对）的表示、推远不相似样本（负样本对）的表示来学习高质量的嵌入向量。InfoNCE 损失是最常用的对比损失函数，形式为 $\mathcal{L} = -\log \frac{\exp(\text{sim}(q, d^+)/\tau)}{\sum_j \exp(\text{sim}(q, d_j)/\tau)}$，其中 $\tau$ 是温度参数。批量内的其他样本被视为负样本。GISTEmbed 进一步引入引导模型来过滤假阴性样本，避免将语义相似但表面不同的样本错误地作为负样本。
本文探索了 InfoNCE、Qwen3 风格 InfoNCE 和 GISTEmbed 三种后训练方法，理解这些方法的原理有助于理解为什么 GISTEmbed 在法律检索任务上效果最好。
课程学习（Curriculum Learning）
课程学习是一种训练策略，模仿人类学习过程，先从简单样本开始训练，逐步引入更复杂的样本。在语言模型的持续预训练中，课程学习通常表现为从通用简单文本逐步过渡到领域特定的复杂文本。这种渐进式训练有助于模型稳定收敛，减少灾难性遗忘，并提高对复杂领域知识的吸收效率。
本文采用四阶段课程学习策略训练 Qwen3-1.7B，从通用土耳其文本逐步过渡到法律专业文本，理解这一策略对于复现和评估本文结果至关重要。
形态丰富的语言与词元化（Tokenization）
土耳其语是一种黏着语（agglutinative language），单个词可以通过后缀附加编码主语、宾语、时态、体态和语气等多种信息。例如 'çalışıyorlar'（他们正在工作）包含动词根 'çalış'、现在进行时后缀 'ıyor' 和复数标记 'lar'。传统的基于英语训练的词元化器会将土耳其语词汇在任意位置切分，破坏形态结构，损害下游性能。因此需要针对土耳其语设计专门的词元化器，确保切分出的词元对应完整的形态单元。
本文特别强调了土耳其语的形态复杂性对语言模型设计的影响，包括词元化器设计、质量过滤指标（后缀熵和词元多样性）以及评估指标的选择。
研究动机
土耳其法律领域面临严重的语言资源短缺问题。现有大型语言模型主要在以英语为中心的数据上预训练，在非英语语言和高度专业化领域（如法律）中存在明显的性能退化。法律文本具有独特的挑战：密集的专业术语、复杂的句法结构、严格的规范性约束。这些挑战在土耳其语这样的形态丰富语言中更加突出，因为词汇变化和屈折复杂性要求更精确的语言建模。现有的土耳其法律 NLP 方法主要依赖传统机器学习和基于 Transformer 的分类方法，或者仅通过参数高效微调（PEFT）来适应法律子领域，但这些方法难以实现深度领域适应，特别是对于需要理解长文档、专业术语和复杂法律推理的任务。
本文的目标是本文的目标是开发 Mecellem 框架，通过两种互补策略为土耳其法律领域构建专业语言模型：（1）从头预训练基于 ModernBERT 的双向编码器模型（155M 和 403M 参数），在 1127 亿 token 的土耳其语主导语料库上训练，实现土耳其法律检索任务的竞争力表现；（2）通过控制性持续预训练将 Qwen3-1.7B 和 Qwen3-4B 解码器模型适应土耳其法律领域，实现困惑度（perplexity）的显著降低。具体目标包括在土耳其检索排行榜上取得前几名的位置，同时保持参数效率——用更少的参数实现与更大模型相当的性能。
与已有工作不同的是，本文的独特切入点在于三个方面。首先，它揭示了预训练损失（MLM loss）与下游嵌入质量之间的非线性关系：最优检查点在训练损失达到最小值之前就已经实现了最佳检索分数，这挑战了「最小化预训练损失就是最优」的传统假设。其次，它将下游任务评估整合到预训练检查点选择过程中，而不是仅仅依赖训练损失。第三，它系统地探索了土耳其语特有的形态质量过滤指标（后缀熵和词元多样性），并将其应用于数据预处理和模型训练，这种方法专门针对形态丰富的语言设计，填补了现有工作在这方面的空白。
核心方法
Mecellem 框架可以类比为一个「双轨制」的法律语言模型培训系统。第一条轨道是「编码器特快」：从零开始建造一辆专门的火车（ModernBERT 架构），在土耳其法律和通用数据的「轨道」上行驶 1127 亿 token 的距离，然后通过对比学习进行「调校」，使其成为高效的法律文档检索工具。第二条轨道是「解码器专列」：选择一辆已有的高速列车（Qwen3 基础模型），通过四阶段的课程学习逐步将其「改装」为能够理解土耳其法律的专业列车。技术路线包括：数据准备阶段使用 VLM-based OCR 管道提取文档、多阶段清洗和去重、形态质量过滤；编码器预训练阶段采用 MLM 目标和下游感知的检查点选择；解码器 CPT 阶段采用四阶段课程学习从通用到专业的渐进式训练。
本文最核心的创新点是发现了预训练损失最小化并不等同于下游任务最优的「分离现象」。具体来说，对于土耳其语这样的形态丰富语言，模型在预训练过程中存在一个「甜蜜点」——在这个点上，MLM 损失还没有降到最低，但下游检索性能已经达到了峰值。超过这个点继续训练反而会导致性能退化（v6 相比 v5 出现 5.4% 的 MTEB 分数下降和 11.9% 的法律领域分数下降）。这一发现意味着，传统的「训练到收敛」策略可能不适用于嵌入模型的预训练，特别是在低资源和形态丰富的语言中。本文提出的解决方案是将下游评估整合到检查点选择过程中，实现「训练中评估」的范式转变。
方法步骤详情
Mecellem 方法包含以下关键步骤：（1）数据准备：使用 DotsOCR VLM 模型从 PDF 中提取文本（处理了 228 亿 prompt token 和 159 亿输出 token），通过多阶段管道进行清洗、去重和质量过滤，包括基于 URL 的安全过滤、语言识别、FineWeb 质量过滤，以及专门的土耳其语形态质量过滤（后缀熵 $\geq$ 75%，词元多样性 $\geq$ 50%）；（2）编码器预训练：在 1127 亿 token 上训练 ModernBERT-base（155M）和 ModernBERT-large（403M）模型，使用 MLM 目标（掩码率 15%），采用 Decoupled StableAdamW 优化器和 warmup_stable_decay 学习率调度；（3）检查点选择：在训练过程中评估下游检索性能，发现 v5 检查点（而非最终检查点）取得最优性能；（4）后训练：使用 MS MARCO-TR 数据集（92 万三元组）进行对比学习，探索 InfoNCE、Qwen3-InfoNCE 和 GISTEmbed 三种方法；（5）解码器 CPT：对 Qwen3-1.7B 进行四阶段课程学习（总计约 2510 亿 token），对 Qwen3-4B 进行单阶段训练（约 2708 亿 token）；（6）解码器-编码器转换：将 CPT 后的解码器模型转换为嵌入模型，通过移除语言建模头、替换因果注意力为双向注意力、添加均值池化等操作。
技术新颖性
本文的技术新颖性体现在多个层面。在方法论层面，它首次系统地证明了 MLM 损失与嵌入质量在形态丰富语言中的非线性脱钩关系，这与以往在英语等语言中的观察不同。在工程层面，它开发了完整的 VLM-based OCR 管道（使用 DotsOCR 模型）来处理土耳其法律和学术文档的扫描件，实现了 99.0% 的自然完成率。在评估层面，它构建了 MTEB-Turkish 基准测试框架，包含 17 个任务（6 个分类、4 个检索、2 个配对分类、1 个聚类、1 个 STS 和 3 个法律检索任务），专门评估土耳其语嵌入模型。在数据处理层面，它提出了基于后缀熵和词元多样性的土耳其语质量过滤指标，这些指标直接反映了土耳其语的形态丰富性，是现有 FineWeb 等过滤器无法捕捉的。
实验结果
本文的实验结果揭示了多个重要发现。在编码器模型方面，ModernBERT-base 在 v5 检查点取得最优性能（MTEB 55.76，法律 47.52），而 v6 尽管 MLM 损失更低，性能却显著退化（MTEB 52.76，法律 41.89），证实了预训练损失与下游性能的脱钩。后训练阶段，GISTEmbed（使用 BGE-M3 引导模型）显著优于标准 InfoNCE，MTEB 提升 4.6%，法律领域提升 15.9%。最终模型 Mursit-Base-TR-Retrieval（155M 参数）在土耳其检索排行榜上排名第 2，MTEB 55.86，法律 47.52，以不到一半的参数实现了与 EmbeddingGemma-300M（307M 参数，MTEB 65.42）相当的生产效率（92.36% vs 100%）。在解码器 CPT 方面，Qwen3-1.7B 经过四阶段训练后困惑度从 9.22 降至 5.24（43.1% 改善），Qwen3-4B 单阶段训练后从 7.65 降至 4.884（36.2% 改善）。值得注意的是，Qwen3-1.7B 的四阶段策略（43.1% 改善）与 Qwen3-4B 的单阶段策略（36.2% 改善）效果相当，表明课程学习对小模型尤为重要。在解码器-编码器转换方面，转换后的模型在法律检索任务上表现不佳（Mursit-Embed-Qwen3-4B-TR 法律分数仅 37.00），表明需要更复杂的多阶段训练管道才能实现有效的架构转换。序列长度消融实验显示，将序列长度从 2048 缩短到 256 会导致法律领域性能下降 8.5%，其中法规检索下降 23.6%，判例法检索下降 17.8%，证明长上下文理解对法律文档检索至关重要。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 土耳其语嵌入模型综合评估（MTEB Score） | Mean TaskType | Mursit-Base-TR-Retrieval: 55.86 | EmbeddingGemma-300M: 65.42 | 生产效率 92.36%（参数仅 155M vs 307M） |
| 土耳其法律检索（Legal Score） | 加权平均 nDCG@10 | Mursit-Base-TR-Retrieval: 47.52 | EmbeddingGemma-300M: 50.63 | 法律分数最高（在所有 155M 参数以下模型中） |
| 解码器 CPT 困惑度（Qwen3-1.7B） | Perplexity | Phase 4: 5.24 | Base: 9.22 | 43.1% 降低 |
| 解码器 CPT 困惑度（Qwen3-4B） | Perplexity | CPT: 4.884 | Base: 7.649 | 36.2% 降低 |
| GISTEmbed vs InfoNCE 后训练对比 | MTEB Score | GISTEmbed (BGE-M3): 55.67 | InfoNCE: 53.23 | MTEB +4.6%, 法律 +15.9% |
| 序列长度消融实验 | Legal Score | seq_len=2048: 46.42 | seq_len=256: 42.60 | 法律分数 +8.5%（长序列对法律检索至关重要） |
局限与改进
本文存在多个值得讨论的局限性。首先，解码器-编码器转换的效果不理想：转换后的 Qwen3 模型在法律检索任务上显著落后于专门训练的编码器模型（Mursit-Embed-Qwen3-4B-TR 法律分数仅 37.00，排名第 9），这表明作者采用的简化转换方法（单阶段监督训练，仅 92 万样本）无法替代官方 Qwen3 Embedding 方法所需的复杂多阶段管道（1.5 亿合成样本、多阶段训练、模型合并）。其次，生产效率评估中的「效率」指标权重设计带有主观性（40% 检索、40% 法律、-5% 参数等），可能不适用于所有部署场景。第三，虽然论文展示了 155M 参数模型的竞争性性能，但与 SOTA 模型（EmbeddingGemma-300M）之间仍存在约 10 个 MTEB 分点的绝对差距，这在某些高精度应用中可能是不可接受的。第四，论文的土耳其语质量过滤实验（Section 4.4.4）作为独立调查进行，发现对大模型（4B）反而有轻微负面影响（困惑度从 4.884 升至 4.935），这表明过滤策略的效果可能因模型规模而异，需要更系统的研究。
独立分析的弱点
从独立分析的角度，本文存在以下几个值得关注的弱点。第一，解码器-编码器转换的实现过于简化：作者使用单阶段监督训练（92 万 MS MARCO-TR 样本）和固定的 BGE-M3 引导模型，而官方 Qwen3 Embedding 方法使用了 1.5 亿合成样本和多阶段训练。改进方向是引入大规模合成数据生成（利用 LLM 生成多语言、多领域的查询-文档对）和渐进式训练策略。第二，课程学习的阶段划分缺乏理论依据：四阶段的划分（通用→法律→规范→精炼）是基于经验选择，没有系统地探索最优阶段数和数据混合比例。改进方向是使用自适应的课程学习策略，如基于模型置信度或损失变化的动态课程。第三，评估基准的局限性：MTEB-Turkish 的法律检索任务仅覆盖合同法、法规和判例法三个子领域，可能无法全面反映模型在其他法律子领域（如知识产权法、环境法）的表现。改进方向是扩展评估覆盖范围，包括更多法律子领域和任务类型。第四，缺少与其他 CPT 方法的系统对比：论文没有与 EWC（弹性权重巩固）、正交子空间方法等灾难性遗忘缓解技术进行对比实验。
未来方向
基于本文的成果，未来研究可以从以下几个方向展开。首先，探索更先进的解码器-编码器转换技术，特别是结合大规模合成数据生成和模型合并策略，以缩小与专门训练编码器模型的性能差距。其次，开发自适应的课程学习策略，根据模型在不同阶段的损失变化和下游性能动态调整训练数据的组成和顺序。第三，将 Mecellem 框架扩展到其他土耳其语专业领域（如医疗、金融、科技），验证其通用性。第四，开发实际的 RAG（检索增强生成）应用，将编码器模型的检索能力与解码器模型的生成能力结合，为土耳其法律专业人士提供智能法律助手。第五，探索更高效的训练方法，如使用 FP8 混合精度训练（论文的消融实验显示 BF16-FP8 可实现 8% 的速度提升同时保持几乎相同的收敛质量），以及数据并行和模型并行的混合策略。第六，研究形态丰富语言的专门评估方法，开发能够捕捉法律文本规范性、准确性和推理深度的细粒度评估指标。
复现评估
本文在复现性方面提供了较好的支持。所有模型、数据集和代码均已开源：预训练和后训练模型在 HuggingFace 的 NewmindAI 组织下公开发布（Mursit-Base-TR-Retrieval、Mursit-Large-TR-Retrieval 等）；法律评估基准数据集（合同法、法规、判例法）在 HuggingFace 集合中提供；完整的训练代码、评估脚本和基准数据集在 GitHub 仓库中公开。然而，复现面临的主要挑战包括：（1）算力需求巨大——编码器预训练使用了 MareNostrum 5 超算的 64-128 张 H100 GPU，解码器 CPT 使用了 200-400 张 H100 GPU，这对于大多数研究机构来说是难以企及的；（2）数据获取存在门槛——虽然论文描述了数据来源（Yargıtay 判例、Danıştay 判决、YÖKTEZ 学术论文），但原始数据需要从土耳其法院和学术数据库获取，且经过复杂的 OCR 和清洗管道处理；（3）训练时间较长——Qwen3-4B 的单阶段 CPT 训练了 153,508 步，即使在 400 张 GPU 上也需要相当长的时间。总体而言，复现难度为中等偏高，主要障碍在于算力和数据获取。
论文图表
