全语言机器翻译：覆盖1600种语言的机器翻译系统 Omnilingual MT: Machine Translation for 1,600 Languages
Meta发布首个支持1600+语言的MT系统，小模型性能超越70B大模型
前置知识
持续预训练(CPT)
持续预训练是指在已经预训练好的大语言模型基础上，继续使用特定领域或多语言数据进行训练的技术。与从头预训练不同，CPT保留了原始模型的通用能力，同时注入新知识。在本文中，CPT阶段使用单语和平行语料，让LLaMA3模型学会1600+语言的翻译能力。训练时将语言名称插入单语文档前，翻译对则使用简化的翻译提示格式。
CPT是本文模型获得多语言翻译能力的核心训练阶段，理解它才能明白模型如何从通用LLM变成翻译专家
跨语言对齐嵌入空间
跨语言对齐嵌入空间是一种将不同语言的句子映射到同一向量空间的技术，使得语义相同的句子在不同语言中具有相似的向量表示。本文使用的OmniSONAR是基于LLaMA3构建的跨语言嵌入空间，支持1600+语言。在该空间中，'The cat is black'和'Le chat est noir'的嵌入向量非常接近。
OmniSONAR是OMT-NLLB架构的基础，也是BLASER 3和OmniTOX等评估工具的核心组件
检索增强翻译(RAG)
检索增强翻译是一种在推理时动态检索相关翻译示例作为few-shot样本的技术。系统维护一个平行语料库，对于待翻译的句子，通过BM25和语义相似度检索最相关的源-目标对，插入到翻译提示中。本文实现了基于OmniSONAR嵌入的向量检索和全文检索，并支持即时挖掘(on-the-fly mining)策略。
RAG使得模型可以在不重新训练的情况下适应新语言和新领域，是本文模型可扩展性的关键
反向翻译(Backtranslation)
反向翻译是一种数据增强技术，通过将目标语言的单语数据翻译成源语言来生成合成平行语料。本文使用NLLB和LLaMA模型对2000+语言的单语数据进行反向翻译，然后通过OmniSONAR相似度过滤低质量数据。最终生成约2.3亿句合成平行数据，覆盖2000+语言。
反向翻译是本文解决长尾语言训练数据稀缺问题的核心数据策略
词汇扩展与分词优化
原始LLaMA3的分词器仅针对少量语言优化，对非拉丁文字语言的分词效率很低。本文将词汇表从128K扩展到256K，调整了预分词正则表达式以支持罕见文字系统，并使用平衡的多语言语料训练新的BPE合并规则。这使得FLoRes+数据集上的平均分词数从80.7降至44.8。
词汇扩展是模型能够有效处理1600+语言的前提条件，直接影响训练和推理效率
研究动机
当前机器翻译系统面临严重的语言覆盖瓶颈。NLLB将高质量MT扩展到200种语言，但全球7000+种语言中的大多数——特别是濒危和边缘化语言——仍然无法获得现代MT技术的支持。更关键的是存在一个'生成瓶颈'：现代模型通过跨语言迁移能够理解和识别长尾语言，但往往无法可靠地生成这些语言。例如，在英语到1560种语言的圣经翻译评估中，许多基线模型在300-400种语言处翻译质量就降至接近随机水平。Google的Massively Multilingual Translation项目探索了覆盖1000种语言的可能性，但未能形成可持续的解决方案。此外，评估也是重大瓶颈：FLoRes+等基准仅覆盖200-300种语言，无法衡量长尾语言的翻译质量。
本文的目标是本文的目标是构建第一个支持1600+语言的机器翻译系统(Omnilingual MT)，在以下方面实现突破：(1)将'可被充分理解'的语言数量从200扩展到400+；(2)为1200+种语言提供有意义的生成能力；(3)证明1B-8B参数的专用模型可以匹配或超越70B通用LLM的翻译性能；(4)建立覆盖1600+语言的评估框架。
与已有工作不同的是，本文的独特切入角度在于同时解决了数据、模型和评估三个层面的问题。在数据层面，不仅依赖现有公开语料，还创建了MeDLEy（覆盖108种极低资源语言的人工翻译种子数据集）和BOUQuET（覆盖275种语言的评估数据集）。在模型层面，探索了两种互补架构——解码器-only的OMT-LLaMA和编码器-解码器的OMT-NLLB，并提出了一种利用非平行数据训练编码器-解码器模型的新方法。在评估层面，开发了BLASER 3（无参考质量估计）和OmniTOX（毒性检测）等覆盖1600+语言的评估工具。
核心方法
Omnilingual MT的整体思路可以类比为'建造一座通向所有语言的桥梁'。首先，需要铺设道路基础——通过扩展分词器词汇表（从128K到256K）和优化预分词规则，确保模型能够高效处理1600+种文字系统。然后，需要准备建材——通过整合大规模公开语料、创建人工翻译数据集MeDLEy、生成反向翻译和挖掘合成数据，构建覆盖2000+语言的训练数据集。最后，需要建造桥体——探索两种互补的架构路线：(1)基于LLaMA3的解码器-only模型(OMT-LLaMA)，通过持续预训练和后训练(SFT+RL)获得翻译能力；(2)基于OmniSONAR编码器的编码器-解码器模型(OMT-NLLB)，通过三阶段训练策略（利用对齐编码器增强解码器→解码器热身→端到端微调）实现高效的跨语言翻译。
本文最核心的创新点是揭示并利用了'理解与生成的不对称性'。具体来说，现有模型通过跨语言迁移可以'理解'很多长尾语言（即能接收这些语言的输入并产生合理的英语输出），但无法可靠地'生成'这些语言（即从英语翻译到这些语言时质量急剧下降）。本文通过以下策略解决这一问题：(1)大规模词汇扩展使模型能够有效表示罕见文字；(2)反向翻译和数据挖掘为长尾语言创造合成训练数据；(3)MeDLEy人工翻译数据为极低资源语言提供高质量种子；(4)OMT-NLLB的创新训练方法——利用OmniSONAR的跨语言对齐空间，通过自编码(autoencoding)目标让解码器在没有平行数据的情况下也能学习生成目标语言。
方法步骤详情
OMT-LLaMA的训练流程分为三个阶段。第一阶段是持续预训练(CPT)：在LLaMA3.1 8B Instruct基础上，使用256K词汇表的扩展分词器，用单语数据（CC-2000-Web/Pdf，约2500万句）和平行数据（圣经、Tatoeba、NLLB-200等）进行语言建模和翻译任务训练，持续50K步。第二阶段是监督微调(SFT)：使用OMT-base-FTdata（60万条多语言指令数据，覆盖10种语言）结合SMOL和MeDLEy翻译数据，恢复指令跟随能力并提升翻译质量，训练10K步。第三阶段是强化学习(RL)：采用DAPO算法，使用ChrF++和MetricX的50/50组合作为奖励信号，进一步优化翻译质量。OMT-NLLB的训练也分三阶段：首先冻结OmniSONAR编码器，用翻译和自编码目标训练解码器（40K步）；然后移除句子级池化瓶颈，仅更新解码器进行热身（token级交叉注意力）；最后端到端微调整个模型（100K步）。
技术新颖性
本文的技术新颖性体现在多个方面。首先，OMT-NLLB提出了一种全新的训练策略：利用OmniSONAR的跨语言对齐空间，通过自编码目标让解码器在非平行数据上训练，然后逐步过渡到标准的token级交叉注意力编码器-解码器架构。这种'先利用对齐空间，再移除瓶颈'的三阶段方法是前所未有的。其次，在数据策略上，MeDLEy是第一个系统性地覆盖跨语言语法现象的种子数据集，包含61个语法特征、5个领域、5种源语言和8种枢轴语言。第三，在评估方面，XSTS+R+P协议首次在翻译评估中系统性地考虑了语域(register)和段落级一致性问题，BLASER 3是第一个基于OmniSONAR的无参考质量估计模型，覆盖1600+语言。
实验结果
Omnilingual MT在多个维度取得了突破性成果。首先在语言覆盖方面：OMT模型将'可被合理理解'的源语言数量从NLLB-200的221种扩展到440种（OMT-LLaMA 8B）和416种（OMT-NLLB），接近翻倍。在生成能力方面：OMT模型在约1200种语言上保持有意义的翻译质量，而基线模型在300-400种语言处就降至随机水平。在效率方面：OMT-LLaMA 8B在BOUQuET上达到36.7的ChrF++（总计），超过GPT-OSS 120B的34.5、Gemma 3的34.1和LLaMA 3 70B的32.9，证明了'专化优于规模'的Pareto优势。在人类评估（Met-BOUQuET Round 2）中，OMT-LLaMA在57个语言方向中的44个（77%）优于最强基线系统，平均XSTS+R+P分数为3.38 vs 2.67。在毒性安全方面，OMT模型的添加毒性率低于1.5%，与基线系统相当。BLASER 3在Met-BOUQuET测试集上达到0.55的Spearman相关系数，超过MetricX-24的0.47和xCOMET-XL的0.43。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BOUQuET翻译质量（总计ChrF++） | ChrF++ | OMT-LLaMA 8B: 36.7, OMT-NLLB: 36.6 | GPT-OSS 120B: 34.5, Gemma 3: 34.1, LLaMA 3 70B: 32.9 | OMT-LLaMA 8B比GPT-OSS 120B高2.2个点，比LLaMA 3 70B高3.8个点 |
| FLoRes+翻译质量（总计ChrF++） | ChrF++ | OMT-NLLB: 50.9, OMT-LLaMA 8B: 49.4 | NLLB-200: 48.6, Gemma 3: 44.8 | OMT-NLLB比NLLB-200高2.3个点 |
| Bible基准-理解能力（XX-En） | xCOMET | OMT-LLaMA 8B在1045种语言上严格优于所有基线 | NLLB-200, LLaMA 3 70B, GPT-OSS 120B等 | 覆盖约2/3的评估语言 |
| Bible基准-生成能力（En-XX） | ChrF++ | OMT-LLaMA 8B在约1200种语言上保持有意义质量 | 基线模型在300-400种语言处降至随机水平 | 可生成语言数量提升约3倍 |
| Met-BOUQuET人类评估 | XSTS+R+P平均分 | OMT-LLaMA: 3.38 | 最强基线: 2.67 | 提升0.71分，77%方向获胜 |
| BLASER 3质量估计 | Spearman ρ | BLASER 3: 0.55 | MetricX-24: 0.47, xCOMET-XL: 0.43 | 比MetricX-24高0.08，比xCOMET-XL高0.12 |
局限与改进
本文存在多个层面的局限性。在数据方面，尽管收集了大量多语言语料，但仍不完整且难以完全复现训练过程。反向翻译数据仅来自有限的Common Crawl快照，覆盖的只是人类语言的一部分。在评估方面，自动评估指标在低资源语言上可靠性不足：大多数指标无法检测翻译到错误目标语言的灾难性错误，也无法准确捕捉语域差异和段落级一致性问题。在语言覆盖方面，虽然支持1600+语言，但对许多极低资源语言的翻译质量仍然有限，OMT-NLLB仅能生成约250种语言。在毒性评估方面，OmniTOX仅在30种语言上进行了验证，其余1570+语言的毒性检测完全依赖零样本迁移。此外，MeDLEy的语法覆盖受限于预算和跨语言可迁移性，翻译质量在低资源语言上可能不如高资源语言可靠。
独立分析的弱点
本文存在几个值得关注的弱点。首先，生成瓶颈问题虽有改善但未完全解决：OMT模型在1200种语言上保持有意义质量，但仍有约400种语言无法可靠生成，这主要受限于训练数据的可用性和模型容量。改进方向包括探索更高效的低资源语言生成技术，如基于语音学知识的数据增强。其次，OMT-NLLB的生成语言覆盖仅250种，远少于OMT-LLaMA的1000+种，这限制了其在长尾语言上的应用。可以通过扩展解码器词汇表和训练数据来改进。第三，自动评估指标在低资源语言上仍然不可靠，BLASER 3虽然领先但与人类判断的相关性仍有提升空间。未来可以探索将语言识别能力直接集成到评估指标中。第四，反向翻译的质量过滤策略相对简单，仅基于OmniSONAR相似度，可以结合LLM-as-a-judge等更精细的方法。
未来方向
作者提出了几个重要的未来方向。首先，OMT可以作为多语言LLM的基础模型，进一步训练以集成翻译、推理、对话和多模态能力。其次，OMT可以与Omnilingual ASR级联，构建覆盖1600+语言的语音到文本翻译系统。第三，RAG数据库可以持续扩展，支持新语言和新领域的即时适应。基于本文成果还可以延伸的方向包括：(1)探索迭代反向翻译以提升合成数据质量；(2)研究跨语言迁移的学习动态，理解为什么某些语言比其他语言更容易学习；(3)开发更精细的语法级评估方法；(4)将评估框架扩展到对话翻译和文档翻译场景。
复现评估
本文的复现评估需要从多个维度考虑。在模型方面，OMT-LLaMA和OMT-NLLB基于开源的LLaMA3构建，训练配方在论文中有详细描述，但完整的训练数据混合比例和部分私有数据集（如LTPP）不完全公开。在评估方面，BOUQuET和Met-BOUQuET数据集已公开发布在HuggingFace上，BLASER 3和OmniTOX的训练代码和模型预计也会开源。在算力方面，CPT阶段使用256块A100 GPU训练50K步，SFT和RL阶段的资源需求相对较低，BLASER 3仅需1块A100训练90分钟。总体复现难度较高，主要受限于大规模多语言数据的收集和处理成本，但评估部分的复现性较好。
论文图表
展示了OMT-LLaMA模型在Bible基准上（1560种语言，英语到XX方向）的平均xCOMET分数与主要并行训练语句数量之间的关系。使用等渗回归拟合全局趋势。
这张图建立了语言资源分级的基础，证明了并行数据量与翻译质量之间的正相关关系，支撑了本文提出的新资源分级标准。