TranslateGemma：基于Gemma 3的开源机器翻译增强模型技术报告 TranslateGemma Technical Report
基于Gemma 3的开源翻译模型，SFT+RL双阶段训练大幅提升质量
前置知识
监督微调（Supervised Fine-Tuning, SFT）
监督微调是指在预训练大模型的基础上，使用带有标注的高质量平行数据对模型进行进一步训练，使其适应特定任务。在本文中，SFT阶段使用了来自Gemini 2.5 Flash生成的合成翻译数据和人工翻译数据的混合语料，通过Kauldron SFT工具和AdaFactor优化器，以学习率0.0001和batch size 64训练200k步。SFT的关键在于数据质量而非数量——通过128次采样加MetricX质量过滤来选取最优合成翻译。
SFT是将通用大模型转化为专用翻译模型的第一步，理解其数据筛选策略（如QE过滤、格式检查）对理解本文方法论至关重要。
强化学习（Reinforcement Learning, RL）
强化学习在本文中用于进一步提升SFT模型的翻译质量。不同于SFT直接模仿参考翻译，RL通过奖励模型（reward model）对模型输出进行评分，引导模型生成更高质量的翻译。本文创新性地使用了多个奖励模型的集成——包括MetricX-QE、AutoMQM、ChrF、自然度评分器和通用奖励模型——并将序列级和token级奖励信号结合，实现更精细的信用分配。
RL是本文的核心创新之一，理解其如何利用多奖励集成和token级优势来优化翻译质量，是理解TranslateGemma超越基线模型的关键。
质量估计（Quality Estimation, QE）
质量估计是一种无需参考翻译即可评估机器翻译质量的技术。MetricX-24-QE是一个基于回归的翻译质量评估模型，输出0-25之间的分数（0为最佳，25为最差），符合MQM评分标准。在本文中，QE被用于两个关键环节：一是在合成数据生成阶段作为过滤器，从128个采样中选取最佳翻译；二是在RL阶段作为奖励信号指导模型优化。
QE是本文数据生成和RL优化的核心组件，理解其工作原理有助于把握整个训练流程的质量控制机制。
MQM（Multidimensional Quality Metrics）框架
MQM是一个专业的人工翻译质量评估框架，由专业翻译人员在文档上下文中高亮翻译错误的span，为每个错误分配严重程度（轻微/中等/严重）和类别（如误译、术语错误、语法错误等），然后通过加权计分自动得出质量分数。分数越低表示翻译质量越高。本文在WMT25测试集的10个语言对上使用MQM进行了人工评估。
MQM是本文人工评估的核心方法，理解其评分机制有助于解读Table 3中的人工评估结果，并与自动指标进行对比分析。
自动评估指标（MetricX、Comet22、ChrF）
MetricX 24是Google开发的基于学习的翻译质量评估指标，数值越低越好；Comet22是基于嵌入的翻译质量评估指标，数值越高越好；ChrF是基于字符n-gram重叠的词法匹配指标。这三个指标从不同维度评估翻译质量：MetricX侧重语义准确性，Comet22侧重整体流畅度和忠实度，ChrF侧重表面词法匹配。本文在WMT24++的55个语言对上使用这些指标进行自动评估。
理解这些指标的含义和差异，有助于全面评估TranslateGemma的翻译质量改进，以及理解为什么不同指标上的提升幅度存在差异。
Token级优势（Token-level Advantages）
在标准RL中，奖励信号通常是序列级的（对整个翻译输出给一个分数），而token级优势则将奖励信号细化到每个token上。本文扩展了RL算法以支持token级优势，将AutoMQM和自然度评分器的span级错误标注直接转化为token级奖励信号，与序列级奖励（MetricX、ChrF等）相加后进行batch归一化。这种细粒度的信用分配机制使模型能够更精确地学习哪些token或span需要改进。
这是本文RL方法的技术核心，理解token级优势如何与序列级奖励结合，是理解TranslateGemma在RL阶段取得显著改进的关键。
研究动机
机器翻译（MT）在全球化时代扮演着至关重要的角色，但现有开源模型在翻译质量上与闭源商业系统仍存在差距。虽然大语言模型（LLM）显著推动了机器翻译的发展，但开源社区缺乏足够强大的翻译专用模型。Gemma 3虽然是一个强大的多语言LLM，但其翻译能力并非最优——在WMT24++基准测试中，Gemma 3 27B的MetricX分数为4.04，12B为4.86，4B为6.97，这些分数表明即使是最大的基线模型也存在明显的翻译质量问题。特别是在低资源语言对上，如英语到冰岛语（MetricX 8.31）、英语到爱沙尼亚语（6.40）和英语到立陶宛语（6.01），基线模型的表现更差。此外，现有方法通常只优化单一翻译指标，难以在多个质量维度上同时提升。
本文的目标是本文的目标是开发TranslateGemma——一个基于Gemma 3基础模型的开源机器翻译模型套件（包含4B、12B和27B三个规模），通过系统性的两阶段训练（SFT+RL）显著提升翻译质量，同时保持模型的多模态能力和通用指令遵循能力。具体而言，团队希望：（1）在WMT24++的55个语言对上实现一致且显著的自动指标提升；（2）在WMT25测试集的人工评估中验证翻译质量改进；（3）使较小的TranslateGemma模型能够达到甚至超越较大基线模型的性能水平，从而提供更高效的翻译解决方案；（4）保留Gemma 3的多模态能力，使模型能够处理图像中的文本翻译任务。
与已有工作不同的是，本文的独特切入角度在于三个关键创新：第一，采用精心设计的合成数据生成流程，利用Gemini 2.5 Flash进行128次采样并结合MetricX-QE过滤，而非简单使用单一模型生成；第二，在RL阶段创新性地使用多奖励模型集成（MetricX-QE、AutoMQM、ChrF、自然度评分器、通用奖励模型），而非单一奖励信号；第三，扩展RL算法支持token级优势，将AutoMQM和自然度评分器的span级错误标注直接转化为token级奖励，实现更精细的信用分配。此外，团队特别关注保持模型的多模态能力，通过在SFT混合中包含30%的通用指令遵循数据来防止模型过度专注于翻译任务。
核心方法
TranslateGemma的整体方法可以概括为：在Gemma 3基础模型上进行两阶段训练，先通过监督微调（SFT）建立强大的翻译基础能力，再通过强化学习（RL）进一步优化翻译质量。SFT阶段的核心是高质量训练数据的构建：利用Gemini 2.5 Flash生成合成平行数据，结合人工翻译数据和通用指令遵循数据，通过多层过滤确保数据质量。RL阶段的核心创新是使用多个奖励模型的集成，包括自动质量评估（MetricX-QE）、细粒度错误检测（AutoMQM）、词法匹配（ChrF）、自然度评估和通用能力评估，通过token级优势机制实现精细化的模型优化。整个流程在三个模型规模（4B、12B、27B）上重复，最终在WMT24++的55个语言对和WMT25的10个语言对上进行了全面评估。
本文的核心创新点在于RL阶段的多奖励集成策略和token级优势机制。与已有方法（通常使用单一奖励模型或仅使用序列级奖励）不同，TranslateGemma将五种不同性质的奖励信号组合在一起：MetricX-QE提供全局翻译质量评估，AutoMQM提供span级错误标注，ChrF提供词法重叠信号，自然度评分器评估译文的母语程度，通用奖励模型保持模型的多功能性。关键的技术突破是扩展RL算法以支持token级优势——将AutoMQM和自然度评分器的span级错误直接转化为每个token的奖励信号，与序列级奖励相加后进行batch归一化。这种设计使得模型能够精确地学习哪些具体的token或span需要改进，而不是仅仅知道整个翻译输出的好坏。
方法步骤详情
TranslateGemma的训练分为两个主要阶段。第一阶段SFT包含以下步骤：（1）数据准备——从MADLAD-400语料库获取单语数据，对每个目标语言对生成最多10K个合成样本；（2）源句筛选——将原始语料按长度分桶，每个语言对采样100万个源句，使用Gemini 2.5 Flash进行2次采样（贪婪解码和温度1.0），选择采样分数相对于贪婪解码改善最大的源句；（3）合成翻译生成——对筛选后的源句进行128次采样，使用MetricX 24-QE选择最佳翻译，同时生成句子级和最多512 token的文本块级翻译；（4）格式过滤——使用Gemini 2.5 Flash进行额外的格式检查；（5）混合训练数据——合成数据+人工翻译数据（来自SMOL和GATITOS数据集，覆盖123-170种语言）+30%通用指令遵循数据；（6）模型训练——使用AdaFactor优化器，学习率0.0001，batch size 64，训练200k步，冻结嵌入参数。第二阶段RL包含：（1）准备与SFT相同的翻译数据（不含GATITOS和SMOL）；（2）使用五个奖励模型评估模型输出；（3）将序列级和token级奖励相加并进行batch归一化；（4）使用扩展的RL算法优化模型。
技术新颖性
本文的技术新颖性体现在多个层面。首先，合成数据生成流程中的128采样加QE过滤策略是一种高效的数据质量提升方法，相比简单的单次生成，能够显著提高合成数据的质量。其次，RL阶段的多奖励集成策略是机器翻译领域的新尝试，通过组合不同维度的评估信号（语义质量、错误检测、词法匹配、自然度、通用能力），避免了单一奖励模型可能带来的偏差。第三，token级优势机制是RL在机器翻译应用中的重要创新，它将span级的错误标注直接转化为token级的训练信号，实现了更精细的信用分配——这与Ramos et al. (2025)提出的基于错误严重程度映射的细粒度奖励优化理念一致。第四，通过在SFT混合中包含30%通用指令遵循数据来保持模型多模态能力的策略，展示了如何在专业化训练和能力保持之间取得平衡。
实验结果
本文在多个维度上验证了TranslateGemma的有效性。在自动评估方面，WMT24++基准测试（55个语言对）的结果显示：27B TranslateGemma的MetricX分数从基线的4.04降至3.09（相对降低23.5%），12B从4.86降至3.60（降低25.9%），4B从6.97降至5.32（降低23.6%）。Comet22指标也呈现一致趋势，27B从83.1提升至84.4，12B从81.6提升至83.5，4B从77.2提升至80.1。一个关键发现是模型效率的提升：12B TranslateGemma（MetricX 3.60）超越了27B基线Gemma 3（4.04），4B TranslateGemma（5.32）与12B基线（4.86）相当。在具体语言对上，改进幅度从高资源语言（如英语到德语：1.63到1.19）到低资源语言（如英语到冰岛语：8.31到5.69）都非常显著。人工评估方面，WMT25测试集的10个语言对MQM评估确认了自动指标的趋势，特别是在低资源语言上（如英语到马拉地语改进1.6分，英语到斯瓦希里语改进1.0分）。图像翻译方面，Vistra基准测试显示TranslateGemma保留了Gemma 3的多模态能力，27B模型的MetricX从2.03改进至1.58。唯一例外是日语到英语的人工评估中出现了回退，经分析发现主要源于命名实体翻译错误。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本翻译（WMT24++，55个语言对） | MetricX（越低越好） | 27B: 3.09, 12B: 3.60, 4B: 5.32 | 27B: 4.04, 12B: 4.86, 4B: 6.97 | 27B降低23.5%, 12B降低25.9%, 4B降低23.6% |
| 文本翻译（WMT24++，55个语言对） | Comet22（越高越好） | 27B: 84.4, 12B: 83.5, 4B: 80.1 | 27B: 83.1, 12B: 81.6, 4B: 77.2 | 27B提升1.3, 12B提升1.9, 4B提升2.9 |
| 人工翻译质量评估（WMT25，10个语言对） | MQM（越低越好） | 27B平均约4.6, 12B平均约6.3 | Gemma 3 27B平均约6.0 | 27B改进约23%, 12B与27B基线相当 |
| 图像翻译（Vistra基准，英译德/西/俄/中） | MetricX（越低越好） | 27B: 1.58, 12B: 2.08, 4B: 2.58 | 27B: 2.03, 12B: 2.33, 4B: 2.60 | 27B降低0.45, 12B降低0.25, 4B微降0.02 |
局限与改进
本文存在若干值得讨论的局限性。首先，在日语到英语的人工评估中，TranslateGemma 27B（MQM 13.4）反而不如基线Gemma 3 27B（MQM 11.6），经分析发现这主要源于命名实体翻译错误的增加，说明RL优化可能在某些特定错误类型上引入了负面效果。其次，虽然论文展示了55个语言对的自动评估结果，但人工评估仅覆盖10个语言对，且主要集中在英语相关的翻译方向，对非英语语言对（如捷克语到乌克兰语、捷克语到德语）的评估有限。第三，4B模型在图像翻译任务上的改进非常微小（MetricX仅降低0.02），表明小容量模型在多模态任务上的提升空间有限。第四，论文未提供训练的计算成本和时间开销，对于资源受限的研究者而言，难以评估复现的可行性。此外，虽然团队声称保留了模型的通用能力，但并未提供通用基准测试（如MMLU、HellaSwag等）的结果来验证这一点。
独立分析的弱点
本文的一个显著弱点是RL阶段的奖励模型选择可能存在偏差——五个奖励模型中有三个（MetricX-QE、AutoMQM、自然度评分器）都侧重于翻译质量的不同方面，而ChrF是唯一使用参考翻译的指标，这种不对称性可能导致优化方向的偏移。另一个弱点是合成数据生成依赖于Gemini 2.5 Flash，这意味着TranslateGemma的性能上限可能受限于教师模型的能力；如果Gemini 2.5 Flash在某些语言对上本身表现不佳，那么生成的合成数据质量也会受限。此外，论文未充分探讨SFT和RL两个阶段各自贡献的消融实验——读者无法得知如果只进行SFT或只进行RL，模型性能会如何变化。在数据方面，虽然团队为55个WMT24++语言对额外生成了30个语言对的合成数据，但这些额外语言对的评估结果未被报告，其实际效果存疑。
未来方向
基于本文成果，未来研究可以在多个方向展开。首先，可以探索更先进的RL算法，如PPO之外的DPO（Direct Preference Optimization）或GRPO，以简化训练流程并提高稳定性。其次，可以扩展语言覆盖范围，特别是为更多低资源语言（如非洲和东南亚语言）开发专用翻译能力。第三，可以研究如何将TranslateGemma的训练方法应用于其他序列生成任务，如文本摘要、对话生成等。第四，可以探索更高效的合成数据生成策略，如使用更小的教师模型或主动学习方法来减少对大型闭源模型的依赖。第五，可以研究如何更好地保持模型在RL训练后的通用能力，可能通过更精细的数据混合策略或多任务学习框架。最后，可以将TranslateGemma与检索增强生成（RAG）结合，利用外部翻译记忆库来提升特定领域或术语密集型文本的翻译质量。
复现评估
从复现性角度来看，本文具有较好的开放性。团队宣布将开源TranslateGemma模型（包含4B、12B和27B三个规模），并提供了详细的训练提示模板（Figure 3）和自动包装工具。然而，完整复现存在一定挑战：（1）合成数据生成依赖Gemini 2.5 Flash，这是一个闭源模型，外部研究者无法直接使用；（2）RL阶段使用了多个内部开发的奖励模型（如Gemma-AutoMQM-QE和自然度评分器），虽然MetricX和AutoMQM是公开的，但团队使用的是针对翻译任务微调的版本；（3）论文未提供训练的计算资源需求、训练时间和超参数搜索细节；（4）使用了Google内部的Kauldron SFT工具链，外部研究者可能需要使用其他框架（如Hugging Face Transformers）。总体而言，模型权重的开源使得直接使用成为可能，但完整复现训练流程需要访问大量计算资源和部分闭源组件。
论文图表
展示了使用TranslateGemma进行翻译时推荐的提示模板。模板要求模型扮演专业翻译角色，指定了源语言和目标语言的名称及代码，要求模型准确传达原文含义和细微差别，同时遵守目标语言的语法、词汇和文化敏感性，只输出翻译结果而不包含任何解释或评论。
这个提示模板是使用TranslateGemma的关键指南，说明了模型的预期使用方式，对复现论文结果和实际应用都很重要。