← 返回 2026-03-23

按需语言，知识核心：通过组合大语言模型与编码器-解码器翻译模型实现可扩展多语言能力 Language on Demand, Knowledge at Core: Composing LLMs with Encoder-Decoder Translation Models for Extensible Multilinguality

Mengyu Bu, Yang Feng 📅 2026-03-18 👍 4 2026-07-13 08:36

多语言大模型最优传输模型组合神经机器翻译表示对齐

arXiv HuggingFace PDF

通过组合预训练翻译模型和LLM，在无需重新训练LLM的情况下大幅提升低资源语言性能

前置知识

Encoder-Decoder 架构

一种经典的序列到序列模型架构，编码器将输入序列编码为固定维度的表示向量，解码器根据这个表示向量逐步生成输出序列。在机器翻译中，编码器负责理解源语言文本，解码器负责生成目标语言文本，两者通过注意力机制连接，实现跨语言的语义映射。

XBridge 框架的核心思想是利用预训练的多语言 Encoder-Decoder NMT 模型，因此理解其架构和工作原理对于理解 XBridge 如何将多语言能力组合到 LLM 中至关重要。

最优传输

一种数学优化理论，用于寻找将一个概率分布转换为另一个概率分布的最小成本方案。在深度学习中，最优传输常用于对齐两个不同空间的分布。通过计算传输代价和最优传输计划，可以实现语义层面的对齐，特别适用于处理序列长度不匹配的异构表示空间。

XBridge 使用最优传输来解决 LLM 输出空间和多语言解码器空间之间的 token 级别语义对齐问题，这是论文的核心技术创新之一。

表示空间对齐

将不同模型的隐藏表示映射到同一语义空间的过程。由于不同模型使用不同的训练目标、词汇表和架构，其内部表示空间存在显著差异。通过线性或非线性映射层，可以将一个模型的表示转换到另一个模型的表示空间，使它们在语义上保持一致。

XBridge 的核心挑战是如何将多语言编码器、LLM 和多语言解码器三个异构表示空间对齐，这是实现端到端多语言理解与生成的关键。

研究动机

大型语言模型虽然在通用智能方面表现优异，但多语言性能存在严重失衡问题。在英语和高资源语言上表现良好，但在低资源或未见过的语言上经常无法可靠理解或生成文本。例如，MetaMath-7B 在 Bengali→English 翻译任务上 BLEU 仅为 1.46，在 Swahili→English 上也仅有 3.33，几乎等同于无法完成任务。这限制了 LLM 在全球范围内的实际应用，因为世界上有超过 7000 种语言，绝大多数是低资源语言。

本文的目标是本文的目标是在不重新训练 LLM 的前提下，使其具备可扩展的多语言能力，特别是对于低资源和未见过的语言。具体来说，希望将多语言理解、推理、摘要和生成的性能提升到接近专门训练的 NMT 模型的水平，同时保持 LLM 原有的英语核心能力不受影响。

与已有工作不同的是，现有方法主要关注数据层面的多语言增强，如翻译训练数据或使用 MoE 扩展语言，但需要持续的多语言训练且可能干扰现有语言能力。另一类方法使用多语言编码器增强 LLM 的输入理解，但生成仍然以英语为中心。XBridge 的独特切入角度是认识到 LLM 的核心限制不在于缺乏知识，而在于难以将知识与多样化的语言表示空间接口，因此提出组合预训练的 encoder-decoder NMT 模型，利用其在跨语言语义转移方面的优势来补充 LLM。

核心方法

XBridge 采用 encoder-LLM-decoder 三段式架构，将多语言能力卸载到外部的编码器-解码器 NMT 模型，同时保持 LLM 作为英语核心进行通用知识处理。输入序列先经过多语言编码器获得语义表示，通过轻量级映射层投射到 LLM 表示空间，LLM 生成英语响应，再通过另一个映射层投射到解码器空间，最后由多语言解码器生成目标语言输出。整个过程建立了从多语言语义空间到 LLM 输入空间，经过知识变换后到 LLM 输出空间，最后到解码器生成空间的语义桥梁。

核心创新点是提出了基于最优传输的 token 对齐目标来解决异构表示空间之间的语义错配问题。由于 LLM 和多语言解码器使用不同的分词器，导致 token 序列长度不匹配，传统的逐 token 对齐无法直接应用。XBridge 将对齐问题形式化为最优传输问题，计算编码器对 LLM 英语输出的表示与解码器侧映射后表示之间的传输距离，实现灵活的、多对多的 token 级语义对齐。这种对齐不仅改善多语言生成质量，还间接促进 LLM 更有效地利用多语言编码器信号。

方法步骤详情

方法包含三个主要步骤。步骤一：给定输入序列 x = (x1, ..., xn) 在语言 Lx 中，首先使用预训练的多语言编码器 Enc(·) 编码，得到上下文表示 Hx ∈ R^{n×de}。步骤二：应用编码器侧轻量级映射 Mappingenc(·) 将 Hx 投射到 LLM 表示空间，得到 \tilde{H}_x ∈ R^{n×dl}，将其与英语指令一起输入冻结的 LLM，生成英语 token 序列 z = (z1, ..., zm)，提取倒数第二层隐藏状态 Hz' ∈ R^{m×dl}（非最后一层以保留更丰富语义信息）。步骤三：应用解码器侧映射 Mappingdec(·) 将 Hz' 投射到解码器表示空间，得到 \tilde{Hz}' ∈ R^{m×dd}，将其作为解码器交叉注意力的键值表示。给定目标语言令牌 ⟨y⟩ 作为解码器输入，解码器通过注意力机制生成输出序列 y。

技术新颖性

XBridge 的技术新颖性体现在三个方面：首先，提出了完整的 encoder-LLM-decoder 组合架构，不仅增强输入理解，还支持多语言输出，这是对现有 encoder-augmented 方法的自然但有挑战的扩展。其次，引入了基于最优传输的对齐目标，解决了异构分词器导致的序列长度不匹配问题，这是首次将最优传输应用于跨模型表示对齐。最后，设计了三阶段训练策略，将粗粒度的跨模型对齐与细粒度的编码器和解码器任务适配解耦，确保稳定优化。这些创新使得 XBridge 能够在不重新训练 LLM 的情况下，通过参数高效的训练实现可扩展的多语言能力。

**Figure 1**: Overview of XBridge. Pretrained multilingual NMT models provide broad language coverage but limited general reasoning capability, while English-centric LLMs excel at general reasoning yet struggle with low-resource or unseen languages. XBridge harmonizes these strengths through model composition, offloading multilingual processing to the pretrained multilingual model while leveraging the LLM as a knowledge core.

**Figure 2**: Left: XBridge composes a pretrained multilingual encoder-decoder with an LLM via lightweight mapping layers for multilingual understanding and generation, keeping the LLM frozen as a knowledge core. Right: A three-stage training strategy progressively aligns heterogeneous representations and adapts the encoder and decoder.

实验结果

在 FLORES-101 翻译任务上，XBridge 在低资源语言上取得显著提升。以 MetaMath-7B 为基座，Bengali→English BLEU 从 1.46 提升到 35.47，Swahili→English 从 3.33 提升到 42.02，English→Bengali 从 0.67 提升到 29.23，English→Swahili 从 1.75 提升到 34.28。这些性能接近外部 NLLB-200-1.3B 模型（Bn-En: 37.78, Sw-En: 42.66）。在 MGSM 数学推理任务上，XBridge-LLM 平均准确率达到 54.84%，XBridge-Dec 达到 52.92%，显著优于 MindMerger（53.08%）和 LayerAlign（52.92%）。在 XL-Sum 摘要任务上，XBridge 平均 Rouge-L 达到 25.78%，优于 SFT（24.74%）和 MindMerger（22.99%）。在 41 个未见过的语言上，XBridge 展现了良好的泛化能力，平均 BLEU 达到 34.57（X→En）和 26.64（En→X），接近 NLLB 基线。消融实验表明，移除解码器导致多语言生成能力丧失，移除 OT 对齐目标导致性能显著下降，跳过阶段 1 导致大幅性能下降，验证了各组件的重要性。

**Table 1**: FLORES-101 translation results for stage 1. For clarity, we report results on two low-resource languages (Bengali, Swahili) and two high-resource languages (Japanese, German), with complete results and COMET scores in Appendix C. 'X' denotes all languages except for English.

**Figure 3**: Multilingual reasoning accuracy on MGSM and multilingual summarization Rouge-L on XL-Sum, with complete results in Appendix C. Models with the same base LLM share the same color scheme, where lighter shades denote baselines and darker shades denote XBridge.

**Figure 4**: Ablation analysis of XBridge. We compare different ablated variants of XBridge: encoder-only augmentation 'w/o Decoder', loss ablation 'w/o OT', removal of stage 1 'w/o Stage 1', and joint optimization of stage 2&3 'Joint Stage 2&3'.

**Figure 5**: Cross-lingual generalization to 41 untuned languages in FLORES-101. Left: X→En direction. Right: En→X direction.

**Figure 7**: Visualization of sentence-level representation alignment for Chinese (Zh). We compare models trained without OT (left) and with OT (right) using t-SNE.

**Figure 11**: Case study on multilingual reasoning. Red text indicates the language token fed to the decoder, which controls the target generation language.

查看结构化数据

任务	指标	本文	基线	提升
FLORES-101 翻译	BLEU	35.47 (Bn-En)	1.46 (MetaMath-7B)	+33.01
FLORES-101 翻译	BLEU	42.02 (Sw-En)	3.33 (MetaMath-7B)	+38.69
FLORES-101 翻译	BLEU	29.23 (En-Bn)	0.67 (MetaMath-7B)	+28.56
FLORES-101 翻译	BLEU	34.28 (En-Sw)	1.75 (MetaMath-7B)	+32.53
MGSM 数学推理	Accuracy	54.84% (平均, XBridge-LLM)	37.32% (SFT)	+17.52%
MGSM 数学推理	Accuracy	52.92% (平均, XBridge-Dec)	53.08% (MindMerger)	-0.16%
XL-Sum 摘要	Rouge-L	25.78% (平均)	24.74% (SFT)	+1.04%
FLORES-101 未 tuning 语言	BLEU	34.57% (平均, X→En)	17.29% (MetaMath-7B)	+17.28%

局限与改进

作者承认 XBridge 仍然存在一定程度的多语言能力不平衡，主要受外部 encoder-decoder NMT 模型和基础 LLM 的共同影响，限制了完全的语言间一致性。此外，XBridge 在推理时需要额外的编码和解码步骤，相比原生 LLM 效率较低（相对推理速度为 0.66x），虽然优于级联的 Translate-Test 流水线（0.55x）。另一个潜在局限性是 XBridge 依赖于预训练的 NMT 模型质量，如果 NMT 模型在某些语言上性能较差，XBridge 的表现也会受限。此外，由于 LLM 保持冻结，其内部知识表示与多语言信号的对齐可能不如端到端训练那么紧密，这可能限制某些需要深度语言理解的任务。

独立分析的弱点

XBridge 的主要弱点在于计算开销增加和架构复杂度提升。推理时需要运行编码器、LLM 和解码器三个模型，相比单一 LLM 延迟更高，虽然论文中使用的轻量级映射层（编码器侧为两层 MLP，解码器侧为四层 MLP）在一定程度上缓解了参数压力，但整体架构仍然复杂。另一个弱点是 LLM 保持冻结，可能限制了某些需要深度语言理解和知识融合的任务，因为 LLM 的内部表示无法适应多语言输入。针对这些弱点，改进方向包括：研究参数高效的 LLM 适配方法，在保持核心能力的同时允许有限的多语言适应；探索模型蒸馏和压缩技术，减少计算开销；设计更高效的跨模型通信机制，降低延迟。

未来方向

作者提出的未来工作方向是进一步探索策略来协调外部 encoder-decoder NMT 模型和基础 LLM，以实现更完全的语言间一致性。基于研究成果可以延伸的方向包括：将 XBridge 扩展到更多模态（如视觉-语言多模态场景），利用预训练的视觉编码器增强 LLM 的多模态能力；探索动态路由机制，根据输入语言自动选择是否激活多语言路径，以提高英语任务的效率；研究更细粒度的跨模型对齐方法，如在注意力级别或神经元级别进行对齐；评估 XBridge 在更多下游任务上的效果，如对话、问答、代码生成等；探索与新兴的参数高效训练技术（如 LoRA、Prefix Tuning）结合，进一步减少训练开销。

复现评估

XBridge 的开源情况良好，作者在 GitHub 上提供了代码（https://github.com/ictnlp/XBridge），训练数据主要来自公开数据集：OPUS-100 用于翻译数据，Ruan et al. (2025) 的多语言数学推理数据用于 MGSM，XL-Sum 用于摘要任务。所有实验在 8 张 NVIDIA H800 GPU 上进行，使用 AdamW 优化器，学习率为 2 × 10^{-5}，每个阶段训练 3 个 epoch，批次大小为 128。整体复现难度中等，主要挑战在于需要访问多个预训练模型（NLLB-200-1.3B、NLLB-200-3.3B 和各基座 LLM）以及较大的 GPU 资源。论文提供了详细的超参数设置和数据处理流程，但由于涉及多个组件的组合，调试和优化可能需要一定时间。