← 返回 2026-07-27

LAMAR：开放的语言感知多语言对齐重排序器 LAMAR: An Open Language-Aware Multilingual Alignment Reranker

Seongtae Hong, Youngjoon Jang, Jungseob Lee, Seungyoon Lee, Heuiseok Lim 📅 2026-07-24 👍 16 2026-08-01 18:30
多语言检索 检索增强生成 知识蒸馏 语言一致性 跨语言对齐 重排序
arXiv HuggingFace PDF

多语言RAG中兼顾语义相关性与语言一致性的重排序器

前置知识

RAG（检索增强生成）

RAG先用检索器从外部知识库召回与查询相关的文档候选，再把这些文档作为上下文喂给大语言模型生成答案，以缓解模型仅依赖内部知识产生的幻觉和过时问题。典型流程是「检索→重排→生成」三段式。

本文研究的就是这条流水线中「重排」阶段在多语言场景下应该如何排序，理解RAG整体框架才能明白重排序器所处的位置和它对最终答案质量的影响。

Cross-encoder 重排序器

重排序器把查询和文档拼接后一起送入Transformer编码器，输出一个标量相关性分数，比双塔bi-encoder更能捕捉query-doc交互但更慢。常用于对第一阶段检索器返回的top-k候选做精细二次排序。

LAMAR本身就是一个cross-encoder，理解它的输入输出形式（query-doc pair → scalar score）和它优化相关性分数的方式是读懂本文训练目标的前提。

知识蒸馏

用一个强「教师」模型的输出作为软标签去训练一个轻量「学生」模型，让学生逼近教师的行为。本文用的是回归式蒸馏：学生预测的多语言对分数要去逼近教师在英文对上给出的分数。

LAMAR第一阶段「英文锚定相关性蒸馏」就是蒸馏范式，教师是Qwen3-Reranker-4B。理解蒸馏才能看懂为什么用英文对做target、为什么这能建立跨语言一致性尺度。

Listwise 排序损失 / ADR-MSE

Listwise损失把整个候选列表一起考虑，而非两两对比(pairwise)。ADR-MSE(Approx Discounted Rank MSE)用sigmoid近似排名位置 $\hat{r}_i(s)=1+\sum_{j\neq i}\sigma(s_j-s_i)$ 并按参考排名加权 $w_i=1/\log_2(r_i(y)+1)$，让靠前的位置权重更大。

LAMAR第二阶段的 $\mathcal{L}_{rank}$ 就用ADR-MSE，理解listwise排序损失和位置加权才能看懂它如何让正文档排在负文档之上、又为何不强制跨语言等价文档之间的相对顺序。

研究动机

在多语言RAG流水线中，第一阶段embedding检索器会返回多种语言写成的相关文档，再由多语言重排序器排序后交给LLM生成答案。现有重排序器(jina-reranker-v3、Qwen3-Reranker-4B、zerank-2等)训练时主要建模语义相关性，本质是「语言无关的语义比较器」。但作者诊断评估显示：当同一查询在不同语言下存在语义等价的金标文档时，这些重排序器并不能稳定地把与查询同语言的文档排到最前。例如jina-reranker-v3对泰语查询把同语言文档排第一的比例高达97.7%、印地语94.0%，但英语查询只有27.2%，中文和泰语文档反而被排第一各占16.4%和13.3%。Qwen3-Reranker-4B对英语查询仅20.9%，对任何语言都不超42.0%，希腊语mean rank高达5.67。这说明「支持多语言」并不等于「语言一致」。同时作者用Qwen2.5-32B和Llama-3.3-70B在XQuAD 16种查询-文档语言组合上生成答案发现，与查询同语言的文档通常带来更高F1，证明文档语言确实影响答案生成质量。

本文的目标是本文目标是构建一个既能保持多语言语义排序能力、又能显式建模「语言一致性(language coherence)」的重排序器——即在语义等价的候选集中倾向把与查询同语言的文档排到前列，同时不损害在通用多语言排序基准上的表现。具体希望模型在排序时同时满足两个层次：(1) 相关文档排在非相关文档之上(语义相关性)；(2) 在语义等价的并行文档中，与查询同语言的文档排在跨语言等价文档之上(语言一致性)。最终目标是用一个仅0.6B参数的小模型，在与多达13个不同规模开放多语言重排序器对比时，既在受控oracle语言一致性评估上取得最好成绩，又在MIRACL/XGLUE/HUME/MLDR/Wikipedia等MMTEB多语言排序基准上保持前二、在真实检索候选集场景下达到全部最优，从而证明语言一致性与排序效果可以兼得而非此消彼长。

与已有工作不同的是，本文的独特切入角度在于：先前多语言RAG研究大多聚焦在第一阶段检索或最终答案生成，重排序阶段被相对忽视；已有重排序文献主要关注参数高效迁移、LLM零样本重排、翻译监督或listwise训练，但都没有显式回答「语义等价但语言不同的文档应该如何排序」这一问题。作者首先通过一个面向XQuAD的诊断评估把「语言一致性」与「整体排序有效性」区分开——构造oracle候选集，里面所有文档都对同一查询语义等价，只观察排序器能否识别查询语言并把同语言文档排到第一，从而把语言一致性从相关性中剥离出来单独度量。这种「问题诊断→能力定义→训练目标」的递进式分析是论文核心切入点，使后续两个训练阶段(英文锚定相关性蒸馏 + 语言一致性偏好对齐)有了明确动机和可量化目标，而不是简单堆叠多语言数据。

核心方法

LAMAR整体思路是先用「英文锚定相关性蒸馏」把学生重排序器的语义相关性打分校准到一个跨语言一致的尺度上，让无论输入是哪种语言组合相关性的量纲都来自同一个英文教师；然后再用「语言一致性偏好对齐」在语义等价的不同语言候选间引入显式偏好，使与查询同语言的文档获得更高排名。直觉上：第一阶段解决「语义相关性跨语言可比」(横向可比性)，第二阶段在已经可比的相关性空间上叠加「语言匹配优先」这一软偏好(纵向偏好排序)。技术路线是一个两阶段训练的cross-encoder：以bge-m3-retromae为初始权重，输入query-doc pair输出标量相关性分数。Stage 1用MMARCO、MIRACL、RLHN构造670万条「英文教师对+对应多语言学生对」实例做MSE蒸馏；Stage 2用MIRACL多语言triplet构造8.6K条listwise实例，每个实例包含一对源语言和目标语言的正负文档，用ADR-MSE保持正负分离、用语言一致性损失推动同语言优先。

核心创新与已有方法的本质区别在于：已有重排序器只优化「相关性打分」，把语言视为内容载体而非排序信号；LAMAR则显式地把「查询-文档语言是否一致」作为排序偏好信号纳入损失。关键设计有三：(1)「英文锚定」——教师只在英文对上打分，学生在多语言对上复现这个分数，把所有语言的相关性都映射到同一英文语义空间，避免不同语言对打分尺度不一致；(2)把并行文档组建模成四元组 $D=\{d^+_{src},d^+_{tgt},d^-_{src},d^-_{tgt}\}$，用软偏好 $s^+_{src}\gtrsim s^+_{tgt}>s^-_{src}\gtrsim s^-_{tgt}$ 区分两层次——正负间是硬约束，跨语言等价文档间是软偏好(softplus而非硬margin)；(3)用listwise的ADR-MSE与语言一致性损失加权 $\mathcal{L}_{align}=\mathcal{L}_{rank}+\lambda\mathcal{L}_{LC}$ ($\lambda=2$)。这种「锚定+listwise+语言偏好」组合在多语言重排序文献中是首次。

方法步骤详情

LAMAR采用两阶段训练。Stage 1是英文锚定相关性蒸馏：每条实例由英文教师对 $(q_{en},d_{en})$ 和多语言学生对 $(q_{\ell_q},d_{\ell_d})$ 组成，语言组合通过对语言列表 $L_X$ 的笛卡尔积循环分配以保证均衡覆盖。教师Qwen3-Reranker-4B给英文对打分作回归目标，学生最小化 $\mathcal{L}_{distill}=(\mathcal{S}_\theta(q_{\ell_q},d_{\ell_d})-\mathcal{T}(q_{en},d_{en}))^2$，从而把所有语言的相关性都拉到同一英文尺度上。训练数据由MMARCO、MIRACL(每triplet做20轮采样)、RLHN重组共670万条。Stage 2是语言一致性偏好对齐：从MIRACL多语言triplet出发，每triplet重复R=3次循环51种语言的2601对(src,tgt)组合，构造listwise五元组 $(q_{src},d^+_{src},d^+_{tgt},d^-_{src},d^-_{tgt})$ 共8.6K条。用ADR-MSE(以sigmoid近似排名、按 $1/\log_2(r+1)$ 加权)保持正负分离，用语言一致性损失 $\mathcal{L}_{LC}=\frac{1}{2}[\text{softplus}(s^+_{tgt}-s^+_{src})+\text{softplus}(s^-_{tgt}-s^-_{src})]$ 推动同语言文档优先。训练配置：8×A6000、max seq 8192、AdamW、bf16、均1 epoch；Stage1 lr $2\times10^{-5}$/batch 384，Stage2 lr $1\times10^{-6}$/batch 32/$\lambda=2$。

技术新颖性

技术新颖性体现在三方面。第一，「英文锚定」蒸馏方式与传统的「教师学生在同一语言对上蒸馏」不同——传统方法把教师分数当绝对目标但语言间语义空间不对齐，本文把英文对作为唯一锚点强制所有多语言对回归到同一分数，建立了跨语言一致性尺度，是对Reimers & Gurevych(2020)和Huang et al.(2023)跨语言蒸馏思想的扩展。第二，引入「并行文档组+软偏好」的listwise设计：用ADR-MSE只约束正负分离而不强加跨语言等价文档间的顺序，再用softplus形式的语言一致性损失提供软偏好，避免硬margin带来的训练不稳定和与相关性目标的冲突。第三，把「语言一致性」提升为多语言重排序器的一类独立能力，并设计了能在语义等价候选集上单独度量它的诊断评估(oracle subset+只把同语言文档标为relevant)，填补了先前评估协议(如Wang et al. 2026研究语言偏置、Jang et al. 2026语言感知评估)在重排序阶段的空白。整体新颖性不在于某个单点突破，而在于「问题诊断—能力定义—训练目标—评估协议」的完整闭环。

nDCG@10 ablation results across LAMAR training stages and Stage 2 loss configurations.
Figure 4: nDCG@10 ablation results across LAMAR training stages and Stage 2 loss configurations.

实验结果

核心发现分五个层面，每个都附带具体指标。(1)语言一致性(Table 3)：在XQuAD和BELEBELE的oracle子集上，LAMAR取得nDCG@1/@10=0.9689/0.9859(XQuAD)和0.9466/0.9760(BELEBELE)，综合排名第一。关键观察是与第二名的差距在nDCG@1上远大于nDCG@10，恰好印证当候选全为语义等价时top-1位置主要由「模型偏好哪种文档语言」决定。(2)跨语言一致性(Figure 3)：在两基准共享的6种查询语言上LAMAR全部取得最高nDCG@1且分数稳定，而llama-nemotron在英语上仅0.8496/0.8789明显塌陷。(3)通用多语言排序(Table 4/5)：MIRACL 18语言平均69.5排第二；5个MMTEB基准平均86.84排第二，仅用0.6B参数就接近2B-4B的更大模型。(4)真实检索场景(Table 6)：用M-MiniLM-v2和bge-m3取top-20重排，LAMAR在N@1/N@10/M@10全部6项指标均列第一。(5)消融(Figure 4)：仅Stage 1在XQuAD nDCG@10仅72.42，加Stage 2跃升至98.59；去掉 $\mathcal{L}_{LC}$ 语言一致性塌陷到67.98，去掉 $\mathcal{L}_{rank}$ 反而一致性更好(99.18)但通用排序下降，证明两个损失互补缺一不可。

Training data used for LAMAR, with language coverage, number of constructed instances, and input format reported for each dataset and training stage.
Table 1: Training data used for LAMAR, with language coverage, number of constructed instances, and input format reported for each dataset and training stage.
Benchmarks and language coverage for language-coherence and multilingual reranking evaluation.
Table 2: Benchmarks and language coverage for language-coherence and multilingual reranking evaluation.
Language-coherence results on the parallel oracle subsets of XQuAD and BELEBELE.
Table 3: Language-coherence results on the parallel oracle subsets of XQuAD and BELEBELE.
nDCG@10 results on MIRACL across 18 languages under the multi-monolingual setting.
Table 4: nDCG@10 results on MIRACL across 18 languages under the multi-monolingual setting.
Performance comparison on five MTEB multilingual reranking benchmarks using nDCG@10.
Table 5: Performance comparison on five MTEB multilingual reranking benchmarks using nDCG@10.
XQuAD reranking performance on top-20 candidate subsets retrieved by paraphrase-multilingual-MiniLM-L12-v2 and bge-m3.
Table 6: XQuAD reranking performance on top-20 candidate subsets retrieved by paraphrase-multilingual-MiniLM-L12-v2 and bge-m3.
nDCG@1 for the six query languages common to XQuAD and BELEBELE under the parallel oracle setting.
Figure 3: nDCG@1 for the six query languages common to XQuAD and BELEBELE under the parallel oracle setting.
查看结构化数据
任务指标本文基线提升
XQuAD oracle 语言一致性评估 nDCG@1 96.89 llama-nemotron-rerank-1b-v2 95.83(第二名) +1.06，整体排名第一
BELEBELE oracle 语言一致性评估 nDCG@1 94.66 ctxl-rerank-v2-instruct-multilingual-1b 94.64(第二名) +0.02，14种语言平均排名第一
MIRACL 多单语重排序(18语言) nDCG@10 平均 69.49 bge-reranker-v2-gemma 69.72(第一名) −0.23，列第二，仅0.6B参数对比2B模型
5个MMTEB多语言重排序基准平均 nDCG@10 平均 86.84 Qwen3-Reranker-4B 87.34(第一名) −0.50，列第二，但参数量仅为对方1/6
XQuAD 在 bge-m3 检索top-20上重排 nDCG@1 92.90 llama-nemotron-rerank-1b-v2 92.48 +0.42，真实检索场景下全部6项指标第一

局限与改进

作者未显式声明局限性，但从论文设计可推断几点。(1)语言一致性评估只覆盖XQuAD(12语言)和BELEBELE(14语言)的oracle子集，而训练MIRACL覆盖51种语言、MMARCO 14种，大量语言(如bn、sw、yo、fa)的语言一致性未被直接验证。(2)仅用单一教师(Qwen3-Reranker-4B)和单一基础编码器(bge-m3-retromae)：英文锚定效果对教师选择敏感，而教师本身对英语查询的语言一致性就很弱(rank-1仅20.9%)，其偏置可能通过蒸馏传递。(3)「英文锚定」隐含把英文当中心语言，对真正低资源、与英文语义空间对齐差的语言可能效果打折。(4)Stage 2数据仅8.6K条、学习率1e-6极小，意味着语言一致性目标主要靠微调已有表征实现，若基础模型在目标语言覆盖差则补救空间有限。(5)评估的是排序指标而非端到端RAG答案质量：虽Figure 1提示语言一致性与更高F1相关，但未直接报告LAMAR重排后的最终答案F1提升。(6)跨语言「语义对应」依赖机器翻译(TranslationGemma-27B)，翻译误差可能引入噪声。

独立分析的弱点

(1)仅诊断了12-14种语言的一致性：训练覆盖51语言但评估远少，建议在所有训练语言上跑诊断评估并报告一致性曲线。(2)单一教师依赖：可用多教师集成或自蒸馏减弱单一教师语言偏置，也可尝试以检索器打分而非重排序器作锚定。(3)英文中心化：可探索「查询语言锚定」或「任意语言锚定」的对称版本，避免英文特权，对低资源语言更友好。(4)Stage 2数据规模偏小(8.6K)且单一来源(MIRACL)：可扩展到更多并行数据(MMARCO、XQuAD训练集、ParaPat)并增加listwise长度。(5)语言一致性损失是软偏好(softplus)而非显式约束：极端情况下若同语言文档语义相关性显著低于其他语言等价文档，软偏好未必把它排到最前；可设计自适应权重或相关性接近时切换硬约束。(6)仅在排序层做语言一致性未与生成端协同：可把生成模型「哪种语言证据更有用」作反馈信号做闭环优化。(7)缺端到端RAG评测：建议补做LAMAR重排→LLM生成→F1/EM的完整流水线实验，量化语言一致性的实际增益。

未来方向

作者在结论中提出的方向主要是把「语言一致性」确立为多语言重排序器的一类核心能力，并呼吁后续工作将其与语义相关性并列考虑。基于此可延伸的研究方向包括：(1)把LAMAR的两阶段范式推广到更多模态和更长上下文(如多语言长文档MLDR上的重排)；(2)探索非英文锚定的对称蒸馏方案，例如基于查询语言或动态锚点，缓解英文中心化；(3)把语言一致性损失扩展为「证据语言偏好」，与生成端联合训练形成检索-重排-生成的端到端RAG优化；(4)研究LAMAR在低资源语言(如bn、yo、te、sw)上的真实表现——这些语言在Table 4中分值偏低(54-65区间)，需要专门强化；(5)与去偏方法(如Wang et al. 2026的语言偏置缓解、Park et al. 2026的查询融合)结合，研究「何时该语言一致、何时该跨语言融合证据」的动态策略；(6)把listwise语言一致性损失与更现代的对比/InfoNCE框架结合，可能进一步提升训练效率；(7)评估在不同LLM生成器(Qwen、Llama、GPT系列)下重排带来的端到端F1提升幅度，量化语言一致性的实际收益。

复现评估

整体复现评估较好，关键资源基本开放。训练数据公开：MMARCO、MIRACL多语言triplet、RLHN三个训练集均给出HuggingFace链接，XQuAD/BELEBELE/MIRACL/XGLUE/HUME/MLDR/Wikipedia七个评测集也都是开放基准。模型组件公开：基础编码器bge-m3-retromae、教师Qwen3-Reranker-4B全部开放可下载。数据合成Algorithm 1和2描述完整，含采样轮数(MIRACL 20轮、Stage 2 R=3)、笛卡尔积语言对分配、固定随机种子等关键参数。训练超参齐全：8×A6000、max seq 8192、AdamW、warmup 0.1、bf16、均1 epoch；Stage1 lr $2\times10^{-5}$/batch 384、Stage2 lr $1\times10^{-6}$/batch 32/$\lambda=2$。算力门槛：8张A6000属中等偏高的研究级配置，单卡复现困难但可通过减小batch和数据量近似复现。主要不确定性：标题虽称「Open」并提到「we release LAMAR」，但正文未明确给出模型权重和代码仓库的发布链接，复现者需自行实现两阶段训练pipeline；此外TranslationGemma-27B翻译MIRACL的过程也可能引入轻微随机性。

论文图表

Multilingual RAG performance on XQuAD across query and document language combinations, measured by F1.
Figure 1: Multilingual RAG performance on XQuAD across query and document language combinations, measured by F1.

热力图展示了用Qwen2.5-32B-Instruct和Llama-3.3-70B-Instruct在XQuAD上对阿拉伯语/德语/英语/中文的16种查询-文档语言组合生成答案的F1分数。可以看到对角线(查询与文档同语言)普遍得分更高，说明文档语言一致性确实影响答案生成质量。

这张图是整篇论文的出发点：它用具体数据证明「文档语言会影响答案F1」，从而为「重排序器应该考虑语言一致性」这一核心论点提供了RAG端的实证依据。没有这张图的结论，后续重排序器的设计就失去了动机。

Language coherence of Jina-reranker-v3, Qwen3-Reranker-4B, and zerank-2-reranker across twelve languages using oracle candidate sets from XQuAD.
Figure 2: Language coherence of Jina-reranker-v3, Qwen3-Reranker-4B, and zerank-2-reranker across twelve languages using oracle candidate sets from XQuAD.

上半部分(a)是三个重排序器在XQuAD 12种语言上的Top-1文档语言分布热力图(行=查询语言，列=文档语言)，理想情况下应集中在对角线；下半部分(b)是同语言金标文档的平均排名(越低越好)。结果显示这些模型语言一致性差异巨大，例如Jina-v3英语查询rank-1仅27.2%，Qwen3-Reranker-4B对英语仅20.9%且希腊语mean rank达5.67。

这张图是论文问题诊断的核心证据，直观展示了「现有多语言重排序器并不具备稳定的语言一致性」，且问题在英语查询上尤其严重。它把语言一致性从排序有效性中剥离出来单独度量，是后续训练目标设计的直接动因。