通过跨语言对齐改进信息检索中的语义邻近性 Improving Semantic Proximity in Information Retrieval through Cross-Lingual Alignment

方法的具体步骤如下。第一步是数据准备：取 MIRACL 训练集（含 2.8K 条英-查询-文档对），对每条样本用 GPT-4o 把英文正例文档翻译到目标语言，得到 $(q_{en}, p_{en}, p_{tgt})$ 三元组。第二步是计算嵌入：把 $p_{en}$ 和 $p_{tgt}$ 送入待训练的多语种嵌入模型（如 jina-embeddings-v3），得到 $z_d^{en} \in \mathbb{R}^{dim}$ 和 $z_d^{tgt} \in \mathbb{R}^{dim}$。第三步是分布化转换：通过对嵌入向量的每个维度做 softmax，将 $z_d^{en}$ 转化为概率分布 $P(z_d^{en})$，公式为 $P(z)_i = \frac{\exp(z_i)}{\sum_{k=1}^{dim}\exp(z_k)}$，$z_d^{tgt}$ 同理。第四步是 JSD 对齐损失：计算 $L_{JSD} = \sqrt{JSD(P(z_d^{en})\|P(z_d^{tgt}))+\epsilon}$，其中 $JSD(P\|Q) = \frac{1}{2}D_{KL}(P\|M) + \frac{1}{2}D_{KL}(Q\|M)$，$M = \frac{1}{2}(P+Q)$，加 $\epsilon$ 是为了数值稳定性。第五步是 InfoNCE 检索损失：把 $p_{tgt}$ 作为正例、batch 内其他样本的英文查询作为负例，最大化 $s(p_{tgt}, q_{en}^+)$ 同时最小化 $s(p_{tgt}, q_{en}^-)$，公式为 $L_{NCE} = -\frac{1}{n}\sum_{i}\log\frac{\exp(s(p_{tgt}^i, q_{en}^{i+}))}{\exp(s(p_{tgt}^i, q_{en}^{i+})) + \sum_j\exp(s(p_{tgt}^i, q_{en}^{j-}))}$。第六步是联合优化：$L = L_{JSD} + L_{NCE}$，AdamW 优化器，1 epoch，batch size 32，bfloat16 混合精度。

技术新颖性体现在三个层面。第一个新颖点是把维度级 softmax+JSD 引入跨语言对齐，将嵌入向量的每个维度都视作离散概率事件，从而把语义对齐问题转化为分布距离最小化问题，这是直接对表征空间几何形态做调整而非简单加约束。第二个新颖点是 JSD 的平方根形式 $L_{JSD} = \sqrt{JSD+\epsilon}$，作者引用 Endres & Schindelin (2003) 的工作强调平方根 JSD 满足距离三公理（identity、symmetry、triangle inequality），形成有效度量空间，这一选择在以往 CLIR 文献中未见。第三个新颖点是 InfoNCE 的耦合方式：让 InfoNCE 关注查询-跨语言文档对的检索能力（$q_{en}$ 对齐 $p_{tgt}$），JSD 关注跨语言文档对的分布对齐（$p_{en}$ 对齐 $p_{tgt}$），两者形成查询-文档-文档三角对齐结构，比单一损失更全面。从消融实验看，去掉 JSD 后性能下滑明显，去掉 InfoNCE 后 jina-embeddings-v3 在泰语上 Max@Rnorm 从 76.69 暴跌到 15.47，证明两者缺一不可。

尽管本文方法效果显著，但仍有几处可改进的弱点。第一点是依赖机器翻译构造训练数据：作者用 GPT-4o 把 MIRACL 训练集中的英文文档翻译到目标语言得到 $(q_{en}, p_{en}, p_{tgt})$，但机器翻译在低资源语言（如泰语、希腊语）上可能产生不自然的表达，导致对齐目标本身存在噪声；改进方向是结合回译（back-translation）做数据清洗，或在多个翻译系统间投票选最优译本。第二点是 JSD 计算的稳定性：作者在损失中加了 $\epsilon$ 防止数值下溢，但实际训练中嵌入向量的数值尺度会随训练过程变化，可能导致 softmax 后的概率分布过于尖锐或平坦，改进方向是对嵌入做 L2 归一化后做 softmax，或在 JSD 之前对嵌入做 temperature 缩放。第三点是 JSD 假设两个分布完全可对齐，但实际上不同语言的语义表达存在结构差异（如中文无空格分词、阿拉伯语从右到左书写），简单的逐维度对齐可能强行扭曲了某些维度的语义含义，改进方向是引入稀疏化或加权的 JSD，允许某些维度不对齐。第四点是论文仅在两语言场景下验证，缺少三语言以上共存时的实验，改进方向是构造三语言平行的 Multi 场景扩展数据集。第五点是 Max@R 指标虽然直观但缺少上限规约，在 Belebele 上 Max@R 可达 287，对工程师不太友好，作者引入的 Max@Rnorm 通过对数归一化有所缓解但仍有改进空间，可以考虑改用 EM 度量或召回率达 100% 所需的截断比例。

作者在 Conclusion 中提到未来工作可以扩展到更多语言组合和真实多语场景。论文外可延伸的方向包括：第一，将 JSD 分布级对齐思路推广到多语种大语言模型的表征对齐，特别是涉及代码-自然语言、图文跨模态对齐等更复杂的对齐场景；第二，结合最优传输（Optimal Transport）替代 JSD，OT 能处理维度级别的不对齐而 JSD 强制逐维度对齐，可能在异构语言对上更鲁棒；第三，把 Max@R 评测范式引入多模态 RAG 评测中，量化图文混排文档池中模型的偏置问题；第四，研究动态融合 JSD 和 InfoNCE 的多任务学习策略，例如按训练步数动态调整两者权重，或根据当前嵌入分布的偏差自动调节；第五，构建非英语中心的多语种平行检索基准（特别是中-日-韩东亚语对、印度-孟加拉语对等），并把该评测范式标准化到 MMTEB 等主流 benchmark 中。

可复现性方面，本文具备较好的开源友好度，但作者在论文中暂未明确给出代码仓库链接。数据集层面使用了两个公开标准 benchmark XQuAD 和 Belebele，二者均为人工翻译的并行多语种 QA 数据集，被 MMTEB 收录，公开可下载；训练集来自 MIRACL 训练集（2.8K 样本），亦公开可获取。训练细节方面，论文在 Appendix C 完整披露了超参数：AdamW 优化器（$\beta_1=0.9, \beta_2=0.99$，weight decay=0.01），1 epoch，batch size 32，linear warm-up ratio 0.15，bfloat16 混合精度；学习率按模型分设——bge-M3 用 4e-6、multilingual-E5-large 用 2e-5、gte-multilingual-base 用 1e-5、jina-embeddings-v3 用 3e-5；所有实验固定随机种子 42。硬件需求相对友好：训练用 2 块 NVIDIA A100 80GB GPU，CPU 为 AMD EPYC 7513 32 核，评测仅需单卡。复现难度评估为中等偏低：方法本身只需实现 JSD+InfoNCE 联合损失，超参数全部公开，硬件门槛在普通实验室可承受；唯一的不确定性来自 GPT-4o 翻译数据的可复现性——不同 API 版本可能产生略不同译文，从而对最终数值有小幅影响。