对齐中的语言链：跨语言排序偏好优化

把英语偏好知识当锚点，将跨语言对齐改造成层级排序问题，同时优化语言一致性与回答质量

前置知识

DPO（直接偏好优化）

RLHF 的简化替代：不训练显式奖励模型、不跑 PPO，直接用偏好对 $(x, y_w, y_l)$ 优化策略模型。损失对隐式奖励 $s=\beta\log\frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)}$ 做 logistic 回归，把选中与被拒回答的奖励差距拉大，训练稳定、实现简单。

CRPO 完全建立在 DPO 框架上：损失中的 $\pi_{ref}$、$\beta$、隐式奖励 $s$ 都继承自 DPO，CRPO 只是把一对比较升级为四候选的列表排序，不懂 DPO 就无法理解损失设计。

LambdaLoss 与 Learning to Rank

Learning to Rank 是信息检索中优化文档排序的范式；LambdaLoss 是其可微实现：对列表中每对满足 $\psi_i>\psi_j$ 的条目构造加权 logistic 损失，权重 $\Delta_{i,j}$ 编码交换两项对 DCG 指标的影响，高相关条目排到低位时受更重惩罚。

CRPO 的核心损失就是 LambdaLoss：把'回答'当'待排文档'，论文的 LambdaRank、nDCG2、nDCG2++ 三种加权方案全部继承自该框架，是理解公式 (2)(3)(6) 的前提。

DCG 与 nDCG

排序质量指标 $DCG=\sum_i \frac{G_i}{D(\tau(i))}$：$G_i$ 是条目增益（相关性得分），$D(\tau(i))=\log(1+\tau(i))$ 是按排名位置的折损，nDCG 是其归一化版本。它衡量'越相关的条目是否排得越靠前'，是列表级评估标准。

CRPO 的增益函数 $G$、折损函数 $D$、nDCG2 权重 $\Delta_{i,j}=|G_i-G_j|\cdot\left(\frac{1}{D(|\tau(i)-\tau(j)|)}-\frac{1}{D(|\tau(i)-\tau(j)|+1)}\right)$ 都由 DCG 推导，看懂公式必须先懂它。

Win Rate 与 Length-Controlled Win Rate

AlpacaEval 用 GPT 级强模型当判官，把候选模型输出与参考输出逐条对比，判官偏好候选的比例即胜率 WR；LC 版本统计校正'更长回答更占优'的偏见，更公平。本文报告各方法相对 SFT 模型的 WR 与 LC，且判官会惩罚语言不一致的回答。

论文主结果表（Table 1）与主要消融（Figure 3、Table 4、Table 7）的指标都是 WR/LC，不掌握其含义就无法解读核心实验数据。

语言混乱与对齐税

语言混乱（language confusion）指模型用与提示不一致的语言回答，如中文提问却得到英文回答，是多语言 LLM 的常见缺陷；对齐税（alignment tax）指对齐训练提升目标能力时损害已有能力的现象，如多语言对齐后英文能力下降。

CRPO 的两大卖点是修复语言混乱（输入输出语言一致）且不缴对齐税（英文不降反升），Figure 1 展示前者、附录 D 的 Table 5 验证后者，是理解动机与贡献的主线。

研究动机

LLM 的偏好对齐严重依赖英文中心的高质量偏好数据，对齐收益难以迁移到其他语言，造成两类典型失败：一是语言混乱，对非英语提示用英文回答；二是输出质量退化，甚至出现荒诞低质的回答（论文 Figure 1 中，韩文提示'你对人工智能的未来有什么看法'得到'机器人会取代所有工作，人类只能休息'式的劣质回答）。现有补救方案要么依赖昂贵的人工标注，要么把目标语言数据混入英文主导语料做整体微调，都无法利用模型已内化的稳健英文偏好知识。该问题在低资源语言上尤其严重：实验显示 SFT+DPO 在孟加拉语的 AlpacaEval 胜率仅 24.59%（Mistral-7B）、斯瓦希里语仅 27.33%；而 CLO 这类强制语言一致的二值方法在低资源场景反而崩溃（Llama-3-8B 孟加拉语 WR 仅 33.29%），说明现有跨语言对齐手段既不稳定也不普适。

本文的目标是本文目标是构建一个无需显式奖励模型、无需外部机器翻译管线的偏好优化框架，让模型在目标语言上的对齐能够'借用'其英文偏好知识。具体包含三点：(1) 同时优化'回答语言与提示语言一致'（跨语言适应）与'回答内容质量高'（偏好对齐）两个维度，而非只顾其一；(2) 把单语言内的二值比较（DPO）升级为跨语言四元组上的层级排序，用排序度量（如 nDCG）的优化上界提供比二值比较更细粒度的监督信号；(3) 在高、中、低资源语言（中/印尼/韩/斯瓦希里/孟加拉）和多个 7-8B 模型上稳定超越 SFT+DPO 与 CLO 基线，同时不损伤英文性能、不产生对齐税。

与已有工作不同的是，已有工作的切入角度各有局限：MAPO 依赖外部翻译模型产生奖励信号且限于推理领域；MPO 只优化跨语言奖励差距用于安全对齐；CLO 只做'目标语回答为 chosen、英语回答为 rejected'的二值跨语言比较，本质仍是二值优化，无法刻画复杂偏好分布；而 PRO、RRHF、LiPO 等 listwise 排序方法虽超越了二值比较，却都局限于英语中心场景。本文的独特之处在于把信息检索的 LambdaLoss 完整移植到跨语言对齐：为每个 prompt 构造英-目标语平行四元组，按'质量×语言'双维度赋予层级相关性标签 $\psi(y_t^w)>\psi(y_e^w)>\psi(y_t^l)>\psi(y_e^l)$，让 6 个回答对的相对排序在统一优化平面上共同产生梯度，并通过手工设定的增益值防止语言匹配信号压倒质量优化信号。

核心方法

直觉上，模型对'什么是好回答'的判断在英语上最可靠，而在数据稀缺的目标语言上偏好流形不稳定。CRPO 因此让每个目标语言 prompt 同时携带语义等价的英语偏好对，组成四元组 $(y_t^w, y_t^l, y_e^w, y_e^l)$（目标语胜/负 + 英语胜/负回答），并用层级标签指定全局排序 $\psi(y_t^w)>\psi(y_e^w)>\psi(y_t^l)>\psi(y_e^l)$。技术上以 LambdaLoss 为骨架：对每对满足 $\psi_i>\psi_j$ 的回答计算加权 logistic 损失 $\Delta_{i,j}\log(1+e^{-(s_i-s_j)})$，其中 $s_i=\beta\log\frac{\pi_\theta(y_i|x)}{\pi_{ref}(y_i|x)}$ 是 DPO 式隐式奖励。总损失 $\mathcal{L}_{CRPO}=(1-\alpha)\mathcal{L}_{NLL}+\alpha\mathcal{L}_{lambda}(\pi_\theta;\pi_{ref},\beta)$，NLL 项只作用于目标语最优回答 $y_t^w$，以稳固指令跟随。

核心创新是'跨语言层级排序'这一监督结构本身。与 DPO 的单对二值比较不同，CRPO 在 4 个候选上施加全局排序约束，同时覆盖语言内对 $(y_t^w,y_t^l)$、$(y_e^w,y_e^l)$ 和跨语言对 $(y_t^w,y_e^l)$、$(y_e^w,y_t^l)$：英语 chosen 充当'逻辑锚'把目标语 chosen 拉向高质量区域，而 $y_t^w$ 排在 $y_e^w$ 之上又强制输出语言一致。另一个关键设计是增益值的选择：标准 LambdaLoss 用指数增益 $G_i=2^{\psi_i}-1$ 会得到 (7,3,1,0)，在双维度目标下产生失衡的局部梯度；CRPO 手工设定 $(G_{t^w},G_{e^w},G_{t^l},G_{e^l})=(9,7,5,4)$，使语言内质量差（$G_{t^w}-G_{t^l}=4$、$G_{e^w}-G_{e^l}=3$）严格大于语言差（$G_{t^w}-G_{e^w}=2$），防止'匹配语言'信号淹没'提升质量'信号。Table 4 消融证实 (9,7,5,4) 在多数语言上最优。

方法步骤详情

第一步，数据构建：从 UltraFeedback 采样 3000 条，用 gpt-5-chat 把英文 prompt 与 chosen/rejected 回答整体翻译成目标语言，得到平行对 $(x_t,y_t^w,y_t^l)$ 与 $(x_e,y_e^w,y_e^l)$，按 90%/10% 划分训练/测试集。第二步，四元组组装：每个实例合并同一语义的英/目标语两对回答，赋层级相关性 $\psi(y_t^w)>\psi(y_e^w)>\psi(y_t^l)>\psi(y_e^l)$。第三步，计算隐式奖励 $s_i$，对所有 $\psi_i>\psi_j$ 的对计算权重 $\Delta_{i,j}$：可选 LambdaRank 全局位置折损、nDCG2 排名距离折损（由增益差 $|G_i-G_j|$ 乘排名距离的折损差构成），或混合的 nDCG2++；主实验用 nDCG2。第四步，最小化 $\mathcal{L}_{CRPO}$，超参 $\alpha=0.2$、$\beta=0.1$、学习率 8e-6、2 个 epoch、序列长 3072。第五步，推理时模型对目标语 prompt 优先输出语言一致且高质量的回答。

技术新颖性

新颖性有四点。(1) 框架级迁移：首次把 LambdaLoss/LTR 完整引入跨语言偏好对齐——此前 listwise 方法（PRO/RRHF/LiPO）只用于英语场景，跨语言方法（MAPO/MPO/CLO）止步于二值比较或依赖外部翻译管线。(2) 双维度增益设计：用一组手工增益同时编码'语言一致性'与'质量排序'，并刻意让质量差大于语言差；附录 A 证明违反层级的 (9,5,7,4) 与标准指数 (7,3,1,0) 都显著更差，说明性能并非仅来自'用了排序'，而来自排序结构的精心设计。(3) 与 PRO 的本质差异（附录 F）：PRO 的 softmax 排序似然只让模型学会'说目标语'（斯瓦希里语 WR 仅 6.58），CRPO 的 ranking-aware $\Delta$ 权重重点惩罚破坏列表顶部的错排，从而同时提升语言一致与质量（WR 51.98）。(4) 提供可插拔的加权方案体系（LambdaRank/nDCG2/nDCG2++），并诚实报告 nDCG2 已足够，展现框架的理论通用性。

实验结果

主实验（Table 1）：CRPO 在 3 个模型×5 种语言的 AlpacaEval 上全面第一。Llama-3-8B 斯瓦希里语 WR 达 62.17（SFT+DPO 46.95）、印尼语 68.40 vs 60.37；低资源孟加拉语 CRPO 达 55.65，而 CLO 仅 33.29。知识利用（Table 2）：MMMLU 印尼语 Llama-3 达 45.94，超最强基线 4 分；Belebele 韩语 Llama-3 达 68.66 vs 57.55。内部机制（Figure 2）：CRPO 同时抬高 chosen 回答的 log-likelihood 与奖励差，其他方法只扩大 margin、chosen 概率分布几乎不变，说明 CRPO 在'促进好回答'而非'压制差回答'。外部质量（Table 3）：Mistral-7B 印尼语 CRPO 0.805 vs SFT+DPO -0.037。增益消融（Table 4）确认 (9,7,5,4) 最优；对齐税（Table 5）：英文 WR 也大多最高；m-ArenaHard（Table 6）韩语 68.81 vs 56.83；与 PRO 对比（Table 7），PRO 斯瓦希里语 WR 仅 6.58 vs CRPO 51.98，证明收益来自排序结构的利用方式而非排序形式。

**Table 1**: AlpacaEval across five target languages. LC and WR denote length-controlled and raw win rate, respectively.

**Table 2**: MMMLU and Belebele evaluation results. We report the performance of zero-shot in MMMLU and one-shot in Belebele.

**Table 3**: Average of reward scores from Skywork-Reward-V2-Qwen3-8B on generation outputs.

**Table 4**: WR and LC according to different gain values.

**Table 5**: English performance in AlpacaEval benchmark.

**Table 6**: Win rate in Arena-Hard benchmark.

**Table 7**: AlpacaEval results of PRO and CRPO under the same training budget.

**Figure 2**: (a) Reward difference distribution and (b) Log-likelihood distribution on chosen responses ($y_w$) of Llama-3-8B trained with SFT, CLO, SFT+DPO and CRPO across languages.

**Figure 3**: Win rate comparison of different weighting schemes within the CRPO framework.

**Figure 4**: Reward distribution of chosen response (a) and rejected response (b) of Llama-3-8B trained with SFT, CLO, SFT+DPO and CRPO across languages.

查看结构化数据

任务	指标	本文	基线	提升
AlpacaEval 指令跟随（Llama-3-8B，斯瓦希里语）	Win Rate (%)	62.17	SFT+DPO 46.95	+15.22
AlpacaEval 指令跟随（Llama-3-8B，孟加拉语）	Win Rate (%)	55.65	SFT+DPO 36.89	+18.76
MMMLU 知识理解（Llama-3-8B，印尼语）	zero-shot 准确率 (%)	45.94	SFT+DPO 41.69	+4.25
Belebele 阅读理解（Llama-3-8B，韩语）	one-shot 准确率 (%)	68.66	SFT+DPO 57.55	+11.11
外部奖励质量评估（Mistral-7B，印尼语）	Skywork-Reward-V2-Qwen3-8B 平均奖励分	0.805	SFT+DPO -0.037	+0.842
m-ArenaHard 困难指令（Llama-3-8B，韩语）	Win Rate (%)	68.81	SFT+DPO 56.83	+11.98

局限与改进

作者承认两点局限：(1) 排序结构需单步处理 4 个候选回答，训练计算开销高于二值 DPO，作者认为这是 listwise 方法的固有代价且物有所值；(2) 所用评测集（gpt-4o 翻译的 AlpacaEval、人工翻译的 MMMLU/Belebele）无法充分考察文化语境与语言特有表达。我的补充观察：(1) 训练偏好完全继承英文 UltraFeedback 的翻译版，目标语的'原生偏好'缺失，英文文化偏差可能被传导（伦理声明亦承认此风险）；(2) 仅验证 7-8B 模型与 5 种语言，未覆盖 70B 级模型或多语言联合训练；(3) 增益 (9,7,5,4) 来自代表性值的人工搜索，无理论最优性保证；(4) 斯瓦希里语上违反层级的 (9,5,7,4) 反而最高（WR 67.14），层级设计的普适性存在例外；(5) Llama-2 在斯瓦希里语上 CRPO（43.72）甚至略低于 CLO（43.97），说明低资源收益依赖基础模型自身的多语言底子。

独立分析的弱点

独立分析的弱点：(1) 数据管线依赖 gpt-5-chat 翻译，翻译噪声与英文文化偏差会随平行语料进入目标语偏好（改进：混入目标语原生偏好数据，或用母语者校验的子集做质量过滤）；(2) 四元组训练的显存与算力开销约为二值 DPO 的两倍量级，向更大模型扩展不友好（改进：候选子采样、梯度检查点，或仅对低资源语言启用四元组、高资源语言退化为二值）；(3) 增益值与加权方案需按模型/语言网格搜索，Table 4 显示不同语言的最优配置不同（改进：落实作者提出的动态增益自适应，按语言相似度与训练阶段自动调度）；(4) 评测判官为 GPT 系模型、外部奖励模型 Skywork 以 Qwen3-8B 为底座，二者本身可能偏英文中心，绝对质量评估存在系统性偏差（改进：补充母语者人工评测）；(5) 斯瓦希里语的例外结果表明低资源场景可能需要不同的语言惩罚强度，当前框架缺少对此的自适应机制，需按语言手动调参。

未来方向

作者明确提出的方向：基于语言相似度与训练阶段的动态增益自适应策略，以缓解大排序空间固有的优化复杂度，使 CRPO 能推广到更多语言对。基于本文成果可延伸的研究：(1) 把候选集扩展到 n>4 的更长'语言链'，将多语种平行偏好纳入同一排序（如中-英-韩三链），检验层级结构随语言数量增加是否仍然稳定；(2) 与迭代式 on-policy 采样结合：当前偏好来自静态翻译数据，可让模型自采样候选后按层级标签在线优化，进一步逼近真实偏好分布；(3) 把语言链思想迁移到安全对齐、工具调用等能力型任务，检验 $\psi(y_e^w)>\psi(y_t^l)$ 这类跨语层级在其他任务上的适用边界；(4) 探索 $\Delta$ 加权与 $\beta$ 的联合动态调节，进一步稳定低资源语言训练；(5) 构建文化敏感的原生偏好基准，验证层级排序是否需要在文化维度上重新设计增益结构。

复现评估

复现条件较好。代码已在 GitHub 开源（github.com/dltmddbs100/CRPO），数据构建流程完全透明：UltraFeedback 采样 3000 条 + gpt-5-chat 翻译，约一万五千段文本的 API 成本可控；训练规模温和——7-8B 模型、2 个 epoch、最大序列长 3072、4 张 NVIDIA A100，超参全部给出（学习率 8e-6、$\alpha=0.2$、$\beta=0.1$、10% warmup 线性衰减、生成温度 0.8）。评测依赖多语言 AlpacaEval（gpt-5-chat 判官）、MMMLU、Belebele、m-ArenaHard 与 Skywork-Reward-V2-Qwen3-8B，均有公开来源，但判官与奖励模型调用需要持续的 API/GPU 预算。总体复现难度：中低。主要不确定因素是 gpt-5-chat 的版本漂移导致翻译与判官结果无法完全对齐，以及 4×A100 对小实验室仍是可观资源；对具备 8 卡 A100/4090 级算力的团队，一到两周内可完成主表复现。

对齐中的语言链：跨语言排序偏好优化 Language Chain in Alignment: Cross-lingual Ranking Preference Optimization