基于自生成的跨语言对比偏好调优 CroCo: Cross-Lingual Contrastive Preference Tuning on Self-Generations

方法步骤的完整描述分为六个步骤。第一步，数据准备。从Dolci-Instruct-SFT指令调优语料库中分层采样20K实例，覆盖九个任务领域，其中编码、推理、聊天和数学占主体。使用TranslateGemma-27B将英文数据翻译成六种欧洲语言，包括丹麦语、荷兰语、法语、德语、意大利语和西班牙语。第二步，自生成候选响应。对于每个prompt，策略模型生成K等于64个候选响应。对于EuroLLM-9B使用温度T等于0.7，对于aya-3B使用温度T等于0.1。这样每个语言产生1.28M个样本。第三步，奖励打分。使用Skywork-Reward-V2-Qwen3-8B对每个候选响应打分。这个RM只在英语偏好数据上训练，但基础模型Qwen3-8B是多语言的。计算该prompt下所有响应的均值μx和标准差σx。第四步，构建偏好对。按照甜蜜点方法：chosen响应是奖励最大的响应；rejected响应是奖励最接近μx减2σx的样本，而非奖励最低的样本。这样构建的配对具有受控的对比度。第五步，DPO训练。使用构建的偏好对数据集进行DPO训练。训练配置为一个epoch，上下文长度4096，全局batch size 64，学习率，余弦调度，5%预热，权重衰减等于0.01，beta等于0.1。使用LoRA。第六步，评估。使用EuroEval评估结构化任务，覆盖32个数据集和七种语言。使用m-ArenaHard 2.1评估开放生成，每种语言498个prompts，涵盖编码、创意写作和数学。输出指标为EuroEval分数和长度控制的胜率。

技术新颖性体现在五个方面。首先，这是首次系统性地研究基于奖励分布的偏好对构建甜蜜点方法的跨语言迁移能力。虽然英语only的对比偏好调优已有研究，但将其扩展到十四种语言并验证其跨语言泛化是新的。其次，论文发现翻译数据对DPO有益但对SFT有害。在DPO设置中，使用翻译的in-language数据在六种语言中优于英语only数据，意大利语最大差距达4.3分。但在SFT设置中，翻译数据在所有语言上表现更差。这为对比信号vs绝对目标的论点提供了最直接的证据。第三，论文系统性地验证了on-policy数据的必要性。使用aya-3B生成的off-policy数据微调EuroLLM-9B时，DPO虽然避免灾难性遗忘，但增益最多仅1.7分，且经常持平或略低于基线，与on-policy设置下二十四个设置中十到十一个正增益形成鲜明对比。第四，论文发现prompt语言应该与chosen响应语言匹配，否则性能下降显著。第五，论文比较了离线和在线DPO，发现在外部RM设置下在线DPO表现不稳定，收敛后不超过0.2，而离线DPO在约200步达到约0.6并保持。

独立分析的弱点包括六个方面。第一，对翻译质量的依赖。方法依赖于机器翻译的质量，翻译noise会影响训练数据质量。如果翻译模型在某些语言上表现很差，方法效果可能下降。改进方向包括使用多模型翻译集成或后处理过滤低质量翻译，或者探索使用原始英语prompts直接生成非英语响应，避免翻译步骤。第二，奖励模型的潜在偏差。虽然英语训练的RM给出一致的内部排序，但可能编码英语中心主义的偏好，导致模型在非英语任务上表现不佳或引入文化偏差。改进方向包括系统性地评估RM在不同语言上的排序质量，或者探索多语言RM的影响。第三，缺乏泛化到非欧洲语言和非拉丁文字的验证。论文只在拉丁文字的欧洲语言上测试，类型学差异较大的语言可能表现不同。改进方向包括扩展实验到更多语族和文字系统，特别是低资源语言。第四，LoRA微调的局限性。LoRA是一种参数高效的微调方法，但可能限制了学习容量。改进方向包括比较全参数微调与LoRA的性能差异，评估更大模型上的效果。第五，在线DPO的表现不佳。论文显示在线DPO在外部RM下不稳定，但在线方法理论上可以更好地适应模型分布。改进方向包括探索使用策略内部RM或改进在线训练稳定性。第六，评估偏差。使用LLM-as-a-judge评估开放生成可能引入评估者的固有偏差。改进方向包括加入人类评估或使用多个不同的judge模型进行交叉验证。

未来研究方向包括作者提出的和基于成果可延伸的。作者提出的方向有五个。第一，验证方法是否能迁移到类型学上不同的语言、非拉丁文字或真正低资源设置。第二，探索不同的翻译方法如多模型集成对结果的影响。第三，研究不同的奖励模型对多语言对齐的影响，包括多语言训练的RM。第四，在全参数微调或更大规模模型上测试结论。第五，加入人类评估以验证LLM-as-a-judge的结论。基于成果可延伸的方向有十个。第一，探索甜蜜点构造中μ减ασ的最优α值。论文使用固定α等于2，但最优值可能因任务或语言而异。第二，研究多语言联合训练中的语言平衡策略。论文简单地合并所有语言数据，但可以探索不同语言的采样比例或课程学习。第三，探索将对比偏好调优与其他对齐方法如RLHF、PPO结合，可能进一步提升性能。第四，研究方法在特定任务类型如代码生成、数学推理上的效果，因为论文发现数学任务增益较小。第五，探索方法的持续学习场景，如何在新的偏好数据上更新而不忘记先前学习的对齐。第六，研究方法的安全和伦理影响，特别是如何避免在跨语言场景中引入有害偏好。第七，探索将方法应用于其他多语言下游任务，如机器翻译、跨语言检索、多语言问答等。第八，研究方法对模型校准和不确定性的影响。第九，探索计算效率优化，如减少生成响应数量或使用更高效的打分方法。第十，研究方法在零样本跨语言场景下的表现，训练在语言A上的偏好对是否能迁移到语言B。

复现评估如下。开源情况方面，论文声明代码公开可用，但未在截稿时检查。使用的两个基础模型EuroLLM-9B-Instruct-2512和Tiny-Aya-Global-3B都是公开的，奖励模型Skywork-Reward-V2-Qwen3-8B也是公开的。数据方面，论文使用20K Dolci-Instruct-SFT的分层样本，这是公开的指令调优语料库。翻译通过TranslateGemma-27B完成，这也是公开的。评估数据集EuroEval的所有数据集都是公开的，论文在表格中列出了每个数据集的引用和许可证。算力方面，论文报告总共使用约8000 GPU小时，在AMD MI250x GPU模块上进行。这对大多数研究者来说是可接受的，虽然不是零成本。难度方面，中等偏易。论文提供了详细的超参数设置、数据处理流程和评估方法。使用了标准的TRL库和LoRA配置，这些都是广泛可用的。主要的挑战可能是计算资源需求和某些评估数据集的访问。论文还注意到并规避了近期发现的SFT训练bug，说明对实现细节的注意。总体而言，论文提供了足够的信息和公开资源，使复现是可行的，但需要一定的计算资源。