偏好调优在域偏移下的泛化和多样性：一项实证研究 An Empirical Study on Preference Tuning Generalization and Diversity Under Domain Shift
本文系统研究偏好调优在域偏移下的泛化和多样性，发现伪标签提升性能但导致多样性崩溃。
前置知识
偏好优化 (Preference Optimization)
偏好优化是通过人类偏好信号来调整大语言模型输出质量的技术。传统方法如RLHF（基于人类反馈的强化学习）首先训练一个奖励模型来评估生成质量，然后使用强化学习算法（如PPO）优化策略。近年来，直接偏好优化（DPO）等方法跳过奖励建模，直接从偏好对中优化策略。偏好优化通常包含两个阶段：监督微调（SFT）建立基础能力，然后使用偏好数据进行精细对齐。
本文的核心研究对象就是各种偏好优化方法在域偏移下的表现差异，理解这些方法的工作原理是理解论文结论的前提。
域适应 (Domain Adaptation)
域适应是指将模型从源域（有充足标签数据）迁移到目标域（标签稀缺或无标签）的技术。在本文中，源域和目标域在文本风格、主题和隐含的偏好标准上存在分布偏移。例如，从非正式的Reddit帖子迁移到正式的新闻摘要。适应策略包括目标域监督微调、伪标签生成等。
本文研究的核心问题就是偏好优化方法在域适应场景下的泛化能力，域适应策略的选择直接影响模型在目标域的表现。
泛化差距 (Generalization Gap)
泛化差距指模型在源域和目标域性能之间的差异，计算公式为：源域胜率 - 目标域胜率。较小的泛化差距表示模型能保持跨域性能一致性，负值表示模型在目标域表现更好。本文使用LLM-as-a-judge评估胜率来量化泛化差距。
泛化差距是本文评估各方法泛化能力的核心指标，理解这个概念有助于解读实验结果中的具体数值。
多样性 (Diversity)
多样性衡量模型生成输出的丰富程度，包括三个维度：句法多样性（通过EAD指标测量唯一n-gram数量）、语义多样性（通过SBERT嵌入的余弦相似度测量）、逻辑多样性（通过NLI测量矛盾和蕴含关系）。高多样性意味着模型能生成多种不同的合理输出，避免模式崩溃。
本文发现伪标签策略虽然提升泛化性能但导致多样性崩溃，揭示了泛化与多样性之间的权衡关系。
伪标签 (Pseudo-Labeling)
伪标签是一种域适应技术，使用强大的教师模型（如Llama-3.3-70B）为无标签的目标域数据生成合成偏好标签。具体流程包括：1) 使用教师模型为每个目标域提示生成多个候选响应；2) 将教师生成的响应作为优选，原始数据响应作为劣选，构建偏好对；3) 使用这些合成数据训练学生模型。
伪标签是本文发现的最有效的域适应策略，能显著提升目标域性能，但同时会导致多样性下降，这是论文的核心发现之一。
奖励模型 (Reward Model)
奖励模型是在RLHF流程中用于评估生成质量的关键组件。它通过人类偏好对（优选/劣选）训练，学习为每个（提示，响应）对打分。奖励模型的输出是一个标量分数，表示响应的质量。在PPO和GRPO等在线强化学习方法中，奖励模型指导策略更新。
奖励模型是PPO和GRPO方法的核心组件，理解其作用有助于区分在线和离线偏好优化方法的本质差异。
PPO (Proximal Policy Optimization)
PPO是一种强化学习算法，在RLHF中用于优化策略模型。它通过最大化期望奖励同时惩罚与参考模型的KL散度偏移来更新策略。PPO采用裁剪机制确保更新幅度稳定。在本文中，PPO代表在线强化学习范式，需要实时采样和奖励评估。
PPO是本文比较的在线对齐方法代表，其实验结果显示了在线方法在域适应中的独特特性：域内性能较低但跨域泛化较好。
DPO (Direct Preference Optimization)
DPO是一种离线、无需强化学习的偏好优化方法。它直接使用Bradley-Terry模型从偏好对中优化策略，跳过奖励模型训练。DPO通过隐式奖励函数优化策略，数学形式为：$\mathcal{L}_{DPO} = -\mathbb{E}[\log \sigma(?eta \log ?rac{\pi_ heta(y_w|x)}{\pi_{ref}(y_w|x)} - ?eta \log ?rac{\pi_ heta(y_l|x)}{\pi_{ref}(y_l|x)})]$。
DPO是本文比较的离线方法代表，其实验结果显示离线方法在域内性能高但跨域泛化差的特点。
研究动机
现有工作对偏好优化方法在域偏移下的泛化能力缺乏系统研究。虽然已有研究显示偏好调优在域外评估时会降低性能并减少帮助性，但这些证据仅限于个别目标（如DPO）或作为分析工具（如RLHF-PPO）。更关键的是，没有系统评估多种偏好目标在域偏移下的表现，也没有分析如何通过适应策略缓解域偏移。这导致在实际部署中，当训练数据和应用领域存在分布差异时，无法预测和选择最合适的偏好优化方法。
本文的目标是本文旨在填补这一空白，通过全面系统的实证研究，比较五种主流对齐目标（SFT、PPO、GRPO、DPO、KTO、ORPO）和多种适应策略（目标域SFT、伪标签等）在域偏移下的泛化能力和多样性表现。具体目标包括：1) 提供不同对齐目标在域偏移下的直接比较，覆盖从标准SFT到在线强化学习、离线RL-free方法的完整谱系；2) 评估实用适应策略（特别是伪标签）对目标域性能的影响，量化其数据效率和适用条件；3) 表征泛化和多样性失败案例，识别模式崩溃等关键问题，为实际部署提供具体指导；4) 揭示泛化与多样性之间的权衡关系，为不同应用场景（高可靠性任务 vs 创意任务）提供方法选择建议。
与已有工作不同的是，本文的独特切入角度是将域适应问题分解为两个实用轴：对齐目标选择和适应策略选择。这种分解使得能够控制变量，隔离每个因素的影响。同时，本文不仅关注性能指标（胜率），还深入分析多样性维度（句法、语义、逻辑），揭示了泛化与多样性之间的权衡关系。这种多维度分析为实际部署提供了更全面的决策依据，避免了单一指标优化的陷阱。与已有工作的本质区别在于：1) 已有工作通常只关注DPO或作为RLHF的分析工具，而本文覆盖完整方法谱系；2) 已有工作缺乏对适应策略的系统研究，本文首次比较了目标域SFT、混合SFT和伪标签等策略；3) 本文揭示了伪标签策略的双刃剑效应，这是已有工作未发现的重要现象。
核心方法
本文的方法框架可以直观理解为：在源域有偏好标签、目标域无标签的场景下，如何选择对齐方法和适应策略来最大化目标域性能。技术路线包括：1) 选择代表性对齐目标（从标准SFT到在线RL、离线RL-free方法）；2) 设计适应策略（从目标域SFT到伪标签生成）；3) 在两个互补测试平台（摘要生成和问答帮助性）上进行系统评估；4) 使用LLM-as-a-judge评估胜率，同时测量多样性指标。整体思路是通过控制变量实验，隔离每个因素对泛化和多样性的影响。
本文的核心创新点在于系统性地比较对齐目标和适应策略的组合效果，而非孤立研究单个方法。与已有工作的本质区别包括：1) 已有工作通常只关注DPO或作为RLHF的分析工具，而本文覆盖从SFT到在线RL、离线RL-free的完整谱系；2) 已有工作缺乏对适应策略的系统研究，本文首次比较了目标域SFT、混合SFT和伪标签等策略；3) 本文不仅关注性能，还分析多样性维度，揭示了伪标签策略的双刃剑效应：提升泛化但导致多样性崩溃。
方法步骤详情
方法步骤包括：1) 问题设定：定义源域（有偏好标签）和目标域（无标签），目标是学习在目标域生成高质量输出的策略；2) 对齐目标实现：实现五种目标——SFT（监督微调）、PPO（在线RL）、GRPO（组相对策略优化）、DPO（直接偏好优化）、KTO（ Kahneman-Tversky优化）、ORPO（比率偏好优化）；3) 适应策略实施：四种SFT配置（源域、目标域、混合、伪标签）和伪标签生成流程（使用教师模型生成候选，构建偏好对）；4) 评估框架：LLM-as-a-judge胜率评估、泛化差距计算、多样性测量（EAD、SBERT、NLI）；5) 实验设计：两个测试平台（Reddit TL;DR→CNN/DM摘要，AskEngineers→AskCulinary问答），两个基座模型（Llama-3.1-8B、OLMo-3-7B）。
技术新颖性
本文的技术新颖性体现在：1) 首次系统比较五种主流对齐目标在域偏移下的表现，提供了直接可比的实证证据；2) 提出伪标签作为域适应策略，并揭示其数据效率（10%子集即可达到接近完整的性能）；3) 发现泛化与多样性的权衡关系，特别是伪标签导致的模式崩溃；4) 揭示适应策略比对齐目标更具影响力的部署建议；5) 提出SFT顺序影响的重要发现：目标域SFT优先能提供更稳定的基础。这些发现为实际部署中的方法选择提供了具体指导。
实验结果
实验结果揭示了几个关键发现：1) 适应策略比对齐目标更具影响力——伪标签策略能显著提升目标域性能，例如Llama-3.1-8B使用伪标签SFT达到83.37%目标域胜率，而源域SFT仅36.07%；2) 伪标签是双刃剑——虽然提升泛化但导致多样性崩溃，语义多样性从0.46降至0.07；3) 在线RL（PPO/GRPO）域内性能较低但跨域泛化较好，PPO源域胜率仅44.30%但目标域达59.69%，泛化差距为-15.39；4) 离线方法（DPO/KTO/ORPO）域内性能高但泛化差，DPO源域胜率89.87%但泛化差距31.78；5) QA任务对域偏移不敏感，泛化差距接近零；6) SFT顺序影响显著，目标域SFT优先能提供更稳定的基础；7) 伪标签数据效率高，10%子集即可达到接近完整的性能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 摘要生成 (Reddit TL;DR→CNN/DM) | LLM-as-a-judge胜率 (%) | 伪标签SFT: 83.37 (目标域) | 源域SFT: 36.07 (目标域) | +47.30绝对提升 |
| 摘要生成 (Reddit TL;DR→CNN/DM) | 泛化差距 (源域-目标域) | GRPO: 3.79 | DPO: 31.78 | 差距减少27.99 |
| QA帮助性 (AskEngineers→AskCulinary) | LLM-as-a-judge胜率 (%) | 混合DPO: 58.80 (目标域) | 源域DPO: 61.96 (目标域) | 性能接近，泛化差距仅0.60 |
| 多样性分析 (摘要生成) | 语义多样性 (SBERT) | 伪标签: 0.07 | 源域SFT: 0.46 | 多样性下降0.39 |
局限与改进
本文的局限性包括：1) 模型规模限制——仅实验7B-8B参数模型，更大前沿模型可能表现不同；2) 任务范围有限——仅关注英文摘要和帮助性任务，推理密集型任务（如编程）或多语言设置可能不同；3) 评估方法依赖LLM-as-a-judge，可能偏好特定风格模式，缺乏大规模人工评估；4) 伪标签依赖更强教师模型，教师偏见会传递给学生；5) 实验设置相对简单，仅考虑单一源域到单一目标域的迁移，未考虑多域或持续学习场景。
独立分析的弱点
本文的弱点及改进方向：1) 模型规模较小——仅使用7B-8B模型，建议扩展到更大模型（如70B+）验证结论普适性；2) 任务多样性不足——仅摘要和QA任务，建议增加推理、代码生成等任务；3) 评估指标单一——主要依赖胜率，建议引入更细粒度评估（事实一致性、流畅度等）；4) 伪标签策略简单——仅使用单一教师模型，建议探索多教师集成或课程学习；5) 缺乏理论分析——主要是实证研究，建议提供泛化差距的理论界。
未来方向
未来研究方向包括：1) 优化分布多样性——超越标量胜率，在不崩溃到单模态分布的情况下最大化目标域性能，开发多样性感知的偏好优化目标；2) 研究指令和标签噪声对齐泛化的影响，特别是在真实世界数据质量参差不齐的场景下；3) 扩展到跨语言设置使用未标记目标数据，研究多语言域适应的挑战和解决方案；4) 探索自适应策略——根据域偏移程度动态选择适应方法，开发元学习框架自动选择最佳策略；5) 研究持续学习场景下的偏好优化，解决灾难性遗忘和知识积累的平衡问题；6) 开发多样性感知的偏好优化目标，在保持性能的同时维持输出多样性；7) 研究教师模型选择对伪标签质量的影响，探索多教师集成和课程学习策略。
复现评估
本文复现性较好：1) 代码已开源（https://github.com/ckarouzos/prefadap）；2) 使用公开数据集（Reddit TL;DR、CNN/DM、SHP）；3) 使用开源模型（Llama-3.1-8B、OLMo-3-7B）；4) 实验设置详细（超参数、训练细节）；5) 使用固定随机种子确保可重复性。主要复现挑战是计算资源需求——需要GPU进行训练，以及API成本（GPT-5-nano作为评估器）。建议使用较小的模型进行初步验证。
论文图表
展示了用于Llama-3.3-70B生成伪标签的提示模板。包括摘要任务和QA帮助性任务的提示，要求教师模型生成高质量、结构良好、简洁的响应。
这些提示模板是伪标签策略的关键组成部分，影响生成数据的质量。