冲突目标下的无奖励对齐：基于裁剪冲突感知梯度下降的多目标偏好优化 Reward-free Alignment for Conflicting Objectives
提出RACO框架，通过裁剪冲突感知梯度下降解决LLM多目标对齐中的梯度冲突问题
前置知识
直接偏好优化（DPO）
DPO是一种无需显式奖励模型的LLM对齐方法。它将RLHF中的奖励建模和策略优化两个阶段合并为一个离线优化问题。给定成对偏好数据（x, y+, y-），DPO直接优化策略πθ，使其在给定提示x下更倾向于生成优选响应y+而非劣选响应y-。其核心损失函数为：L_DPO(θ) = -E[log σ(β log(πθ(y+|x)/π_ref(y+|x)) - β log(πθ(y-|x)/π_ref(y-|x)))]，其中π_ref是参考策略，β是正则化参数，σ是sigmoid函数。这种方法避免了RL训练的不稳定性和计算开销。
本文的RACO框架建立在DPO基础上，将其扩展到多目标场景，理解DPO的成对偏好优化机制是理解本文方法的前提。
多目标优化与Pareto最优
多目标优化指同时优化多个可能冲突的目标函数。当目标之间存在冲突时，通常不存在一个解能同时最优地满足所有目标。Pareto最优描述了一种权衡状态：在该状态下，任何改进一个目标必然导致至少一个其他目标变差。Pareto临界点是梯度意义上的平衡点，即不存在一个方向能同时下降所有目标函数。在LLM对齐中，帮助性（helpfulness）和无害性（harmlessness）就是典型的冲突目标。
本文的核心贡献是提出在无奖励设置下找到Pareto临界点的方法，并证明其收敛性，理解Pareto最优概念是理解论文理论贡献的关键。
冲突感知梯度下降（CAGrad）
CAGrad是一种解决多任务学习中梯度冲突的方法。给定多个任务的梯度g1, g2, ..., gm和用户指定权重w，CAGrad不是简单地使用加权平均梯度g0 = Σwi*gi，而是寻找一个修正方向G0，使得在保持与g0相近的同时，最大化最差情况下的局部改进。具体地，CAGrad求解：d = argmin_d max_i ∇fi(θ)^T d，约束为||d - g0|| ≤ c||g0||，其中c控制修正程度。这个优化问题的对偶形式只有m维，可以高效求解。
RACO方法的核心是将CAGrad应用于LLM对齐，并引入裁剪机制解决其在高维策略空间中的不稳定性，理解CAGrad的工作原理是理解本文技术创新的基础。
梯度裁剪（Gradient Clipping）
梯度裁剪是深度学习中常用的技术，用于防止梯度爆炸。在多目标优化背景下，裁剪被用于限制修正权重的幅度。本文提出的CAGrad-Clip在CAGrad的修正权重pi上施加约束：˜pi = min(pi, wi)，确保修正后的权重不超过用户指定的目标权重wi。这种裁剪防止了对低权重目标的过度修正，保持了用户期望的权衡比例。理论上，裁剪可以严格加速收敛，这在两目标情况下有严格证明。
裁剪是本文的核心创新之一，它解决了原始CAGrad在LLM微调中的不稳定性问题，理解裁剪机制对于理解方法的实际效果至关重要。
研究动机
当前LLM对齐方法在处理多个冲突目标时面临严重挑战。在实际部署中，用户和开发者同时关心多个往往相互冲突的准则，如帮助性、无害性、忠实性和简洁性。这些目标是异质且经常竞争的，优化单一标量目标或简单聚合偏好会导致训练动态不稳定和糟糕的权衡。例如，OpenAI报告了对齐税（alignment tax），即改进某些期望行为会降低其他性能。越狱研究表明，被训练为无害的模型仍然可以被诱导执行不安全请求，突出了帮助性和安全性之间未解决的冲突。现有方法如DPO Loss Weight（DPO LW）直接使用加权梯度组合g0 = w1*g1 + w2*g2，但当梯度方向冲突时，可能完全错过能同时改进两个目标的方向。Zhou et al. (2024)的多目标DPO方法需要为不同权重配置训练单独的奖励模型，并且对梯度冲突敏感。
本文的目标是本文的具体目标是提出一个无需奖励模型的多目标对齐框架，能够直接利用成对偏好数据，通过冲突感知的梯度优化找到尊重用户指定权重的Pareto临界点。具体而言，作者希望：（1）在不学习显式奖励模型的情况下处理多个冲突的对齐目标；（2）提供理论收敛保证，证明方法收敛到Pareto临界点；（3）在两目标情况下证明裁剪可以严格加速收敛；（4）在多个LLM家族（Qwen3、Llama3、Gemma3）上验证方法的有效性，展示改进的Pareto权衡。
与已有工作不同的是，本文的独特切入角度是将LLM对齐问题形式化为多目标优化问题，并引入梯度裁剪来解决原始CAGrad在高维策略空间中的不稳定性。与现有方法相比，本文抓住了三个被忽视的关键点：第一，现有方法要么依赖线性聚合（继承相同结构局限），要么依赖条件机制（不提供理论保证），而本文直接处理梯度冲突本身；第二，原始CAGrad在LLM微调中会过度修正，因为高维策略空间使梯度方向搜索噪声更大，且用户指定的权重可能导致修正偏向低权重目标，本文通过裁剪解决这个问题；第三，本文不仅提供算法，还提供严格的理论分析，包括收敛保证和加速证明，这在非凸LLM微调设置中是稀缺的。
核心方法
RACO（Reward-free Alignment for Conflicted Objectives）的核心思想可以类比为交通指挥：当多个方向的车流（目标梯度）冲突时，不是简单地按权重分配通行时间（加权平均），而是寻找一个综合方向，让所有车流都能前进，同时防止某些车流被过度优先。技术路线分为三步：首先，为每个目标i计算独立的DPO损失Li(θ)和对应梯度gi；其次，使用CAGrad寻找修正方向，但不是直接使用修正权重pi，而是施加裁剪˜pi = min(pi, wi)；最后，使用裁剪后的混合梯度更新参数。这个框架的关键是：（1）每个目标有自己的偏好对（x, yi+, yi-），定义独立的DPO损失；（2）CAGrad通过求解一个m维对偶问题找到修正方向；（3）裁剪确保修正不偏离用户指定的权重比例。整个过程完全离线，不需要奖励模型或在线采样。
本文的核心创新点是CAGrad-Clip，它解决了原始CAGrad在LLM对齐中的两个关键问题。第一，在高维策略空间中，CAGrad的修正步骤可能过于激进，将更新推向不太偏好的目标，扭曲预期的权衡。第二，当用户指定的权重不平衡时（例如w1=0.8, w2=0.2），CAGrad的修正可能大幅增加低权重目标的修正系数p2，导致实际训练偏离用户意图。CAGrad-Clip通过元素级裁剪解决这个问题：˜pi = min(pi, wi)。这个简单操作有两个关键效果：（1）防止对低权重目标的过度修正，保持用户指定的权衡比例；（2）理论上，在两目标情况下，裁剪可以严格加速收敛。具体地，Theorem 3.2证明了当g1和g2不共线、p1, p2 > 0且p ≠ w时，裁剪后的单步下降保证Γ(˜ρt) - Γ(ρt) = c(1-ℓw*η)(˜ρt - ρt) > 0，其中ρt和˜ρt分别衡量原始和裁剪后修正方向与加权梯度的对齐程度。这在直觉上意味着裁剪使修正方向更好地与用户期望的权衡保持一致。
方法步骤详情
RACO算法的完整流程如下：输入包括用户指定的目标权重w ∈ ∆m（概率单纯形）、修正半径c ∈ [0, 1)和步长η > 0。在每次迭代t中：（1）采样一批偏好对Bt，包含(x, ya, yb)；（2）对每个目标i ∈ [m]，计算损失Li(θt)和梯度gi^(t) = ∇θLi(θ)|θ=θt；（3）计算加权梯度g0^(t) = Σwi*gi^(t)作为锚点；（4）求解修正权重p^(t) = argmin_{p∈∆m} Gp^(t)^T [g0^(t) + c||g0^(t)|| * Gp^(t)/||Gp^(t)||]，其中Gp^(t) = Σpi*gi^(t)；（5）裁剪系数：˜p^(t) = min(p^(t), w)；（6）形成裁剪混合梯度˜Gp^(t) = Σ˜pi^(t)*gi^(t)；（7）设置最终更新方向G0^(t)，如果||˜Gp^(t)|| > 0，则G0^(t) = g0^(t) + c||g0^(t)|| * ˜Gp^(t)/||˜Gp^(t)||，否则G0^(t) = g0^(t)；（8）更新参数θt+1 = θt - η*G0^(t)。对于两目标情况，步骤4的对偶问题有闭式解，可以高效计算。
技术新颖性
RACO的技术新颖性体现在三个方面。首先，与现有无奖励多目标对齐方法（如AMoPO）相比，RACO提供了严格的理论保证。Theorem 3.1证明在非凸光滑设置下，算法收敛到加权损失Lw的临界点和(L1, ..., Lm)的Pareto临界点，收敛速率为O(1/T)。而AMoPO等方法依赖启发式标量化，没有理论保证。其次，CAGrad-Clip的裁剪机制是全新的。原始CAGrad（Liu et al., 2021）在多任务学习中有效，但在LLM微调中会过度修正，因为：（a）高维策略空间使梯度方向搜索噪声大；（b）用户权重可能导致修正偏向低权重目标。裁剪通过简单约束˜pi ≤ wi解决这个问题，同时保持收敛保证。第三，Theorem 3.2证明了在两目标情况下，裁剪可以严格加速收敛，这是反直觉的——通常裁剪会限制优化自由度，但在这里，裁剪通过防止过度修正提高了与用户目标的一致性。具体地，当g1和g2不共线时，˜ρt > ρt，意味着裁剪后的修正方向与加权梯度g0的对齐度更高。
实验结果
本文在多个任务和模型上进行了全面实验，核心发现如下。在Reddit Summary任务的质量-简洁性权衡中，使用Qwen3-4B模型，在权重wqual ∈ {0.2, 0.5, 0.8}下，RACO始终同时改进两个目标，而AMoPO和DPO LW通常只改进被加权更多的目标。具体地，在wqual=0.8时，RACO的质量边际mqual从0.56提升到约0.62，同时简洁性边际mconc从0.50提升到约0.55；而DPO LW在相同设置下mqual提升到0.58，但mconc下降到0.49。在Llama3-8B上观察到类似模式：在wqual=0.8时，RACO同时提升mqual和mconc，而其他方法通常牺牲一个目标。在质量-忠实性任务中，RACO在Qwen3-4B和Llama3-8B上都实现了更有利的Pareto前沿，特别是在高度不平衡权重（如wqual ∈ {0.8, 0.2}）下优势最明显，RACO主导了Pareto曲线的端点。在安全对齐任务（BeaverTails）中，RACO在Qwen3-4B-Base和Gemma3-4B-Instruct上是唯一能持续展示平衡行为的方法。使用GPT-5.1作为评判的胜率评估显示，RACO在Qwen3-4B-Instruct上对AMoPO的胜率为66.27%（whelp=0.2），对DPO LW的胜率为78.92%（whelp=0.2）。消融研究证实了裁剪的必要性：在权重0.8或0.2等极端情况下，裁剪带来最显著改进；在平衡权重0.5时影响较小。对修正半径c的消融显示c=0.4提供最佳平衡，性能在c ∈ {0.35, 0.4, 0.45}范围内相对稳定。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Reddit Summary 质量-简洁性（Qwen3-4B） | 质量边际 mqual / 简洁性边际 mconc | wqual=0.8: mqual≈0.62, mconc≈0.55; wqual=0.5: 均衡提升; wqual=0.2: mqual≈0.55, mconc≈0.62 | AMoPO: wqual=0.8时mqual≈0.58, mconc≈0.52; DPO LW: wqual=0.8时mqual≈0.58, mconc≈0.49 | RACO在所有权重下同时改进两个目标，而基线通常只改进被加权更多的目标 |
| Reddit Summary 质量-忠实性（Llama3-8B） | 质量-忠实性 Pareto 前沿 | 实现更外层的 Pareto 前沿，特别是在极端权重下 | AMoPO、DPO LW、PA（预对齐模型） | RACO 主导 Pareto 曲线端点，在两个指标上都获得更好性能 |
| BeaverTails 安全对齐（Qwen3-4B-Instruct） | 胜率（Win Rate） | whelp=0.2: 对 AMoPO 66.27%, 对 DPO LW 78.92%; whelp=0.8: 对 AMoPO 53.01%, 对 DPO LW 53.61% | AMoPO、DPO LW | 在低 helpfulness 权重（高 harmlessness 权重）下优势最明显 |
| BeaverTails 安全对齐（Gemma3-4B-Base） | 胜率（Win Rate） | whelp=0.2: 对 AMoPO 71.08%, 对 DPO LW 66.27% | AMoPO、DPO LW | RACO 在基础模型上也展示出显著优势 |
局限与改进
作者明确承认了几个理论局限。首先，当前理论是一阶优化结果，针对非凸加权经验目标。在没有额外结构的情况下，最好的结果是收敛到Pareto临界点（Theorem 3.1），这不保证全局Pareto最优性。其次，证明没有提供小批量训练的随机梯度定理。虽然算法使用小批量实现，但证明使用确定性下降论证。完整的SGD分析需要控制梯度方差和裁剪映射对梯度方差的敏感性，这在当前工作中未提供。第三，论文专注于离线对齐问题，其中加权损失由固定偏好数据集诱导。关于（i）需要多少目标特定偏好对来恢复期望的总体权衡，以及（ii）经验Pareto前沿是否收敛到总体Pareto前沿，超出了本文范围。因此，当前分析不提供样本复杂度界、统计一致性保证或泛化保证。此外，从我的观察，实验主要在相对较小的模型（4B-8B）上进行，未验证在更大模型（如70B+）上的效果；偏好数据的质量和一致性可能影响方法效果；c值的选择需要针对不同模型家族进行调整（Qwen/Llama用0.4，Gemma用0.7/0.8），缺乏自适应机制。
独立分析的弱点
基于我的独立分析，RACO存在几个值得改进的弱点。首先，修正半径c需要手动调整：论文中Qwen和Llama指令模型使用c=0.4，Gemma指令模型使用c=0.7，基础模型使用c=0.8。这种手动选择缺乏理论指导，且可能因数据集和模型变化而需要重新调整。改进方向是开发自适应c选择机制，例如基于梯度冲突程度动态调整。其次，方法假设每个目标有独立的偏好对，但在实际中，为每个目标收集高质量偏好数据成本高昂。例如，在安全对齐中，需要同时标注帮助性和无害性偏好，这需要大量人工标注。改进方向是探索半监督或自监督方法，利用未标注数据增强多目标偏好学习。第三，算法在每次迭代中需要计算m个梯度（每个目标一个），然后求解一个m维对偶问题。虽然m通常很小（2-3），但在目标数量增加时计算开销可能成为瓶颈。改进方向是研究梯度缓存或近似方法减少计算量。第四，实验主要在离线设置中进行，未探索在线或主动学习场景，其中模型可以请求针对特定目标的偏好反馈。
未来方向
基于本文成果，未来研究可以从几个方向延伸。首先，扩展到更多目标：当前实验主要关注两目标（质量-简洁性、帮助性-无害性），但实际对齐可能涉及更多维度（准确性、流畅性、信息量、安全性等）。研究CAGrad-Clip在高维目标空间中的行为和效率是重要的。其次，结合在线学习：当前方法完全离线，但在线反馈可以减少分布偏移。探索将RACO与在线DPO（如Shi et al., 2025）结合可能进一步提升性能。第三，理论扩展：提供小批量训练的收敛保证、样本复杂度界和泛化保证将大大增强理论基础。第四，自适应权重学习：当前方法需要用户预先指定权重，但最佳权重可能因提示而异。研究提示条件权重学习（prompt-conditioned weight learning）可以提供更精细的控制。第五，探索在更大模型（70B+）和更复杂任务（如长文本生成、代码生成）上的效果，验证方法的可扩展性。第六，研究裁剪机制在其他多任务学习场景（如多语言模型、多模态学习）中的应用潜力。
复现评估
复现评估显示本文具有良好的可复现性。作者在GitHub（https://github.com/PeterLauLukChen/RACO）开源了代码实现，并在HuggingFace（https://huggingface.co/RACOo）发布了部分模型检查点。数据集方面，Reddit Summary使用公开的Stiennon et al. (2020)数据集（92,858个训练样本），BeaverTails使用PKU-SafeRLHF数据集。算力需求方面，所有实验在8×NVIDIA H200 GPU上进行，对于4B-8B模型是可行的。复现难度中等：算法本身相对简单（核心是CAGrad加上裁剪），但需要正确实现多目标DPO损失和对偶问题求解。主要挑战包括：（1）需要为每个目标准备独立的偏好对，数据预处理需要仔细；（2）c值需要针对不同模型调整；（3）评估需要多个评判模型（GPT2摘要评判、BART忠实性评判、BeaverTails奖励/成本评判）。总体而言，对于有多目标对齐研究经验的团队，复现是可行的，但需要一定的工程努力。
论文图表
图6(a)展示CAGrad和CAGrad-Clip在不同模型配置下的最终验证边际Pareto前沿对比，裁剪在极端权重下带来最显著改进。图6(b)展示c值{0.35, 0.4, 0.45}的消融，c=0.4提供最佳平衡。
提供了裁剪有效性和c值选择的实证支持。