通过方向解耦对齐缓解扩散强化学习中的偏好模式坍塌

提出两阶段框架D²-Align，通过在奖励嵌入空间学习方向向量来纠正奖励信号，缓解RLHF过程中的多样性坍塌问题

前置知识

RLHF（Reinforcement Learning from Human Feedback）

人类反馈强化学习是一种通过人类偏好数据来训练生成模型的方法。它通常包含三个步骤：首先收集人类对不同输出的偏好比较，然后训练一个奖励模型来模拟人类偏好，最后使用强化学习算法优化生成模型以最大化奖励模型的分数。在文本到图像领域，这被用于将模型输出与人类审美偏好对齐。例如，HPDv2数据集包含数万张图像的人类偏好标注，训练出的HPS-v2.1奖励模型可以预测人类对图像的美学偏好评分。

本文解决的核心问题正是RLHF过程中出现的奖励黑客攻击现象，不理解RLHF的基本机制就无法理解PMC问题的根源和解决方案的设计动机。PMC是RLHF在追求高质量奖励时产生的副作用，必须从RLHF的优化动力学角度理解其成因。

Flow Matching

流匹配是一种生成建模框架，它通过学习一个向量场来指导样本从一个简单分布流向目标数据分布。与扩散模型类似，它也通过概率流常微分方程来定义生成过程。流匹配的关键优势在于训练更高效，因为它直接学习最优传输路径，而不是扩散模型中的随机过程。训练目标是最小化预测向量场与目标速度场之间的差异，使用噪声调度参数alpha_t和sigma_t。本文使用的FLUX.1.Dev基线模型就是基于Flow Matching的，理解Flow Matching有助于理解模型生成机制和one-step去噪技术的工作原理。

本文使用的基线模型FLUX.1.Dev就是基于Flow Matching的，理解Flow Matching有助于理解模型生成机制和one-step去噪技术的工作原理。文中提到的去噪过程xt = alpha_t * x0 + sigma_t * epsilon就是Flow Matching的核心公式，而one-step去噪用于在训练过程中从含噪潜在重建清晰图像，以便进行奖励评估。

奖励黑客（Reward Hacking）

奖励黑客是指强化学习代理在优化过程中发现奖励函数的漏洞或缺陷，从而获得高分但并未真正实现预期目标的现象。在文本到图像的RLHF中，这通常表现为模型学习到奖励模型的特定偏好（如偏爱过度曝光、高对比度或某种特定风格），并生成迎合这些偏好的图像，即使这些图像在人类看来质量一般或不符合原始提示词要求。例如，HPS-v2.1奖励模型可能因为训练数据偏差而偏爱油画质感的图像，模型就会逐渐只生成油画风格的图像，即使提示词要求的是素描风格。

PMC是奖励黑客的一种特定形式，本文的研究正是建立在对奖励黑客问题的新理解之上——从质量维度扩展到多样性维度。传统奖励黑客主要关注质量退化（如图像失真、伪影），而PMC关注的是多样性损失（如风格单一、面孔重复）。理解奖励黑客是理解PMC的基础，而PMC的发现丰富了奖励黑客的理论框架。

嵌入空间（Embedding Space）

嵌入空间是将离散的符号（如单词）映射到连续的高维向量空间后形成的几何空间。在这个空间中，语义相似的对象距离更近，而语义不同的对象距离更远。CLIP模型等视觉语言模型会分别将图像和文本编码到嵌入空间，然后通过计算向量间的相似度来评估文本图像对齐程度。本文提出在文本嵌入空间中学习方向向量，通过连续的几何变换来纠正奖励信号。具体来说，给定文本嵌入e_text，通过加上或减去方向向量b_v来构造扰动嵌入e_plus和e_minus，然后插值得到引导嵌入e_tilde。

D²-Align的核心创新就是在嵌入空间中学习方向向量，而不是使用离散的词汇调整，这需要对嵌入空间的性质有深入理解。嵌入空间的连续性允许学习平滑的方向纠正，比离散词汇选择更灵活、更原则化。文中展示的例子说明，在嵌入空间中操作可以系统性地纠正奖励模型的偏见，而手动选择离散词（如realistic）则效率低下且不够全面。

KL散度（Kullback-Leibler Divergence）

KL散度是衡量两个概率分布之间差异的信息论度量，定义为对P和Q分布求和的P(i)乘以log(P(i)/Q(i))。在强化学习和生成模型中，KL散度常被用作正则化项，防止优化后的模型分布偏离原始分布过远。例如Flow-GRPO使用KL散度来约束模型更新，避免过度优化奖励模型导致的模式坍塌。然而，KL系数需要手动调优，且训练开销较大。本文指出Flow-GRPO的KL正则化虽然有一定效果，但仍然无法避免PMC，而且系数的选择对结果影响很大，需要大量实验来确定。

KL散度是现有方法（如Flow-GRPO）应对奖励黑客的主要手段，但本文指出了其局限性，提出了更优雅的方向性纠正方案。对比实验显示，Flow-GRPO虽然使用KL正则化，但在DivGenBench的多样性指标上仍然表现很差，例如ASC仅为0.044，说明KL散度只能缓解奖励黑客的幅度，而不能纠正其方向。这为D²-Align的必要性提供了论证。

研究动机

现有的文本到图像模型强化学习方法在优化奖励指标时存在严重的副作用，虽然模型在自动奖励分数上表现优异，但生成结果会变得高度同质化。具体表现为模型收敛到狭窄的高分模板，如单一风格、重复的视觉特征或普遍的过度曝光。这种被称为偏好模式坍塌的现象导致生成多样性严重下降，违背了创意内容生成的核心目标。例如，对于要求不同风格的提示词，基线方法可能都生成相似的写实风格图像，对于要求不同年龄、种族、性别人物头像的提示词，可能都生成相似面孔的年轻白人女性。实验数据显示，Flow-GRPO在DivGenBench的艺术风格覆盖指标上仅达到0.044，远低于未对齐的FLUX基线的0.179，在色调多样性指标上仅为0.168，也比基线的0.408低得多。DanceGRPO在身份发散度上达到0.348，比基线的0.280更高（表示更不 diverse），说明RLHF过程反而降低了身份多样性。

本文的目标是本文的目标是解决RLHF过程中奖励模型内在偏见导致的多样性坍塌问题。具体来说，作者希望设计一种方法，既能保持与人类偏好对齐的高质量生成，又不牺牲生成多样性。这需要从根本上纠正奖励信号的偏见，而不仅仅是限制优化幅度。理想的方法应该在提高奖励分数的同时，在身份、风格、布局、色调四个维度上都保持高水平的多样性，实现质量与多样性的双赢。作者强调，成功的对齐过程必须同时考虑图像质量和生成多样性，因为多样性是创意内容生成的基础，也是数据增强和提升下游任务性能的关键。

与已有工作不同的是，本文的独特切入角度在于从多样性视角重新审视奖励黑客问题。现有工作主要关注如何防止质量退化（如图像失真、模糊），而忽略了优化过程中多样性的急剧下降。作者首先识别并量化了PMC这一特定形式的奖励黑客，然后从根源上分析问题，奖励模型本身具有内在偏好，优化过程会自然地将生成分布推向这些偏好。与Flow-GRPO使用KL散度限制更新幅度、DanceGRPO集成多个奖励模型的经验性方法不同，本文采用方向性纠正的策略，在嵌入空间中学习一个连续的纠正向量，从数学上修正奖励信号的偏差，从而改变优化方向而非限制优化强度。这种思路更本质地解决了问题，同时提出了专门评估PMC的DivGenBench基准，填补了多样性量化评估的空白。

核心方法

D2-Align采用两阶段解耦框架，核心思想是将奖励信号纠正与生成器优化分离。直觉上，现有方法之所以出现PMC，是因为它们在优化过程中直接使用带有偏见的奖励信号，模型会不断向奖励模型偏爱的模式靠拢。D2-Align的巧妙之处在于先学习一个方向向量来纠正这种偏见，然后用纠正后的奖励信号来指导生成器优化。就像导航时，如果指南针有系统性偏差，我们不是限制行进距离，而是先校准指南针的方向，这样就能到达真正的目的地。技术路线是在奖励模型的文本嵌入空间中学习一个方向向量b_v，通过构造引导文本嵌入来计算纠正后的奖励信号，然后使用这个纠正后的奖励来优化生成器。这种方法的优势在于它从根源上纠正了奖励模型的偏见，而不是简单地限制优化幅度或使用启发式的奖励组合。

核心创新点是在奖励模型的嵌入空间中学习连续的方向向量b_v，通过方向性纠正而非限制幅度来缓解奖励模型偏见。与现有方法的关键区别在于，Flow-GRPO使用KL散度正则化，需要手动调优系数且训练开销大，DanceGRPO集成多个奖励模型，对权重敏感且可能性能不稳定，而D2-Align通过学习b_v向量，从根本上改变优化方向。具体来说，给定原始文本嵌入e_text，构造两个扰动嵌入e_plus和e_minus，然后构造引导嵌入e_tilde，其中omega大于1是引导尺度。最终引导奖励为score函数对图像嵌入和引导文本嵌入的计算结果。这种方法的优势在于b_v在连续嵌入空间中学习，比离散词汇调整更灵活、更原则化。消融实验显示，学习到的b_v向量在约2000步后收敛稳定，且在使用HPS-v2.1加CLIP奖励配置下，将DanceGRPO的ASC分数提升57.7%，IDS分数降低20.1%，证明了方向性纠正的有效性。

方法步骤详情

方法包含两个完整的训练阶段。阶段一方向纠正阶段冻结生成器，仅优化方向向量b_v。具体步骤包括，从提示词数据集中采样提示词c，使用冻结的生成器生成图像，获取文本嵌入和图像嵌入，其中是通过one-step去噪从含噪潜在xt重构的清晰图像，计算两个扰动嵌入e_plus和e_minus，构造引导嵌入e_tilde，计算引导奖励，通过最小化期望的负引导奖励更新b_v。阶段二引导对齐阶段冻结学习到的向量b_v星，解冻生成器进行优化。具体步骤包括，采样提示词c和生成图像，使用冻结的b_v星计算引导奖励，通过最小化期望的负引导奖励更新生成器参数theta。关键细节是使用ground-truth噪声策略，从已知噪声epsilon_gt构造xt，然后通过one-step去噪公式重构清晰图像，确保奖励评估的稳定性。这种策略允许在整个时间区间均匀采样t，而不需要担心早期高噪声时间步的不稳定预测。

技术新颖性

技术新颖性体现在四个方面。一是首次将奖励黑客问题从质量维度扩展到多样性维度，识别并量化了PMC现象，指出奖励优化会导致生成分布向奖励模型偏爱的模式坍塌。二是提出DivGenBench，这是第一个专门评估生成多样性的综合基准，包含ID、Style、Layout、Tonal四个维度和3200个精心设计的提示词，填补了多样性量化评估的空白。三是提出在嵌入空间中学习连续方向向量的思路，相比离散词汇调整更具原则性和灵活性，避免了离散词汇选择的主观性和不完整性。四是两阶段解耦设计，方向纠正与生成器优化分离，使b_v可以作为即插即用组件集成到其他RL方法中。消融实验显示，学习到的b_v向量在约2000步后收敛稳定，且使用HPS-v2.1加CLIP奖励配置下，将DanceGRPO的ASC分数提升57.7%，IDS分数降低20.1%，证明了方向性纠正的有效性。此外，用户研究显示b_v的纠正效果在人类评估中也得到验证，在风格多样性上获得37.3%的偏好率。

**Figure 1**: D2-Align breaks the trade-off between human preference and generative diversity, mitigating Preference Mode Collapse

**Figure 3**: Correcting the Reward Signal via Prompt Perturbation

实验结果

实验结果全面证明了D2-Align在保持高质量的同时有效缓解了PMC。在HPDv2基准上，D2-Align在多项质量指标上达到或超过现有方法。使用HPS-v2.1奖励时，Aesthetic分数为6.450，Pick Score为0.246，Q-Align为4.969，均优于DanceGRPO的6.068、0.241、4.930和Flow-GRPO的5.888、0.239、4.969。使用HPS-v2.1加CLIP组合奖励时，Aesthetic分数提升至6.671，ImageReward达到1.762，Pick Score为0.246，Q-Align为4.970，同样全面领先。关键发现在多样性指标上，D2-Align在DivGenBench的四个维度上都表现最佳。身份发散度为0.251，优于DanceGRPO的0.348和Flow-GRPO的0.391（越低越好），艺术风格覆盖为0.253，远高于DanceGRPO的0.130和Flow-GRPO的0.044，空间分散指数为0.636，高于DanceGRPO的0.488和Flow-GRPO的0.389，摄影方差分数为0.412，高于DanceGRPO的0.259和Flow-GRPO的0.168。用户研究进一步验证了这一发现。在100个HPDv2提示词的评估中，20名用户对D2-Align的整体偏好率为48.2%，在细节保留上达到61.7%，在图像文本对齐上达到52.2%。在DivGenBench的80个多样性评估集中，D2-Align在身份多样性上的偏好率为35.2%，在风格多样性上为37.3%，在色调多样性上为33.7%，显著高于基线方法。更重要的是，将D2-Align学习到的b_v向量集成到DanceGRPO后，能将ASC提升57.7%，IDS降低20.1%，证明了方向性纠正信号的泛化能力。

**Table 1**: Comprehensive Quantitative Evaluation

**Table 2**: Quantitative Evaluation of Generative Diversity on DivGenBench

**Table 7**: Quantitative Evaluation of Generative Diversity on DivGenBench (Generalizability)

**Figure 4**: Overview Construction and Evaluation Pipeline of Our DivGenBench

**Figure 5**: Training Efficiency and Effectiveness Comparison

**Figure 7**: Ablation Studies on the Key Components and Hyperparameters of D2-Align

**Figure 8**: Human Preference Evaluation on HPDv2

**Figure 9**: Human Preference on Diversity (DivGenBench)

**Figure 10**: Qualitative comparison of D2-Align against SOTAs on the HPDv2 benchmark (HPS-v2.1)

**Figure 12**: Qualitative comparison on the ID dimension of DivGenBench

**Figure 15**: Qualitative comparison on the Tonal dimension of DivGenBench

查看结构化数据

任务	指标	本文	基线	提升
人类偏好对齐	Aesthetic Score	6.671 (HPS-v2.1+CLIP)	DanceGRPO: 6.030, Flow-GRPO: 6.060, SRPO: 6.394	相比DanceGRPO提升10.6%，相比Flow-GRPO提升10.1%
人类偏好对齐	Pick Score	0.246 (HPS-v2.1+CLIP)	DanceGRPO: 0.236, Flow-GRPO: 0.239, SRPO: 0.240	与基线方法持平或略优
语义一致性	CLIP Score	0.328 (HPS-v2.1+CLIP)	DanceGRPO: 0.286, Flow-GRPO: 0.317, SRPO: 0.309	相比DanceGRPO提升14.7%
身份多样性	IDS	0.251 (HPS-v2.1)	DanceGRPO: 0.348, Flow-GRPO: 0.391, SRPO: 0.259, FLUX: 0.280	相比DanceGRPO降低27.9%（越低越好），优于未对齐的FLUX
风格多样性	ASC	0.253 (HPS-v2.1)	DanceGRPO: 0.130, Flow-GRPO: 0.044, SRPO: 0.234, FLUX: 0.179	相比DanceGRPO提升94.6%，相比Flow-GRPO提升475%，优于未对齐的FLUX
空间布局多样性	SDI	0.636 (HPS-v2.1)	DanceGRPO: 0.488, Flow-GRPO: 0.389, SRPO: 0.580, FLUX: 0.563	相比DanceGRPO提升30.3%，优于未对齐的FLUX
色调多样性	PVS	0.412 (HPS-v2.1)	DanceGRPO: 0.259, Flow-GRPO: 0.168, SRPO: 0.352, FLUX: 0.408	相比DanceGRPO提升59.1%，优于未对齐的FLUX
泛化能力	DanceGRPO + bv的ASC	0.205	DanceGRPO: 0.130, FLUX: 0.179	相比原始DanceGRPO提升57.7%，相比FLUX提升14.5%

局限与改进

作者承认的局限性包括，方法目前主要针对CLIP类奖励模型（如HPS-v2.1），对于其他类型的奖励模型（如基于VLM的奖励）的泛化性尚未充分验证。DivGenBench虽然全面，但四个维度（ID、Style、Layout、Tonal）是否覆盖了所有重要的多样性维度仍有待讨论，可能存在其他重要的多样性维度（如情感多样性、语义多样性）未被评估。计算开销方面，DivGenBench的多样性指标计算相对复杂，尤其是ASC需要检索训练集，SDI需要检测物体边界框，计算成本较高。基于独立观察的局限性包括，方法对超参数omega（引导尺度）较为敏感，需要设置为1.5才能获得最佳结果，不同奖励模型可能需要不同的omega值，这增加了调优难度。阶段一需要训练3000步来学习b_v向量，对于资源有限的场景可能不够高效。方法假设奖励模型的偏见可以通过方向向量纠正，但如果偏见是非线性或复杂的，线性方向向量可能不够充分。实验主要在肖像、艺术风格等特定领域验证，在更复杂的场景（如多物体交互、场景理解）中的表现有待进一步验证。

独立分析的弱点

独立分析的弱点包括，首先，方法假设嵌入空间中的线性方向向量可以充分捕捉和纠正奖励模型的偏见，但实际偏见可能是非线性的、依赖于特定上下文的，线性纠正可能无法完全解决问题。改进方向可以探索使用更复杂的纠正机制，如学习的非线性映射或多个方向向量的组合，以捕捉更复杂的偏见结构。其次，DivGenBench虽然全面，但每个维度只有800个提示词，可能无法覆盖真实应用中的长尾分布，且提示词模板相对固定，可能存在构造偏差。改进方向是扩展数据集规模，增加更多元属性组合，引入更真实的用户生成提示词，以覆盖更广泛的生成场景。第三，方法对omega超参数较为敏感，需要手动调优，不同奖励模型可能需要不同的最优值。改进方向是研究omega的自适应机制，根据训练进程动态调整，或将其作为可学习参数联合优化，减少人工调优的负担。第四，阶段一训练3000步可能较长，对于快速适应场景不够高效。改进方向包括探索b_v向量的初始化策略（如从预训练模型中提取），或采用更高效的优化算法（如二阶方法），减少训练时间。

未来方向

作者提出的未来研究方向包括，将D2-Align扩展到其他类型的奖励模型（如基于大型视觉语言模型的奖励），验证方法在不同奖励框架下的泛化性，探索b_v向量在不同模型架构间的迁移性，研究是否可以共享方向向量以降低训练成本。改进DivGenBench，增加更多多样性维度（如情感多样性、语义多样性），扩展数据集规模，使其成为更全面的多样性评估基准。研究自适应的引导尺度omega机制，根据训练动态或任务特性自动调整，减少超参数调优的负担。基于成果可延伸的方向包括，将方向性纠正思想应用到其他RLHF场景（如文本生成、视频生成），解决类似的质量多样性权衡问题。探索多模态方向向量，同时在图像和文本嵌入空间中进行纠正，以捕捉更复杂的偏见结构。研究b_v向量与生成器特征的相互作用，理解方向纠正如何影响生成过程，为方法改进提供理论指导。将DivGenBench发展为标准化基准，促进生成多样性研究的发展，推动社区对PMC问题的关注。

复现评估

复现评估方面，开源情况良好，论文提供了详细的算法伪代码和超参数配置。数据方面，使用了公开的Human Preference Dataset v2（HPDv2）和DivGenBench（3200个提示词），其中DivGenBench的提示词模板和示例在补充材料中详细列出，研究者可以根据这些模板重构基准。算力要求较高，实验在NVIDIA H20 GPU（96GB显存）上进行，基线模型为FLUX.1.Dev，这是一个大规模的流匹配模型，需要较大显存。技术难度中等偏高，需要理解扩散或流匹配模型、强化学习、嵌入空间操作等概念，但两阶段框架清晰，实验设置详细，实现相对直接。主要挑战在于DivGenBench的多样性指标计算较为复杂，需要使用ArcFace提取身份特征、CSD提取风格特征、Grounding DINO检测物体边界框，这些组件的集成需要一定的工程经验。总体而言，复现难度适中，论文提供的实现细节足够完整，有经验的实践者应该能够复现主要实验结果。