超越二元偏好：通过解耦属性将扩散模型对齐到细粒度标准 Beyond Binary Preference: Aligning Diffusion Models to Fine-grained Criteria by Decoupling Attributes

CPO方法分为以下关键步骤：（1）Winner噪声预测：定义正条件 $c_{pos} = (y, A_{pos})$ 和负条件 $c_{neg} = (A_{neg})$，winner噪声 $z_w(x_t, t) = (1-\omega_w)\epsilon_{\theta_1}(x_t, c_{neg}, t) + \omega_w \epsilon_{\theta_1}(x_t, c_{pos}, t)$，其中 $\omega_w > 1$，这类似CFG从负属性基线向正属性方向外推。（2）Loser噪声预测：定义全条件 $c_{all} = (y, A_{pos}, A_{neg})$ 和空条件 $c_{null} = (\emptyset)$，loser噪声 $z_l(x_t, t) = (1-\omega_l)\epsilon_{\theta_1}(x_t, c_{null}, t) + \omega_l \epsilon_{\theta_1}(x_t, c_{all}, t)$，其中 $\omega_l > 1$，从无条件基线向负属性方向外推。（3）CPO损失：$\mathcal{L}_{CPO}(\theta) = -\mathbb{E}[\log \sigma(-\beta T \omega(\lambda_t)(\|z_w - \epsilon_\theta(x_t, t)\|_2^2 - \|z_w - \epsilon_{ref}(x_t, t)\|_2^2 - (\|z_l - \epsilon_\theta(x_t, t)\|_2^2 - \|z_l - \epsilon_{ref}(x_t, t)\|_2^2)))]$。（4）稳定化策略：定义 $z_l^{tgt} = \epsilon_\theta(x_t, t) + \frac{\epsilon_\theta(x_t, t) - z_l}{\|\epsilon_\theta(x_t, t) - z_l\|} \|\epsilon_\theta(x_t, t) - z_w\|$，使用stop-gradient操作确保loser项梯度方向与原始损失一致但范数受限。

本文的技术新颖性体现在多个层面。首先，首次将人类评价的三个特征——多维、离散、非均衡——形式化并引入扩散模型对齐框架，这在方法论层面开辟了新方向。其次，通过借鉴CFG的外推结构来实现属性解耦，将复杂的偏好优化问题转化为噪声空间中的方向引导，这是一个巧妙的技术创新。第三，提出了CPO的稳定化策略，解决了DPO类方法中winning/losing项梯度不平衡的普遍问题——losing项是凹函数导致梯度范数增长，winning项是凸函数导致梯度范数缩小。通过引入 $z_l^{tgt}$ 替换原始losing项，使用代理凸函数替换凹函数，实现了更稳定的收敛，训练速度提升超过10倍。

本文存在以下可改进的弱点：（1）知识体系构建的人工成本高——7个根维度和246对正/负属性需要领域专家手动定义，限制了方法的可扩展性。改进方向：可以探索自动化的知识体系构建方法，如利用大语言模型从领域文献中自动提取评价维度。（2）领域专家代理的标注效率——10,277幅画作的标注需要大量计算资源。改进方向：可以引入主动学习策略，只对模型不确定性高的样本进行标注。（3）稳定化策略的理论基础不足——虽然实验显示效果显著，但论文对 $z_l^{tgt}$ 的理论分析主要在补充材料中，主文缺乏直观解释。改进方向：可以进一步分析稳定化策略与梯度裁剪、梯度惩罚等已有技术的关系。（4）负属性的定义存在模糊性——什么构成负属性可能因人而异，246对属性的对称性假设可能不成立。改进方向：可以引入更多维度的评价，如中性属性或属性强度等级。

未来研究可以沿多个方向扩展：（1）跨领域迁移——将CPO框架应用到自然图像生成、视频生成、3D生成等任务，验证方法的通用性。（2）多模态对齐——将细粒度属性解耦扩展到文本-图像对齐，实现更精确的语义控制。（3）实时交互式对齐——利用CPO的动态噪声生成能力，开发用户可实时调整偏好的交互式创作工具。（4）更细粒度的评价——探索从5层次扩展到更深的层次结构，或引入连续属性强度而非离散标签。（5）与其他对齐方法的结合——如将CPO与GRPO等强化学习方法结合，或与过程监督方法（SPO、D3PO）融合。（6）自动化知识体系构建——利用大语言模型自动从领域文献中提取和组织评价标准，降低人工成本。（7）负属性的可解释性——开发可视化工具帮助用户理解模型在避免哪些负属性，增强对齐的透明度。

论文在复现性方面提供了基本支持：（1）数据集——收集了10,277幅公开可用的绘画，按80%/10%/10%分为训练/验证/测试集，但未明确说明是否开源数据集和领域知识体系。（2）模型和代码——使用SDXL和FLUX作为基础模型，LoRA微调（rank=16/8，学习率=1e-4），但未提及代码是否开源。（3）算力要求——所有实验在单个NVIDIA H800 GPU上进行，计算资源要求相对合理。（4）训练配置——SDXL-CPO训练8,221步（一个epoch），FLUX使用LoRA（rank=8，scaling factor $\beta$=0.1），提供了详细的超参数设置。（5）评估指标——提供了6个评估指标（#A_neg、FID、PickScore、HPSv2、ImageReward、Aesthetic），便于结果比较。总体而言，复现需要领域专业知识来构建知识体系，但训练流程相对标准化。