从噪声偏好中学习：面向直接偏好优化的半监督学习方法 Learning from Noisy Preferences: A Semi-Supervised Learning Approach to Direct Preference Optimization

Semi-DPO 训练流程可拆为 5 步，每步的输入输出与具体操作如下。**Step 1：数据切分（Multi-Reward Consensus）**。输入为 Pick-a-Pic V2 中约 85.1 万对偏好对，评委会由 PickScore、HPSv2、CLIP Score、LAION Aesthetic、ImageReward 5 个 reward 组成。对每一对样本 $(c, x^w_0, x^l_0)$ 计算每个 reward 的差值 $\Delta r_k = r_k(x^w_0, c) - r_k(x^l_0, c)$，只有当所有 5 个 $\Delta r_k$ 都大于 0 才放入 $\mathcal{D}_{\mathrm{labeled}}$，否则放入 $\mathcal{D}_{\mathrm{unlabeled}}$。最终 $\mathcal{D}_{\mathrm{labeled}}$ 约 17.7 万对（约 21%），其中 173,007 用于训练，3,992 作为干净测试集用来评估每轮的伪标签精度。**Step 2：冷启动训练 (Iter 0)**。仅在 $\mathcal{D}_{\mathrm{labeled}}$ 上用标准 Diffusion-DPO 损失 $\mathcal{L}_{\mathrm{labeled}}(\theta) = -\mathbb{E}_{(c,x^w_0,x^l_0)\sim\mathcal{D}_{\mathrm{labeled}}}\log\sigma(z^{(t)}_\theta)$ 训练 $p^0_\theta$，学习率 $4\times10^{-9}$，1,600 步，linear warmup 400 步，$\beta=2500$，全局 batch size 512（32 张 A100 单卡 batch=4 × 梯度累积 4）。**Step 3：时间步条件伪标签生成 (Timestep-Conditional Pseudo-Labeling)**。用上一轮模型 $p^{i-1}_\theta$ 对 $\mathcal{D}_{\mathrm{unlabeled}}$ 中每一对的每一个 timestep $t$ 计算 logit $z^{(t)}_{\theta^{i-1}}$，把扩散时间线 $[0, 999]$ 分成 10 个区间 $I_j$，按区间设置动态阈值 $\tau^{i-1}_{\alpha(t)}$（初始为各区间置信度的 80% 分位数；任何区间在干净测试集上精度低于 70% 时上调阈值）。$\mathrm{sign}(z^{(t)}_{\theta^{i-1}}) > 0$ 保留原 winner/loser，否则互换二者身份，$|z^{(t)}_{\theta^{i-1}}| > \tau^{i-1}_{\alpha(t)}$ 才被选入本轮伪标签集。**Step 4：复合目标自训练 (Iter $i$, $i=1,2$)**。新模型 $p^i_\theta$ 的目标函数 $\mathcal{L}^{(i)}_{\mathrm{Semi\text{-}DPO}}(\theta) = \mathcal{L}_{\mathrm{labeled}}(\theta) + \mathcal{L}^{(i)}_{\mathrm{unlabeled}}(\theta)$，前者用 $\mathcal{D}_{\mathrm{labeled}}$ 上的 Diffusion-DPO 损失作为锚点防止漂移，后者仅在 Step 3 选出的高置信伪标签对上计算标准 DPO 损失。Iter 1 与 Iter 2 各训练 4,000 步，学习率降到 $4\times10^{-10}$，其他超参与 Iter 0 一致。**Step 5：收敛判定**。经验上 Iter 1→Iter 2 的提升已明显变小，作者据此建议两轮自训练即可（132 GPU 小时，比单轮 Diffusion-DPO 基线的 192 GPU 小时还少），再加一轮到 228 GPU 小时收益边际。

技术新颖性集中在三点。第一，**理论贡献**：首次把 Diffusion-DPO 的梯度 $\nabla_\theta\mathcal{L}^{(t)}_{\mathrm{DPO}}$ 写成 $-(1-\sigma(z^{(t)}_\theta))\cdot\beta\cdot\Delta\phi^{(t)}_\theta$，再用全概率方差公式证明 $$\mathrm{Var}[\langle -g^{(t)}_\theta, v_k(\theta,t)\rangle] \geq p_{a,k}\cdot p_{c,k}\cdot(m^{(t)}_{a,k} + m^{(t)}_{c,k})^2$$ 把'多维偏好 → 二值标签'的不稳定性严格量化——只要冲突质量 $p_{c,k} > 0$，方差下界就被冲突量与对齐量的乘积决定，解释了为什么训练会震荡。第二，**隐式分类器创新**：把 DPO logit $z^{(t)}_\theta$ 当作 timestep 级二分类 logit 用，不需要任何架构改造或辅助网络就能在 $\mathcal{D}_{\mathrm{unlabeled}}$ 上生成细粒度伪偏好；这与 Zhang 等人 2025、Dollar 等'显式 latent reward model'路线形成鲜明对比——后者要单独训练一个共享 VAE 编码器的奖励模型，架构特定，无法跨 SD1.5/SDXL 复用。第三，**时间步解耦冲突**：把单条冲突标签在扩散时间线上展开成'早期 A 赢、晚期 B 赢'的细粒度信号，巧妙利用了扩散过程的层级语义，把语义级别的冲突在表征级别化解，是论文最具巧思的设计。

**弱点 1：Multi-Reward Consensus 的覆盖率太低**。5 个 reward 全员一致仅得到 21% 的样本（17.7 万 / 85.1 万），其余 79% 被丢进噪声集自训练，浪费了大量潜在的干净信号。建议改进方向是引入 MPS 这类逐维可调用的奖励模型做更细致的筛选，或者用 soft consensus（如加权投票而非硬一致）放宽门槛，使干净集比例提升到 40–50%。**弱点 2：动态阈值依赖经验规则**。$\tau^{i-1}_{\alpha(t)}$ 用 80% 分位数初始化、再按 70% 精度上调，这种 piecewise 策略在表 7 中显示 $t \geq 650$ 时精度已经掉到 65–69%，此时阈值会偏向保守、几乎不放行晚期时间步的伪标签，相当于损失了晚期信号的细化能力。改进方向是引入学习式阈值（如 FlexMatch 的课程式调度）或者直接用置信度-精度校准曲线自适应选择。**弱点 3：评测覆盖度不足**。论文只用了 SD1.5/SDXL 两个底座且只在 Pick-a-Pic V2 一个数据集上训练，没有在 SD3、FLUX、DALL-E 3 等新一代架构或 LAION-Preference 等其他偏好数据集上验证；同时人工评估（user study）缺失，定性对比仅靠作者挑选的 prompt。改进方向是补齐跨架构、跨数据集、消融 prompt 模板的人工评估。**弱点 4：迭代自训练仍依赖 anchor loss 防漂移**。说明 confirmation bias 并没有被完全消除，模型仍然可能在某些维度上'过度自信地偏向自己'。改进方向是引入多模型 ensemble 做伪标签（如附录 6.7 提到的 $i$ 与 $i-1$ 代模型的 ensemble），降低单模型偏差。

**作者提出的方向**：(1) 附录 6.7 描述了一个清晰的在线扩展路线图——冷启动后用第 $i$ 代和第 $i-1$ 代模型共同组成隐式 reward ensemble 对在线采样图像打伪偏好，把 Semi-DPO 从离线推到在线范式，同时继承隐式 latent reward 的跨时间步优势，又规避显式 latent reward 必须共享 VAE 的架构限制；(2) 探索统一单遍 pipeline 替代多阶段训练以降低工程复杂度；(3) 与 latent reward model、DPO 变体（如 KTO/SPO）正交结合。**基于成果可延伸的方向**：(1) 把 Semi-DPO 的'timestep 解耦冲突'思路推广到 RLHF 通用框架，例如在 LLM 的 DPO 训练中也识别多维偏好（helpfulness vs harmlessness vs factuality）并按 token 位置或训练阶段解耦；(2) 把'扩散模型自身即分类器'的洞察用到反演/编辑任务，比如用 DPO logit 做 image2image 的精细控制；(3) 与一致性模型 / few-step diffusion（Dollar 等）结合，把隐式 reward 应用到蒸馏过程；(4) 用 Semi-DPO 的伪标签机制生成更难、更具区分度的偏好数据，迭代提升 Pick-a-Pic 等数据集本身的质量。

代码与模型仓库 https://github.com/L-CodingSpace/semi-dpo 与项目页 https://liming-ai.github.io/SemiDPO 在论文中均已公开承诺开源。从复现可行性看：底座模型 SD1.5（公开权重）和 SDXL（公开权重）、训练数据 Pick-a-Pic V2（公开）、5 个奖励模型（CLIP/LAION Aesthetic/HPSv2/ImageReward/PickScore，全部公开权重与推理代码）均无需额外申请。训练细节在附录 6.9 中给出——32 张 NVIDIA A100 40GB、local batch 4、梯度累积 4 得到全局 batch 512、$\beta=2500$、Iter 0 用 lr $4\times10^{-9}$ 训 1,600 步、Iter 1/2 用 lr $4\times10^{-10}$ 各训 4,000 步、400 步 linear warmup，作者明确报告完整 GPU 小时数（132 vs 192）便于算力预算。**复现难度评估**：中等偏上。理论上没有难以复现的 trick，hyperparameter 都写明；但 (1) 5 个 reward 的多进程打分与缓存需要约几十 GB 存储和工程化 pipeline；(2) 自训练两轮各 4,000 步 + Iter 0 1,600 步总计 ~228 GPU 小时对个人研究者门槛较高（作者建议跑 Iter 0+1 的 132 小时即可获得 95% 性能）；(3) 干净集划分依赖 5 个 reward 的版本对齐与 dtype 一致性，稍有偏差就会改变 $\mathcal{D}_{\mathrm{labeled}}/\mathcal{D}_{\mathrm{unlabeled}}$ 的 21%/79% 切分，进而影响所有后续结果。建议复现时优先用官方脚本而非自行拼装 pipeline。