基于噪声追踪配对的整流流离线偏好优化 Offline Preference Optimization for Rectified Flow with Noise-Tracked Pairs

**Step-1 数据准备**：从 DiffusionDB (180 万 prompt) 出发，先用 Detoxify 做 NSFW 过滤（阈值 0.1，保留 83.67%），再做 Jaccard 文本去重 + ViT-H/CLIP 语义去重（相似度阈值 0.8），最后用 KNN 聚类（K=100，每簇 200 prompt）平衡语义覆盖，得到 2 万条干净多样的 prompt。 **Step-2 生成 noise-image pair**：把 prompt 喂进待微调的 RF 模型本身 (FLUX.1-dev 或 SD3-M)，Euler scheduler、CFG=1、50 步采样，对每个 prompt 从 $\mathcal{N}(0,I)$ 采一对噪声 $(x_T^w,x_T^l)$，生成两张图 $(x_0^w,x_0^l)$。和传统数据集的关键差异：把这对 prior noise 一起存下来，于是样本变成 (prompt, $x_0^w$, $x_T^w$, $x_0^l$, $x_T^l$, $\delta_r$) 六元组 $\mathcal{D}_{\mathrm{PNAPO}}$。用模型自己当基础是为了稳定偏好对齐。 **Step-3 打分**：用预训练 HPSv2.1 计算 $\delta_r=r_\theta(x_0^w)-r_\theta(x_0^l)$ 作为连续奖励差，既是伪标签也是数据清洗器。 **训练目标**：在 $\mathcal{D}_{\mathrm{PNAPO}}$ 上最小化 $L_{\mathrm{PNAPO}}(\theta)=-\mathbb{E}\log\sigma\bigl(-\beta(\delta_r,n)\bigl(s_\theta(x_0^w,x_T^w,c)-s_\theta(x_0^l,x_T^l,c)\bigr)\bigr)$，其中 $s_\theta(x_0^*,x_T^*,c)=\|(x_T^*-x_0^*)-v_\theta(x_t^*,t,c)\|_2^2-\|(x_T^*-x_0^*)-v_{\mathrm{ref}}(x_t^*,t,c)\|_2^2$，$x_t^*=(1-t)x_0^*+tx_T^*$。 **动态正则化**：$\beta(\delta_r,n)=\beta\cdot f(\delta_r)\cdot g(n)$，其中 $f(\delta_r)=2\sigma(\delta_r)-1\in[-1,1]$ 随奖励差单调逼近 1，$g(n)$ 在 $n\le n_1$ 取 1、$n\ge n_2$ 取 $1/2$，中间用余弦退火。直觉：margin 为负（winner 还不够好）时，$\delta_r$ 越大 $f$ 越大 $\beta$ 越大，梯度更激进；训练后期 $g$ 减小，把模型拉回参考防止漂移。

技术新颖性体现在三处：1）数据 schema 升级到六元组，使得 trajectory identity 不再被丢弃，这是和所有 diffusion-DPO 数据集的根本区别；2）严格证明了端点条件化估计的 KL 上界更紧（式 12），并由此导出基于插值的 score 函数 $s_\theta$——这个 $s_\theta$ 用 $x_T-x_0$ 作「速度目标」、$x_t$ 作「查询点」，是 RF 专享的写法；3）把 reward-gap-aware 动态正则化从算法层面嵌入损失，让 PNAPO 同时获得「按样本难度缩放梯度」和「按训练进度缩放正则化」两项功能，相比固定 $\beta$ 在 FLUX 上 PickScore 从 22.97 提升到 23.19，HPSv2.1 从 30.84 提升到 31.71（表 4/5）。

**弱点 1：跨模型不可迁移**。如附录 D.2 所述，FLUX 生成的 noise-image pair 不能用于 SD3-M 微调，反之亦然。这意味着每次换基础模型都要重新跑 Step-2 生成数据，浪费算力。改进方向：可以借鉴 distribution matching 的思路，先把不同模型的噪声分布用一个 normalizing flow 或 adversarial 对齐模块映射到统一空间，再共享数据。 **弱点 2：Position / spatial reasoning 改进有限**。表 3 中 PNAPO-SD3-M 的 Position 从 0.32 到 0.32 没动，FLUX 从 0.20→0.24 也只动 0.04。说明现有数据集中「空间关系偏好」样本不够。改进方向：在 prompt 筛选阶段加入空间关系关键词的过采样，或在 reward model 里混合一个专门的空间打分器。 **弱点 3：reward model 选择敏感**。表 6 显示 HPSv2.1 训练后 PickScore 23.19，Aesthetic 训练后 PickScore 23.10、但 Aesthetic 6.509 比 HPSv2.1 的 6.475 还高——典型的 reward hacking 征兆。改进方向：引入多奖励 ensemble 或对抗性 reward shaping，避免单一 reward 主导优化方向。 **弱点 4：固定超参 $(n_1, n_2)$ 不能自适应**。表 7 显示 $(500,2000)$ vs $(1000,2000)$ vs $(1000,3000)$ 之间 PickScore 波动 0.18，说明这个调度很脆。改进方向：让 $n_1,n_2$ 随 loss 曲率或 reward 饱和度自动调节，类似 cosine warmup with restarts。

作者明确提到的方向：1）扩展到 online 范式，把 PNAPO 当作 offline initializer 再接在线 RL 微调；2）用 MLLM 做 prompt 对齐和改写，把低质 prompt 重写后再喂给 pipeline；3）把动态参数 $(n_1,n_2,\beta)$ 做成自适应而非人工设定。基于本文成果可延伸的方向还包括：4）把「prior noise tracking」思想推广到视频 RF 模型（Step-Video-T2V、Wan 等），那里轨迹长度更长、reward 更稀疏，可能收益更大；5）把 RF 直线特性作为归纳偏置，结合 RLHF 做 on-policy 校正，看能否进一步提升 alignment；6）扩展到 discrete diffusion / masked generative models（BORSO 等已迈出第一步），研究 trajectory identity 概念在离散状态空间下的等价物；7）作为安全对齐工具，把 reward gap 大且方向相反（人类偏好 vs HPSv2.1）的样本用于 red-teaming。

**开源情况**：论文未给出代码链接，但附录 E.1 详细列出了全部超参：8×H800 GPU、AdamW、lr=1e-6、500-step linear warmup、CFG=1、50 sampling steps、FLUX LoRA rank 32、SD3-M 全参数微调、gradient accumulation 8。**数据**：从 DiffusionDB (180万 prompt) 经 Detoxify (阈值 0.1) + Jaccard (0.8) + CLIP cosine (0.8) + KNN (K=100, 200/簇) 处理后保留 20k prompt，每 prompt 采一对噪声生成两张图。**算力门槛**：FLUX LoRA 35.2 GPU-hours ≈ 不到 5 块 H800 跑一天，比 Diffusion-DPO 的 422.4 GPU-hours 友好得多；SD3-M 全参数 20.8 GPU-hours 更轻量。**复现难度**：中等偏易。RF 公式和 DPO 损失都是经典组件，插值估计的代码量不大；数据集构造需要写完整的 prompt 清洗 + 配对生成 pipeline，但因为只跑一次（offline），整体可以接受。最大的不确定性是 HPSv2.1 评分在不同实现下的微小差异，以及 KNN 聚类随机种子对 prompt 覆盖的影响。建议复现时先在小规模 2000 prompt 上做 sanity check，再扩展到 20k。