ViPO：规模化视觉偏好优化 ViPO: Visual Preference Optimization at Scale

Poly-DPO 训练流程分为三步：第一步，把 Diffusion-DPO 的对数 sigmoid 损失 $\log\sigma(\beta \log(p_\theta(x_w)/p_{\text{ref}}(x_w)) - \beta \log(p_\theta(x_l)/p_{\text{ref}}(x_l)))$ 重写为二元交叉熵形式 $L_{DPO} = -\log p_{w>l}$，其中 $p_{w>l}=\sigma(\text{logit})$ 是模型当前给 winner 的隐式偏好概率。该形式等价于把偏好学习重新诠释为「winner-vs-loser 二分类」。第二步，对 $-\log p_{w>l}$ 做 Taylor 展开得 $-\log p = \sum_{j=1}^{\infty} \frac{1}{j}(1-p)^j$。依据 Poly Loss 思想只扰动梯度贡献最大的第一项得到 $L_{Poly-DPO} = -\log p_{w>l} + \alpha(1-p_{w>l})$。第三步，按数据特性选择 $\alpha$：$\alpha > 0$（论文在 Pick-a-Pic V2 上 $\alpha=8$）适用于冲突偏好分布，$\alpha < 0$ 适用于过度简单分布，$\alpha = 0$ 适用于干净平衡数据，参数选择可通过在 $\{-1,-0.5,0,0.5,1,2,4,6,8,10\}$ 网格搜索确定。ViPO 数据集构建流程分为四个子模块并行执行：(A) 美学对：从 ProGamerGov DALL-E 3 数据集采 200K 提示，由 Seedream-3.0 重生成一张配图，再经 Qwen2.5-VL-32B、Seed-VL-1.5、Q-Insight 三模型多数投票标注偏好；(B) 文本-图像对齐对：用 Seed-VL-1.5 对原始 caption 做 25 个维度（风格、光照、构图、季节等）的扰动，原图为 winner、扰动图为 loser，由 Seedream-3.0 生成；(C) 文字渲染对：从 CoverBook、movie posters、LAION-Aesthetics 三个来源集齐 200K 文字居多的提示词，仅用 Qwen-Image、HiDream-I1、Seedream-3.0、FLUX.1-dev 四款擅长文字的模型生成，先用 PaddleOCR-3.0 自动判定一图对错，再用 Seed-VL-1.5 仲裁歧义对；(D) 人像质量对：从现有数据筛 80K + 生成 120K（10 个开源模型各 10K 张 + Qwen-Image 20K 张），统一用 Seedream-3.0 重生成配对，由 Seed-VL-1.5 评判谁更真人。视频部分 (ViPO-Video-300K) 三个子任务（运动质量、视频-文本对齐、视觉质量）各 100K 对，主要采用 Seedance-1.0 作为偏好生成器，用 I2V 模式保持空间一致性。所有 ViPO 训练最终采用两阶段管线：先 SFT 仅用 winner 图像微调（学习高偏好分布），再以 SFT 模型同时初始化策略模型和参考模型做 Poly-DPO 训练，$\beta=500$，batch size 512，AdamW 学习率从 4e-9 到 1e-9 不等。

Poly-DPO 的技术新颖性体现在三方面：(1) 算法侧，把 Poly Loss 从分类任务首次迁移到偏好优化领域，利用 DPO 的二元交叉熵等价形式实现极简扰动，仅两行代码、一个超参数 $\alpha$，这是对 Leng 等人 2022 年 Poly Loss 工作的视觉领域跨域适配；(2) 理论视角，把 $\alpha$ 重新诠释为「数据集噪声诊断器」——正 $\alpha$ 暗示冲突噪声、负 $\alpha$ 暗示过度简单、近零 $\alpha$ 验证数据清洁——这是前人没有意识到的诊断价值；(3) 经验发现，在 1024px 百万级高质量偏好数据上 Poly-DPO 自然退化为标准 DPO（$\alpha=0$ 最优），这反过来说明数据质量才是扩展性的根本瓶颈，这一观察为今后视觉偏好学习的研究优先级提供了清晰指引。ViPO 数据集的新颖性则集中在「分类化构建 + 顶级生成器 + VLM 多数投票」三位一体：与 Pick-a-Pic（随机抓取、SD2.1/SDXL 主观标注）和 HPDv2/v3（随机抓取、SD 系列）相比，ViPO 按五个独立维度分别构建 20 万对，每对标注都基于同一类内的明确标准（如人像质量专门评判解剖学正确性、美学专门评判艺术感染力），避免了跨维度冲突。每个子数据集专门选择该维度最强的生成器——文字渲染用 Qwen-Image 等擅长 OCR 的模型、人像用 10 个模型并行生成以保证多样性。所有标注采用三模型多数投票（Qwen2.5-VL-32B、Seed-VL-1.5、Q-Insight），相对单人打分更稳定。这种「分类 + 多模型 + 多投票」的工业化数据生产范式，是已有的 open-source 偏好数据集（Pick-a-Pic/HPD 系列）所没有的工程标准。

独立分析三个值得注意的弱点：(1) $\alpha$ 缺乏自适应机制——Poly-DPO 强迫使用者事先知道数据噪声水平（$\alpha=8$ for noise、$\alpha<0$ for over-simple、$\alpha=0$ for clean），但实际任务中这个判断极难做。改进方向是引入 $\alpha$ 的在线估计器，比如根据训练 batch 内 $p_{w>l}$ 的分布方差自动调节 $\alpha$，或者把 $\alpha$ 设计为时间相关函数（前期 $\alpha$ 大让模型探查、中后期 $\alpha$ 收敛到 0 精细化）。(2) ViPO 数据集偏好标签对 VLM 质量的依赖过高——论文自己也承认 VLM 在 Motion Quality 上仅 55% 一致率。这意味着视频部分的偏好标签可能本就充满噪声。改进方向是双管齐下：一方面用专门设计为视频理解的多模态大模型（例如可以同时看 24 帧光流的 Video-LLaVA）重新标注运动质量子集，另一方面引入更精细的子维度分解（如运动平滑度、动作合理性、相机控制分别打分）降低单次判断的认知负荷。(3) 所有 SD3.5-Medium、FLUX.1-dev 实验都以 SFT 作为 Poly-DPO 的前置阶段，但论文没解释为什么 SFT（仅 winner）优于 SFT（winner+loser），直觉上 winner+loser 提供了更多信息。论文 Table 9 显示这个差距其实不大（PickScore 22.06 vs 22.19），但缺乏对背后机理的理论分析（是不是因为 loser 引入了 SFT 数据分布外的样本污染了 SFT 流形？）。改进方向可以做更细致的 SFT 数据消融，比如固定 winner 但随机替换不同难度的 loser，看 SFT 性能如何随 loser 难度变化。(4) 视频评估只在 Wan2.1-T2V-1.3B（最小模型）上做，未在 Wan2.1-14B、HunyuanVideo、CogVideoX 等更大模型上验证，规模化效果未知。(5) 训练稳定性虽好但作者仅展示了 Pick-a-Pic V2 的曲线（Figure 10），ViPO 训练曲线缺失，无法判断 ViPO 的高数据质量是否天然带来更好的优化轨迹。

论文 §F 给出三方向未来工作，我基于成果可延伸的视角补充三条：(1) 作者方向——开展 ViPO 的人类标注大规模对照实验，量化 VLM 标签与人类标签的相关系数，并据此迭代改进 judge VLM；(2) 作者方向——把 $\alpha$ 改造为可学习参数，根据 batch 统计量或模型置信度分布在训练过程中动态调整，让 Poly-DPO 成为真正自适应的偏好优化算法；(3) 作者方向——研究维度间的显式权衡，例如在损失函数中加入用户指定的维度权重实现「偏好可控生成」；(4) 延伸方向——把 ViPO 的「分类化 + 顶级生成器 + 多 VLM 投票」工业化数据生产范式扩展到 3D（NeRF / Gaussian Splatting）、音频（MusicGen 类）、具身机器人动作（diffusion policy）等新模态，验证该流程跨模态的可迁移性；(5) 延伸方向——把 ViPO 与 reward model 训练相结合，用 ViPO 既训练 DPO 又训练 reward model，让两者在多任务上形成协同增强；(6) 延伸方向——把 $\alpha$ 的诊断价值反向利用：当观察到最佳 $\alpha$ 远偏离 0 时，说明数据集本身有问题，应优先投资在数据清洗而非算法微调上，这种「诊断驱动决策」思路可以把数据集迭代从「盲改」变为「定向修正」。

论文对复现的支持相对充分。代码和模型权重承诺在 https://github.com/liming-ai/ViPO 开源（项目页 https://liming-ai.github.io/ViPO 当前展示中）。数据集方面分两档：(a) 含闭源 Seedream-3.0 / Seedance-1.0 输出的原版因 IP 限制不公开，(b) 公开版 ViPO-Image-1M-Open 和 ViPO-Video-300K-Open 替换为 FLUX.2-dev + Wan2.2-A14B-I2V，已验证效果与原版高度一致（SD3.5-Medium 用 Open 版 GenEval 0.81 vs 原版 0.83，DPG-Bench 87.57 vs 87.71，CVTG-2K 0.6791 vs 0.6995），可作为有效替代。训练细节在论文 §D 中完整披露：SD1.5 batch 512、learning rate 4e-9（SFT）和 1e-9（Poly-DPO）、$\beta=500$、steps 8000；SDXL 同样 batch 512 但 lr 更小；SD3.5-Medium 和 FLUX.1-dev SFT 用 batch 2048、lr 1e-8（SFT）/ 5e-9（DPO）。算力门槛较高：构建 ViPO 本身需调用十几个 SOTA 生成模型各跑数万到数十万次（Qwen-Image 20K 张人像 + 4 模型各十万级任务），是 token 级别耗资巨大的工程；单模型训练用 8 卡 A100 级别 GPU 大致可复现 SD1.5 实验，SD3.5-Medium / FLUX.1-dev 则需要数十到上百 GPU 时。复现难度中等偏难——算法本身可一行 import，数据集 pip install 即可加载，但完整复现实验需要 GPU 集群和 ViPO 全数据集（含闭源版本的数十 TB 图像-提示对）。建议从 SD1.5 + ViPO-Image-1M-Open 开始复现，迭代周期最短。