扩散模型的在线策略自蒸馏 On-Policy Self-Distillation in Diffusion Models

完整流程（Algorithm 1）：输入可训练策略 $v_\theta$、奖励 $R$、解码器 $D$、prompt 集 $C$、组大小 $K$、请求噪声级 $\sigma^\star$、半径 $\rho$、目标步数 $M_{tgt}$、拟合预算 $M_{fit}$、分支系数 $\beta$、共享损失/裁剪尺度 $c_{adv}=5$ 与稳定子 $\epsilon_Z,\epsilon_g,\epsilon_\gamma$。第一步 rollout：行为策略每个 prompt 采 $K$ 条轨迹（SD3.5-M 为 24 张/组、48 组/轮；Z-Image-Turbo 为 12 张/组），得端点奖励 $r_{kc}$，选 $\sigma_q=\arg\min_j|\sigma_j-\sigma^\star|$，输出 detached 查询。第二步权重：$\omega_{kc}=\tfrac12+\tfrac12\,\mathrm{clip}\big((r_{kc}-\bar r_c)/Z_{\mathcal B},-1,1\big)$，$Z_{\mathcal B}=c_{adv}(\hat\sigma_{\mathcal B}+\epsilon_Z)$ 用整批标准差、$\bar r_c$ 为组内均值。第三步构造：从 $y_0$ 出发按 $y^{(m+1)}_\pm=y^{(m)}_\pm\pm h_{step}\,\nabla_y\tilde R/(\|\nabla_y\tilde R\|_2+\epsilon_g)$ 迭代 $M_{tgt}=2$ 步，每步投影回信任域球，输出 $\bar y^\pm=\mathrm{sg}(y^{(M_{tgt})}_\pm)$；正负路径共享 $y_0$ 处的同一奖励梯度以省算力。第四步拟合：用冻结行为策略重算锚点，按双分支加权归一化平方损失（自适应法向 $\gamma^\pm$ 为 stop-gradient 的残差平均绝对值）累积小批量，执行 $M_{fit}=1$ 次 AdamW 更新（学习率 $3\times10^{-4}$）。第五步刷新：$\theta_{old}\leftarrow\eta_{beh}^{(u)}\theta_{old}+(1-\eta_{beh}^{(u)})\theta$，$\eta_{beh}^{(u)}=\min\{10^{-3}u,0.5\}$，另有 checkpoint EMA 输出权重平均的最终模型。全部训练用 LoRA（rank 32、alpha 64），单节点 8×A800-80GB。

新颖性体现在四个层面。第一，问题形式化：把扩散后训练明确拆成「reward-to-target 接口」与「有限实现」两个耦合阶段，给出 $G_{realized}=G_{construct}-G_{fit}$ 的精确分解和拟合鸿沟的三种失效模式（欠实现、旋转、过冲），这是此前工作没有的分析语言。第二，机制设计的自洽性：在清洁输出坐标上做信任域归一化梯度步，一般 affine 调度可由 $y_t=(\dot\sigma_t z_t-\sigma_t v_t)/\Delta_t$ 换算；证明低噪声解码稳定（$\|y_v-y_{v^*}\|_2\le\sigma\|v-v^*\|_2$），并证明该损失精确等价于一对带 $\sigma_q^2$ 权重的速度 MSE（$\sigma_q^2$ 因子在平方后消去），无需特殊策略梯度估计器。第三，正负双分支：与 DiffusionNFT 的端点分裂不同，正负目标由同一锚点的奖励上升/下降梯度推出，局部对称时两分支合力指向同一改进方向，$\omega$ 只在不对称时起调节作用；这把「采样优劣加权」升级为「构造优劣方向」。第四，实证方法论：同查询受控实验发现 HPSv2.1 上目标排序在单次 fresh-AdamW 拟合后以 62.3% 的 prompt 反转，说明构造增益不能预测实现增益——这一反直觉结论对整个奖励驱动后训练领域都有警示价值。附录 C.9 的 CFG 补偿恒等式 $\|A_{\zeta_{ev}}(\Delta v_c,\Delta v_u)-\Delta v_{tar}\|^2=(\zeta_{ev}-\zeta_{tr})^2\|\Delta v_{gap}\|^2$ 还解释了训练/评估引导尺度失配带来的二次惩罚。

独立弱点分析：(1) 依赖可微奖励——整条目标构造链需要 $\nabla_y\tilde R$，无法直接使用不可微信号（人类偏好对、点击反馈、不开放梯度的专有奖励 API）。改进方向：训练代理奖励模型提供替代梯度，或用无梯度搜索/图像编辑操作近似上升方向。(2) 单一低噪声查询——每条轨迹只在一个 $\sigma_q$ 处取监督，早期高噪声步决定的全局结构（布局、物体计数、构图）基本不受约束；论文证据是低噪声下前向加噪对照几乎无损，但 $\sigma=0.90$ 时性能明显崩落。改进方向：多噪声级查询并利用 $\partial y/\partial v=-\sigma I$ 的调度因子做预条件校正。(3) 拟合鸿沟不可预测——fresh-AdamW 的近似符号归一化使「半径匹配」不等于「参数步匹配」，目标排序可反转（62.3%）；改进方向：把响应核 $K(s,s_i)$ 纳入目标设计的目标感知优化器、二阶/自然梯度预条件，或按测得的 $G_{fit}$ 在线自适应调整 $M_{fit}$。(4) 工程复杂度与显存——需并行奖励服务器（VLM 奖励占用 2 张 GPU）、Z-Image-Turbo 峰值显存更高；改进方向：奖励骨干量化、梯度检查点、目标库复用与新鲜度调度。(5) 奖励鲁棒性——100 更新内奖励大幅上涨，但对分布外 prompt 的泛化、图像多样性与奖励黑客风险只有 VLM-Pairwise 对固定参考图的间接检验，缺乏长期训练（>1000 更新）的稳定性证据。

作者提出或可自然延伸的方向：(1) 更高效、可诊断的对齐——把 $G_{construct}/G_{fit}$ 审计做成常规训练仪表盘，用于在线监控、早停与超参搜索；(2) 推广到一般 affine 调度——只需替换清洁输出映射（式 21），可覆盖 DDPM 式调度与视频扩散模型；(3) 变噪声扩展——当前固定 $\sigma_q$ 使速度梯度带 $-\sigma_q/\Delta_q$ 因子，跨噪声级的等影响训练需要预条件校正；(4) 梯度差异诊断——在小验证集上估计固定后缀奖励梯度与局部奖励梯度的余弦相似度 $\kappa$，无需把端点反传放进训练环，用于验证局部目标的有效性假设；(5) 基于本文成果的延伸：把显式中间目标与少步/一致性蒸馏深度结合（Z-Image-Turbo 的结果已证明可行性）；在加权组合之外引入偏好向量或 Pareto 目标处理多奖励冲突；用成对比较构造目标实现无需可微奖励的在线偏好学习；以及把构造-实现分解理论化到有限 AdamW、批量拟合与分布漂移并存的完整在线情形。

复现评估：论文未提及代码开源（正文只给出 Project Page: DiffusionOPSD 与通讯邮箱），阅读时未见官方仓库链接，复现需自行实现。可复现性要素披露非常充分：全部超参数（AdamW lr $3\times10^{-4}$、betas $(0.9,0.999)$、权重衰减 $10^{-4}$、LoRA rank 32/alpha 64、$M_{tgt}=2$、$\eta_{tgt}=1.0$、$\rho=0.10$、$\beta=1.0$、$c_{adv}=5$、$\epsilon_Z=10^{-4}$、$\epsilon_g=10^{-12}$、$\epsilon_\gamma=10^{-5}$、$\sigma^\star=0.278/0.273$、$\eta_{beh}=\min\{10^{-3}u,0.5\}$、checkpoint EMA 规则）与数据协议（Pick-a-Pic 训练、DrawBench 留出）完全公开。十个评估器中七个开源（PickScore、CLIPScore、HPSv2.1、Aesthetic、ImageReward、HPSv3 7B、DeQA），三个内部评估器（内部对齐 RM、VLM-Pointwise、VLM-Pairwise 及其 Seedream 5.0 Pro 参考图）不可获得，对应列无法复现。算力：单节点 8×A800-80GB，单个 100 更新运行约 28–150 GPU 时（依骨干），主表背后有 70 个奖励特定运行加两个 300 更新联合运行，总量在千 GPU 时量级；VLM 奖励需另配奖励服务器。总体复现难度中高：主要工程量在 rollout + 奖励反传微批与多进程奖励服务；方法本身无外部教师、无似然估计、无轨迹级反传，工程难度低于 FlowGRPO 类方法。