FewStepRL：用强化学习微调少步扩散模型 FewStepRL: Fine-tuning Few-step Diffusion Models with Reinforcement Learning

完整流程是一个外层迭代，七个训练器共享同一骨架：(1) Rollout：旧策略 $u^{old}$（$u_\theta$ 的 EMA）为每个 prompt 采样 $K$ 个成员（图像 48 prompts × K=24 = 1152 rollout；视频 K=16、2048 rollout），除 FewStepGRPO 用随机 SDE 采样器（每步先跳到 $s_j\le t_{j+1}$ 再加噪并保留转移）外都用确定性跳转 $\hat{x}_r=\hat{x}_t-(t-r)u_\theta(\hat{x}_t,t,r)$；FewStepOPSD 额外做奖励耦合构造——从 $r=0$ 的旧策略预测出发沿 $\pm\nabla R$ 走 $M_{tgt}=2$ 步归一化梯度（步长在信任半径 $\kappa\|\tilde{x}^{old}\|$ 内投影），得到 detached 的构造点 $\tilde{x}^{\pm}$。(2) 奖励与优势：解码并打分 $R^{(i)}=R(D(\hat{x}^{(i)}),c)$，组内减均值、全局 batch 求标准差得 $A^{(i)}$，再压缩成有界混合权重 $\hat{r}^{(i)}=\frac12+\frac12\mathrm{clip}(A,-c_{adv},c_{adv})/c_{adv}\in[0,1]$。(3) 辅助拟合（仅 v-aux）：更新策略前用流匹配损失拟合 $v_\phi$ 共 $n_{fm}=5$ 步。(4) 训练损失：$n_{it}=4$ 个内层迭代各抽查询 $(t,r)$（$r|t\sim U(0,t)$，固定比例设 $r=t$ 与 $r=0$），计算预测与三锚点（v-ind 用方向差分估计 $\mathcal{J}$ 且一次共享于当前与旧策略；v-aux 用 $v_\phi$），累加解耦损失 $\mathcal{L}=W_{reg}\,\mathrm{meansp}\|\tilde{x}_\theta-\tilde{x}_{reg}\|^2+W_{rwd}\,\mathrm{meansp}\|\tilde{x}_\theta-\mathrm{sg}(\tilde{x}_\theta+g)\|^2+\lambda_{KL}\mathcal{L}_{KL}$，其中 $g=\omega(\tilde{x}_{rwd}-\tilde{x}_{base})$，最后取一次优化器步。(5) Refresh：$u^{old}\leftarrow$EMA$(u_\theta)$。各变体只覆写锚点/权重等钩子：FewStepGRPO 的预测是打分核均值 $\mu_\theta=\alpha_t x_t-b_t(u_\theta+\mathcal{J})$；ReFL 是 $M_{tgt}=1$、仅上升分支、$W_{reg}=0$ 的 FewStepOPSD 特例。

新颖性有四层。其一，统一的梯度级视角是新的：转移似然（FlowGRPO）、速度加权回归（AWM）、隐式策略对比（DiffusionNFT）、分布匹配（DMD）、奖励反传（ReFL）表面上完全不同，本文证明它们在 x 空间共享同一解耦梯度形式，把方法设计空间压缩为『锚点+权重』的离散选择。其二，少步适配是构造性的而非逐例推导：u-form 只训练流图 $r=0$ 边缘、v-form 通过重采样 $r$ 训练整个 $u_\theta(\cdot,t,r)$ 族；共享-J 技巧（$\mathcal{J}$ 只在旧策略上估计一次，且在自回归差与 $\mathrm{sg}(\cdot)$ 内全部抵消）与 J-free $(t,r)$ 查询使 FewStepOPSD/ReFL 的损失完全不依赖 $\mathcal{J}$，省去每查询两次额外前向。其三，一个干净的理论发现：ReFL 恰是 DiffusionOPSD 框架在 $M_{tgt}=1$、$W_{reg}=0$、仅上升分支配置下的 detached 代理。其四，工程贡献：七个训练器在一个代码库里只覆写钩子，rollout、奖励、评估全部共享，消除了跨论文比较中实现差异的干扰——这种公平基准在 RL-for-diffusion 文献中少见。

(1) v-ind 的方向差分 $\mathcal{J}$ 每查询需 2 次额外 no-grad 前向，直接造成 MeanFlow 系比 DMD 系慢约 120 s/iter（图像）；改进方向：由于旧策略在一个外层迭代内不变，可跨内层迭代缓存/复用 $\mathcal{J}$，或低频重估、或用小型网络参数化修正项。(2) 奖励梯度类方法在视频上需逐 latent token 反传并逐帧解码（仅 21/81 帧），既贵（GPU-h 最贵）又不忠实（fp32 化后梯度方向仍显著偏移）；改进方向：训练 latent 空间奖励代理头绕过 VAE 解码、利用因果前缀缓存解码、或用随机投影近似全梯度。(3) 标量混合奖励的组优势无法同时推动各分项——五个组优势方法的 CLIPScore 全部下降；改进方向：对每个奖励分项分别标准化得到向量优势，按维度做 GRPO 或 Lagrangian 约束优化。(4) DMD 系的 $v_\phi$ 在视频上反超变慢（每迭代拟合约 144 s，净增 84–87 s），且其大奖励增益常伴随更大留出退化（如 DMDAWM 的 HPSv3 12.86→5.05）；改进方向：EMA/低频更新 $v_\phi$、混合自感应与辅助估计、或对留出指标做早停。(5) test-time scaling 失效且 OCR-heavy prompt 在多步下崩溃成纯文字（HPSv3 12.18→0.32）；改进方向：在多个步数网格上联合 RL 并加网格间一致性正则，或推理期步数自适应路由。(6) 全部实验为单 run 且视频 48-GPU 行非样本对齐；改进方向：至少 3 seeds 报告方差，并重跑对齐后的视频对比。

作者列出的开放问题：(i) 降低辅助网络的拟合开销（前向、反向与显存）；(ii) 为长 latent 序列设计更便宜、更忠实的奖励梯度；(iii) 构建更可靠、可泛化的组优势（分项加权、全局 batch 标准差重标定、组内小方差问题）；(iv) 让单步数训练的模型在推理期更多步数下仍提升（多步数联合微调或免训练方案）。基于本文成果可延伸的方向：把『锚点+权重』的解耦语言推广到更新的 RL 目标（adjoint matching、偏好优化类），检验该视角的覆盖范围与边界；在更大规模骨干（FLUX、HunyuanVideo 级）与更多奖励类型（在线人类反馈）上复验选型结论；结合奖励模型集成或不确定性估计显式对抗 reward hacking，把自回归锚点强度从固定 $\lambda_{KL}$ 变为随留出退化自适应；探索少步 RL 与 test-time compute 的联合训练目标，使 4 步模型真正支持 2–4 倍步数的质量提升；将 FewStepOPSD 的信任域构造（$\kappa$、$M_{tgt}$、$\eta$）做成随训练进度自适应的调度。

开源情况：论文承诺代码分两库发布（fewsteprl-sd35 图像、fewsteprl-wan21 视频），checkpoint 计划上传 Hugging Face（标注 coming soon，撰写时未确认可用）。正文给出 Code 1–8 伪代码级的实现细节（训练器钩子、两个估计器类、解耦损失），附录含超参，复现信息非常充分。数据与模型：需要 SD3.5-Medium 预训练权重加 AnyFlow 蒸馏（两阶段：MeanFlow 恒等式训练 + on-policy 分布匹配），奖励模型全家桶（CLIPScore、HPSv2、PickScore、HPSv3、ImageReward、OCR、视频端 HPSv3/VideoAlign）与 GenEval2/VBench 评估栈，均为公开资源但组合工程量不小。算力：图像设置 8×H20 约 47 小时（400 迭代）即可跑主要对比，LoRA rank 32 显存友好；视频设置 32–48×H20、约 1630–2623 GPU 小时，门槛显著更高。综合评估：图像部分对拥有 8 卡 A100/H20 级资源的团队可复现（中高难度），视频部分适合工业级资源（高难度）；若 AnyFlow 蒸馏 checkpoint 与作者代码如期开源，难度可下调一档。