MEND：基于近端速度匹配的流模型强化学习 MEND: RL For Flow Models via Proximal Velocity Matching

完整流程见 Algorithm 1/2。准备：训练适配器 $\theta$ 与行为适配器 $\theta_{old}$（rank-32 LoRA）、价格 $\tau$（初始 0.1）、封顶分位 $q=0.75$、步长档 $\{0.1, 0.2, 0.4\}$、$\lambda_{keep}=10$、学习率 $3\times10^{-4}$、行为 EMA 系数 $\mu_u = \min(0.001u, 0.5)$。第 1 步 Rollout：$\theta_{old}$ 对每个提示词（协议中 48 个）生成 $G=24$ 条确定性 10 步轨迹（512 像素），存储终点 $x$ 和最接近 $t_q=0.278$ 的中间状态 $z_q$。第 2 步打分与封顶：对所有终点做一次奖励反向传播，得到 $R(x,c)$ 和 $g=\nabla_x R$；全局下限 $\kappa_{glob}$ 向本轮中位数奖励抬升且只升不降；组内设 $\kappa(c) = \max\{Q_{0.75}\{R\}, \kappa_{glob}\}$。第 3 步 Propose：对 $R < \kappa$ 且 $g \neq 0$ 的样本生成 3 个候选 $y_j = x + \eta_j g/\|g\|$，各解码并打分一次（每样本至多 3 次解码 + 3 次奖励前向，无反向传播）。第 4 步 Verify：$y^\star = \arg\max_{y \in \{x, y_1, y_2, y_3\}} R_\kappa(y) - \|y-x\|^2/(2\tau)$，平局先给 $x$ 再给最短档；接受样本记 $d = y^\star - x$，其余 $d=0$。第 5 步 Regress：对 $\mathcal{L}(\theta) = \mathbb{E}_{moved}\|\hat{x}_\theta(z_q) - \mathrm{sg}[\hat{x}_{old}(z_q)+d]\|^2 + \lambda_{keep}\,\mathbb{E}_{kept}\|\hat{x}_\theta(z_q) - \mathrm{sg}[\hat{x}_{old}(z_q)]\|^2$ 做一次 AdamW 步（$\epsilon=10^{-12}$）。第 6 步簿记：统计接受率，若离开 [30%, 60%] 目标带则重缩放 $\tau$；$\theta_{old} \leftarrow \mu_u \theta_{old} + (1-\mu_u)\theta$；评估用另一个独立的 EMA $\theta_{ema}$。每更新的总开销为：每样本 1 次奖励反向、至多 3 次解码与奖励评估、1 次网络前向加反向，从不穿过采样器反传梯度。

技术新颖性有五点。其一，决策显式化：Table 1 的组件对比显示 Flow-GRPO/DiffusionNFT 有 KL 和权重但无 $\nabla R$ 无检查，ReFL 有 $\nabla R$ 但无检查，只有 MEND 同时拥有梯度方向和逐样本检查，这填补了奖励后训练里『该不该改』这个从未被显式建模的决策。其二，近端点视角：把经典 proximal point / JKO 步在 4 个有限候选上离散化用于生成模型后训练，并证明每轮构造的目标满足增益-价格不等式（Proposition 1）和随封顶余量收缩的位移上界，这类目标级保证在扩散 RL 文献中是新的。其三，Proposition 2 证明回归损失在 $\theta_{old}$ 处的负梯度为 $-\nabla\mathcal{L} = \sum_{i \in A} \frac{2\eta_i}{|A|} \nabla_\theta \langle \hat{h}_i, \hat{x}_\theta(z_q)\rangle$，即奖励反传被自动限制在通过验证的样本上并按所选步长缩放——ReFL 类方法由此成为 MEND 全员通过的特例，两大流派被统一。其四，模式质量界（Corollary 5）：目标质量只能在位移上界 $\rho(x)=\min\{\eta_K, \sqrt{2\tau(\kappa-R_\kappa(x))}\}$ 内跨越区域边界，而 KL 倾斜 $\pi_\beta$ 的质量分配只取决于区域内的平均奖励、与距离无关——从理论上解释了为什么重加权丢模式而 MEND 不丢（三模式玩具中 MEND 一轮后三个模式质量 0.218/0.430/0.353，与训练前 0.217/0.430/0.350 几乎一致）。其五，行为 EMA 取代冻结参考，消融显示去掉 EMA 也几乎不掉分（全预算下变动不超过 0.06 PickScore），说明关键在于锚定目标本身的构造而非参考的强度。实现细节上也有巧思：最长档 $\eta=0.4$ 的候选几乎从不被接受，它的作用是验证最短档 $\eta=0.1$ 确实处在奖励的上升沿上。

弱点一：对奖励模型的系统性错误完全不设防。验证只对训练奖励认证增益，软错误奖励（如 LAION aesthetic 预测器）会在 200 更新内把其他评估器全部拖垮（aesthetic 5.16→9.66，PickScore 20.62→18.43，CLIPScore 0.239→0.099），而封顶只能延迟不能阻止。改进方向：引入多奖励联合验证（候选需在多个奖励上同时通过价格检验）、对封顶增益做 held-out 一致性抽查、或按奖励模型的不确定性给价格加噪声项。弱点二：固定档位 $\{0.1, 0.2, 0.4\}$ 太粗糙——1200 个记录种子中 33% 被认证且全部落在最短档 $\eta=0.1$，长档因奖励更低（而非仅价格更高）几乎从不被接受（F.1），说明搜索粒度不足且长档浪费解码预算。改进方向：线搜索式自适应步长或按接受率动态调整档位分布。弱点三：组内统计功效有限——协议每组只有 24 个样本，0.75 分位封顶的估计噪声大；全局下限 $\kappa_{glob}$ 只升不降，在长训练中可能过度收紧。改进方向：用跨轮收缩估计或贝叶斯分位估计封顶。弱点四：目标级保证与参数级现实脱节——作者自己承认（F.1），优化器步之后被验证器保留的种子移动得与被移动种子一样多，移动在认证方向上的投影中位数仅 0.001。改进方向：对保留样本加显式约束项，或按验证结果分组使用不同学习率。弱点五：所有验证都在 512/1024 像素、9-10 步的短 rollout 设置下进行，长轨迹、视频或 3D 流模型的适用性完全未验证。

作者方向暗示的延伸：论文强调 MEND『便宜到可以每个新奖励或骨干重复一次』（10 GPU 小时），自然延伸是与奖励模型的在线更新、主动学习形成快速迭代闭环，以及扩展到更多模态（视频、3D 生成均为流模型）。基于成果可延伸的方向：第一，不可微奖励的验证框架——把『解码候选打分』保留、把梯度提议换成无梯度方向（参数化编辑方向、有限差分或代理模型梯度，类似论文引用的 FDFO 思路），验证规则本身不需要梯度。第二，多奖励约束优化——把标量封顶推广为向量奖励的 Pareto 前沿封顶，价格 $\tau$ 随奖励间冲突自动调整，以缓解本文观察到的单奖励训练 held-out 下降。第三，理论深化——把 Proposition 4 的 held-out 传递性从线性化的提示投影提升到奖励值本身，并研究有限 AdamW 步下的累积误差界，回应对 Remark 1 的缺口。第四，错误奖励下的防线——玩具实验揭示了『封顶延迟漂移』现象，可以在价格项中加入数据密度或多样性依赖的分量，或周期性把行为模型拉回基模型的信任域。第五，自适应提议几何——目前提议严格沿单点奖励梯度，可以引入组内共享方向或二阶信息（如 HPSv2.1 与 PickScore 冲突时的折中方向）。第六，把接受率控制器从启发式带状调节换成理论导出的步长调度。

复现条件总体友好。代码：摘要和正文标注了 Code 链接（承诺开源；使用前需确认仓库已实际发布）。数据全部公开：训练只用 Pick-a-Pic 的提示词（每更新 48 个提示 × 24 张图），评估用 DrawBench（200 提示 × 5 种子）、val64 held-out 集和 GenEval/OCR 脚本（沿用 Flow-GRPO 官方实现）。协议对齐工作做得非常扎实：基线数字取自 Zhou et al. (2026) 的 Protocol O 并在自家管线中复现校准（SD3.5-M 20.58 对原文 20.51，Flow-GRPO 适配器 23.52 对 23.53，DiffusionNFT 同协议 23.45 对 23.43），附录 B 逐图表列出了每张图每张表的确切设置。实现细节完整：rank-32 LoRA、10 步确定性 rollout、$t_q=0.278$、$q=0.75$、$\eta\in\{0.1,0.2,0.4\}$、$\lambda_{keep}=10$、学习率 $3\times10^{-4}$、$\mu_u=\min(0.001u,0.5)$、$\tau$ 接受率带 [30%,60%]，附录 A 给出与实现完全一致的伪代码，附录 F 的消融和敏感性表格粒度很细。算力：主结果 10.0 GPU 小时（3 块 GB200，不含评估），单节点可负担，但在 A100/H100 上需按算力折算数倍时长。难度评估：中等偏低——方法组件少、无 KL/参考模型/优势估计，主要工程量在奖励反传管线与批量解码；风险点主要是多处 guidance 设置（1 与 4.5 并存）容易错配，照抄附录 B 的逐图表对照表即可避免；另需注意奖励评估的实现差异会直接影响封顶与验证的结果。