← 返回 2026-05-11

Flow-OPD：面向 Flow Matching 模型的 On-Policy 蒸馏框架 Flow-OPD: On-Policy Distillation for Flow Matching Models

Zhen Fang, Wenxuan Huang, Yu Zeng, Yiming Zhao, Shuang Chen, Kaituo Feng, Yunlong Lin, Lin Chen, Zehui Chen, Shaosheng Cao, Feng Zhao 📅 2026-05-08 👍 102 2026-07-13 08:36
Flow Matching GRPO On-Policy Distillation Reinforcement Learning Stable Diffusion 3.5 Text-to-Image
arXiv HuggingFace PDF

首个将OPD引入Flow Matching T2I的多任务对齐框架

前置知识

Flow Matching (FM)

FM 是一种连续时间生成建模范式，通过 ODE $dx_t = v_t(x_t,t)dt$ 将噪声分布映射到数据分布。模型 $v_\theta$ 在 OT 路径下学习速度场，比扩散模型采样效率与合成保真度更高。

Flow-OPD 直接基于 FM 的 SDE 离散化推导 KL 散度的解析形式；不懂 FM 就无法理解 KL 为何能坍缩为速度场间的 L2 距离。

GRPO (Group Relative Policy Optimization)

GRPO 是 DeepSeek 提出的 RL 算法，核心是用组内相对优势 $A=(r-\mu)/\sigma$ 替代 critic。Flow-GRPO 将 ODE 离散化视为马尔可夫过程，对每步施加奖励。

论文将 Flow-GRPO 作为教师训练基线并对比其局限，多任务 GRPO 的「跷跷板效应」是 Flow-OPD 要解决的核心痛点。

On-Policy Distillation (OPD)

OPD 是 LLM 中的知识蒸馏方法，学生自主采样轨迹 $\tau\sim p_\theta(\tau)$ 后由教师实时提供监督信号，目标是最小化 $L_{OPD}=D_{KL}(\pi_\theta\|\pi_{teacher})$，能缓解离线蒸馏的 exposure bias。

Flow-OPD 的全部创新围绕把 OPD 从 LLM 离散 token 空间迁移到 FM 连续速度场空间；不熟悉 OPD 就无法理解「轨迹级稠密监督」的关键作用。

Reverse KL 散度与 Mahalanobis 距离

对两个 d 维高斯 $\Sigma_1=\Sigma_2$ 时，KL 简化为 $\frac{1}{2}(\mu_1-\mu_2)^T\Sigma^{-1}(\mu_1-\mu_2)$，即 Mahalanobis 距离。

这是 Flow-OPD 推导的核心步骤：FM 的 SDE 形式使师生共享协方差 $\Sigma_t=\sigma_t^2\Delta t I$，KL 才能化简为速度场间 L2，从而用 MSE 直接优化。

Reward Hacking 与梯度干扰

Reward hacking 指模型利用奖励漏洞换取高分而牺牲真实质量。多任务下标量奖励把异质目标压成单一优势，引发 $\langle\nabla_\theta J_k,\nabla_\theta J_1\rangle<0$ 的梯度对抗与灾难性遗忘。

论文反复强调的病理学——教师跨任务性能暴跌（PickScore 教师的 GenEval 从 0.63 降到 0.51）即典型例子，作者据此提出任务路由与稠密监督方案。

Stable Diffusion 3.5 Medium (SD-3.5-M)

Stability AI 发布的基于 Flow Matching 的文生图扩散模型，MMDiT 架构，约 2.5B 参数。论文所有实验均以 SD-3.5-M 为基座，所有教师也从该基座微调。

论文以 SD-3.5-M 为例展示 Flow-OPD 在工业级 FM 模型上的可扩展性——GenEval 从 0.63 升到 0.92-0.93、OCR 从 0.59 升到 0.92-0.94。

研究动机

当前 Flow Matching 文本生成图像模型在多任务对齐时面临两个核心瓶颈：奖励稀疏与梯度干扰。论文通过 SD-3.5-M 上的对照实验清晰揭示了这一痛点——以 GenEval 单一奖励进行 Flow-GRPO 微调时 GenEval 从 0.63 跃升至 0.94，但 OCR 仅 0.65；而以 PickScore 单一奖励训练时 GenEval 暴跌至 0.51。在标量奖励混合实验中，依次叠加 GenEval、OCR、PickScore、DeQA 四种奖励后，GenEval 从 0.94 一路下滑至 0.73，OCR 从 0.91 被拉低到 0.83。这种「跷跷板效应」的根源是标量奖励把异质目标压缩成单一数值，触发 $\langle\nabla_\theta J_i,\nabla_\theta J_j\rangle<0$ 的梯度对抗，并不可避免地引发 reward hacking 与 manifold collapse。

本文的目标是本文的具体目标是构建一个统一的 Flow Matching 后训练框架 Flow-OPD，使得单一学生模型能够同时具备组合生成（GenEval）、文本渲染（OCR）、人类偏好（PickScore）和图像质量（DeQA）四项专家能力，并在 GenEval、OCR、PickScore 三个基准上达到或超过各自专家教师的性能上限。论文希望证明：(1) 在 Stable Diffusion 3.5 Medium 上将 GenEval 从 0.63 提升到 ≥0.92、OCR 从 0.59 提升到 ≥0.92，跨越约 30 个绝对点；(2) 相对 GRPO 基线获得约 10 个百分点的整体提升；(3) 实现「Teacher-Surpassing」涌现效应——即学生模型在多个任务上同时超越任何单一教师。

与已有工作不同的是，本文的独特切入角度是将 LLM 领域已成熟的 On-Policy Distillation 范式（DeepSeek-V4、Mimo v2、GLM-5 等）首次系统性地迁移到 Flow Matching 的连续速度场空间。论文的切入点有三层独特性：方法论上，证明 FM 的 SDE 离散化使学生与教师共享同一协方差 $\Sigma_t=\sigma_t^2\Delta t I$，从而将 LLM 中难以解析的 KL 散度化为简单的 Mahalanobis 距离，进而退化为速度场间的 L2 距离；监督形式上，把稀疏标量奖励替换为轨迹级稠密监督并用任务路由机制切断异质任务梯度耦合；工程上提出 Manifold Anchor Regularization 用任务无关的美学教师作为锚点防止美学坍缩。

核心方法

Flow-OPD 把 LLM 中 On-Policy Distillation 思想搬到连续速度场空间。直觉上，与其让学生在标量奖励的「单选题」中顾此失彼，不如让多个专精不同任务的教师共同出题——学生仍自主探索轨迹，但每步都被最合适的教师打分。流程分两阶段：第一阶段用 Flow-GRPO 在单一奖励上分别训练 GenEval/OCR/PickScore 三个领域专家与 DeQA+PickScore 美学教师；第二阶段用 SFT 或模型合并做冷启动后执行多教师在线蒸馏——学生在 SDE 化 ODE 中采样 $G$ 条轨迹，对每条 $x_t$ 通过硬路由 $\mathcal{R}(c)=k$ 选教师 $v_{\phi_k}$，以解析 MSE 损失 $\mathcal{L}_{Flow-OPD}=\mathbb{E}[w(t)\|v_\theta-SG[v_{target}]\|^2]$ 直接回归，并引入 MAR 正则 $\lambda\mathbb{E}[w(t)\|v_\theta-v_{aesthetic}\|^2]$ 锚定美学流形，总损失为两者之和。

Flow-OPD 与已有方法有两个本质区别。第一，它在数学上把 LLM 中只能通过 score-function 估计的 $L_{OPD}=-D_{KL}(\pi_\theta\|\pi_{target})$ 化简为连续时间 Mahalanobis 距离，进而退化为 $w(t)\|v_\theta-v_{target}\|^2$ 的纯 MSE 优化——这是论文最关键的理论创新，等价于在连续域中「绕过了」LLM OPD 必须依赖的 PPO surrogate 与重要性采样，作者在 Eq.10-12 中通过代入 $\Sigma_1=\Sigma_2=\Sigma_t$ 严格推导出这一简化。第二，与混合标量奖励（DanceGRPO、Flow-GRPO 的 staged curriculum、GDPO）不同，Flow-OPD 用任务路由 + 多教师稠密监督彻底切断异质任务之间的梯度耦合，使 $\langle\nabla_\theta J_k,\nabla_\theta J_l\rangle\approx 0$（$k\neq l$），从根源上解决「跷跷板效应」。

方法步骤详情

完整流程五步。步骤 1：领域教师训练。对 GenEval/OCR/PickScore 分别运行 Flow-GRPO 训练三个专家；DeQA 用 4:6 比例训练美学教师作 MAR 锚点。步骤 2：冷启动，两种方案：(a) SFT——从教师采样轨迹让学生继承专家分布；(b) 模型合并——weight-space merging 叠加教师参数到学生初始化，零额外训练成本。步骤 3：On-Policy Sampling。把 FM 改写为 SDE $dx_t=[v_\theta+\frac{\sigma_t^2}{2t}(x_t+(1-t)v_\theta)]dt+\sigma_t dw$，Euler-Maruyama 离散化为高斯策略 $\pi_\theta=N(\mu_\theta,\sigma_t^2\Delta t I)$，每 prompt 采样 $G$ 条独立轨迹。步骤 4：任务路由。由 $\mathcal{R}(c)=k$ 将 prompt 映射到唯一专家 $v_{\phi_k}$，得目标 $v_{target}$。步骤 5：联合优化 Flow-OPD MSE 损失与 MAR。

技术新颖性

技术新颖性体现在三个层面。理论层面，作者证明 FM 的 SDE 离散化使师生共享协方差 $\Sigma_t=\sigma_t^2\Delta t I$，从而把 LLM OPD 中只能通过 Policy Gradient 逼近的 KL 散度精确坍缩为 Mahalanobis 距离与时间加权 L2 距离；这一推导（Eq.9-12）让连续域 OPD 等价于一个零方差 MSE 优化，是首个把 KL-as-environment-reward 思想在连续生成模型中解析实现的范例。架构层面，任务路由 + 多教师稠密监督是 FM 领域的首创，它把 LLM 中 GKD、MiniLLM、DistiLLM、G-OPD、Entropy-Aware OPD、Fast OPD、PACED 等工作的核心机制统一到 Flow Matching 速度场空间。正则化层面，MAR 与 Flow-GRPO 的 reference KL 类似，但锚点是专门用 DeQA+PickScore 训练的美学教师，实现功能监督与美学锚点双损失解耦。

实验结果

核心结果分五层。(1) 主基准全面超越教师：表 2 Flow-OPD (Merge) GenEval 0.93、OCR 0.93、DeQA 4.31、PickScore 23.05 综合 0.9021，相对 SD-3.5-M 提升约 19 个百分点、相对 GRPO-Mix 提升 9-10 个百分点。(2) 解决跨任务塌陷：GRPO-PickScore 教师 GenEval 0.51、GRPO-DeQA 教师 OCR 0.66，学生拉回 0.91-0.93。(3) Teacher-Surpassing 涌现：图 3 学生边缘案例胜过所有单教师。(4) OOD 泛化领先：表 3 Flow-OPD (Merge) 在 T2I-CompBench++ 的 Shape 0.6292、3D-Spatial 0.4565、Numeracy 0.6837 均 SOTA。(5) 人类偏好提升：表 4 Ours (Merge) ImageReward 1.36、Aesthetic 6.23、QwenVL 4.05 领先，MAR 贡献 +0.10 ImageReward、+0.34 Aesthetic。

Capability degradation in multi-reward optimization
Table 1: Capability degradation in multi-reward optimization
Model Performance Comparison on Compositional Image Generation, Visual Text Rendering, and Image Quality benchmarks
Table 2: Model Performance Comparison on Compositional Image Generation, Visual Text Rendering, and Image Quality benchmarks
T2I-CompBench++ Result
Table 3: T2I-CompBench++ Result
Performance Comparison on General Image Quality and Alignment Metrics
Table 4: Performance Comparison on General Image Quality and Alignment Metrics
Performance Comparison in Multi-task Training
Figure 1: Performance Comparison in Multi-task Training
Qualitative comparison between Flow-OPD and various baselines
Figure 3: Qualitative comparison between Flow-OPD and various baselines
Cold-start ablation results
Figure 4: Cold-start ablation results
查看结构化数据
任务指标本文基线提升
GenEval 准确率 (0-1) 0.93 (Merge) / 0.91 (SFT) SD-3.5-M: 0.63 / GRPO-Mix: 0.73 相对基座 +30 pp，相对 GRPO-Mix +18-20 pp
OCR 文本准确率 (0-1) 0.93 (Merge) / 0.92 (SFT) SD-3.5-M: 0.59 / GRPO-Mix: 0.83 相对基座 +34 pp，相对 GRPO-Mix +10 pp
DeQA 图像质量分 (1-5) 4.31 (Merge) / 4.29 (SFT) SD-3.5-M: 4.07 / GRPO-DeQA: 4.23 相对基座 +0.24，超过 GRPO-DeQA 教师
PickScore 人类偏好分 23.05 (Merge) / 21.83 (SFT) SD-3.5-M: 21.64 / GRPO-PickScore: 23.19 Merge 版本逼近并接近教师 23.19，SFT 略低
T2I-CompBench++ Shape 组合形状 (0-1) 0.6292 SD3.5-M: 0.5669 / GRPO-mix: 0.5803 相对 GRPO-mix +4.9 pp，SOTA
T2I-CompBench++ 3D-Spatial 三维空间 (0-1) 0.4565 SD3.5-M: 0.3739 / GRPO-mix: 0.3681 相对 GRPO-mix +8.8 pp，SOTA
ImageReward 人类偏好 (越高越好) 1.36 SD-3.5-M: 1.02 / w.o. MAR: 1.26 相对基座 +0.34，证明 MAR 贡献 +0.10
Aesthetic 美学分 (1-10) 6.23 SD-3.5-M: 5.87 / w.o. MAR: 5.89 相对基座 +0.36，验证 MAR 防美学坍缩
QwenVL Score VLM 综合分 4.05 SD-3.5-M: 3.45 / GRPO-mix: 3.88 相对基座 +0.60，相对 GRPO-mix +0.17

局限与改进

作者在论文中明确或隐含承认的局限可归纳为四类。第一，算力门槛极高：表 2 与表 3 实验均需 4 节点 × 8×H800 GPU 训练配置，普通研究者难以复现。第二，硬路由的局限：当前 $\mathcal{R}(c)=k$ 假设每个 prompt 只能归入一个领域，但跨域 prompt（如同时要求文本渲染+复杂组合）会强制选择单一教师，可能无法处理复合任务。第三，教师选择依赖先验：新任务到来时必须重新训练教师，无法像 GRPO 那样即插即用。第四，作者未充分讨论训练稳定性细节：Eq.12 的时间权重 $w(t)$ 中 $1/\sigma_t$ 项在 $t\to 0$ 时会放大速度场误差，可能引发数值不稳定；论文也未给出 $\lambda$ 超参的敏感度分析。此外，Eq.10-12 的化简严格依赖 SDE 共享协方差假设，扩展到 Consistency Model、Mean Flow 等非 SDE 范式时该推导将失效。

独立分析的弱点

独立分析可发现四个潜在弱点。弱点一：硬路由信息瓶颈。当 prompt 同时涉及多领域（如「绘制写着『Hello』的苹果并符合美学偏好」）时 $\mathcal{R}(c)=k$ 只能激活单教师，丢弃其它领域监督；改进方向是引入软路由 $\sum_k\pi_k(c)v_{\phi_k}$。弱点二：MAR 的 $\lambda$ 超参依赖经验，论文未给出取值细节；改进方向是借鉴 Flow-GRPO 中 KL 系数 $\beta$ 的自适应调度或元学习搜索。弱点三：教师质量天花板决定学生上限，论文未量化 Teacher-Surpassing 发生频率；改进方向是引入对抗式教师更新或 RL 后训练。弱点四：FLOPS 隐性成本高——On-Policy Sampling、Task Routing、MAR 三项叠加后每步需 1 学生 + 至少 1 教师 + 1 美学教师前向，相当于三倍训练开销；改进方向是探索教师随机激活或蒸馏美学教师到内部 head。

未来方向

作者在论文中提出三条延伸方向，加上读者可合理推演的方向至少有六条。第一，作者指出 SFT 冷启动为「提取异构教师能力提供灵活途径」，暗示未来可结合 GPT-4o、DALL-E 3 等 API 教师训练更大规模模型。第二，论文提及 LLM 中「Fast OPD」「Entropy-Aware OPD」等加速/正则技术尚未集成，可尝试把 prefix truncation 思想应用到 ODE 步数选择中加速训练。第三，可扩展到 Consistency Model、Mean Flow、Latent Consistency 等非 SDE 范式，需重新推导共享协方差。第四，探索连续空间中 Forward KL、JS 散度、f-divergence 等不同 mode-seeking/mode-covering 目标函数。第五，深入研究 Teacher-Surpassing 机理。第六，把 Flow-OPD 范式推广到视频、3D、音频等连续生成模型。第七，基于开源仓库（https://github.com/CostaliyA/Flow-OPD）做 Teacher API 替换、奖励塑形等下游工作。

复现评估

复现评估总体可控但门槛偏高。代码与权重方面，作者承诺开源到 https://github.com/CostaliyA/Flow-OPD 并配套项目页 https://costaliya.github.io/Flow-OPD/2026，arXiv 版本为 v5 已稳定。数据方面严格遵循 Flow-GRPO 官方 split，包括 GenEval/OCR/PickScore/DeQA 子集与 T2I-CompBench++。基座使用 SD-3.5-M 公开权重；三个领域教师（GenEval/OCR/PickScore）作者采用官方 checkpoint 起点，DeQA 教师需自行按 4:6 比例训练。算力方面主表实验在 4 节点 × 8×H800 GPU 训练，对一般实验室不可承受；但消融实验与单教师复现可在 1-2 节点完成。复现难度在于需精确处理 (1) SDE 中 $\sigma_t$ 噪声调度、(2) 任务路由的硬编码、(3) 教师的 stop-gradient、(4) MAR 双损失加权 $\lambda$，建议优先复现无 MAR 与无冷启动的 ablation 验证理论。

论文图表

Cross-task evaluation of single-reward GRPO
Figure 2: Cross-task evaluation of single-reward GRPO

定性展示基座 SD-3.5-M 与四个单奖励 GRPO 教师 (OCR/PickScore/GenEval/Flow-OPD) 在 GenEval、OCR、PickScore 四个任务 prompt 上的生成结果。GenEval 任务中 SD-3.5-M 与 GRPO-PickScore 难以正确画出「四把键盘」、「微波炉+卡车」等组合；OCR 任务中 GRPO-PickScore、GRPO-GenEval 无法渲染长文本；PickScore 任务中 GRPO-OCR、GRPO-GenEval 风格崩坏严重。

该图直观证明单奖励 GRPO 的灾难性遗忘问题，是 motivation 章节「跷跷板效应」论断的核心证据，让读者一目了然为何需要多教师联合监督。

Qualitative ablation results of Manifold Anchor Regularization
Figure 5: Qualitative ablation results of Manifold Anchor Regularization

对比 GRPO-GenEval、GRPO-DeQA、w.o KL Loss、w. KL Loss (Ours) 四种设定下的生成图像。有 MAR 时图像背景多样、实体区分度好；去除 MAR 时出现背景模式坍缩（如单调蓝天/草地）与多实体同质化（如多个香蕉外观完全一致），验证 MAR 抑制 reward hacking 的能力。

该图是 limitations 与 method 中 MAR 设计必要性的核心证据，与表 4 的 Aesthetic/ImageReward 量化数据相互印证。