← 返回 2026-08-28

Self-OPD：无教师的流匹配模型在线策略蒸馏 Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher

Shiyi Zhang, Mushui Liu, Yunze Tong, Wanggui He, Siyu Zou, Jinlong Liu, Yunlong Yu, Jian Song, Hao Jiang, Pipei Huang, Bo Zheng 📅 2026-08-27 👍 78 2026-09-01 18:30
在线策略蒸馏 多目标优化 强化学习对齐 文本到图像生成 流匹配
arXiv HuggingFace PDF

用学生自身SDE分支探索替代教师目标，免教师实现流匹配模型的密集逐步蒸馏对齐

前置知识

流匹配

流匹配学习一个连续速度场 $v_\theta(x_t,t)$，把高斯噪声 $p_1=\mathcal{N}(0,I)$ 沿直线路径 $x_t=(1-t)x_0+t\epsilon$ 输运到数据分布 $p_0$，训练目标是回归 $\epsilon-x_0$，推理时从 $t=1$ 反向积分 ODE 逐步去噪生成样本，是 SD3.5 等新一代文生图模型的骨干架构。

本文的全部推导都建立在流匹配的 ODE/SDE 采样公式与速度场参数化之上，分支构造、仿射关系和蒸馏损失都离不开它。

在线策略蒸馏（OPD）

蒸馏让学生模型在自身生成的轨迹上学习外部给出的逐步监督信号，而非模仿教师的静态输出，从而缓解曝光偏差、提升训练效率。GKD 在 LLM 中确立该框架，Flow-OPD 与 DiffusionOPD 又把它推广到流匹配和扩散模型：在每个去噪步把学生速度回归到教师的预测。

Self-OPD 保留 OPD 的逐步监督形式，但把监督来源从预训练教师换成学生自身的奖励探索，理解这一点才能看懂全文动机。

反向 SDE 与分支采样

把确定性 ODE 采样加噪可得到随机微分方程，每步转移为 $x_{t_{j+1}}=x_{t_{j+1,\theta}}+\sigma_{t_j}\sqrt{|\Delta t_j|}\,z_j$，噪声尺度由系数 $\eta$ 控制；在同一父状态注入不同高斯噪声 $z_k$ 即得到 K 个随机候选分支，构成局部探索邻域。

Self-OPD 的核心操作就是把确定性预测分支成 K 个 SDE 候选，优势、拉推损失全部定义在这些分支上。

优势估计与自参考基线

RL 中用优势衡量某个动作相对基线的好坏，$A=(r-r_{base})/\mathrm{std}(r)$ 这类归一化能显著降低梯度方差；Self-OPD 用从同一父状态出发的确定性 ODE 轨迹奖励 $r_{ode}$ 作为免教师基线，把终端奖励转化为每步的归一化分支优势。

看懂 $A_k$ 如何把终端奖励变成每个时间步的拉/推信号，是理解其损失函数的前提。

反向 KL 与奖励倾斜分布

反向 KL 散度 $\mathcal{D}_{KL}(q^*\|q_\theta)$ 以学生转移核为参考惩罚偏离；奖励倾斜目标定义为 $q^*\propto q_\theta\exp(A/\tau)$，即按奖励指数加权学生自身的分布。对高斯核，其 KL 梯度等于把均值拉向 $q^*$ 的样本。

论文用 Proposition 1 证明逐分支加权回归正是该 KL 梯度的蒙特卡洛估计，这解释了损失中方差归一化因子的来源。

研究动机

在线策略蒸馏（OPD）虽在流匹配模型上取得成功，却有两个硬伤。其一，每换一个对齐目标（文字渲染、组合正确性、人类偏好）都要训练或获取一个专用教师：论文引用的 DiffusionOPD 需要并行训练三个教师（GenEval 46.9 小时、OCR 33.2 小时、美学 85.8 小时），再加 11.3 小时学生蒸馏，总墙钟时间约 97 小时，期间学生完全闲置，且学生能力被教师的质量和偏差封顶，多个教师的速度场在参数空间融合还会产生冲突的更新方向。其二，免教师的 RL 路线如 Flow-GRPO 依赖完整去噪轨迹的终端评分，奖励信用要沿多步反向传播，导致梯度方差高；在多目标对齐时，不同奖励偏爱不同视觉属性（如 OCR 要文字清晰、HPSv2 要美学），跷跷板效应使训练脆弱。

本文的目标是本文要回答一个核心问题：能否在彻底去掉外部教师的同时，保留 OPD 密集逐步监督带来的稳定性与样本效率？具体而言，作者希望构建一个框架，用学生自己的局部随机探索替代教师提供的速度场回归目标；把终端任务奖励转化为每个时间步的低方差引导信号；并让单一模型在文字渲染（OCR）、组合生成和人类偏好等多个目标上同时拿到高分——即同一张生成图同时满足所有指标，而不是训练多个专用模型、或让不同的图各擅其长。最终在 SD3.5-Medium 上验证，训练墙钟时间要显著短于教师路线的约 97 小时。

与已有工作不同的是，本文的独特切入点是把“谁来当教师”这个问题消解掉：教师角色被学生自身的确定性 ODE 轨迹取代——它天然处于学生的策略分布上，没有分布失配，也没有教师上限。做法是在每个时间步把确定性预测 $x_{t_{j+1},\theta}$ 分支出 K 个 SDE 随机候选，与自参考基线比较奖励得到归一化优势，从而把“教师回归目标”替换为“奖励加权的自身邻域”。另一个与众不同的角度是多目标融合的层次选择：不在参数空间混合各目标的梯度（field-level 融合），而是在奖励层面融合归一化分数（reward-level 融合），复合分数只用于给分支排序，实际回归目标始终是单条具体轨迹的速度，从根本上回避梯度冲突。

核心方法

直觉上，Self-OPD 把“教师告诉你往哪走”换成“你自己四处试试，往好处走、离坏处远点”。技术路线分三步：第一步自探索，在第 $j$ 步用一次学生前向得到确定性预测 $x_{t_{j+1},\theta}$，按 SDE 转移 $x^{(k)}_{t_{j+1}}=x_{t_{j+1},\theta}+\sigma_{t_j}\sqrt{|\Delta t_j|}\,z_k$ 采出 K=8 个分支，各分支用确定性 ODE rollout 补全成图并由奖励模型打分；第二步自参考评估，从同一父状态跑一条纯 ODE 轨迹得基线奖励 $r_{ode}$，按 $A_k=(r^{(k)}-r_{ode})/(\mathrm{std}\{r^{(1..K)}\}+\epsilon)$ 得归一化优势；第三步全分支拉推蒸馏，正优势分支把速度场拉向其有效速度，负优势分支将其推开，配合方向感知衰减 $d_k$ 与 SDE 方差归一化构成逐步损失 $\mathcal{L}^{(j)}_{\text{Self-OPD}}$，最后按时间步权重 $\alpha_j$ 沿轨迹聚合更新。

核心创新是“无教师逐步监督的自参照重构”。与 Flow-OPD 等依赖预训练教师做每步 MSE 回归不同，Self-OPD 的回归目标是学生自己邻域里被奖励选出的具体轨迹速度。论文先证明反向 SDE 的确定性预测与速度场呈仿射关系 $x_{t_{j+1},\theta}=b_{t_j}(x_{t_j})+c_{t_j}v_\theta$，其中 $c_{t_j}=(1+\eta^2/2)\Delta t_j$，因此向分支注入噪声严格等价于扰动速度目标 $v^{(k)}=v_\theta-\frac{\sigma_{t_j}}{(1+\eta^2/2)\sqrt{|\Delta t_j|}}z_k$；再由 Proposition 1 证明逐步加权回归恰好是奖励倾斜反向 KL 梯度的蒙特卡洛估计，归一化因子 $(1+\eta^2/2)^2|\Delta t_j|/(2\sigma^2_{t_j})$ 不是随意超参，而是让每步回归都无偏估计同一 KL 梯度的精度项——$|\Delta t_j|$ 对齐的缩放因此有原理依据而非经验拍脑袋。

方法步骤详情

输入为 on-policy 隐状态 $x_{t_j}$ 与提示词 $c$。(1) 学生 transformer 做一次前向得确定性预测 $x_{t_{j+1},\theta}$（式 5 仿射形式），昂贵前向只做一次。(2) SDE 分支：采 K=8 个高斯噪声 $z_k$ 生成候选分支，探索半径由 $\eta=0.7$ 控制。(3) ODE rollout：各分支确定性补全到干净潜变量 $\hat{x}^{(k)}_0$，经 VAE 解码后由奖励模型打分得 $r^{(k)}$；同时从父状态跑纯 ODE 轨迹得基线 $r_{ode}$。(4) 按式 8 算归一化优势 $A_k$；多奖励时 $r^{(k)}=\sum_m\lambda_m\tilde{r}^{(k)}_m$ 为 z-score 融合分数（OCR 任务权重比 3:1:1），并设 per-scorer veto 剔除显著低于基线的分支。(5) 按式 11 计算拉推损失：正优势吸引、负优势经门控 $d_k$ 排斥，按 $\alpha_j$ 沿轨迹求和，用 AdamW（$3\times10^{-4}$）更新 LoRA 权重。

技术新颖性

新颖性有四点。一是训练信号来源：以自参考基线（同父状态的确定性 ODE 奖励）取代教师，监督天然在学生分布上，免除分布失配与教师上限，学生可超越任何单一教师。二是目标构造：Best-of-K 只回归最优分支会因目标频繁切换而梯度方差爆炸（消融中几乎不超基线），Self-OPD 用全部正负分支做有符号回归，方向感知系数 $d_k=1-\tfrac{1}{2}\langle\delta_k,\delta_{best}\rangle/(\|\delta_k\|\|\delta_{best}\|)$ 保证排斥永不压制吸引，消融显示无界版本会令 GenEval 崩到 0.768。三是理论支撑：把逐分支加权回归解释为奖励倾斜 KL 梯度的蒙特卡洛近似，给出逐步缩放的原理性推导。四是多目标处理层次：奖励层面的几何平均倾斜（式 17）把 M 个目标塌缩成单一复合优势 $\sum_m\lambda_mA_m$，回归目标仍是单条轨迹速度，支持黑箱奖励，调整 $\lambda_m$ 无需重训模型。

Overview of Self-OPD.
Fig. 1: Overview of Self-OPD.
Self-OPD pipeline. Top: The student branches its prediction into K SDE paths (blue), generates images via ODE rollouts (purple), and scores them (r+, rref, r−). Bottom-left: Rewards define a self-referenced advantage Ak that pulls toward high-reward velocities v+ and pushes away from low-reward velocities v−. Bottom-right: A direction-aware coefficient dk gates the push to prevent it from counteracting the pull, resulting in the multi-branch loss LSelf-OPD.
Fig. 3: Self-OPD pipeline. Top: The student branches its prediction into K SDE paths (blue), generates images via ODE rollouts (purple), and scores them (r+, rref, r−). Bottom-left: Rewards define a self-referenced advantage Ak that pulls toward high-reward velocities v+ and pushes away from low-reward velocities v−. Bottom-right: A direction-aware coefficient dk gates the push to prevent it from counteracting the pull, resulting in the multi-branch loss LSelf-OPD.

实验结果

单奖励实验（Table 1，基座 GenEval 0.5222、OCR strict 0.6219、PickScore 22.41、HPSv2 0.3004）：Self-OPD + RM GenEval 达 0.9536，超 Flow-GRPO 的 0.9005 与 GRPO-Guard 的 0.9155；OCR 任务 0.9745，高于 Flow-GRPO 的 0.9253；PickScore 24.47、HPSv2 0.4099，超 GRPO-Guard 的 23.98 与 0.3453。混合奖励实验（Table 2）中，单一模型 GenEval 0.9521、OCR 0.9691 / 0.9597 均最高；同测试图偏好分 PickScore 23.87、HPSv2 0.3214，双超需教师的 DiffusionOPD（22.72 / 0.2676）。Fig. 4 显示 DiffusionOPD 换到任务提示时 PickScore 下移 Δ=1.23、HPSv2 下移 Δ=0.105，Self-OPD 仅 Δ=0.48 / 0.020，证明奖励级融合让任务图同样高美学。效率上（Fig. 7），DiffusionOPD 共 97 小时，Self-OPD 从头训练约 62/90 小时追平，warm-start 约 44–48 小时，快约 2 倍。消融显示：Best-of-K 不稳定、无界 $d_k$ 使 GenEval 崩至 0.768、TIS 低于基线。

Main results of single-reward training. Best in bold, second best underlined among trained methods.
Table 1: Main results of single-reward training. Best in bold, second best underlined among trained methods.
Main results of mixed-reward training. Each method produces a single model evaluated across all metrics.
Table 2: Main results of mixed-reward training. Each method produces a single model evaluated across all metrics.
Field-level fusion couples preference quality to the prompt family; reward-level fusion (Self-OPD) keeps preference high on task prompts; field-level fusion (DiffusionOPD) drops.
Fig. 4: Field-level fusion couples preference quality to the prompt family; reward-level fusion (Self-OPD) keeps preference high on task prompts; field-level fusion (DiffusionOPD) drops.
Qualitative comparison. Each method uses its mixed-reward model if available, or the prompt-specific reward model (e.g., OCR for text prompts). Self-OPD achieves superior performance in both accuracy and aesthetics.
Fig. 5: Qualitative comparison. Each method uses its mixed-reward model if available, or the prompt-specific reward model (e.g., OCR for text prompts). Self-OPD achieves superior performance in both accuracy and aesthetics.
Ablation of core designs. (a) Branch handling: Best-of-K (red), all-branch pull-push distillation (green), and Self-OPD with |Δt|-aligned KL (blue). (b) Gradient gating: Bounded dk (blue) vs. unbounded dk (red).
Fig. 6: Ablation of core designs. (a) Branch handling: Best-of-K (red), all-branch pull-push distillation (green), and Self-OPD with |Δt|-aligned KL (blue). (b) Gradient gating: Bounded dk (blue) vs. unbounded dk (red).
Training efficiency: OCR (left) and GenEval (right) vs. wall-clock time.
Fig. 7: Training efficiency: OCR (left) and GenEval (right) vs. wall-clock time.
查看结构化数据
任务指标本文基线提升
混合奖励：组合生成 GenEval strict 0.9521 DiffusionOPD 0.9150；DiffusionNFT 0.8888；Flow-OPD 0.8594 较最强基线 +3.7 个百分点，且无需教师
混合奖励：文字渲染 OCR 字符准确率（strict / continuous） 0.9691 / 0.9597 DiffusionOPD 0.9479 / 0.9464；DiffusionNFT 0.9277 / 0.9229 strict +2.1 个百分点
混合奖励：人类偏好（同测试图协议） PickScore 23.87 DiffusionNFT 23.67；Flow-OPD 23.43；DiffusionOPD 22.72 +0.20（vs DiffusionNFT）/ +1.15（vs DiffusionOPD）
混合奖励：人类偏好（同测试图协议） HPSv2 0.3214 DiffusionNFT 0.3206；Flow-OPD 0.3042；DiffusionOPD 0.2676 +0.0538（vs DiffusionOPD）
单奖励：文字渲染 OCR 字符准确率（continuous） 0.9745 GRPO-Guard 0.9348；Flow-GRPO 0.9253 +4.0 个百分点
单奖励：人类偏好 PickScore / HPSv2 24.47 / 0.4099 GRPO-Guard 23.98 / 0.3453；Flow-GRPO 23.57 / 0.3396 PickScore +0.49、HPSv2 +0.065
训练效率（达到 OCR 0.946 水平） 墙钟时间 约 44–48 小时（warm-start） DiffusionOPD 97.0 小时（教师 85.8h + 学生 11.3h） 约 2 倍加速，最终性能更高

局限与改进

作者未设专门的局限性章节，可由文中事实推断并结合自查：其一，实验仅覆盖 SD3.5-Medium @ 512×512 的 LoRA 微调，未验证向更大模型（如 SD3.5-Large）或全参数微调的扩展性。其二，每个 SDE 分支都要完整 ODE rollout 到终点并过奖励模型，K=8 时每步需 K+1 次采样，推理开销数倍于 Flow-GRPO 式单轨迹采样；优势信号质量完全依赖奖励模型，存在奖励黑客风险（文中靠 PickScore/HPSv2 作 guard 缓解）。其三，OCR 混合模型的 GenEval 反而从基线 0.5222 掉到 0.4186，说明线性权重 $\lambda_m$ 加 per-scorer veto 未能完全消除任务间负迁移。其四，偏好指标提升幅度（约 +1 PickScore）远小于 GenEval/OCR 的质变；且正文数字与 Table 1 存在不一致（正文称 PickScore 24.79、HPSv2 0.3665，表中为 24.47、0.4099），η 在 3.2 节写 0.6 而实现细节写 0.7，复现时需以表格为准。

独立分析的弱点

独立分析几点弱点：(1) 信用分配仍以终端奖励为锚——分支 rollout 到终点打分再折算逐步优势，虽然比 Flow-GRPO 方差低，但每个训练步需 K+1 次完整 ODE 采样与 VAE 解码，奖励模型批推理成为吞吐瓶颈，改进方向是部分 rollout 提前截断或学习值函数估计未完成轨迹。(2) 探索只在转移空间各向同性加噪，半径 $\sigma_{t_j}$ 由固定 $\eta$ 决定，对需要大范围语义修改的目标可能探索不足，可引入自适应 $\eta$ 或基于梯度的方向性扰动。(3) 多目标融合是固定线性权重，OCR 混合训练中 GenEval 从 0.5222 跌至 0.4186 表明简单加权难以完全消除冲突，可探索自动权重搜索、不确定性加权或 Pareto 前沿上的显式选择。(4) 排斥项假设负分支信息可靠，若奖励模型在低分区域噪声大，推开方向可能误导训练，可对低置信度分支降权或过滤。(5) 只在 512×512、LoRA、SD3.5-Medium 上评估，未讨论高分辨率、更大模型下的显存与延迟成本，也未与其他架构（如 DiT 视频模型）对照。

未来方向

作者在结论中提出把自探索转化为密集逐步监督作为一般范式的展望；可延伸的方向包括：(1) 把奖励级融合推广到更多目标域——视频时间一致性、3D 几何一致性、安全对齐等，验证黑箱奖励组合的可组合性主张；(2) 与测试时扩展结合，用 Self-OPD 把 Best-of-N 搜索的能力蒸馏回模型，实现少采样步数下的高奖励生成；(3) 将在线优势信号与离线人类偏好数据联合训练，降低对在线奖励模型的依赖并缓解奖励黑客；(4) 理论上把 Proposition 1 的 KL 解释推广到非高斯转移核、分支相关或多步联合倾斜的情形，给出样本复杂度界；(5) 训练动力学上研究 $\alpha_j$ 时间步调度与分支数 K 的自适应选择（例如按优势方差动态调整），进一步压缩 44–48 小时的训练成本；(6) 在 LLM 上验证同类免教师 OPD 是否成立——Self-OPD 的自参考基线思想与自博弈、自我改进（self-improvement）方法的联系值得探索。

复现评估

复现条件较好：论文给出开源仓库 https://github.com/Shiy-Zhang/Self-OPD，正文公开全部关键超参——基座 SD3.5-Medium @ 512×512、transformer 上的 LoRA、K=8 分支、$\eta=0.7$、每步训练 2 个时间步、AdamW 学习率 $3\times10^{-4}$、OCR 任务奖励权重比 3:1:1、时间步权重偏重早中期。算力可从 Fig. 7 估算：单奖励从头训练 OCR 约 37 小时、GenEval 约 27 小时，混合训练再需 7–11 小时，推测为单机多卡（A100/H100 级）规模，普通实验室可负担。奖励模型与评测协议（strict/continuous GenEval、同测试图/独立测试集偏好）均为公开资源且描述清晰。风险点：未说明仓库是否含完整训练配置与随机种子；正文与表格数字有小出入（PickScore 24.79 vs 24.47），$\eta$ 存在 0.6/0.7 笔误。总体复现难度中等，熟悉流匹配训练与 RL 微调的团队 1–2 周可跑通单任务。

论文图表

Comparison of alignment paradigms. (a) Flow-GRPO relies on trajectory-level policy gradients from terminal rewards. (b) Flow-OPD requires a pretrained teacher for step-wise MSE supervision. (c) Self-OPD (Ours) turns local stochastic branches and a self-reference baseline into dense pull-push supervision, without requiring any teacher.
Fig. 2: Comparison of alignment paradigms. (a) Flow-GRPO relies on trajectory-level policy gradients from terminal rewards. (b) Flow-OPD requires a pretrained teacher for step-wise MSE supervision. (c) Self-OPD (Ours) turns local stochastic branches and a self-reference baseline into dense pull-push supervision, without requiring any teacher.

用流程示意图并排展示三种对齐范式：Flow-GRPO 的轨迹级策略梯度、Flow-OPD 依赖预训练教师的逐步 MSE、Self-OPD 用局部随机分支加自参考基线构成免教师的密集拉推监督。

直观呈现三种范式的机制差异，是理解论文动机（为何教师路线昂贵、RL 路线高方差）与 Self-OPD 定位的关键示意图。