简化并改进少步扩散模型的在线策略蒸馏 Simplifying and Improving On-Policy Distillation for Few-Step Diffusion

完整流程见论文 Algorithm 2（训练）与 Algorithm 3（推理）。输入：学生 $v_\theta$、冻结教师 $v_T$ 及弱参考规则 $\tilde{v}_T$、时间网格 $1=t_0>t_1>\cdots>t_N=0$、零积分基 $\{b_m\}_{m=1}^P$、排斥权重 $\lambda$。每个训练迭代：(1) 采样初始噪声 $x\sim\mathcal{N}(0,I)$ 与条件（文本提示、或编辑任务的源图加指令），全程无需目标数据；(2) 对每个区间 $i$：先对当前 rollout 状态施加 stopgrad，计算 $\Delta=t_i-t_{i+1}$，学生一次前向得 $v_\theta=v_\theta(x,t_i)$；(3) 从学生倒数第 $K$ 层取特征（$K=1$ 为最后一层），经 $M$ 个 Transformer 块与零初始化输出投影预测系数 $\{a_m\}$，得 $r_\phi(\tau)=\sum_m a_m b_m(\tau)$；基函数可选多项式基 $B_m(\tau)=\tau(1-\tau)(2\tau-1)^{m-1}$（其导数自动零积分）、谱基、配点基或分段基；(4) 采样一个或多个 $\tau\sim\mathcal{U}(0,1)$，构造查询时刻 $s=t_i-\tau\Delta$ 与状态 $x_\tau=x-\Delta\left[\tau v_\theta+\sum_m a_m\int_0^\tau b_m(r)\,dr\right]$；(5) 查询 $v_T(x_\tau,s)$ 与 $\tilde{v}_T(x_\tau,s)$，累加 $\lVert v(\tau)-v_T\rVert^2-\lambda\lVert v(\tau)-\tilde{v}_T\rVert^2$；(6) 学生按粗更新 $x\leftarrow x-\Delta v_\theta$ 进入下一区间，教师与 Pivot 不再参与；最后对区间、查询点、批次取平均，做一次优化器更新。推理（Algorithm 3）只剩第 (6) 步的循环：$N$ 次前向，无教师、无 Pivot。例如 Qwen-Image 学生以 $N=4$、全局 batch size 16 训练；Pivot 在预训练初始化时直接复制学生最后 $M$ 个块。

技术新颖性可从四个维度评估。第一，问题重定义：把『少步蒸馏需要分布级信号（分数差/判别器）』的主流假设降级为可选组件，证明轨迹级回归——每个区间一个常数学生对多个局部教师速度——就足以支撑 4-NFE 一流性能，这是对 DMD 与对抗两大范式的简化宣言。第二，残差参数化的数学设计：零积分基让『局部可变、端点不动』兼得，区别于 π-Flow 把区间内速度做成推理时执行的策略、PDD 把多步预测做成可融合输出头——SMD 的辅助分支在推理期是『不存在』的，而不是『被融合』或『被展开』的，因此对部署管线的侵入为零。第三，负样本来源：排斥项利用同一教师在同一状态、同一时刻的弱预测，把 CFG 的双分支结构改造成免费的对比信号；此前这类信号多用于 guidance 本身或 CFG 蒸馏，很少被当作蒸馏损失中的负参考。第四，通用性证明：同一目标函数不加修改地覆盖固定尺寸潜变量（Hunyuan3D-2.1）、空间稀疏潜变量（TRELLIS.2）、时空视频（Wan2.1 两个尺度）、共享前向的音视频联合模型（MiniMax H3，33B）、跨架构迁移（FLUX.2 到 Lens-RL）与因果生成压缩——后者用因果教师供模仿目标、双向 14B 教师供校正方向 $\Delta v^{bi}=\mathrm{sg}[v^{uncond}_{bi}-v^{cond}_{bi}]$ 构造伪目标 $\tilde{x}_q=\mathrm{sg}[x_q]+\Delta v^{bi}$，展示了纯回归框架的覆盖半径。训练效率也是佐证：Qwen-Image 学生全局 batch size 仅 16，而 PDD 报告值为 2048。

独立分析的弱点与对应改进方向：(1) Pivot 超参（$K$、$M$、基族、基大小 $P$）目前靠逐模型网格搜索，Qwen 与 Wan 的最优组合不同——改进方向是把曲率做成在线诊断量，按区间内教师速度的方差自适应分配残差容量，并把查询点分布从均匀 $\mathcal{U}(0,1)$ 改为按曲率加权采样；(2) 排斥项只用单一负参考且依赖手工权重 $\lambda$——可扩展为多负参考（不同 guidance 强度、跳不同层数）并按与目标的距离自动加权，接近硬负样本挖掘的思路；(3) 奖励专家路由目前按提示类别人工指定——可训练轻量路由器或对多教师输出做连续插值，并研究多教师梯度冲突的调和机制；(4) 自动指标驱动容易过拟合指标——应补充大规模人评与多样性-质量前沿分析，特别是 FLUX 上多样性低于教师的现象值得正视；(5) 因果视频中的双向校正以固定方向注入伪目标且效果非单调——改为可学习的校正网络，或与扩散 RL（GRPO/DPO 类目标）结合可能更有效；(6) 3D 实验只蒸馏级联管线的后段（4-NFE 只作用于单个阶段而非整条资产生成流程），端到端全管线加速仍有缺口；(7) 单提示可行但存在风格泄漏，可研究提示不变性正则或在 rollout 中显式最大化对未见提示的响应熵。

作者层面的方向：论文结尾明确把少步蒸馏与扩散 RL 的结合列为趋势，SMD 的回归目标可被视为一种奖励信号，蒸馏目标与不可微奖励（人类偏好、美学分）的联合优化是自然延伸；多教师路由、跨模型迁移、因果压缩三个扩展均只做了初步验证，值得系统化研究教师-学生配对规律与路由策略。基于其成果可延伸的：(1) 曲率自适应的 Pivot——在线估计区间内教师速度变化，自动决定何时开 Pivot、残差容量多大，把消融表变成自动决策；(2) 把排斥项推广为通用的『教师内部对比正则』，用于缓解一切蒸馏场景的模式坍缩与过饱和；(3) 音视频联合蒸馏证明回归框架对共享前向的多模态模型友好，可延伸到 4D 生成与可交互世界模型；(4) 因果视频加少步正是流式与交互生成的核心，可与自回归 forcing 流水线整合为端到端实时方案；(5) 『单条提示即可蒸馏』的现象开辟了提示集设计研究：最少多少、什么分布的提示足以保留全部能力，对后训练数据策展有直接价值；(6) 训练期专用辅助分支（加料训练、零负担推理）的思想可移植到其他后训练目标，如 RL 中的优势估计代理、偏好对齐中的参考模型旁路。

这是微软研究院的技术报告（arXiv:2610.18472，2026-10-13），首页标注了 Project Page、Code、Model、Data 四类链接，开源意愿明确。方法本身极简：Algorithm 2 仅约 18 行伪代码，核心实现是零积分基函数、几个 Transformer 块和一条修改后的回归损失，数百行 PyTorch 可完成。训练成本方面正文只透露 Qwen-Image 学生用全局 batch size 16——远小于 PDD 的 2048，暗示中小规模集群（单机多卡 H100 级）即可训练，但迭代数、学习率、训练时长需查附录 B/D；蒸馏 12B 至 33B 教师仍需可观显存（教师前向加学生前向加 Pivot 前向）。评测可复现性较好：对比方法绝大多数有公开 checkpoint（Hyper-SD、SenseFlow、π-Flow、Lightning、TwinFlow、rCM、AnyFlow、LightX2V-DMD），DMD2 为作者自行复现并标注，仅 PDD 引用原文数字；所用基准 GenEval、DPG-Bench、OneIG-Bench、VBench、GEdit/ImgEdit 均公开。总体判断：对拥有 GPU 集群的团队，复现 Qwen-Image/Wan 级别实验难度中等，工程细节（时间网格 shift 吸收、noise/clean 参数化到速度的转换、嵌入式 guidance 模型的弱参考构造）是主要摩擦点而非方法本身；在小模型（SD3.5-Medium 多教师路由）上先行复现是最经济的验证路径。