面向少步扩散蒸馏的连续时间分布匹配 Continuous-Time Distribution Matching for Few-Step Diffusion Distillation

训练管线共6步。Step 1（输入采样）：从PickScore prompt池采一个caption $c$，采纯噪声 $x_{\sigma_1} \sim \mathcal{N}(0, I)$，采学生集成步数 $N \sim \mathcal{U}\{1, N_\text{max}\}$，再严格递减地采连续时间列 $1 = t_1 > t_2 > \dots > t_N > 0$，独立地从 $\mathcal{U}(0,1]$ 采 teacher扰动时间 $\tau, \widetilde\tau, \widehat\tau$ 和off-trajectory配对时间 $t'_i$。Step 2（backward simulation）：用学生速度场沿 $t_N \to t_1$ 反向Euler积分得到中间潜变量 $x_{t_i}^i$，并计算 $v_{t_i}^i = v_\theta(x_{t_i}^i, t_i, c)$。Step 3（CA loss）：学生预测 $D_\theta(x_{t_i}^i, t_i, c)$，加噪到 $z_\tau$，用real teacher在 $(c, \varnothing)$ 上的差计算CFG增强 $\Delta_\text{real}^\text{ca}$，配合权重 $w_\tau = \|D_\phi - D_\theta\|^{-1}$ 组成 $\mathcal{L}_\text{CA}$ 以约束结构与文本对齐。Step 4（DM loss）：同一点的学生预测加噪到 $z_{\widetilde\tau}$，用real teacher $D_\phi$ 与EMA fake teacher $D_\psi$ 的score差 $\Delta_\text{real-fake}^\text{dm}$ 得到 $\mathcal{L}_\text{DM}$，负责匹配去噪数据分布。Step 5（CDM loss——核心新步骤）：用步骤2的 $v_{t_i}^i$ 做一阶Euler外推 $x_{t'_i}^i = x_{t_i}^i + (t'_i - t_i) v_{t_i}^i$，用学生再次去噪得到局部anchor $\widehat x_0^{i'} = D_\theta(x_{t'_i}^i, t'_i, c)$，再按 $z_{\widehat\tau} = (1-\widehat\tau) \text{sg}[\widehat x_0^{i'}] + \widehat\tau \epsilon$ 重新加噪，计算 $\Delta_\text{real-fake}^\text{cdm} = D_\phi - D_\psi$ 后组装 $\mathcal{L}_\text{CDM} = \tfrac{1}{2}\|D_\theta - \text{sg}[D_\theta + w_{\widehat\tau} \Delta_\text{real-fake}^\text{cdm}]\|_2^2$。Step 6（联合优化与EMA）：总损失 $\mathcal{L} = \mathcal{L}_\text{CA} + \mathcal{L}_\text{DM} + \mathcal{L}_\text{CDM}$，按DMD2经验权重反向传播更新 $D_\theta$，并以EMA更新fake teacher $D_\psi \leftarrow (1-\lambda) D_\psi + \lambda D_\theta$。推理时学生沿4步固定Euler schedule积分即可，无需任何额外模块。

技术新颖性可从四个维度评估。第一，动态时间表的提出直接挑战了DMD方法中长期存在但从未被质疑的'训练-推理时间表必须严格对齐'共识；在Tweedie展开下，这是首次给出'为什么sample-wise随机长度和连续时间能改善分布匹配'的解析解释 (Eq. 5-6)。第二，CDM loss把'对少步截断漂移做正则化'这件事从Consistency Distillation的'轨迹自一致性'转化为'DMD-like分布匹配的形式'，并通过精确的Euler外推把目标约束的物理含义明确为$\|dv_\theta/d\tau\|$的惩罚；这是把PF-ODE数值稳定性问题用score-matching视角进行'plug-in'的工程化突破。第三，Table 2 的消融确认三大核心设计 (dynamic schedule / velocity外推 / 局部 $\widehat x_0^{i'}$ 锚定) 缺一不可：固定schedule后HPSv3从9.561跌至9.482、外推换成Gaussian加噪后9.561→9.516、用full-trajectory目标替代局部锚点后9.561→9.346。第四，CDM完全移除了对GAN (DMD2)、reward model (Flash) 或Consistency损失 (SANA-Sprint/TwinFlow) 的依赖，仅靠分布匹配就在SD3-Medium与Longcat-Image两块不同flow-matching骨干上同时刷新4 NFE SOTA。

独立审视的话，论文有以下几个值得改进的弱点。第一，Tweedie视角下的Eq.(5)(6)只对CA/DM梯度成立，而对CDM loss这种off-trajectory形式并未给出对应的KL目标解释，因此'为什么 off-trajectory distribution matching能等价于$\|dv_\theta/d\tau\|$正则化'目前还停留在Appendix E的局部截断误差量级估计，没有推导证明。第二，Table 1中Longcat-Image上的PickScore 21.53比teacher 21.65略低 -0.12，作者并未解释这块是否反映了CDM在该骨干上的过拟合到human-preference特征 (HPSv3远超teacher)，说明三loss组合在不同骨干上的权重或许需要更具原则的自动平衡。第三，dynamic schedule 的 $t'_i$ 外推并未考虑噪声 schedule本身 — 在 $t_i$ 接近 0 时大步长 $|t'_i - t_i|$ 可能把外推点推到接近真实数据分布以外，实验中凭借$T_{\text{max}}$上限隐式压制了这一点，但缺乏图7式的不稳定性分析。第四，论文几乎没有在线A/B human evaluation，AES/HPSv3都是模型代理，可能恰好被CDM的高频细节和CFG-free倾向放大，无法代表人眼对全图composition 的真实偏好。这四点分别对应了：补充off-trajectory目标函数的理论证明、用regression-based metric (如KID) 校准PickScore反向、做 $N_\text{max}$ 与 $t_i$ 联合扫描的ablation、以及补一组真实用户偏好研究。

作者在结论及Related Work里暗示了三条延伸路径。第一，把CDM的off-trajectory思想与一致性蒸馏 (CD) 或对抗性分布匹配 (SANA-Sprint, TwinFlow) 结合，构建同时训练FID/HPSv3/aesthetic三类teacher reward的混合目标。第二，把CDM loss扩展到整条轨迹 (即把 $x_{t'_i}^i$ 同时融合多次Euler外推形成多步路径匹配)，而不是只看一步 offset，这在一致性trajectory modeling里有先例 (CTM)。第三，CDM显然也可以用来蒸馏视频扩散 (例如Wan 2.1、HunyuanVideo) 和 3D 生成 (例如DiffusionSfM、CTVR) 到4 NFE级别，因为这些场景的少步积分漂移更严重。基于本文的成果，我再补充两条值得探索的方向：一是把dynamic continuous schedule当作一种新的self-bootstrapping curriculum，先在$N=1$学粗匹配再逐步拉到$N=4$，理论上能进一步压缩训练时间；二是在CDM loss的$y$分量 (CFG-free distribution) 与真teacher有条件输出之间引入learnable mixing parameter $\beta$，动态调节CA与DM/CDM梯度比，避免在Longcat上出现的PickScore轻微回退。

复现性整体良好但有一定门槛。作者公开了项目页 https://byliutao.github.io/cdm_page/ 与代码仓库 https://github.com/byliutao/cdm2026，作者列表中包含南开VCIP、阿里集团与吉林大学三方的工业+学术合作。论文引用了完整的teacher checkpoint (SD3-Medium官方、Longcat-Image官方)，以及PickScore与DPG-Bench的标准评测prompt split，使得主表所有数字都可以被第三方逐项重跑。关键超参 (DMD2学习率、CFG scale $\alpha$、EMA衰减) 在Appendix C给出，但Appendix G只给出训练效率对比表，没有披露具体GPU型号、wall-clock time与NFE步之间的per-GPU hours，因此想要估算总成本有些困难。最大的复现门槛是算力：在SD3-Medium 1024×1024 上4 NFE蒸馏本身就需要8张以上A100/H100 GPU，单训练周期可能达到1-2周；再加上CDM loss每次额外student的前向与teacher的两次前向 (real + fake)，实际成本大约比vanilla DMD2高30-50%。整体而言，作者提供了算法与配置上的足够信息，但'无条件复现'对小团队仍具有算力挑战。