阐明扩散概率模型中的 SNR-t 偏差 Elucidating the SNR-t Bias of Diffusion Probabilistic Models

训练阶段无需改动。推理每一时间步 $t\to t-1$ 按四步执行：(1) 调用 $\epsilon_\theta(\hat{x}_t,t)$，依 Eq.5 计算重构 $x_\theta^0$。(2) 按 Eq.8 得本步预测 $\hat{x}_{t-1}=\frac{1}{\sqrt{\alpha_t}}\bigl(\hat{x}_t-\frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_t}}\epsilon_\theta\bigr)+\sigma_t\epsilon$。(3) 对二者做 DWT 得四频带，按 Eq.18 加权校正，$\lambda_t^l=\lambda_l\sigma_t$、$\lambda_t^h=(1-\lambda_h)\sigma_t$，令低频先行、高频后补。(4) iDWT 拼回得 $\tilde{x}_{t-1}$。差分 $d_{t-1}=\hat{x}_{t-1}-x_\theta^0=\hat{\gamma}_{t-1}\eta_t\epsilon_t$ 即方向梯度，全程不调用网络。

新颖性可归纳为四点。第一，把"样本 SNR 与 timestep 的错位"从直觉现象形式化成可解析推导的偏差定理(Theorem 5.1)，填补了 DPM 偏差研究中 sample-level 与 timestep-level 之间的空缺。第二，提出对重构样本与预测样本之差的方向梯度解释，把曝光偏差的修正转化为几何意义上的"反推"。第三，把 DPM coarse-to-fine 频域特性与差分校正相结合，提出 $\lambda_t^l,\lambda_t^h$ 的 variance-driven 动态调度，无需手工阈值即可在不同模型/数据集上自动适配。第四，证明 SNR-t 偏差与曝光偏差是"因-果"关系(DCW 可叠加到 ADM-IP/ADM-ES/DPM-FR 之上继续降 FID)，这是对偏差理论层级的重新梳理。

独立分析后我认为本文有四个可改进点。第一，差分信号 $\eta_t\epsilon_t$ 中 $\eta_t=\sqrt{\phi_t^2+\psi_{t-1}^2}$ 仍含噪声 $\epsilon_t$，虽然小波域已经减弱了高频噪声干扰，但当 $\sigma_t$ 很大 (去噪最早期)，$\lambda_t^l=\lambda_l\sigma_t$ 会放大这段方向噪声。可以考虑用低通滤波或基于相邻多步 $\hat{x}$ 的动量估计来进一步降噪 (类比 MA-Sampling)，或为 $\lambda_l$ 加一个 clip 防止早期过校正。第二，当前调度依赖单一标量 $\sigma_t$ 作为去噪进度标志，这在 ODE/SDE 求解器一致的 DPM 中可行，但若与 classifier-free guidance 或其他 guidance scale 组合，二者的进度不再线性，单一 $\sigma_t$ 调度可能需要重新标定。第三，论文只在 $\le 35$ NFE 范围内实验，对超 50 步的高质量采样场景并未报告；同时 $\epsilon$-prediction 与 $v$-prediction 的转换不在讨论范围内。改进方向是引入对 EDM 那种 preconditioning 形式一致的进度估计 (例如 $t/(1+t)$)。第四，本文小波基选用 Haar 小波，对于纹理类高频信号表达有限，可以探索 Daubechies、symlets 或 steerable pyramid 等更丰富的频域基，进一步分离方向/尺度信息。

未来研究方向有三条路径可以自然延伸。第一，基于 SNR-t 偏差本身：作者在 Sec.5.1 给出 $\hat{x}_t$ 的解析 SNR 形式，下一步可设计可微的反向过程求解器，将该解析 SNR 作为约束执行 projection-style 优化，理论上可比 DCW 更彻底地消除偏差。第二，多模态扩展：作者实验已经触及 FLUX、Qwen-Image 这类 text-to-image 系统，但 FID 还不足以说明语义一致性的改善；可以扩展到文-图一致性分数 (CLIPScore)、Layout Fidelity 以及视频生成的运动一致性，验证 DCW 在跨帧 SNR 偏差场景下的效果。第三，统一到 diffusion-style 训练目标：目前 DCW 完全不改动训练，但 $\gamma_t$ 系数可以在训练阶段被显式学习 (类似 $\mu$-Param 或 $\gamma$-reparam)，从而把 SNR-t 偏差嵌入模型本身；这样下次蒸馏/少步采样时就无需额外校正。这与作者代码开源的工程意义互相呼应：DCW 通用但每次使用要调 $\lambda$ ，如果能内化进模型权重会更便于部署。

复现评估：作者开源了代码仓库 github.com/AMAP-ML/DCW，权重部分沿用 ADM、EDM、IDDPM、PFGM++、DiT、FLUX、Qwen-Image 等已公开发布的 checkpoint，因此不需要重新训练基模型。对于 DCW 本身，所有计算只涉及 (i) Tweedie 式重构的像素运算 (ii) DWT/iDWT (iii) 一次加权求和，可在 PyTorch 中以向量化算子实现，几乎无额外超参数搜索成本 (二阶段网格搜索每步 5 分钟内收敛)。计算资源方面，所有 FID 报告均使用单卡 NVIDIA A6000 完成 (Tab.7 显示单次批量 100 张 64×64 平均 4.27s 等)，显存需求与原模型一致 (无 NFE 增加)。需要注意的是 (a) 不同数据集需要重新两阶段搜索最优 $\lambda_l,\lambda_h$，但作者在 Appendix G 提供了 CIFAR-10 完整搜索流程作为模板。(b) CIFAR-10/CS 这种定义来自 ADM-IP，对应 continuous-time schedule，复现者需明确 base sampler + scheduler 与原 paper 一致。整体复现难度评估为中等，关键在于 base 模型配置严格对齐，DCW 代码仅约 100 行。