尺度空间扩散：将尺度空间理论融入扩散模型的统一框架 Scale Space Diffusion

Scale Space Diffusion的完整流程包括以下几个关键步骤：（1）**定义分辨率调度**：建立从扩散时间步 $t$ 到空间分辨率 $r(t)$ 的映射函数，使得分辨率随时间步单调递减。本文探索了多种调度策略，包括等间隔、凸衰减、Sigmoid形、Tanh形等，发现ConvexDecay 0.5在FID和训练时间之间取得最佳平衡。（2）**前向扩散**：使用累积算子 $M_{1:t}$ 和噪声标准差 $\sigma_t$ 生成噪声状态 $x_t = M_{1:t}x_0 + \sigma_t\epsilon$，其中 $M_{1:t}$ 包含多次2倍下采样操作。（3）**训练模型**：损失函数为 $\mathcal{L} = \mathbb{E}_{x_0,t,\epsilon}[\min(s^2(t), \gamma) \|x^{r(t-1)}_{0,\theta}(x_t, t) - \frac{M_{1:t-1}x_0}{a_{t-1}}\|^2_2]$，其中 $s^2(t)$ 是信噪比，$\gamma=5$ 是Min-SNR策略的截断参数。（4）**采样生成**：从最低分辨率 $r(T)$ 的随机高斯噪声开始，模型预测下一分辨率的干净图像 $\mu_{t-1} = a_{t-1} \cdot x^{r(t-1)}_{0,\theta}$，然后从后验分布采样 $x_{t-1} \sim \mathcal{N}(\mu_{t \to t-1}, \Sigma_{t \to t-1})$。（5）**非各向同性噪声采样**：对于分辨率变化的步骤，使用Lanczos算法计算 $\Sigma_{t \to t-1}^{1/2} \epsilon$ 来采样非各向同性噪声。

本文的技术新颖性体现在多个层面：首先，在理论层面，建立了扩散模型在广义线性退化下的完整数学框架，包括Theorem 1（前向转移）、Theorem 2（后验分布）和Theorem 3（各向同性边际下的闭式解），这扩展了DDPM和Blurring Diffusion的理论基础。其次，在实现层面，提出了使用向量-雅可比积（vector-Jacobian product）来隐式计算线性算子的转置 $M_t^T v = \nabla_x \langle v, M_t x \rangle$，解决了图像缩放等隐式算子无法直接获得矩阵形式的难题。第三，在架构层面，Flexi-UNet通过动态激活UNet的不同层来处理多分辨率输入，高分辨率输入遍历完整UNet，低分辨率输入只经过深层，通过1×1卷积层调整通道维度。这种设计使得参数在不同分辨率间共享，同时支持分辨率保持和分辨率提升的去噪操作。第四，DDPM自然成为SSD在 $M_t = \sqrt{\bar{\alpha}_t} I$ 时的特例，这表明SSD是一个更一般的框架。

基于对论文的深入分析，我识别出以下几个主要弱点：（1）**FID性能差距**：在高分辨率下，SSD的FID明显高于DDPM基线（例如CelebA-256上13.50 vs 5.52），这可能源于多尺度处理过程中的信息损失。改进方向：可以探索更精细的分辨率调度策略，或者在分辨率转换时引入残差连接来保留高频信息。（2）**ImageNet泛化能力不足**：SSD在ImageNet-64上FID为17.89，相比DDPM的12.82有显著差距，说明方法在复杂分布上的泛化能力有限。改进方向：可以结合类条件信息或使用更大的模型容量来处理ImageNet的多样性。（3）**架构设计过于复杂**：Flexi-UNet需要额外的1×1卷积层和动态层激活机制，增加了实现难度。改进方向：可以探索更简洁的多分辨率架构，如使用Neural Operator或自适应卷积。（4）**缺乏与其他多分辨率方法的直接比较**：论文没有与Cascaded Diffusion、Matryoshka Diffusion等方法进行公平比较，难以评估SSD的相对优势。改进方向：在相同计算预算下进行系统性比较。（5）**训练稳定性未讨论**：多分辨率训练可能导致梯度不稳定，但论文没有讨论训练过程中的稳定性问题。

作者提出了几个有前景的研究方向：（1）**更先进的采样器**：使用DDIM、DPM-Solver等快速采样器替代DDPM采样器，可以同时提升推理速度和生成质量。（2）**课程学习**：借鉴Progressive GAN的思想，在训练初期使用低分辨率，逐步增加分辨率，可以改善训练优化。（3）**Transformer架构集成**：将Scale Space Diffusion与DiT、HDiT等Transformer架构结合，探索在像素空间和潜在空间的应用。基于SSD的成果，还可以延伸以下方向：（4）**潜在空间SSD**：将多分辨率降级作为潜在空间中的插值操作，实现更高效的Scale Space LDM。（5）**视频生成扩展**：将时间维度纳入尺度空间框架，实现时空联合的多尺度生成。（6）**条件生成**：将SSD扩展到文本到图像生成，利用低分辨率条件引导高分辨率生成。（7）**自适应分辨率调度**：根据输入图像的复杂度动态调整分辨率调度，而不是使用固定的调度函数。

本文在复现性方面表现良好。代码和项目网站已公开，基于广泛使用的ADM代码库构建，降低了复现难度。所有实验细节都有详细记录：使用AdamW优化器，学习率1×10^{-4}（64×64和128×128）或5×10^{-5}（256×256），批量大小128或64，1000步线性噪声调度。数据集CelebA和ImageNet都是公开可用的标准数据集。然而，完全复现需要多GPU资源：实验在NVIDIA H100和RTX A4000上进行，256×256的实验需要2张H100。推理时间在单张NVIDIA GH200节点上测量。Lanczos算法和非各向同性噪声采样（Algorithm 3）的实现需要一定的数学背景，但论文提供了详细的伪代码。总体而言，对于有适当计算资源的研究者，该方法应该是可复现的。