彩色噪声扩散采样 Colored Noise Diffusion Sampling
利用扩散模型频谱偏差，通过动态彩色噪声注入显著提升生成质量的无训练采样方法
前置知识
扩散模型
扩散模型是一类生成模型，通过逐步向数据添加噪声然后学习反向去噪过程来生成样本。其核心是从简单噪声分布（如高斯分布）到复杂数据分布的渐进转换。在数学上，这通常通过前向扩散过程 x_t = α_t x_0 + σ_t ε 和反向扩散过程 d x_t = v_θ(x_t, t) dt 来描述。模型学习预测速度场 v_θ、干净数据 x_0 或噪声 ε，这三者在代数上是等价的。
本文提出的CNS方法直接作用于扩散模型的采样过程，理解扩散模型的基本工作原理对于理解CNS如何利用其频谱特性至关重要。
随机微分方程
SDE是包含随机项的微分方程，形式为 d x_t = f(x_t, t) dt + g(t) d w̄，其中 f 是漂移项，g(t) 是扩散系数，d w̄ 是反向维纳过程。在扩散模型中，SDE求解器通过持续注入噪声来探索局部潜在邻域，同时基于分数的降噪将状态拉回高密度区域。每个步骤注入的总能量受 ∫ g²(t) dt < ∞ 约束，这是一个有限的能量预算。
CNS方法的核心创新就是修改SDE求解器中注入噪声的频谱特性，理解SDE的数学框架对于理解CNS的技术原理必不可少。
频谱偏差
频谱偏差是指神经网络（包括扩散模型）在学习过程中倾向于优先学习低频全局结构，然后逐渐学习高频细节的特性。在扩散模型的采样过程中，这意味着模型在早期时间步骤先解析图像的整体轮廓和粗略形状（低频），在后期步骤才填充纹理和边缘细节（高频）。本文通过进度指标 γ(f, t) = 1 - |X₀(f) - X_pred(f, t)|² / |X₀(f)|² 来量化每个频带在给定时间步的解决程度。
频谱偏差是CNS方法的基础，CNS的核心思想就是利用这一特性来动态分配噪声能量，使能量优先注入到尚未充分解析的频段。
功率谱密度
PSD描述信号在不同频率上的能量分布，定义为 S(f) = E[|ε̂(f)|²]，其中 ε̂(f) 是噪声的傅里叶变换。标准高斯白噪声具有恒定的PSD（S(f) = const），意味着在所有频率上注入相同的能量。彩色噪声则具有非均匀的PSD，例如高频主导的蓝噪声或低频主导的红噪声。根据帕塞瓦尔定理，PSD的积分给出总空间能量 E[‖ε‖²] = ∫ S(f) df。
CNS方法的核心就是通过动态调整注入噪声的PSD（即噪声颜色）来优化采样过程，理解PSD对于掌握CNS的技术细节至关重要。
研究动机
现有扩散模型采样算法（特别是基于SDE的求解器）存在根本性缺陷：它们在整个采样过程中盲目注入均匀白噪声，完全忽略生成图像的频谱动态演化。这种统一的噪声分配方式浪费了有限的能量预算，因为模型在早期已经解析了低频结构，但仍然向这些频段注入噪声；同时，高频细节在后期才逐渐形成，但噪声分配没有相应调整。实验表明，标准SDE采样器在ImageNet-256上生成的FID为8.26（SiT-XL/2），32.39（JiT-B/16），11.88（JiT-H/16），这反映了采样效率不足。
本文的目标是本文旨在设计一种新型的随机求解器，主动利用扩散模型固有的频谱偏差，通过动态调整注入噪声的频谱特性来提升生成质量。具体目标是将SDE噪声注入重新构念为有针对性的能量转移过程，在保持总能量预算不变的前提下，将能量优先分配到结构上尚未解析的频段，从而生成更接近真实数据流形的图像分布。
与已有工作不同的是，现有利用频谱偏差的方法主要分为两类：一类需要重新训练模型（如修改训练时的噪声分布），代价高昂；另一类只在推理时进行后处理修改（如频率解耦操作、激活重加权、步长调整），但将底层随机求解器视为黑箱。本文的独特切入角度是直接将频谱偏差嵌入到核心采样机制本身，通过修改求解器注入的噪声频谱特性来从根本上提升采样效率，而不是修改网络或其输出。
核心方法
CNS方法的核心直觉是：扩散模型的采样轨迹类似于向数据流形的非正交旋转，这个过程保留了大量初始噪声的结构信号。更重要的是，SDE求解器注入的随机噪声也会被映射到对应频段的最终图像特征中。由于模型在不同时间步对不同频段的解析能力不同（由进度指标 γ(f, t) 刻画），我们应该根据频段的解析程度动态调整噪声注入量：对已充分解析的频段减少注入，对未充分解析的频段增加注入。这样可以在总能量预算不变的前提下，最大化噪声能量的效用。
CNS的核心创新是在标准SDE噪声增量上引入频率依赖的缩放权重 β_f(t)，将给定频率 f 的随机Itô能量项从 1/2 g²(t) 修改为 1/2 g²(t) β_f²(t)。关键约束是全局方差守恒 (1/D) Σ β_f²(t) = 1，确保注入的总能量保持不变。CNS分配调度使得方差乘子严格正比于结构赤字：β(f, t) = √(1-γ(f, t)) / √[(1/D) Σ (1-γ(f', t))]。这与现有方法有本质区别：现有方法要么修改训练目标，要么在固定噪声求解器后进行后处理，而CNS直接修改求解器的核心噪声注入机制。
方法步骤详情
CNS方法的完整采样过程如下：首先，预计算 γ(f, t) 矩阵，这是一个 T × F 的完成度矩阵，其中 T 是采样步数，F 是频带数。对于每个频带 f，通过评估模型在每个中间时间步 t 的干净数据预测 x_pred^t = x_θ(x_t, t) = x_t - t v_θ(x_t, t)，计算其频谱分量 X_pred(f, t)，然后根据最终生成潜变量 x₀ 的频谱分量 X₀(f) 计算进度指标 γ(f, t)。采样时，从标准正态分布初始化 x。对于每个时间步 t_i，从标准正态分布采样噪声 w，根据当前步的 γ(f, t_i) 计算频域缩放因子 scale = √(1-γ[i])。将噪声转换到频域 W = FFT2(w)，应用频域缩放 W = W · scale[freq_bins]，然后转换回空域 w_c = real(IFFT2(W))。归一化 w_c = w_c / std(w_c)。计算模型预测 v = model(x, t)，分数 s = (t·v - x)/(1-t)，扩散系数 D = diffusion(x, t)。最终更新 x ← x + (v + D·s)dt + √(2D) · w_c · √(dt)。
技术新颖性
CNS的技术新颖性体现在三个层面。首先是理论层面：建立了将SDE噪声注入重新构念为目标能量转移的数学框架，证明了标准Langevin对均匀白噪声的要求可以安全放宽为频谱变化的彩色噪声，只要保持总能量守恒。其次是方法层面：提出了动态、时间步和频率依赖的噪声调度，基于模型本身的频谱解析能力 γ(f, t) 来实时调整噪声分配，这是对固定白噪声求解器的根本性改进。最后是实用层面：CNS是完全即插即用的，不需要任何模型重训练，可以直接应用于各种架构（SiT、JiT、FLUX）和任务（类条件生成、文本到图像），并与不同阶数的SDE求解器（Euler-Maruyama、Heun、SRK2）兼容。
实验结果
核心发现是在多个架构和数据集上CNS显著优于标准ODE和SDE基线。在ImageNet-256的无引导类条件生成中，CNS在SiT-XL/2上将FID从8.26降至6.27（降低24%），sFID从6.32降至4.73，IS从131.65提升至147.33。在JiT-B/16上，FID从32.39降至26.69（降低18%），IS从25.86提升至27.95。在JiT-H/16上，FID从11.88降至8.31（降低30%）。在分类器自由引导（CFG）设置下，CNS也保持一致的优势。对于SiT-XL/2，CFG=1.5时，FID从2.06降至1.98；对于JiT-H/16，CFG=2.2时，FID从2.08降至2.03；对于JiT-B/16，CFG=3.0时，FID从4.54降至4.39，在更优的CFG=2.6时降至4.19。在不同求解器阶数上，CNS始终表现最佳：一阶弱收敛（Euler-Maruyama）FID=6.27，二阶弱收敛（Heun）FID=5.99，随机Runge-Kutta（SRK2）FID=5.91。在文本到图像生成任务中，CNS在DrawBench上提升ImageReward从0.990到1.012（FLUX.1-dev）和从0.924到1.005（FLUX.2-klein）。消融实验验证了动态调度的重要性：部分白噪声污染（50%白噪声）FID降至10.64，打乱调度FID=10.46，恒定频谱FID=10.53，均不如完整CNS的9.61。更重要的是，违反能量约束（缩放能量0.90或1.05）会导致严重质量下降（FID=16.17或20.46），证明了方差守恒的必要性。此外，CNS与基于替代噪声训练的方法（如BNDM）正交，应用CNS到BNDM的预训练模型仍能带来提升（AFHQ Cat: FID从18.80降至7.49；LSUN Church: FID从66.71降至8.70）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ImageNet-256类条件生成（无引导） | FID↓ | 6.27 | 8.26 (SDE) | 降低24% |
| ImageNet-256类条件生成（无引导） | FID↓ | 8.31 | 11.88 (SDE) | 降低30% |
| ImageNet-256类条件生成（无引导） | FID↓ | 26.69 | 32.39 (SDE) | 降低18% |
| ImageNet-256类条件生成（CFG=1.5） | FID↓ | 1.98 | 2.06 (SDE) | 降低4% |
| DrawBench文本到图像生成 | ImageReward↑ | 1.012 | 0.990 (SDE) | 提升2.2% |
| AFHQ Cat生成 | FID↓ | 7.49 | 18.80 (SDE) | 降低60% |
局限与改进
作者承认的主要局限性是CNS依赖于SDE框架，因此与确定性ODE求解器不兼容。由于随机采样本质上需要较高的步数预算来防止离散化误差累积，标准ODE在超快速推理场景中仍然是更好的选择。此外，CNS需要预计算 γ(f, t) 矩阵，这增加了推理前的计算开销。另一个潜在局限性是CNS的效益可能取决于模型本身的频谱偏差强度，对于频谱偏差较弱的模型，提升可能不明显。从实现角度，频域操作（FFT和IFFT）也增加了每一步的计算成本，尽管这个开销相对较小。
独立分析的弱点
独立分析来看，CNS存在几个可改进的弱点。首先是计算开销：每步需要FFT和IFFT操作，虽然在现代GPU上相对高效，但对于资源受限的环境仍是负担。其次是预计算成本：γ(f, t) 矩阵需要通过前向传播计算，这在首次使用时是额外的计算负担。第三是步数依赖：CNS在低步数（如10步）时优势不明显，这限制了它在极快速推理场景中的应用。第四是架构适配：虽然CNS在多种架构上有效，但对于某些特殊架构（如基于Transformer的某些变体），可能需要调整频带划分策略。改进方向包括开发快速近似方法估计 γ(f, t)，减少预计算开销；探索更低复杂度的空域替代方案；研究如何将频率依赖的能量路由扩展到确定性低步采样范式。
未来方向
作者提出的未来工作方向包括：探索将频率依赖的能量路由扩展到确定性范式，以实现低步采样；将CNS应用于视频生成，利用时间频率维度；研究更精细的频带划分策略。基于本文成果，可以延伸的进一步研究方向包括：将CNS与其他采样加速技术（如步数优化、状态重参数化）结合，探索它们之间的正交性；研究CNS在更高分辨率图像生成（如1024x1024）上的效果；开发自适应的频带划分策略，根据图像内容动态调整；探索CNS在其他生成模态（如音频、3D生成）中的应用；深入研究CNS的能量分配机制与其他优化理论（如信息瓶颈）的联系；开发CNS的理论保证，建立更严格的收敛性分析。
复现评估
论文提供了项目页面（https://hadardavidson.github.io/CNS/），但未明确说明代码是否开源。从方法论角度，CNS的实现相对清晰，主要涉及频域操作和动态噪声调度。实验使用了公开的预训练模型（SiT-XL/2、JiT-H/16、JiT-B/16、FLUX.1-dev、FLUX.2-klein），这些模型都是公开发布的。评估基于标准数据集（ImageNet-256、AFHQ Cat、LSUN Church）和标准指标（FID、sFID、IS、Precision/Recall、ImageReward、CLIPScore、Aesthetic Score）。实验规模较大（ImageNet-256使用50,000生成样本对抗10,000参考图像），这表明需要相当的算力资源。由于CNS不需要模型重训练，复现的主要挑战是实现算法细节和获得足够的计算资源来运行大规模评估。总体而言，复现难度中等，主要取决于代码可用性和计算资源。
论文图表
