SeaCache：频谱演化感知缓存加速扩散模型 SeaCache: Spectral-Evolution-Aware Cache for Accelerating Diffusion Models
通过频谱演化感知的缓存策略，在保留内容质量的同时加速扩散模型推理
前置知识
扩散模型（Diffusion Models）
扩散模型是一类基于迭代去噪过程的生成模型，通过学习从噪声逐步恢复干净数据来生成高质量样本。其前向过程遵循马尔可夫链，逐步向干净数据 $x_0$ 添加高斯噪声，生成带噪序列 $x_1, x_2, ..., x_T$。具体而言，对于时间步 $t$，带噪样本通过线性混合模型生成：$x_t = a_t x_0 + b_t \epsilon$，其中 $\epsilon \sim \mathcal{N}(0, I)$ 是标准高斯噪声，系数 $(a_t, b_t)$ 由噪声调度确定。在去噪扩散概率模型（DPM）中，$a_t = \sqrt{\bar{\alpha}_t}$，$b_t = \sqrt{1-\bar{\alpha}_t}$，其中 $\bar{\alpha}_t \in [0,1]$ 由预定义的噪声调度决定；在整流流（Rectified Flow）模型中，使用线性插值形式 $a_t = 1-\alpha_t$，$b_t = \alpha_t$，其中 $\alpha_t = t/T$。反向过程从纯噪声 $x_T \approx \epsilon$ 开始，通过神经网络 $\epsilon_\theta$ 预测每一步的噪声，迭代重构出干净样本 $x_0$。训练目标为最小化噪声预测误差：$\mathcal{L}_{\text{DPM}} = \mathbb{E}_{x_0, t, \epsilon, y} \|\epsilon - \epsilon_\theta(x_t, t, y)\|^2$。这种迭代去噪过程在相邻时间步之间产生了强烈的冗余性，为缓存加速提供了理论基础。
理解扩散模型的迭代去噪机制是理解SeaCache加速方法的前提，因为缓存策略的核心思想正是利用相邻时间步输出之间的高度相似性来减少冗余计算。
缓存加速（Caching-based Acceleration）
缓存加速是一种通过重用相邻时间步的中间计算结果来减少扩散模型推理时间的技术。其基本原理是：在去噪过程中，相邻时间步的模型输出通常非常相似，因此可以在某些时间步跳过完整的前向传播，直接复用之前计算的结果。现有方法可分为两类：静态调度方法（如DeepCache、PAB）在固定间隔缓存特征，实现可预测的加速但无法适应输入多样性；动态调度方法（如TeaCache、TaylorSeer、DiCache）根据特征距离动态决定是否刷新缓存。以TeaCache为例，它使用时间步调制的输入特征 $I_t = \phi(x_t, t)$ 的相对 $\ell_1$ 距离 $\Delta_t = \frac{\|I_t - I_{t+1}\|_1}{\|I_{t+1}\|_1 + \xi}$ 来量化相邻时间步的变化，当累积距离超过阈值 $\delta$ 时触发刷新。这些方法关注缓存的位置（哪些层或块），但距离度量仍在原始特征空间中进行。
SeaCache的创新之处在于改进了缓存决策的度量标准，从原始特征空间转向频谱感知空间，因此深入理解现有缓存加速方法的工作原理和局限性是必要的。
频谱演化（Spectral Evolution）
频谱演化是扩散模型去噪过程中的一个重要现象，指模型在不同时间步对不同频率分量的处理存在系统性差异。具体而言，在去噪的早期步骤（$t$ 接近 $T$），模型主要建立低频结构，如整体轮廓、大致形状和全局布局；而在后期步骤（$t$ 接近 $0$），模型逐步细化高频细节，如纹理、边缘和精细结构。从信噪比的角度理解，低频分量主要包含与干净样本对齐的内容信号，高频分量主要包含反映随机变化的噪声。随着时间步 $t$ 减小，系数 $a_t$ 从 $0$ 增加到 $1$，模型逐渐恢复高频细节，这与频谱演化的渐进特性一致。这一现象已被多项独立研究证实，为缓存策略的设计提供了重要的先验知识。
SeaCache的频谱演化感知滤波器正是基于这一核心观察设计的，通过强调内容相关的低频分量、抑制噪声主导的高频分量，实现更准确的缓存决策。
快速傅里叶变换（FFT）与频域滤波
快速傅里叶变换（FFT）是一种高效计算离散傅里叶变换（DFT）的算法，能够将信号从时域（或空域）转换到频域表示。对于二维图像，FFT将空间域特征 $I(x,y)$ 转换为频率域表示 $I(f_x, f_y)$，其中低频分量对应图像的平滑区域和整体结构，高频分量对应边缘、纹理和细节。频域滤波的核心操作是：先对输入进行FFT变换，然后在频率域中与滤波器响应进行逐元素乘法，最后通过逆FFT（iFFT）返回空间域。数学表示为：$P(G, I) = \text{iFFT}(G(f) \odot \text{FFT}(I))$，其中 $G(f)$ 是频率响应函数，$\odot$ 表示逐元素乘法。这种操作的时间复杂度为 $O(N \log N)$，其中 $N$ 是像素数，远低于直接卷积的 $O(N^2)$。对于视频数据，使用三维FFT在空间和时间维度上同时进行频谱分析。
SeaCache使用FFT和iFFT作为核心计算步骤来实现频谱演化感知滤波，理解这一信号处理基础对于把握算法的实现细节至关重要。
研究动机
现有的扩散模型缓存加速方法存在一个关键缺陷：它们在原始特征空间中测量特征距离来决定缓存策略，但忽略了频谱演化这一重要先验知识。具体来说，TeaCache等方法使用时间步调制的输入特征 $I_t$ 的相对 $\ell_1$ 距离 $\Delta_t = \frac{\|I_t - I_{t+1}\|_1}{\|I_{t+1}\|_1 + \xi}$ 来判断相邻时间步之间的冗余程度。然而，这种原始特征距离将内容信号和噪声分量同等对待，无法有效区分真正有意义的内容变化与随机噪声波动。如论文中的oracle实验所示（图2），在FLUX和Wan2.1 1.3B两个模型上，基于原始输出距离的缓存策略在相同刷新比率下，PSNR显著低于基于SEA滤波输出的策略。例如在FLUX上，当刷新比率为0.3时，原始特征方法的PSNR约为18 dB，而频谱感知方法达到约22 dB，差距高达4 dB。这表明原始特征距离并非最优的冗余度量标准，需要一种能够显式考虑频谱演化特性的新方法。
本文的目标是本文的目标是设计一种频谱演化感知的缓存策略（SeaCache），通过在频谱对齐的空间中测量特征距离来改进缓存决策的质量。具体而言，作者设定了三个明确的技术目标：第一，推导出一个理论驱动的、时间步依赖的频谱滤波器，该滤波器能够强调内容相关信号同时抑制噪声分量，其频率响应应与扩散模型的频谱演化特性对齐；第二，证明该滤波器应用于输入特征后，能够作为输出变化的可靠代理，使得缓存决策可以在输入侧完成而无需等待完整的前向传播；第三，实现一种即插即用、无需训练的缓存策略，能够无缝集成到现有的各种缓存方法中，同时保持网络无关性和采样器无关性。这些目标的实现将使缓存策略能够更好地跟踪内容变化而非随机噪声，从而在相同的计算预算下获得更高质量的生成结果。
与已有工作不同的是，本文的独特切入角度在于将频谱演化这一扩散模型的内在特性显式地融入缓存决策过程，这是之前所有缓存方法都未充分探索的方向。与之前的方法不同，SeaCache不是在原始特征空间或简单的多项式拟合空间中测量距离，而是在一个频谱感知的滤波空间中进行度量。这种设计基于一个关键观察：扩散模型的去噪过程本质上是一个频谱演化过程，早期步骤建立低频结构，后期步骤细化高频细节。通过设计与这一演化过程对齐的滤波器，SeaCache能够更准确地识别真正的内容冗余。与FreqCA等探索频域缓存的工作相比，SeaCache聚焦于何时缓存而非如何利用缓存特征，提供了一种互补的加速视角。此外，SeaCache的理论基础来自最优线性去噪器的频率响应，这为其设计提供了坚实的数学支撑，而非纯粹的经验设计。
核心方法
SeaCache的整体思路可以概括为：通过频谱演化感知滤波器将原始特征转换到一个强调内容信号、抑制噪声的空间，然后在这个空间中测量相邻时间步的距离来指导缓存决策。直觉上，这就像给一个嘈杂的信号戴上一副特殊的眼镜，过滤掉随机波动，只关注真正有意义的内容变化。技术路线分为三个主要阶段：首先，在频域中推导出最优线性去噪滤波器 $G_t(f)$，该滤波器反映了扩散模型在不同时间步的频谱演化特性，其频率响应为 $G_t(f) = \frac{a_t S_x(f)}{a_t^2 S_x(f) + b_t^2}$；其次，对滤波器进行归一化处理得到 $G_t^{\text{norm}}(f)$，通过强制单位平均增益确保不同时间步的特征能量可比；最后，将归一化滤波器应用于输入特征，计算频谱感知的距离 $\tilde{\Delta}_t$ 来指导缓存调度。整个流程如图3所示，从输入特征到缓存决策的完整数据流清晰可见。
SeaCache的核心创新在于引入频谱演化感知（SEA）滤波器，这与已有方法存在本质区别。传统方法如TeaCache在原始特征空间中测量距离，将内容信号和噪声同等对待；而SEA滤波器基于最优线性去噪器的频率响应设计，能够显式地区分信号和噪声。具体来说，SEA滤波器的频率响应为 $G_t(f) = \frac{a_t S_x(f)}{a_t^2 S_x(f) + b_t^2}$，其中 $S_x(f)$ 是信号功率谱。假设自然图像服从幂律频谱 $S_x(f) \simeq A|f|^{-\beta}$，则响应简化为 $G_t(f) = \frac{a_t |f|^{-\beta}}{a_t^2 |f|^{-\beta} + b_t^2}$。这个公式表明：在早期时间步（$a_t$ 较小），滤波器主要通过低频分量；随着时间步推进（$a_t$ 增大），高频分量逐渐被恢复。如图4所示，不同时间步的滤波器形状呈现出明显的频谱演化特性，这正是频谱演化的数学体现，使得缓存决策能够更好地跟踪内容变化而非随机噪声。
方法步骤详情
SeaCache的方法分为四个关键步骤。第一步，频谱演化感知滤波器设计。基于线性最小均方误差（MMSE）估计器推导最优频率响应 $G_t(f)$。假设自然图像功率谱服从幂律 $S_x(f) \simeq A|f|^{-\beta}$（图像 $\beta=2$，视频 $\beta=3$），得到 $G_t(f) = \frac{a_t |f|^{-\beta}}{a_t^2 |f|^{-\beta} + b_t^2}$。为确保不同时间步的距离可比，对滤波器进行归一化：$\nu_t = \frac{1}{L} \sum_{f_\ell \in F} G_t(f_\ell)$，$G_t^{\text{norm}}(f) = \nu_t G_t(f)$。第二步，频谱感知特征提取。对输入特征 $I_t$ 应用SEA滤波器：$P(G_t, I_t) = \text{iFFT}(G_t(f) \odot \text{FFT}(I_t))$，其中 $\odot$ 表示逐元素乘法。对于2D图像使用2D FFT，对于3D视频使用3D FFT在空间和时间维度上同时处理。第三步，频谱感知缓存距离计算。定义频谱感知的相对距离 $\tilde{\Delta}_t = L_1^{\text{rel}}(P(G_t^{\text{norm}}, I_t), P(G_{t+1}^{\text{norm}}, I_{t+1}))$。第四步，动态缓存调度。沿用标准的累积距离刷新规则，当累积距离超过阈值 $\delta$ 时触发刷新，缓存的输出被重用于后续时间步直到下一次刷新。
技术新颖性
SeaCache的技术新颖性体现在多个方面：首先，它是第一个将频谱演化先验显式注入缓存决策的策略，与之前在原始特征空间中工作的方法形成鲜明对比，填补了缓存加速研究中的一个重要空白。其次，SEA滤波器的推导具有严格的理论基础，基于最优线性去噪器的频率响应，而非经验设计，这使得方法具有更好的可解释性和理论保证。第三，归一化处理 $G_t^{\text{norm}}(f)$ 确保了距离度量在不同时间步之间的一致性，这是一个重要的技术细节，解决了原始滤波器增益随时间步变化导致的距离度量不稳定问题。第四，SeaCache是即插即用的，不需要修改网络架构或重新训练，可以无缝集成到现有缓存方法中。第五，该方法是网络无关和采样器无关的，适用于各种扩散模型和Rectified Flow模型。实验表明，将SEA滤波器集成到DiCache中也能带来一致的性能提升，证明了其广泛兼容性。
实验结果
SeaCache在多个视觉生成模型上进行了广泛实验，包括文本到图像模型FLUX.1-dev和文本到视频模型HunyuanVideo、Wan2.1 1.3B，全面验证了其有效性。在FLUX.1-dev上，使用50%刷新比率时，SeaCache实现了延迟9.4秒、TFLOPs 1098、PSNR 26.285、LPIPS 0.106、SSIM 0.893，显著优于TeaCache（PSNR 20.762、LPIPS 0.211、SSIM 0.810）和TaylorSeer（PSNR 22.783、LPIPS 0.163、SSIM 0.828）。在更激进的30%刷新比率下，SeaCache仍然保持最佳性能（PSNR 21.332），而其他方法出现明显退化。在HunyuanVideo上，SeaCache在50%刷新比率时将PSNR提升约8 dB（32.39 vs TeaCache 23.40 vs TaylorSeer 24.14），LPIPS降低至0.047，SSIM提升至0.932。在Wan2.1 1.3B上，SeaCache在相同刷新比率下实现了PSNR 26.60，而TeaCache和TaylorSeer分别为20.84和16.15。CycleReward评估表明，SeaCache在感知质量方面排名第一（平均排名1.91）。CompressedVQA评估进一步证实SeaCache在视频质量保持方面表现最佳（单尺度分数3.98）。运行时开销分析显示，SEA滤波仅增加0.4-0.6%的总延迟（FLUX上0.058秒，HunyuanVideo上0.362秒）。此外，消融研究证明了SEA滤波器设计的必要性，包括归一化处理和时间步依赖的频率选择性的重要性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本到图像生成（FLUX.1-dev） | PSNR | 26.285 | TeaCache: 20.762, TaylorSeer: 22.783 | 比TeaCache提升26.6%，比TaylorSeer提升15.4% |
| 文本到图像生成（FLUX.1-dev） | LPIPS | 0.106 | TeaCache: 0.211, TaylorSeer: 0.163 | 比TeaCache降低49.8%，比TaylorSeer降低35.0% |
| 文本到视频生成（HunyuanVideo） | PSNR | 32.39 | TeaCache: 23.40, TaylorSeer: 24.14 | 比TeaCache提升38.4%，比TaylorSeer提升34.2% |
| 文本到视频生成（Wan2.1 1.3B） | PSNR | 26.60 | TeaCache: 20.84, TaylorSeer: 16.15 | 比TeaCache提升27.6%，比TaylorSeer提升64.7% |
| 感知质量（CycleReward平均排名） | Rank | 1.91 | TeaCache: 2.01, TaylorSeer: 2.08 | 排名第一，排名最优 |
局限与改进
论文承认了几个重要的局限性：首先，推导最优线性滤波器时采用了若干简化假设，包括自然图像功率谱服从幂律分布（$S_x(f) \simeq A|f|^{-\beta}$）、宽平稳性以及信号与噪声独立性。这些假设在实践中可能不完全成立，特别是对于后期时间步或高度合成的背景区域，实际频谱可能显著偏离幂律模型。其次，分析是在图像/视频域进行的，但现代生成模型通常在学习的潜在空间中操作，编码器可能会改变频谱特性，使得滤波器只是对潜在空间最优响应的近似。第三，SEA滤波器使用固定的幂律指数 $\beta$（图像为2，视频为3），没有根据内容自适应调整。从独立观察来看，该方法对于频谱特性显著偏离自然图像的领域（如医学图像、卫星图像、抽象艺术）可能效果有限。此外，阈值 $\delta$ 仍然是一个需要手动调节的超参数。
独立分析的弱点
基于对论文的独立分析，我识别出以下几个弱点：第一，频谱模型假设的局限性。幂律频谱假设对于自然图像通常是合理的，但对于生成的图像，特别是后期时间步或具有复杂纹理的区域，实际频谱可能偏离这一假设。改进方向是估计每个时间步的实际频谱，而不是使用固定的幂律模型，可以通过在线频谱估计实现。第二，线性滤波器的限制。最优线性去噪器是基于线性MMSE准则推导的，但实际的扩散模型去噪器是非线性的。引入轻量级的非线性校正可能会进一步改善性能，例如通过学习一个小的校正网络。第三，潜在空间适配问题。当前方法在像素域推导滤波器，但实际操作在潜在空间中。直接在潜在空间中设计内容感知滤波器可能更有效，需要分析编码器/解码器的频率响应特性。第四，超参数敏感性。阈值 $\delta$ 仍然是一个需要调节的超参数，虽然作者在实验中展示了不同设置，但没有提供自动选择的指导。第五，计算开销。虽然SEA滤波的相对开销很小（0.4-0.6%），但在极低延迟要求的应用中，FFT/iFFT的绝对开销（0.058-0.362秒）可能仍需考虑。
未来方向
基于SeaCache的成果，可以延伸出几个有前景的研究方向：第一，自适应频谱估计。开发轻量级的方法来估计每个时间步的实际频谱，而不是依赖固定的幂律假设，这可以通过在缓存决策过程中维护一个在线频谱估计器实现，可能基于滑动窗口或指数移动平均。第二，潜在空间频谱滤波。直接在学习的潜在空间中设计频谱感知滤波器，可能通过分析编码器/解码器的频率响应特性来实现，或者学习一个端到端的滤波器。第三，与其他加速技术的结合。SeaCache可以与蒸馏、量化、高效注意力等正交技术结合，论文已经展示了与LightX2V和Jenga的兼容性，未来可以探索更深入的集成。第四，非线性扩展。引入轻量级的非线性校正来放松线性假设，可能通过学习一个小的校正网络来实现。第五，自适应阈值选择。开发基于内容复杂度自动调整缓存阈值 $\delta$ 的方法，避免手动调参。第六，跨模态扩展。将频谱演化感知的缓存策略扩展到其他生成任务，如音频生成、3D生成等。
复现评估
SeaCache的复现评估如下：开源情况方面，论文明确声明代码开源于 github.com/jiwoogit/SeaCache，这大大降低了复现门槛，使得研究者可以直接验证和扩展该方法。数据方面，实验使用了标准的评估数据集（DrawBench的200个提示用于文本到图像，VBench的944个提示用于文本到视频），这些数据集都是公开可用的，便于结果复现和比较。算力要求方面，FLUX实验在NVIDIA Blackwell Pro 6000 GPU上运行，HunyuanVideo和Wan2.1在NVIDIA A100 GPU上运行，这些是高端GPU，可能限制了部分研究者的复现能力，但论文也展示了在不同硬件上的结果一致性。复现难度方面，从算法描述来看，SeaCache的实现相对简单，主要涉及FFT/iFFT操作和距离计算，不需要复杂的工程，即插即用的特性使得集成到现有代码库中相对容易。潜在挑战包括确保与原始模型完全相同的随机种子和采样设置，以获得一致的结果。
论文图表
图2展示了在FLUX和Wan2.1 1.3B上的oracle实验结果。比较了基于原始输出差异和SEA滤波输出差异的缓存决策。横轴是刷新比率（执行完整去噪器评估的时间步比例），纵轴是PSNR（缓存样本与全时间步无缓存样本之间的峰值信噪比）。结果显示，在匹配的刷新比率下，滤波后的准则始终获得更高的PSNR。
这个实验提供了关键证据，证明频谱感知的距离度量比原始特征距离更能保留原始模型的行为，为SeaCache的设计提供了理论和实验支持。