SenCache：基于敏感度感知缓存的扩散模型推理加速 SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching

SenCache的具体实现步骤如下：（1）敏感度预计算：在校准阶段，使用有限差分近似计算雅可比范数。保持 $t$ 固定，计算 $\|J_x\| \approx \|\frac{f_\theta(x_t + \Delta x, t, c) - f_\theta(x_t, t, c)}{\Delta x}\|$；保持 $x_t$ 固定，计算 $\|J_t\| \approx \|\frac{f_\theta(x_t, t + \Delta t, c) - f_\theta(x_t, t, c)}{|\Delta t|}\|$。使用8个具有多样运动动态和场景内容的视频进行校准，结果表明8个视频已经足够获得稳定的敏感度估计。（2）缓存决策：在每个去噪步骤，累积从上次缓存点以来的输入变化：$d \leftarrow d + \Delta x_{k-1}$，$\tau \leftarrow \tau + \Delta t_{k-1}$，$m \leftarrow m + 1$。计算敏感度分数 $S \leftarrow \alpha_x \|d\| + \alpha_t |\tau|$。（3）缓存管理：当 $S \leq \epsilon$ 且 $m < n$ 时复用缓存输出；否则重新计算去噪器输出并刷新缓存。参数 $n$ 限制最大连续缓存步数，防止轨迹漂移。实验中，Wan 2.1慢速版本使用 $n=2$，快速版本使用 $n=3$。（4）特殊处理：前20%的去噪步骤对生成质量至关重要，因此使用严格的1%误差阈值（$\epsilon = 0.01$）。

SenCache的技术新颖性体现在多个方面。首先，它首次将网络敏感度分析系统地应用于扩散模型的缓存决策，建立了缓存误差与雅可比范数之间的理论联系。通过一阶泰勒展开，作者证明了 $\|f_\theta(x_{t+\Delta t}, t+\Delta t, c) - f_\theta(x_t, t, c)\| \leq \|J_x\|\|\Delta x_t\| + \|J_t\||\Delta t| + O(\|\Delta x_t\|^2 + |\Delta t|^2)$，为缓存决策提供了可证明的误差上界。其次，该方法揭示了现有启发式方法的理论局限性：TeaCache的残差建模主要对应时间步敏感度项，当潜变量变化大时会低估误差；MagCache的幅度启发式主要对应潜变量敏感度项，当时间步跨度大时可能过于乐观。第三，敏感度分数的双重结构 $S_t = \|J_x\|\|\Delta x_t\| + \|J_t\||\Delta t|$ 同时捕捉了两种输入扰动的影响，比单一指标更全面。第四，有限差分近似和小样本校准（仅需8个视频）使得该方法实用且高效。最后，该框架是模态无关、架构无关、采样器无关的，原理上可扩展到音频、人体运动等其他领域。

基于对论文的深入分析，我识别出以下主要弱点：（1）敏感度预计算的可扩展性：虽然8个视频足够，但预计算过程本身需要对每个模型执行多次前向传播。对于超大型模型（如百亿参数级别），这可能带来显著的时间和计算成本。改进方向可以是开发更高效的敏感度估计方法，如基于采样的随机估计或利用模型结构特点的近似方法。（2）一阶近似的局限性：在去噪轨迹高度非线性的区域，一阶泰勒展开可能不足以准确预测输出变化。这在论文的消融实验中有所体现——当 $n$ 增大时质量持续下降。改进方向可以是引入自适应的近似阶数，在非线性区域自动切换到二阶或更高阶近似。（3）全局优化与局部决策的权衡：SenCache使用固定的逐步预算 $\epsilon$，而全局调度方法可以将误差预算跨时间步分配。改进方向是将两者结合：使用全局调度器提供动态的 $\epsilon(t)$ 值，SenCache用于局部决策。（4）缺乏与其他加速方法的组合验证：论文仅与缓存方法比较，没有探索与量化、剪枝或蒸馏方法的组合效果。改进方向是研究SenCache与这些方法的协同效应。（5）计算敏感度分数的开销：在推理时需要查询预计算的敏感度值并计算分数，这增加了每步的计算开销。虽然相对较小，但在极低延迟要求的场景中可能成为问题。

作者提出了多个有前景的研究方向：（1）高阶敏感度估计器：寻找更高效但更丰富的（高阶或学习到的）估计器，以减少非线性区域的误差。这可以通过二阶泰勒展开、神经网络学习敏感度函数或混合方法实现。（2）动态阈值调度：设计 $\epsilon(t)$ 的最优调度模式，允许在不太关键的时间步使用更大的误差容忍度。这需要分析不同去噪步骤对最终质量的贡献，并建立相应的理论框架。（3）跨模态扩展：将敏感度感知缓存扩展到文本、音频或多模态扩散系统。核心原理是通用的，但不同模态的扩散模型可能有不同的敏感度特性。（4）全局调度与局部决策结合：开发全局调度器提供动态的 $\epsilon(t)$ 值，与SenCache的局部决策相结合，既避免局部小误差累积，又保持计算效率。（5）自适应校准策略：研究如何在线更新敏感度配置文件，以适应输入分布的变化或模型的微调。（6）与其他加速技术的组合：探索SenCache与量化、剪枝、知识蒸馏等方法的协同效应，实现更大幅度的加速。

本文的复现性较好：（1）开源代码：作者提供了GitHub仓库 https://github.com/vita-epfl/SenCache.git，包含完整的实现代码。（2）数据集：使用公开可用的数据集，包括MixKit数据集（用于校准，8个视频）、VBench（完整评估）和T2V-CompBench（消融研究，70个提示）。这些数据集都是公开可访问的。（3）基线实现：使用TeaCache和MagCache的官方实现和推荐超参数，确保了公平比较。（4）计算资源：实验在NVIDIA A800 GPU和GH200 GPU上进行。Wan 2.1的vanilla推理需要182.3秒，SenCache将其降至107.3秒。这表明需要中高端GPU才能进行实验，但不需要大规模集群。（5）模型：使用的三个视频扩散模型（Wan 2.1、CogVideoX、LTX-Video）都是公开可用的预训练模型。（6）超参数：论文提供了详细的超参数设置，包括 $n$（2-3）、$\epsilon$（0.01-0.6）、校准视频数量（8个）等。（7）复现难度：中等。主要挑战是需要下载大型预训练模型（数十亿参数）和足够的GPU内存。敏感度预计算需要额外的计算时间，但论文提供了足够的细节来复现。