基于注意力恢复的免训练潜在帧间剪枝方法 Training-free Latent Inter-Frame Pruning with Attention Recovery
利用时序冗余的潜在空间剪枝加速视频生成
前置知识
扩散变换器 (Diffusion Transformer, DiT)
扩散变换器是当前主导图像和视频生成任务的架构，它将去噪过程建模为迭代式的马尔可夫链，在每个时间步使用 Transformer 架构处理潜在表示。DiT 结合了扩散模型的概率生成框架和 Transformer 的强大表征能力，在高保真图像和视频合成方面取得了显著成功。然而，由于 Transformer 的二次计算复杂度 $O(N^2)$（其中 $N$ 为 token 数量），DiT 在实际部署中面临严重的计算效率问题，尤其在视频生成场景下，每一帧都需要分配固定计算量。
LIPAR 的核心目标就是加速 DiT 架构的视频生成，理解 DiT 的计算瓶颈是理解本文动机的关键
潜在扩散模型 (Latent Diffusion Model, LDM)
潜在扩散模型将扩散过程从像素空间转移到由 VAE 编码器压缩得到的潜在空间中进行。通过这种空间压缩，LDM 能够大幅降低计算成本，同时保持生成质量。在视频场景中，LDM 框架为每一帧的每个 token 分配固定计算量，不考虑内容中的冗余性。这种设计虽然简化了实现，但忽略了视频序列中大量存在的时序冗余信息。
LIPAR 在 LDM 的潜在空间中进行剪枝操作，利用潜在空间的时序冗余性来减少计算，这是本文方法的基础
时序冗余 (Temporal Redundancy)
视频序列中相邻帧之间存在大量未变化的区域，这称为时序冗余。传统视频压缩算法（如 H.264/H.265）正是利用这一特性，通过只传输变化的像素来减少数据量。本文发现这种时序冗余不仅存在于像素空间，也存在于潜在空间中。通过测量像素空间和潜在空间变化的皮尔逊相关系数，作者验证了未变化的像素对应未变化的潜在表示，相关系数达到 0.69（WAN 2.1 VAE）和 0.77（WAN 2.2 VAE）。
这是 LIPAR 方法的核心动机：如果潜在空间保持了时序冗余性，就可以像传统视频压缩一样避免重复计算
Token 剪枝 (Token Pruning)
Token 剪枝是一种减少 Transformer 计算量的技术，通过在推理过程中移除不重要的 token 来降低序列长度。在视频生成中，已有方法如 Token Merging (ToMe) 通过二部图匹配算法合并冗余 token，或使用分类器自由引导和注意力权重选择重要 token。然而这些方法存在计算开销大、仅限于特定层、以及在因果注意力架构中产生视觉伪影等问题。
LIPAR 提出了一种端到端的剪枝方法，与现有 token 剪枝方法形成对比，理解已有方法的局限性有助于理解 LIPAR 的创新
多头自注意力 (Multi-head Self-Attention, MSA)
多头自注意力是 Transformer 的核心机制，通过计算查询 $q$、键 $k$ 和值 $v$ 之间的注意力权重来聚合序列信息。其输出计算为 softmax 函数对 $q^T k$ 的加权平均，其中 $D$ 是 token 维度。MSA 是唯一依赖整个 token 序列的操作，因此当进行 token 剪枝时，MSA 的输出会受到影响，产生训练-推理不一致的问题。
LIPAR 的注意力恢复机制正是针对 MSA 进行近似，以保持剪枝后的生成质量
旋转位置编码 (Rotary Position Embedding, RoPE)
旋转位置编码是一种相对位置编码方法，通过对查询和键向量施加位置相关的旋转变换来编码位置信息。RoPE 使用角度 theta 对向量进行旋转，使得注意力分数能够反映 token 之间的相对位置关系。在 LIPAR 中，RoPE 的存在使得剪枝后的注意力近似变得更加复杂，因为即使底层 token 值相似，旋转后的注意力分数也会因位置不同而产生差异。
LIPAR 的 M-Degree 近似需要显式处理 RoPE 引入的旋转效应，这是方法设计的重要约束
独立同分布噪声 (I.I.D. Noise)
在扩散模型的去噪过程中，每个时间步的输入是干净信号加上独立采样的高斯噪声 epsilon 服从 N(0, I) 分布。这种独立性假设是扩散模型训练的基础。然而，当直接复制 token 时，复制的 token 会包含完全相同的噪声，破坏了独立性假设，导致注意力计算中的噪声项从正态分布变为卡方分布，产生噪声放大效应。
LIPAR 的 Noise-Aware Duplication 机制正是为了解决 I.I.D. 噪声被破坏的问题
研究动机
当前视频生成模型（特别是基于扩散变换器的模型）面临严重的计算延迟问题，使得实时应用的成本极其高昂。尽管已有方法通过因果注意力和少步蒸馏等技术进行优化，视频生成仍然是计算密集型任务。在单个 GPU 上实现实时人机交互（如 30 FPS）仍然困难重重。现有 LDM 框架为每个 token 分配固定计算量，不考虑内容中的时序冗余，这与传统视频压缩算法形成鲜明对比——传统算法能够识别时序和空间维度上的重复 patch 来避免重复处理。已有的一些 token 合并方法（如 ToMe、IDM 等）试图隐式利用这种冗余，但存在三个主要问题：第一，确定相似 token 的计算开销大；第二，token 合并通常仅限于特定层，无法让所有层都受益；第三，在因果注意力架构中，直接合并 token 会产生视觉伪影，因为训练-推理存在不一致。
本文的目标是本文的具体目标是将传统视频压缩算法中的帧间压缩技术从像素空间适配到潜在空间，通过识别和跳过未变化的潜在 patch 来减少计算量。作者希望设计一个无需额外训练的加速框架，在不牺牲生成质量的前提下显著提升视频编辑的吞吐量。具体而言，目标是在单个 GPU 上实现接近实时的视频生成速度，同时将 GPU 内存使用降低至少 20%。此外，该方法需要能够无缝集成到现有模型中，无需修改训练过程。
与已有工作不同的是，本文的独特切入角度在于将传统视频压缩的核心思想（时序不变的像素不需要重新传输）与现代生成式管线相结合。作者首先通过实证分析验证了像素空间和潜在空间变化之间的强相关性（皮尔逊相关系数 0.69-0.77），证明未变化的像素对应未变化的潜在表示。这一发现是非直觉的，因为编码器的空间压缩并没有先验保证潜在流形会保持时序冗余。此外，作者从数学上形式化了剪枝必须满足的一般条件（去噪操作与剪枝操作可交换），并提出了注意力恢复机制来近似被剪枝 token 的注意力贡献，填补了训练-推理差距。与已有方法相比，LIPAR 实现了端到端剪枝，让所有层都能从加速中受益，同时通过 M-Degree 近似和噪声感知复制机制保持生成质量。
核心方法
LIPAR（Latent Inter-frame Pruning with Attention Recovery）是一个三阶段的免训练剪枝框架，用于加速条件视频生成任务。整体思路是将传统视频压缩中的帧间压缩技术适配到扩散模型的潜在空间：首先通过比较相邻帧的潜在表示来识别时序冗余的 patch 并进行剪枝，然后使用注意力恢复机制近似被剪枝 token 的注意力贡献，最后恢复 token 数量用于解码。直觉上，如果视频中某个区域在两帧之间没有变化，那么生成这个区域的潜在表示时就不需要重新计算——可以直接复用前一帧的结果。这种方法能够将序列长度从 N 降低到 N_kept，由于 Transformer 的二次复杂度 O(N^2)，这可以带来显著的计算节省。在实现上，LIPAR 建立在 Self-Forcing 模型之上，采用 SDEdit 进行视频到视频的翻译，在 DAVIS 数据集的 51 个视频-提示对上进行了验证。
LIPAR 的核心创新在于两个关键机制：M-Degree 近似和噪声感知复制。与已有 token 合并方法（如 ToMe）的本质区别在于，LIPAR 不是合并相似 token，而是直接跳过未变化 token 的计算，然后通过数学近似恢复其注意力贡献。M-Degree 近似确保与查询最近的 m 个键值对保持未剪枝状态，通过复制前一帧对应位置的键值向量来实现。噪声感知复制则是解决扩散模型特有的 I.I.D. 噪声问题——当直接复制 token 时，相同的噪声会导致注意力分数从正态分布变为卡方分布，产生噪声放大。LIPAR 通过从 KV 缓存（干净的零噪声级别生成）复制键值来避免这个问题，同时引入长期时序差异约束确保近似的有效性。这种方法使得 LIPAR 能够在保持 O(n) 线性加速的同时，维持高视觉保真度。
方法步骤详情
LIPAR 的方法步骤如下：第一步是潜在帧间剪枝（Latent Inter-frame Pruning），输入为当前帧和前一帧的潜在表示，通过计算时空位置对应 patch 的 L1 距离来判断是否剪枝，阈值为 tau。为避免细微运动导致的误剪枝，还整合了运动检测技术和长期时序差异约束，确保只有同时满足短期和长期差异阈值的 patch 才被剪枝。第二步是注意力恢复（Attention Recovery），包含两个子机制：M-Degree 近似通过复制前一帧最近 m 个时间步的键值向量来近似被剪枝 token 的注意力贡献；噪声感知复制从 KV 缓存中复制干净的键值，避免 I.I.D. 噪声假设被破坏。第三步是潜在 patch 恢复（Latent Patch Restoration），在去噪完成后，通过复制前一帧对应位置的 patch 来恢复被剪枝的 token，使解码器能够处理固定维度的输入。整个流程的输出是加速生成的编辑视频。
技术新颖性
LIPAR 的技术新颖性体现在多个层面。首先，首次建立了像素空间和潜在空间时序变化的强相关性（皮尔逊系数 0.69-0.77），为传统视频压缩技术适配到生成管线提供了理论基础。其次，形式化了剪枝必须满足的数学条件——去噪操作与剪枝操作可交换，并证明这可以简化为近似 MSA 输出。第三，提出了针对扩散模型的 I.I.D. 噪声分析，揭示了直接复制 token 导致的卡方分布偏移和方差爆炸问题。第四，设计了 M-Degree 近似来处理 RoPE 位置编码的影响，通过选择最近的 m 个时间步来最小化角度偏差。第五，实现了真正的端到端剪枝，让所有 Transformer 层（包括前馈网络、交叉注意力）都能从加速中受益，而不仅限于自注意力层。这些创新使得 LIPAR 在 32% 剪枝率下仍能保持与原始模型相当的视觉质量。
实验结果
LIPAR 在多个维度上展示了优异的性能。在速度方面，LIPAR 在 NVIDIA RTX A6000 上实现了 1.45 倍的吞吐量提升，达到 12.2 FPS，在 RTX 4090 上达到 19.3 FPS（4 步去噪，FP16）。GPU 内存使用降低了 20%，仅需 16.6 GB（相比 Self-Forcing 的 20.7 GB）。在质量方面，人类评估显示 LIPAR 相比未剪枝的 Self-Forcing 实现了 86.4% 的胜率-平局率（18.4% 胜，68.3% 平，13.3% 负），这归因于 LIPAR 复用未变化 patch 增强了背景的时间一致性。在与其他实时模型的对比中，LIPAR 对 StreamDiffusion、StreamV2V 和 ControlVideo 的胜率均超过 84%。在与免训练剪枝方法的对比中，LIPAR 在 32% 剪枝率下达到了 12.2 FPS（其他方法约 9.1 FPS），Warp Error 仅 64.0（其他方法 84-86），VBench 各项指标几乎与原始模型持平。在 TTM 任务上，LIPAR 在 Wan 2.2 5B 双向注意力模型上实现了 1.5 倍加速（0.87 FPS vs 0.58 FPS），同时保持或提升了生成质量。延迟分析显示剩余 token 百分比与推理延迟呈强线性相关（皮尔逊 r = 0.999），验证了 LIPAR 的 O(n) 计算复杂度。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视频编辑吞吐量 (A6000) | FPS | 12.2 | 8.4 (Self-Forcing) | 1.45x 提升 |
| 视频编辑吞吐量 (RTX 4090) | FPS | 19.3 | N/A | 接近实时生成 |
| GPU 内存使用 | GB | 16.6 | 20.7 (Self-Forcing) | 20% 降低 |
| 人类评估胜率 | Win-Tie Rate | 86.4% | N/A | 相比原始模型高质量 |
| 与其他剪枝方法对比 (32% 剪枝率) | Warp Error | 64.0 | 84.4-85.7 | 24-25% 降低 |
| VBench Subject 质量 (32% 剪枝率) | Subj. Score | 0.923 | 0.843-0.856 | 8-10% 提升 |
| TTM 任务加速 | FPS | 0.87 | 0.58 (TTM) | 1.5x 提升 |
局限与改进
尽管 LIPAR 取得了显著成果，但仍存在一些局限性。首先，该方法目前主要针对因果注意力架构进行了设计和验证，虽然论文展示了在双向注意力（TTM 任务）上的扩展性，但详细的机制适配和优化可能需要进一步研究。其次，剪枝阈值 tau 是一个需要预设的超参数，不同的视频内容和场景可能需要不同的阈值设置，论文中未提供自动化的阈值选择策略。第三，LIPAR 的加速效果依赖于视频中的时序冗余程度——对于变化剧烈的视频（如快速运动、场景切换），剪枝率会显著降低，加速效果也随之减弱。第四，该方法在 DAVIS 数据集的 51 个视频-提示对上进行了评估，数据集规模相对有限，可能无法完全代表真实应用中的多样性。此外，人类评估仅涉及 14 名参与者，虽然总比较次数达到 1400 次，但样本量仍然偏小。最后，LIPAR 依赖于 KV 缓存机制来实现噪声感知复制，这在某些内存受限的场景下可能带来额外的存储开销。
独立分析的弱点
LIPAR 的第一个弱点是剪枝阈值的静态性。论文中使用的阈值 tau 是预设的固定值，没有根据视频内容的动态特性进行自适应调整。改进方向可以是设计基于内容复杂度或运动强度的自适应阈值机制，例如利用光流信息或场景变化检测来动态调整剪枝策略。第二个弱点是对快速运动场景的处理能力有限。论文中展示的示例多为相对静态或缓慢运动的场景，对于包含大量运动的视频（如体育赛事、动作电影），时序冗余度会大幅降低，剪枝效果可能不理想。可以考虑结合运动估计来预测可复用的区域，即使在快速运动中也能找到部分可剪枝的 token。第三个弱点是 M-Degree 近似的计算开销。虽然整体框架是加速的，但 M-Degree 近似需要计算查询与前一帧键值的相似度，这个过程本身有一定开销。可以探索更高效的近似方法，如局部敏感哈希（LSH）来加速相似度计算。第四个弱点是与双向注意力架构的集成不够深入。论文在 TTM 任务上展示了扩展性，但未详细讨论双向注意力下的注意力恢复机制设计，可能存在优化空间。
未来方向
基于 LIPAR 的成果，未来研究可以从多个方向展开。首先，可以探索将 LIPAR 与其他加速技术（如特征缓存、少步蒸馏）正交结合，进一步提升加速效果。论文提到 LIPAR 与 CausVid 的蒸馏方法是正交的，这意味着组合使用可能实现 2-3 倍甚至更高的加速。其次，可以将帧间压缩的思想扩展到更长的视频序列中，利用更长时间跨度的冗余性，而不仅限于相邻帧。第三，可以研究自适应的剪枝策略，根据生成过程的不同阶段（如去噪的不同时间步）动态调整剪枝率，在早期保持较高剪枝率，在后期降低剪枝率以保持细节质量。第四，可以探索 LIPAR 在其他生成任务中的应用，如 3D 生成、音频生成等存在类似时序或空间冗余的领域。最后，可以研究将 LIPAR 的思想用于训练阶段的加速，而不仅限于推理，例如在训练时对冗余 patch 进行采样或权重调整。
复现评估
LIPAR 的复现性评估如下：代码方面，论文提到在 Self-Forcing 模型基础上实现，并使用了 SDEdit 进行视频到视频翻译，但未明确说明是否开源了完整代码。项目页面 https://dennismenn.github.io/lipar2026 提供了一些可视化结果，可能包含部分代码。数据方面，论文使用 DAVIS 2017 数据集的 51 个视频-提示对进行评估，这是一个公开可用的数据集，复现者可以获取。算力方面，所有实验在单个 NVIDIA RTX A6000 GPU 上完成，这是一个相对高端但可获取的硬件；论文还提到在 RTX 4090 上验证了一致性结果。复现难度中等：核心算法（潜在帧间剪枝、注意力恢复）在论文中有详细的数学公式和算法伪代码（Algorithm 1 和 Algorithm 2 在附录中），但需要对扩散模型、Transformer 架构和 RoPE 有深入理解。关键的超参数（如剪枝阈值 tau、M-Degree 近似的 m 值）需要根据具体模型和任务进行调优。总体而言，具备扩散模型和视频生成经验的研究者应该能够复现本文结果。
论文图表
该图对比了直接解码原始潜在表示和解码压缩后的潜在表示的结果。压缩版本将 46% 的近似未变化 patch 从前一帧复制，解码后的视频仍然保持高视觉保真度，LPIPS 不超过 0.05。这验证了潜在空间中确实存在时序冗余。
这张图是论文动机部分的关键实证，证明了潜在空间时序冗余的存在，为 LIPAR 方法提供了理论基础