利用虚拟头实现高效自回归视频扩散 Efficient Autoregressive Video Diffusion with Dummy Head

方法包含三个步骤：第一步，使用Heterogeneous Memory Allocation根据头类型分配不同的KV缓存长度。对于Sink头，只保留首帧和当前帧的KV缓存；对于Neighbor头，保留滑动窗口内的L-1个邻近帧；对于Dummy头，完全移除历史帧的KV缓存，仅保留当前帧。第二步，Dynamic Head Programming通过优化问题自动确定每个头的类型。具体地，计算每个头的帧注意力分数$[\alpha_{sink}, \alpha_{neighbor}, \alpha_{current}]$，然后通过贪心算法：计算$\ell_h = \max(F_{h,0}, F_{h,1})$得到强制为dummy头的机会成本，选择最小的N个作为dummy头，其余根据$F_{h,0}$和$F_{h,1}$的大小分为sink头或neighbor头。第三步，Packed Attention Forward通过将Dummy头和Sink头打包到同一注意力调用中，减少内核启动次数从3次到2次，同时通过添加打包帧$K_{i-1}$扩展dummy头的上下文。

本文的技术新颖性体现在多个层面。首先，在分析层面，首次系统地揭示了自回归视频扩散模型中注意力头的异质性，发现约25%的头几乎不利用历史信息。其次，在方法层面，提出了头级别的缓存压缩策略，区别于现有方法的token级别压缩。第三，将头分类问题形式化为优化问题并给出贪心最优解，保证了分类的理论最优性。第四，Packed Attention Forward通过合并头类型减少了内核启动次数，这是一种巧妙的工程优化。最后，整个方法无需额外训练，直接应用于预训练模型，体现了极高的实用价值。

本文存在几个值得改进的弱点。首先，头分类策略是基于在线计算的帧注意力分数，这需要在每个自回归步骤中计算近似注意力图，增加了推理延迟。可以考虑离线统计头行为模式或使用轻量级分类器替代。其次，当前的三类头划分（Sink、Neighbor、Dummy）相对粗糙，可能存在更细粒度的分类方案，例如区分不同类型的历史依赖模式。第三，Packed Attention Forward虽然减少了内核启动次数，但打包帧的选择策略（固定使用i-1帧）可能不是最优的，可以根据头特性动态选择打包帧。第四，方法目前只应用于视频生成任务，在视频理解、视频编辑等其他任务中的适用性需要探索。

基于本文成果，可以延伸出多个未来研究方向。首先，探索自动化的头类型发现机制，无需依赖预设的三类分类，而是根据数据自适应地发现最优的头分组。其次，将Dummy Forcing与模型蒸馏、量化等其他加速技术结合，探索多技术协同的极限加速方案。第三，研究dummy heads的形成机制，理解为什么某些头在训练过程中学会只关注当前帧，这可能对模型设计和训练策略有重要启示。第四，将方法扩展到多模态扩散模型，例如文本-图像或文本-音频生成。第五，探索在模型微调阶段显式地鼓励或抑制dummy head的形成，以获得更适合加速的模型结构。

本文的复现性较好。作者提供了项目主页（https://csguoh.github.io/project/DummyForcing/），代码和实现细节应该可获取。实验基于公开的Self Forcing和LongLive模型，这些都是开源的预训练模型。评测使用标准的VBench和VBench-Long基准，结果可比较。主要挑战在于：(1) 需要H100 GPU进行性能测试；(2) Triton内核优化需要一定的工程经验；(3) 在线头分类的实现细节（如query token采样比例）需要仔细调参。总体而言，方法原理清晰，核心算法（贪心头分类）实现简单，复现难度中等。