FAST-AR：基于时序缓存压缩和稀疏注意力的快速自回归视频扩散与世界模型 Fast Autoregressive Video Diffusion and World Models with Temporal Cache Compression and Sparse Attention
通过时序KV压缩和ANN稀疏注意力实现5-10倍加速的自回归视频生成
前置知识
自回归视频扩散模型
自回归视频扩散模型是一种将扩散过程与自回归生成相结合的视频生成方法。与传统的全视频离线生成不同，它以分块（chunk）方式逐段生成视频帧，每生成一段就将其缓存为条件上下文，用于指导后续帧的生成。这种方式支持流式生成，允许在生成过程中即时消费已生成的帧，适用于长视频生成和交互式应用。代表性方法包括Rolling-Forcing和LongVie2。
本文的核心目标就是加速这类模型的推理，理解自回归视频扩散的基本架构是理解论文贡献的前提。
KV缓存（Key-Value Cache）
在Transformer的注意力机制中，每一层会将输入投影为查询（Query）、键（Key）和值（Value）。KV缓存是指在自回归生成过程中，将之前已计算的Key和Value张量存储起来，避免重复计算。随着生成帧数增加，KV缓存线性增长，导致每次注意力计算的代价越来越高，内存占用也持续攀升。
KV缓存的膨胀是本文要解决的核心瓶颈，论文提出的TempCache方法正是通过压缩KV缓存来实现加速和内存控制。
注意力机制中的稀疏性
在标准的全注意力（dense attention）中，每个查询需要与所有键计算点积。但研究发现，实际的注意力分布往往高度稀疏——只有少数键-值对对最终输出有显著贡献。注意力稀疏性是指通过只保留最重要的注意力交互来减少计算量，同时保持输出质量。本文发现自回归视频扩散中约30%的计算就能保留85%以上的注意力质量。
稀疏性是本文方法的理论基础，论文的AnnSA和AnnCA组件正是利用这种稀疏性来加速自注意力和交叉注意力。
近似最近邻搜索（ANN）
近似最近邻搜索是一种在高维空间中快速查找与查询向量最相似的键向量的技术，通过牺牲精确性换取速度。常用方法包括局部敏感哈希（LSH）和乘积量化（PQ）。LSH通过随机投影将向量映射到哈希桶中，同一桶内的向量更可能相似；PQ则将向量压缩为紧凑的量化码，支持快速距离估计。本文使用FAISS库实现这两种方法。
ANN是本文三个组件（TempCache、AnnSA、AnnCA）的共同技术基础，用于高效地找到注意力中的关键交互而无需穷举计算。
FlashAttention
FlashAttention是一种高效的精确注意力计算内核，通过分块（tiling）和重计算（recomputation）策略避免显式存储完整的注意力矩阵，从而减少GPU内存占用并提升计算速度。FlashAttention-3是其最新版本，引入异步计算和低精度支持。本文将Dense FlashAttention-3作为精确注意力的基线进行对比。
FlashAttention-3是本文的主要对比基线，理解其工作原理有助于理解本文方法在哪些方面超越了现有最优的精确注意力实现。
研究动机
自回归视频扩散模型虽然开启了流式视频生成的大门，支撑长视频合成、视频世界模型和交互式神经游戏引擎等应用，但其核心注意力层在推理时成为严重瓶颈。具体而言，随着生成帧数增加，KV缓存线性增长，导致两个根本性挑战：第一，生成速度持续下降——3D时空注意力的计算代价随缓存长度线性增长，在3000帧的长视频生成中，Dense FlashAttention-3的帧率（FPS）从开始到结束持续下降，吞吐量严重退化；第二，GPU内存持续膨胀——不断扩大的KV缓存占用越来越多显存，迫使使用较短的上下文窗口，这反过来损害了长程时间一致性。论文在Rolling-Forcing模型上实测发现，使用Dense FA3生成3000帧需要约11分钟且内存持续增长，而现有的稀疏注意力基线如SVG1/2虽然尝试加速，但由于严重的质量退化（VBench分数从84暴跌至33-34）和实际的减速（速度仅为基线的0.1-0.2倍），在自回归场景下完全不实用。
本文的目标是本文的具体目标是设计一个统一的、无需训练的注意力加速框架，能够将自回归视频扩散模型和世界模型的推理速度提升5-10倍，同时保持接近Dense FlashAttention-3的视觉质量，并且在长程生成中实现近乎恒定的峰值GPU内存占用。作者希望找到一种即插即用的解决方案，不修改底层模型权重、不需要重新训练或微调，就能直接应用于现有的自回归视频扩散骨干网络。
与已有工作不同的是，本文的独特切入角度在于对自回归视频扩散中的注意力冗余进行了系统性分析，发现了三个此前未被充分探索的冗余来源：第一，许多缓存键在不同帧之间是近似重复的，相同的语义区域（如前景物体）的键特征在多帧中持续存在且几乎不变，这使得激进的KV合并成为可能；第二，查询和键都是高度语义化的，演化缓慢，使得许多注意力分数计算是冗余的——前景token倾向于聚类并关注对应的语义区域；第三，交叉注意力在处理长文本提示时浪费大量计算，因为每帧只有少数提示token真正相关。与现有工作（TeaCache、FlowCache、SVG、RadialAttention等）不同，本文首次将ANN匹配引入自回归扩散模型的注意力加速，并且针对自回归特有的因果性、KV缓存和长程生成场景设计了专门的压缩和稀疏化策略。
核心方法
FAST-AR框架的核心直觉是：自回归视频扩散模型的注意力计算中存在大量可利用的冗余，而这些冗余可以通过轻量级的近似最近邻（ANN）搜索来高效识别和消除。整个方法由三个相互独立但可组合的模块构成：TempCache负责压缩KV缓存本身，通过发现跨帧的时序对应关系将重复的键合并，从而限制缓存增长；AnnCA负责减少交叉注意力的计算量，通过ANN匹配为每帧选择最相关的提示token子集；AnnSA负责稀疏化自注意力，利用ANN将查询限制在语义匹配的键上计算注意力。这三个模块共享同一套ANN基础设施（LSH或量化搜索），但各自解决注意力效率的不同维度问题，可以单独使用也可以组合使用。技术路线上，作者首先通过实证分析验证了注意力稀疏性的存在（30%密度保留85%质量），然后识别出三个冗余来源，最后针对每个来源设计了对应的加速模块。
本文的核心创新点在于将注意力计算重新解释为近似最近邻搜索问题，并利用自回归视频扩散中的时序对应关系进行KV压缩。与已有方法的本质区别体现在三个方面：第一，与TeaCache和FlowCache不同，本文不缓存中间计算结果或进行chunk级重计算，而是直接在键-值层面利用跨帧的时序对应进行合并压缩，实现更激进的缓存压缩（密度降至16-33%）；第二，与SVG、RadialAttention等离线设计的稀疏注意力不同，本文的稀疏化完全基于运行时的ANN匹配，不需要预定义的稀疏模式，能自适应地处理自回归生成中的因果性和动态上下文；第三，本文提出了一个关键的理论引理（Lemma 5.1），证明当多个键完全相同时，可以通过对值取均值并对logit添加 $\log m_t$ 偏置来精确计算注意力，无任何近似误差。这个引理为KV合并提供了理论保证。
方法步骤详情
FAST-AR框架包含三个模块，每个模块的具体操作如下。TempCache（时序KV缓存压缩）：对于当前帧的每个查询，使用ANN找到前一帧中最相关的键（即top-1最近邻），建立时序对应关系；将跨帧中对应同一语义区域的键分组，每组只保留最近的代表性键；对合并后的组，值取均值，logit添加 $\log m_t$ 偏置（$m_t$ 为组大小），按Lemma 5.1精确聚合。AnnCA（近似最近邻交叉注意力）：将当前帧的潜在查询和提示键投影到共享的LSH或量化嵌入空间；对于每个提示token，检查是否有至少一个当前帧查询在同一哈希桶中；不共享任何桶的提示token被视为无关并排除，只对剩余的相关提示token计算交叉注意力。AnnSA（近似最近邻稀疏自注意力）：复用AnnCA中发现的语义桶分组；将每个查询分配到一个或多个桶中；在自注意力计算时，只允许查询关注同一桶内的键，使用FlashInfer的块稀疏注意力内核高效实现。
技术新颖性
本文的技术新颖性体现在多个层面。首先，这是首次在自回归扩散模型中以完全无需训练的方式使用ANN进行注意力加速，此前ANN注意力主要应用于LLM（如Reformer），而扩散模型领域的稀疏注意力方法（SVG、RadialAttention）都依赖离线预计算的静态稀疏模式。其次，TempCache提出的时序对应KV压缩是全新的思路——利用DiffTrack发现的时序对应关系来识别和合并跨帧的重复键，这与传统的基于重要性或基于步长的缓存策略有本质区别。第三，Lemma 5.1的理论贡献虽然证明简洁但意义重大：它表明在键完全相同的理想情况下，KV合并是精确无损的，为实际的近似合并提供了理论基础和设计指导。第四，三个模块共享ANN基础设施的设计使得整体框架优雅且高效——LSH或量化的哈希/编码只需计算一次，即可同时服务于缓存压缩、交叉注意力剪枝和自注意力稀疏化。
实验结果
本文在多个模型和基准上进行了全面实验，核心发现如下。在Rolling-Forcing的LongVBench基准上，FAST-AR的完整系统（All Ours-LSH/Quant）实现了10.7-10.8倍的端到端加速，PSNR达到25.71-25.73，SSIM达到0.678-0.681，VBench分数为83.99-84.02，与Dense FA3基线（VBench 84.08）几乎持平。相比之下，FlowCache+RadialAttn的最佳组合仅达到4.4倍加速且质量严重退化（VBench降至45.15，PSNR仅16.98）。单独来看，TempCache-Quant将KV缓存压缩至16.2%密度，保持91.4%的注意力召回率，实现6.9倍组件加速；AnnSA-Quant在28%密度下保持92.6%召回率，实现5.2倍加速；AnnCA-Quant在29.5%密度下保持91.1%召回率，实现2.3倍加速。在LongVie2世界模型的LongVGenBench上，完整系统实现6.3-6.9倍加速，LongVGenBench分数为63.69-64.91，远超FlowCache+RadialAttn的49.84。在MAGI-1上TempCache-Quant实现4.11倍加速，VBench从77.06%提升至78.99%；在SkyReels-V2上实现9.25倍加速，VBench保持在83.82%（基线83.84%）。吞吐量方面，在3000帧长程生成中，Dense FA3的FPS持续下降，而FAST-AR保持近乎恒定的帧率；峰值GPU内存方面，Dense FA3和基线随KV缓存膨胀持续增长，而FAST-AR保持近乎恒定。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Rolling-Forcing 长视频生成（LongVBench） | 端到端加速倍数 / VBench分数 | 10.7-10.8x加速，VBench 83.99-84.02 | Dense FA3: 1x, VBench 84.08; FlowCache+RadialAttn: 4.4x, VBench 45.15 | 比最强基线快2.4倍，质量远超（VBench高39分） |
| Rolling-Forcing KV缓存压缩 | 最小密度 / 召回率 | TempCache-Quant: 16.2%密度，91.4%召回 | TeaCache: 93.2%密度，84.6%召回; FlowCache: 82.9%密度，86.9%召回 | 密度降低5-6倍，召回率更高 |
| Rolling-Forcing 稀疏自注意力 | 密度 / VBench / 召回率 | AnnSA-Quant: 28%密度，VBench 83.29，92.6%召回 | SVG2: 68.8%密度，VBench 34.66，38.9%召回; RadialAttn: 81.6%密度，VBench 61.51，58.3%召回 | 密度降低2.5倍，VBench高49分，召回率高54个百分点 |
| LongVie2 世界模型（LongVGenBench） | 端到端加速 / LongVGenBench分数 | 6.3-6.9x加速，LongVGenBench 63.69-64.91 | Dense FA3: 1x, 69.67; FlowCache+RadialAttn: 3.1x, 49.84 | 比最强基线快2倍，质量高15分 |
| MAGI-1 视频生成 | 加速倍数 / VBench | TempCache-Quant: 4.11x，VBench 78.99% | FlowCache-fast: 2.38x，VBench 77.93% | 加速提升73%，VBench高1个百分点 |
| SkyReels-V2 视频生成 | 加速倍数 / VBench | TempCache-Quant: 9.25x，VBench 83.82% | FlowCache-fast: 6.7x，VBench 83.05% | 加速提升38%，VBench高0.77个百分点 |
局限与改进
本文存在几个值得注意的局限性。首先，作者承认在短视频生成（如5秒117帧的HunyuanVideo或69帧的Wan2.1-14B）场景下，FAST-AR的优势并不明显——由于稀疏注意力内核的额外开销，在短序列长度下FlashAttention优化更充分，STA（FA3）仍然获得最低延迟（2.29x加速 vs AnnSA的1.77x）。这表明本文方法的主要收益出现在长程生成场景。其次，TempCache使用相似度阈值进行键合并，过低的阈值（如0.5）会导致过度合并，召回率从0.90骤降至0.10，这要求仔细调参。第三，论文主要在Rolling-Forcing和LongVie2两个模型上验证，虽然补充了MAGI-1和SkyReels-V2的结果，但对更多样化的自回归视频扩散架构的适用性仍需进一步验证。第四，ANN匹配的精度-速度权衡存在二选一困境：2-bit量化虽然FPS最高（32）但召回率仅0.20，32-bit召回率0.98但FPS降至10，论文选择的8-bit（召回约0.80）是一个折中但非最优的选择。第五，论文的稀疏注意力在前30%的去噪步骤中被禁用，这意味着在生成早期仍需全注意力计算，限制了整体加速潜力。
独立分析的弱点
从独立分析的角度，FAST-AR存在以下几个弱点值得改进。第一，时序对应关系的建立依赖于逐查询的ANN搜索，在某些场景下（如快速运动或场景切换）可能产生错误的对应匹配，导致不合适的键合并。论文没有提供对应匹配准确率的直接评估。改进方向可以引入匹配置信度估计，对低置信度的对应保留多个候选键而非强制合并。第二，AnnSA复用交叉注意力的语义桶进行自注意力稀疏化，这假设两种注意力的最优稀疏模式是一致的，但实际上自注意力和交叉注意力关注的模式可能不同。可以探索为自注意力学习独立的桶分配策略。第三，当前方法对所有Transformer层使用相同的稀疏化策略，但不同层的注意力模式可能有显著差异——浅层更关注局部空间信息，深层更关注语义信息。改进方向是根据层深度自适应调整稀疏化参数。第四，Lemma 5.1仅在键完全相同时保证精确性，实际合并中使用相似度阈值引入了近似误差，论文未提供误差上界的理论分析。
未来方向
基于本文成果，未来研究可以从以下几个方向延伸。第一，将FAST-AR的ANN注意力框架扩展到其他模态的自回归生成模型，如自回归图像生成、音频生成或多模态生成，验证其通用性。第二，探索自适应的稀疏化策略——根据生成内容动态调整TempCache的合并阈值、AnnSA和AnnCA的桶数量，在简单场景下更激进地压缩，在复杂场景下保留更多细节。第三，结合模型量化（如INT4/INT8权重量化）与FAST-AR的注意力稀疏化，探索两者的协同效应。第四，将FAST-AR应用于交互式场景，如实时视频编辑或游戏引擎，其中用户输入可能改变生成方向，需要研究稀疏化策略在条件变化时的鲁棒性。第五，作者在论文中提到的Project Page暗示可能有交互式演示，未来可以探索FAST-AR在实时流式应用中的部署优化。第六，研究TempCache的时序对应关系是否可以用于视频理解任务，如零样本视频分割或时序定位。
复现评估
从复现角度来看，本文提供了相对充分的信息。实验设置明确：所有实验在单张H100 GPU上进行，使用FAISS库实现LSH和量化ANN检索，使用FlashInfer内核实现稀疏注意力，默认使用8-bit量化。评估协议清晰：在LongVBench和LongVGenBench两个基准上，使用PSNR、SSIM、LPIPS和VBench/LongVGenBench分数作为评估指标，与Dense FlashAttention-3和其他基线进行公平比较。论文还提到在补充材料中提供了与基线论文完全相同的设置和评估表的结果。然而，论文未明确说明是否开源代码，这可能影响实际复现难度。算力要求方面，单张H100 GPU的实验设置对大多数研究团队来说门槛较高，但考虑到目标是加速长程视频生成，这已是相对经济的配置。数据方面使用的是公开的LongVBench和LongVGenBench基准，不涉及私有数据集。总体而言，复现难度中等，主要挑战在于H100 GPU的获取和FlashInfer等高效内核的配置。
论文图表
图2展示了在Rolling-Forcing上生成100个视频后的注意力召回率与密度的关系曲线。横轴为保留的注意力条目比例（密度），纵轴为相对密集注意力的召回率。结果显示仅保留30%的计算就能保持约85%的注意力质量，且不同Transformer块之间的标准差较小（阴影区域），表明稀疏性是普遍存在的。
这张图为整个方法提供了实证基础——证明了注意力稀疏性的存在，使得后续的稀疏化设计有据可依。
图3展示了对一只猫走向摄像头的视频中，自注意力查询Q和缓存键K在不同帧（f=1到f=5）上的PCA降维可视化。相似颜色表示嵌入空间中相近的特征。图中显示：(1) Q和K都是高度语义化的，前景token（猫）聚在一起，背景token形成独立的聚类；(2) 大量键特征在不同帧之间重复出现，用彩色箭头标注了跨帧的对应关系。
这张图揭示了论文的两个关键发现——语义聚类和时序冗余——为TempCache的设计提供了直接动机。
图4展示了输入提示文本（描述一只猫走向摄像头，经过一辆货车，然后变成金毛犬）以及cat、van、dog三个token在不同帧上的交叉注意力热力图。结果显示注意力高度选择性：猫阶段关注cat，货车遮挡阶段关注van，变形后关注dog，大部分提示token在每帧中几乎不被关注。
这张图证明了交叉注意力的帧选择性，直接支持了AnnCA的设计——每帧只需要关注少数相关提示token。