LVSA：面向长视频扩散模型的无训练稀疏注意力

无训练块稀疏注意力，旋转全局锚点+局部窗口，长视频扩散3.17倍加速

前置知识

稠密自注意力

稠密自注意力让序列中每个token与所有其他token计算注意力分数，是Transformer的核心机制，其复杂度为$O(N^2)$，在长视频序列下成为主要的计算与显存瓶颈。

本文的核心目标就是用稀疏模式替换稠密自注意力，必须先理解它为何是瓶颈。

视频扩散Transformer(DiT)

视频扩散Transformer通过迭代去噪从随机噪声逐步生成视频帧，代表模型有Wan 2.1、HunyuanVideo等，质量极高但推理开销随帧数二次增长，是本文的改造对象。

LVSA是模型无关的，作用于这三类视频DiT的自注意力层，需先理解其架构差异。

旋转位置编码(RoPE)

旋转位置编码通过对查询和键向量施加旋转矩阵来注入相对位置信息，本文对比的RIFLEx方法就是通过修改单个时间维RoPE频率来实现长度外推。

理解RoPE才能理解RIFLEx这类竞争方法为何只改位置编码却不降算力，凸显LVSA的差异。

训练时序长度

训练时序长度指模型在训练时见过的最大帧数，如Wan为81帧、HunyuanVideo为129帧，超出该长度推理时模型会退化为冻结或循环的低质量视频。

长视频生成的核心难题正是如何在不重训的情况下超越训练长度，同时避免质量崩塌。

块稀疏注意力核

块稀疏注意力核如FlashInfer只对预选的注意力块执行计算、跳过零块，从而大幅降低长序列注意力的实际显存与算力开销，是LVSA提速的关键组件。

LVSA的提速既来自稀疏模式也来自FlashInfer核，二者结合才达到3.17倍加速。

研究动机

稠密自注意力是长视频扩散推理的计算与质量双重瓶颈：其复杂度为$O(N^2 d)$，随帧数二次增长。在140亿参数规模下，KV缓存逼近80GB显存上限，使长视频生成变得不可行。更严重的是，超出训练时序长度后，稠密注意力会让模型收敛到近乎静止的冻结或循环视频——例如Wan训练于81帧、HunyuanVideo训练于129帧，在6倍长度时稠密注意力的subject consistency高达0.991，意味着画面几乎完全静止。现有解法要么代价过高（需重训），要么无法同时兼顾性能与质量：RIFLEx仅修改单个RoPE频率，不削减任何注意力FLOPs，延迟与稠密注意力几乎一致；UltraViCo对整张$N\times N$的logit矩阵做稠密衰减，反而带来1.31–1.36倍的额外延迟。同时，主流评测VBench-Long因奖励帧间相似度，竟把静止视频评为高质量，掩盖了真实失败模式。

本文的目标是本文旨在提出一种训练免、模型无关的长视频稀疏注意力（LVSA），同时解决计算效率与生成质量两大目标：在不重新训练模型的前提下，将长视频扩散的注意力算力大幅降低，使其在单张80GB GPU上能跑通原本内存溢出的配置（如HunyuanVideo 1.5在2倍长度的257帧生成）；并在超越训练时序长度时显著提升而非牺牲视频质量，避免冻结/循环伪影。此外还要构建一个能正确惩罚循环视频的评测工具VQeval，弥补VBench-Long奖励静止输出的偏差，从而公平评估长视频质量，并验证该方法在GPU与NPU等多样硬件上的可扩展性。

与已有工作不同的是，本文的独特切入角度在于：它没有像RIFLEx那样只动位置编码、也不像UltraViCo那样对全部注意力幅度做衰减，而是直接重塑注意力支持集（即每帧attend哪些帧）。通过把注意力预算$C$固定为训练时的参考帧数（如Wan的$C=81-14+1=21$帧），让每个查询帧只attend少量精心选取的局部窗口与全局锚点，使总复杂度从$O(N^2)$降为线性$O(TC)$。更具创新性的是引入去噪步间的旋转全局锚点机制，消除固定网格偏置；同时提出能正确打分的VQeval，从评测维度填补该领域的方法论空白，这是其他竞争工作所忽视的。

核心方法

整体直觉是：长视频中并非每个查询帧都需要关注全部其他帧，只需少量局部上下文（维持连续运动）加少量全局锚点（维持场景一致性与身份）即可。因此LVSA把每个查询帧$t$的注意力集定义为$A(t)=G\cup W(t)$，其中$G$是周期性等距全局帧、$W(t)$是其周围的局部窗口。通过固定注意力预算$C$，让$|A(t)|\approx C$，复杂度从稠密的$O(TP\cdot TPd)$降为线性$O(TCP^2d)$。技术路线上，先选定窗口大小$W$，再令$T_{per}=\lceil T/(C-(2W+1))\rceil$确定全局周期，二者之和填满预算$C$。为应对窗口与全局帧重叠造成的预算浪费，设计了自适应扩展窗口算法；为消除全局帧固定不动的偏置，又在每个去噪步旋转全局集。最终通过SDPA或FlashInfer块稀疏核在GPU上高效执行，全程无需训练。

核心创新有两个本质区别于已有方法。第一是旋转周期全局帧：固定全局锚点虽能维持长程信息，却造成持续偏置——这些帧总被全局attend，中间帧只通过局部窗口被观测，经$S$步去噪后非全局帧的表征被系统性 impoverish，在长视频中出现重复、身份漂移等伪影。LVSA在每个去噪步$s$令$G_s=\{(s\bmod T_{per}+i\cdot T_{per})\bmod T\}$，使全局集每步平移一格并取模环绕。其妙处在于：任意$T_{per}$个连续步内每个帧都至少当一次全局锚点，既消除固定网格偏置，又因取模保证$|G_s|=\lceil T/T_{per}\rceil$恒定，每步预算不变。第二是扩展窗口边界，补偿局部窗口与全局帧重叠导致的预算损失，使每帧都attend恰好$|G|+\min(2W+1, T-|G|)\approx C$个唯一帧，预算均匀分布。

方法步骤详情

LVSA执行流程如下。第一步定参：选定窗口大小$W$（第3节微调），按训练参考长度设预算$C$（如Wan 2.1 1.3B为21帧），由$T_{per}=\lceil T/(C-(2W+1))\rceil$算全局周期。第二步对查询帧$t$建局部窗口：用自适应边界$w'_{lo}=\max(0,\min(t-W,T-1-2W))$、$w'_{hi}$保证窗口恒为$2W+1$。第三步执行扩展窗口算法：统计窗口内非全局帧数，若少于目标$\min(2W+1,T-|G|)$则向空余最多侧扩展，平均1.21次、至多8次迭代，单次约1.4µs。第四步按去噪步$s$生成旋转全局集$G_s$。第五步在CPU构建$A(t)=G_s\cup W(t)$索引（每步<1ms，整次重建<200µs）。第六步用FlashInfer块稀疏核在GPU执行稀疏注意力，按式$\mathrm{Attn}(q_{t,i})=\sum_{\tau\in A(t)}\sum_p\frac{\exp(q_{t,i}\cdot k_{\tau,p}/\sqrt d)}{\sum\exp(\cdot)}v_{\tau,p}$归一化输出。

技术新颖性

技术新颖性体现在三点。其一，旋转全局锚点是前所未有的：不同于固定窗口的Sparse VideoGen、AdaSpa、Sliding Tile Attention等，LVSA让全局帧在去噪步间循环移位，从理论上保证每帧都有均等机会成为锚点，从根本上消除长程重复伪影。其二，扩展窗口边界是工程上的精细创新——朴素窗口在边界处会因裁剪或与全局帧重叠而预算不均，扩展算法以极低CPU开销（每帧约1.4µs）补齐，使每帧预算严格落在$[C-\delta,C+\delta]$（$\delta\le T_{per}-1$）。其三，方法论层面提出VQeval评测工具，其动态质量与循环质量维度显式惩罚冻结/循环视频，而VBench-Long的subject consistency与background consistency却奖励静止，本文用数据揭示了这一评测缺陷（如Wan 1.3B 6倍长度稠密subject consistency 0.991却VQeval仅37.6），填补了长视频评测空白。

**Figure 1**: Basic versus expanded window pattern

**Figure 2**: Rotating periodic global frames with Tper = 4

实验结果

核心发现分三方面。计算效率(Table 1)：最长长度上LVSA-FI在Wan 2.1 1.3B 6倍(481帧)达3.17倍加速(51→16分钟)、Wan 2.1 14B 6倍达2.98倍、HunyuanVideo 1.5 1.5倍达3.33倍(80→24分钟)，加速随长度单调增长且架构无关。显存天花板处HunyuanVideo 1.5 2倍(257帧)稠密OOM(需额外19.9GB)，LVSA峰值仅约60GB使该配置首次可行。质量(Table 2)：训练长度1倍时LVSA质量中性；扩展长度优势随长度扩大——Wan 1.3B上LVSA-FI相对稠密VQeval优势从2倍+4.7增至6倍+12.1，Wan 14B从+3.8增至+12.2，而稠密VBench复合分反升(奖励冻结)。对比SOTA(Table 3)：LVSA-FI质量全面领先(对UltraViCo 4倍62.3 vs 58.8)，延迟对UltraViCo达3.27倍加速。NPU实验(Table 4)显示Wan 2.2 A14B 720×1280 6倍达2.71倍、Wan 1.3B达3.24倍加速，证明跨硬件普适性。

**Table 1**: Wall time in minutes per video generation on an 80GB GPU

**Table 2**: Quality metrics, mean over 5 long descriptive prompts

**Table 3**: LVSA vs. training-free extrapolation baselines on Wan 2.1 1.3B

**Figure 3**: HunyuanVideo 1.5 at 2× horizon generated by LVSA-FI

**Figure 4**: Wall-time scaling across three video DiTs

查看结构化数据

任务	指标	本文	基线	提升
长视频生成延迟（Wan 2.1 1.3B, 6倍长度481帧）	单视频生成时间	LVSA-FI 16.0分钟（约960秒）	稠密注意力 50.8分钟	3.17倍加速
长视频生成延迟（Wan 2.1 14B, 6倍长度）	单视频生成时间	LVSA-FI 79.8分钟	稠密注意力 237.9分钟	2.98倍加速
长视频生成延迟（HunyuanVideo 1.5, 1.5倍）	单视频生成时间	LVSA-FI 23.9分钟	稠密注意力 79.7分钟	3.33倍加速
显存可行性（HunyuanVideo 1.5, 2倍257帧）	峰值显存/是否OOM	LVSA约60.3GB可运行	稠密注意力OOM（需额外19.9GB）	从不可行变为可行
视频质量（Wan 1.3B 6倍扩展）	VQeval复合分[0,100]	LVSA-FI 60.2	稠密注意力 48.2	+12.0分
SOTA延迟对比（Wan 1.3B, 4倍333帧）	每视频秒数	LVSA-FI 802秒	UltraViCo 2621秒	3.27倍加速

局限与改进

作者明确声明本文只考虑单场景（single-scene）情形，多场景视频生成未涵盖，这限制了其在复杂叙事或多镜头视频中的应用。窗口大小$W$需要预先微调（第3节），并非完全自适应，换模型或换分辨率可能需重新调参，增加了部署成本。虽然论文展示了GPU与NPU结果，但NPU部分仅为初步结果且依赖移植到vLLM-Omni，质量评估以定性为主，缺乏像GPU那样完整的5提示词量化对比。从我观察，评测主要在5个长描述性提示词、固定seed 16上完成，样本规模偏小，统计鲁棒性有待更大规模验证；LVSA的收益高度依赖训练长度本身较短这一前提，若未来模型原生支持很长序列，其相对优势可能缩小。此外，与RIFLEx组合时VQeval动态质量略降（67.9→66.8），说明不同稀疏/外推策略的组合并非总正向。

独立分析的弱点

首要弱点是单场景假设：LVSA的全局锚点机制假设视频中存在一个可被帧0等代表的稳定场景，一旦镜头切换或多主体长叙事，固定预算$C$与等距全局帧可能不再合理，改进方向是引入基于内容的动态场景分割，让$G$随场景边界自适应。其次是$W$与$C$需手动设定，对每个模型-分辨率组合单独微调；可改进为根据运动幅度或注意力熵自适应决定窗口大小，减少调参。第三，评测样本仅5个提示词、单一种子，统计可信度有限，建议扩展到数百提示词与多种子以验证鲁棒性。第四，与UltraViCo虽声称可融合，但未给出实际融合实现与评测，融合后是否存在数值不稳或额外开销不明。第五，对训练长度本身已很长的未来模型，LVSA线性复杂度的相对收益会随稠密基线本身可行而下降，需探索更激进的稀疏预算或与蒸馏结合。

未来方向

作者明确提出的未来方向包括：进一步提升性能，以及将上述收益推广到多场景视频生成场景。基于本文成果可延伸的方向有：将旋转全局锚点机制推广到3D（时空-通道）稀疏模式，覆盖文本-视频联合注意力（针对HunyuanVideo这类双流架构文本token参与自注意力导致OOM的问题）；研究内容感知的动态稀疏，根据提示词语义或场景切换自动调整$G$与$W$；把LVSA与RIFLEx的位置外推、UltraViCo的幅度衰减做系统化融合并量化交互效应；扩展VQeval使其覆盖多场景与音频对齐，建立更全面的长视频评测基准；探索在NPU与边缘设备上的部署，结合量化与蒸馏进一步降低显存，使长视频生成普惠到消费级硬件。

复现评估

复现性总体较好。作者已开源代码（https://github.com/JiusiServe/LongVideoSparseAttention），并作为插件集成进流行开源平台，降低了复现门槛。论文详细给出了硬件（单张80GB GPU、PyTorch 2.8/CUDA 12.8）、分辨率（480×832与720×1280）、帧数（各倍率训练长度）、提示词数（5个长描述提示词）、种子（seed 16）、CFG（5.0）、去噪步数（Wan 40步、HunyuanVideo 50步）等关键设置，Table 1–4的数字可逐项核对。算力门槛方面，复现14B模型6倍长度单视频需数小时级GPU时间，HunyuanVideo 1.5的2倍配置需80GB显存，对个人研究者偏昂贵。质量评测依赖自研VQeval，其具体指标定义与提示词虽提及但完整实现需查阅仓库。主要不确定性在于W的微调细节与NPU实验移植，复现NPU结果需vLLM-Omni环境与对应NPU硬件，门槛较高。

LVSA：面向长视频扩散模型的无训练稀疏注意力 LVSA: Training-Free Sparse Attention for Long Video Diffusion