Light Forcing：通过稀疏注意力加速自回归视频扩散 Light Forcing: Accelerating Autoregressive Video Diffusion via Sparse Attention

LIGHT FORCING的执行流程分为三个主要阶段：第一阶段是Chunk-Aware Growth稀疏度分配。对于第一个chunk，保持密集注意力以保留视觉锚点；对于第 $i$ 个chunk ($i>1$)，根据公式 $s_i = s_{base} - \alpha_i \beta$ 计算稀疏度，其中 $s_{base}$ 是预定义常数反映得分估计误差，$\alpha_i \propto 1/\sqrt{T}$ 是第 $i$ 个chunk达到的噪声水平，$\beta$ 是通过约束总FLOPs等于目标稀疏比确定的调制因子。第二阶段是Hierarchical Sparse Attention的token压缩。对查询 $q^{(i)}$ 和键 $k_{:i}$ 进行块级平均池化得到压缩表示 $\tilde{q}^{(i)}$ 和 $\tilde{k}_{:i}$，对记忆集 $M$ 中的键进行帧级压缩得到 $\hat{k}_M$。第三阶段是两级掩码选择。对每个查询块，首先通过帧级相关性分数 $p_r^{(i)} = \langle \tilde{q}_r^{(i)}, \hat{k}_M \rangle$ 从记忆集中选出top-k个最相关帧 $T_r$（始终保留sink帧、最近帧和当前chunk的帧），然后在选中的帧内通过块级相关性分数 $o_r^{(i)}(\tau, j) = \langle \tilde{q}_r^{(i)}, \tilde{k}_j^{(\tau)} \rangle$ 选出top-k个块 $J_r$，最终构建块级注意力掩码 $B_r^{(i)}(\tau, j) = \mathbb{1}[\tau \in T_r, j \in J_r(\tau)]$ 并执行块稀疏注意力计算。

LIGHT FORCING的技术新颖性体现在三个层面。首先，在问题建模上，本文首次将自回归视频扩散中的稀疏注意力问题与chunk间的误差累积理论联系起来，通过TV距离界 $TV(q_t, p) \leq C_1 \sqrt{\frac{d^2 \log^3 T}{T}} + C_2 \sqrt{d} \varepsilon_{score} \log^2 T$ 定量分析了稀疏度引入的误差，这一理论框架在已有工作中是全新的。其次，在方法设计上，CAG是首个根据chunk的生成难度（而非统一策略）分配稀疏度的机制，而HSA的两级选择策略（帧级粗筛+块级细选）突破了已有动态稀疏注意力仅在单一粒度选择的限制。最后，在工程实现上，HSA的帧检索步骤仅增加约2%的端到端运行时间开销，却能显著提升长距离一致性，这种极低开销的设计使得方法在实际部署中具有很高的实用价值。与已有方法相比，STA使用固定窗口大小导致稀疏度受限（在480p分辨率下仅达62.5%），SVG2需要重复K-means聚类初始化带来额外开销，VMoBA在自回归模型上训练困难且性能远不理想，而LIGHT FORCING无需这些额外开销即可达到最优性能。

论文存在几个值得关注的弱点。第一，实验规模的局限性：仅在1.3B模型上验证，而当前主流的实时视频生成模型已达到14B规模（如Krea Realtime 14B），在更大模型上稀疏注意力的效果可能不同，因为大模型的注意力模式可能更复杂。建议在多个规模（如3B、7B、14B）上进行系统评估。第二，HSA的两级选择虽然开销小（约2%），但在极长视频（如60秒以上）生成时，帧级检索的候选集会线性增长，top-k选择的效率可能下降。可以考虑引入层次化的索引结构（如IVF或HNSW）来加速检索。第三，CAG的稀疏度分配公式 $s_i = s_{base} - \alpha_i \beta$ 中，$\alpha_i$ 的计算依赖于理论分析中的噪声水平假设，但论文未充分验证这些假设在实际模型中的成立程度。建议增加理论假设的实证验证。第四，方法对第一个chunk保持密集注意力的策略在某些场景下可能过于保守，例如当第一个chunk的内容简单（如纯色背景）时，可以进一步压缩。建议引入自适应的首chunk稀疏度策略。第五，论文未探索方法与其他模态条件（如文本提示的变化、音频条件等）的交互，这在多模态视频生成场景中可能很重要。

基于论文成果，未来研究可以在以下几个方向展开。第一，模型规模扩展：将LIGHT FORCING应用于更大规模的模型（7B、14B），研究稀疏度与模型规模的关系，可能发现大模型具有更高的注意力冗余度。第二，自适应稀疏度分配：当前CAG使用固定的稀疏度公式，可以探索基于训练信号的自适应分配，例如通过一个小的预测网络根据输入内容动态决定每个chunk的稀疏度。第三，与其他加速技术的融合：将稀疏注意力与极低步数去噪（1-3步）、低比特量化（INT4/INT8）、特征缓存等技术结合，探索加速的极限。第四，跨模态扩展：将chunk感知稀疏注意力思想扩展到多模态生成（如文生视频、图生视频），研究不同模态条件对注意力模式的影响。第五，训练时稀疏注意力：当前方法主要在推理时使用稀疏注意力，探索在训练时引入稀疏注意力可能进一步提升模型对稀疏模式的适应性。第六，理论深化：进一步分析自回归扩散模型中的误差传播机制，建立更紧的误差界，为稀疏度分配提供更精确的理论指导。

论文的复现条件相对友好。代码已开源（通过论文中提供的链接），并提供了Docker镜像（lvchengtao/light forcing:v1），包含了优化的稀疏注意力、FP8、RoPE、RMSNorm等部署内核。数据方面，论文使用了公开的VBench和VBench-Long基准，测试提示来自Self Forcing的重写版本，均可公开获取。模型方面，实验基于三个开源的自回归视频生成模型（Self Forcing、LongLive、Infinite-Forcing），权重也可公开下载。算力需求方面，在RTX 5090上单卡即可运行，5秒视频生成需要约12.7GB显存（完整部署），15秒视频需要约13.1GB，对消费级GPU友好。复现难度中等：需要理解自回归视频扩散的基本概念和稀疏注意力的实现细节，但论文提供了详细的超参数设置表（Table 5）和实现细节附录，降低了复现门槛。主要挑战可能在于SpargeAttention内核的安装和配置，以及不同GPU平台上内核性能的差异。