← 返回 2026-07-28

Sol-Attn：通过即时注意力稀疏化加速视频生成推理 Sol-Attn: Accelerating Video Generation Inference via On-the-Fly Attention Sparsification

Haopeng Li, Yitong Li, Junsong Chen, Tian Ye, Haozhe Liu, Jincheng Yu, Duomin Wang, Ruihua Zhang, Zeke Xie, Enze Xie, Song Han 📅 2026-07-27 👍 35 2026-08-02 18:30

GPU内核优化扩散Transformer 推理加速稀疏注意力视频生成

arXiv HuggingFace PDF

将动态路由、稀疏计算与近似校正统一到单次在线softmax中的免训练稀疏注意力

前置知识

扩散Transformer（Diffusion Transformer, DiT）

DiT是用Transformer替换传统U-Net作为去噪主干的扩散模型架构，已成为高保真视频生成的基座。其自注意力的计算复杂度随token序列长度$L$呈平方增长$\mathcal{O}(L^2)$。在视频生成中，更高分辨率和更长时长会显著拉长token序列（如1080p、721帧视频可达数十万token），使自注意力成为推理的主要瓶颈，占总计算量的相当比例。

本文所有方法都围绕加速DiT中自注意力的推理展开，理解注意力的二次复杂度瓶颈才能理解为什么需要稀疏化。

在线Softmax / FlashAttention

FlashAttention通过分块（tiling）的片上计算避免在HBM（高带宽显存）中实例化完整的$L \times L$注意力矩阵$\text{Softmax}(QK^\top)$，从而降低I/O开销并消除$\mathcal{O}(L^2)$内存占用。它采用在线softmax算法，按tile流式累积softmax的分母与分子状态（运行最大值$m_i$、归一化因子$l_i$、累加器$\text{acc}$），无需先看到整行分数即可得到精确结果。但其仍计算所有query-key交互，计算量仍是平方级。

Sol-Attn的核心就是把稀疏路由直接嵌入在线softmax的分块循环中，并复用同一片上状态做近似校正，理解FlashAttention的tile流式机制是理解本文方法的关键。

块稀疏注意力与代理分数路由

块稀疏注意力将序列按块大小$B$切分为$N$块，对每个query块$Q_i$只计算部分关键的key-value块，被mask的tile完全跳过。为动态决定选哪些块，通常先用代理分数$\hat{s}_{ij}=\bar{Q}_i\bar{K}_j^\top$（其中$\bar{Q}_i,\bar{K}_j$是块内token均值）衡量块间相关性，再用top-$k$（选分数最高的$k$块，固定预算）或top-$p$（累积softmax概率质量达$p$，动态预算）筛选。这些代理分数图和路由索引需要先在HBM中实例化，再送入稀疏注意力。

本文的直接动机就是现有top-$k$/top-$p$路由既僵化又有额外开销，理解这套代理分数路由范式才能看清Sol-Attn的改进点。

HBM与片上显存开销

GPU计算分为片上SRAM（寄存器/共享内存，容量小但带宽极高）和片外HBM（容量大但带宽相对有限）。注意力优化的核心是减少HBM读写。传统稀疏路由要先在HBM实例化$N \times N$的代理分数图和路由索引，在长序列下带来不可忽略的内存流量和峰值占用，且排序/累积选择本身也有计算开销。

Sol-Attn主张‘即时消费’每个代理分数——分数一产生就在片上比较阈值并立即分发，无需在HBM实例化代理图，这是其高效的根本原因。

研究动机

现有免训练动态块稀疏注意力存在两大痛点。其一是路由僵化、不可控且昂贵（L1）：top-$k$对每个query块强制固定预算，无法适应注意力集中度的变化；top-$p$按累积概率质量$p$筛选，虽动态但预算极不稳定——当注意力分布弥散或被attention sink主导时，同一$p$可能保留1到$\lceil pN\rceil$个块。两者都必须先在HBM实例化完整的$N\times N$代理分数图并做排序/累积，在长序列下产生可观的内存流量和路由延迟。其二是‘保留或丢弃’的稀疏化有损精度（L2）：未被选中的块被完全丢弃，即使其携带着不可忽略的注意力质量，在激进稀疏（如90%）下精度显著下降。

本文的目标是作者的目标是在不重训权重的前提下，同时实现‘更廉价的动态预算路由’和‘限制精度退化’两大诉求。具体而言，希望路由不再依赖HBM中的代理图实例化、预算能在query间自适应但又整体可控，并且能以低开销回收被丢弃块的贡献，从而把路由开销尽量隐藏在在线softmax流水线中。最终在85%-90%的固定稀疏度下，于文生视频、视频编辑、视频精修和2K文生图等多种视觉生成任务上达到更高的端到端加速比，同时使VBench、Bernini-Bench等任务质量指标及相对稠密参考的PSNR/SSIM/LPIPS相似度尽可能不下降，并在与step caching、kernel fusion等互补技术组合时进一步逼近5×加速。

与已有工作不同的是，本文的独特切入角度是：不再把路由当作稀疏注意力之前的一个独立离线预处理阶段，而是把‘动态路由、稀疏精确计算、近似校正’三者熔进单次在线softmax遍历。它放弃了top-$k$/top-$p$这种基于排序的离散路由，转而基于‘块代理分数近似高斯分布’这一经验观察，用一个由均值$\mu_i$和标准差$\sigma_i$推导的query依赖阈值$\tau_i=\mu_i+\beta\sigma_i$做即时筛选；同时把本该丢弃的低于阈值块的代理分数，用零阶Taylor展开近似其对softmax分子分母的贡献，从而把‘路由’的开销转化为‘近似校正’的副产品。

核心方法

整体思路先有直觉再有技术路线。直觉来自一个经验观察：在预训练视频模型中，按行聚合的块代理logits接近高斯分布。因此可以用一个‘标准化偏移$\beta$’统一控制整个模型的稀疏度，而每个query行通过自身的$\mu_i,\sigma_i$把这一通用阈值映射回自己的原始分数尺度，天然得到‘动态预算但密度可控’的选择。技术路线上，Sol-Attn把分块在线softmax改造成一个嵌套循环结构：外层逐chunk扫描池化key序列，对每个chunk算token-to-block分数tile，其列均值即块代理分数并与阈值$\tau_i$比较即时选出关键块；选中的块送入内层做精确稀疏注意力，未选中的列则复用同一分数tile做零阶近似校正。所有路径共享同一份在线softmax状态，最终每个query块的输出$O_i=N_i/D_i$由分子$N_i$和分母$D_i$归一化得到。

核心创新有三个本质区别于已有方法。第一，路由从‘排序/累积’变为‘阈值过滤’：阈值$\tau_i=\mu_i+\beta\sigma_i$让预算query自适应且整体可控，且$\mu_i,\sigma_i^2$可直接由池化key的一阶、二阶矩在$\mathcal{O}(Ld+Nd^2)$时间、$\mathcal{O}(d^2)$辅助存储内算出，无需实例化$N\times N$代理图。第二，路由被‘即时’嵌入在线softmax：分数一产生就在片上比较并分发，从不落盘HBM，路由开销被近似计算的GEMM吸收。第三，被丢弃的块不再直接丢弃，而是用$\exp(Q_iK_j^\top)\approx\exp(Q_i\bar{K}_j^\top)$的零阶Taylor展开近似其对softmax分子（用求和值$\hat{V}_j$）和分母的贡献，恢复部分质量从而缩小与稠密注意力的精度差距。

方法步骤详情

方法分三步。步骤一（query依赖阈值）：对query块$i$，由池化key的一阶矩$\sum\bar{K}_j$和二阶矩$\sum\bar{K}_j^\top\bar{K}_j$计算行均值$\mu_i=\bar{Q}_i(\frac{1}{N}\sum\bar{K}_j^\top)$与方差$\sigma_i^2=\bar{Q}_i(\frac{1}{N}\sum\bar{K}_j^\top\bar{K}_j)\bar{Q}_i^\top-\mu_i^2$，得阈值$\tau_i=\mu_i+\beta\sigma_i$，选中集合$\mathcal{S}_i=\{j:\hat{s}_{ij}>\tau_i\}$。步骤二（即时分块阈值化）：把池化key分成大小$C$的chunk，外层对chunk算分数$\tilde{S}_i^{(t)}=Q_i(\bar{K}^{(t)})^\top\in\mathbb{R}^{B\times C}$，其列均值即为块代理分数，逐chunk筛出$\mathcal{S}_i^{(t)}$，并立即送入内层对原始$K_j,V_j$块做精确注意力。步骤三（代理分数复用近似校正）：对未选中块$\mathcal{U}_i$，用零阶近似得softmax分母$D_i=\sum_{j\in\mathcal{U}_i}\exp(Q_i\bar{K}_j^\top)+\sum_{j\in\mathcal{S}_i}\text{RowSum}(\exp(Q_iK_j^\top))$与分子$N_i=\sum_{j\in\mathcal{U}_i}\exp(Q_i\bar{K}_j^\top)\hat{V}_j+\sum_{j\in\mathcal{S}_i}\exp(Q_iK_j^\top)V_j$，输出$O_i=N_i/D_i$。近似项的逐块GEMV可批量为GEMM，与路由共用同一分数tile。

技术新颖性

技术新颖性体现在三方面熔合。其一，把路由从独立阶段降为在线softmax内的‘免费’副产物：由于chunk的token-to-block分数tile的列均值正好等于块代理分数，路由$\hat{s}_i^{(t)}=\text{Mean}(\tilde{S}_i^{(t)})$无需额外计算，路由开销基本被近似校正的GEMM吸收，内核相对cuDNN BSA在85%稀疏下仅多3.9%开销。其二，阈值路由兼具动态预算与密度可控：高斯校准下$\beta$对应选中密度$\rho_G(\beta)=1-\Phi(\beta)$，跨Wan/Hunyuan/LTX模型经验密度稳定接近预测值，而top-$k$固定、top-$p$波动剧烈。其三，首次在同一片上在线softmax状态中同时维护‘精确选中块’和‘零阶近似未选中块’两条分支，无需单独的校正阶段或微调（区别于PISA的分阶段校正、SVG-EAR/SLA2需要训练），且数学上等价于离线全局阈值化。

**Figure 2**: Comparison of routing strategies

**Figure 3**: Gaussian-calibrated density control

**Figure 4**: Sol-Attn execution pipeline

实验结果

核心发现可逐一对应各实验。内核效率（图5a）：相对FlashAttention-3的内核加速随序列长度和稀疏度增长，在128K token、90%稀疏下达5.41×。路由开销（图5b）：阈值路由比top-$k$快11.5×、比top-$p$快32.7×（0.33ms vs 3.80ms vs 10.8ms）。内存（图5c）：注意力处理器增量峰值接近稠密，而SVG2在LTX/Bernini上多约8×。文本到视频（表1）：在匹配稀疏度下，Sol-Attn在Wan2.1达2.02×、HunyuanVideo达2.12×、LTX 2.3达1.9×端到端加速（stage-2为2.4×），VBench总分76.13/76.81/74.69均领先且PSNR/SSIM/LPIPS相似度最佳。视频到视频（表2/3）：SANA-WM精修3.04×加速且姿态误差最低（CMC 1.296），Bernini编辑2.34×加速且Bernini-Bench总分30.18最高、LPIPS 0.046最低。文本到图（表4）：Ideogram 4在2K分辨率1.56×加速、Qwen-Bench总分55.31领先。集成（图7）：融入Sol-Engine在B200上Wan2.1-14B达3.48×、HunyuanVideo达5.08×端到端加速。消融（图8/9/10）：阈值路由密度分布紧凑；近似校正在90%稀疏下相对误差显著低于纯精确稀疏；统一内核端到端比cuDNN BSA快6.2%-6.6%。

**Table 1**: Quantitative comparison of text-to-video quality and efficiency

**Table 3**: Comparison of video-to-video editing with Bernini-14B

**Table 4**: Comparison of attention methods on Ideogram 4 for 2K text-to-image

**Figure 1**: Overview of generated samples comparing dense attention and Sol-Attn

**Figure 5**: Kernel efficiency profiled on NVIDIA H100 GPU

**Figure 6**: Sparsity versus speedup over FA4 on NVIDIA RTX 5090

**Figure 8**: Routing-density distributions across different models

**Figure 10**: Latency breakdown at sequence length 32K

**Figure 11**: Additional text-to-video comparisons of dense attention and Sol-Attn

**Figure 12**: Additional conditional-generation comparisons on Bernini and SANA-WM

查看结构化数据

任务	指标	本文	基线	提升
Wan2.1-14B 文本到视频（720p, 81帧）	VBench总分 / 端到端加速比 / 85%稀疏	76.13 / 2.02× / PSNR 20.59	PISA 76.03 / 1.86× / PSNR 20.28；SVG2 75.22 / 1.85×	加速比提升约8-9%，质量与相似度同时领先
HunyuanVideo-13B 文本到视频（720p, 129帧）	VBench总分 / 端到端加速比	76.81 / 2.12×	PISA 77.02 / 1.88×；SVG2 74.45 / 2.01×	加速比最高且LPIPS 0.1777接近PISA
LTX 2.3-22B 文本到视频（1080p, 361→721帧）	端到端(Stage-2)加速比	1.9×(2.4×) at 89.83%稀疏	PISA 1.8×(2.3×)；XAttn 1.6×(1.9×)	Stage-2加速比提升约4-26%
SANA-WM 一分钟视频精修	姿态CMC误差 / 端到端加速比	1.296 / 3.04×	PISA 1.299 / 2.35×；XAttn 1.415 / 2.17×	加速比提升约29%，精度最佳
Bernini-14B 视频编辑	Bernini-Bench总分 / 加速比	30.18 / 2.34×	PISA 29.88 / 2.17×；SVG2 3.36（GQ）/2.04×	质量与加速比均最高
内核级加速（H100, 128K, 90%稀疏）	相对FlashAttention-3加速比	5.41×	FA3 = 1.0×	路由延迟比top-k快11.5×、比top-p快32.7×
Sol-Engine集成（B200）	端到端加速比	HunyuanVideo 5.08× / Wan2.1 3.48×	稠密基线 866.9s / 563.8s	延迟降至170.6s / 161.8s

局限与改进

作者明确承认的局限有二。其一，B200内核尚未充分利用Blackwell架构的全部性能潜力，且当前仅支持前向推理（无反向/训练支持）。其二，评测范围限于双向扩散类视觉生成，未覆盖自回归视频生成。我自己的观察补充：方法假设块内key是稠密、非因果的（论文推导明确说明），对带行依赖语义/因果mask的情形需要额外的中心化处理，这在自回归场景会受限；近似校正的零阶Taylor展开对‘异质性强’的尾部块仍残留误差（附录B给出的分子误差依赖$\delta_u$与值的对齐）；对注意力sink的建模依赖‘前20%步+首层稠密’及‘保留文本token为sink’等启发式，不同模型可能需重新调参；文中未报告除PSNR/SSIM/LPIPS外更细粒度的时序一致性或人工评测，端到端加速比也依赖warm-up策略与具体模型。

独立分析的弱点

弱点一：仅在双向扩散模型上验证，自回归视频生成未覆盖——其因果mask会破坏‘块内稠密非因果’假设，零阶近似的中心化需重做，改进方向是设计因果安全版本并补充自回归实验。弱点二：内核仅支持前向推理，无法用于训练或微调，改进方向是实现带反向传播的版本以支持稀疏注意力的端到端训练。弱点三：阈值$\beta$仍是全局超参，且对attention sink需靠warm-up（前20%步、首层稠密）和保留特定token等启发式处理，不同模型/分辨率需重调，改进方向是自适应$\beta$调度或可学习的每层$\beta$。弱点四：零阶近似对异质尾部块有残留误差，改进方向是引入一阶或对角协方差项（附录已给出对角估计器）以更低价地提升精度。弱点五：B200内核未榨干Blackwell性能，改进方向是针对新架构优化Tensor Core利用与异步流水。

未来方向

作者提出的未来方向包括：进一步优化Blackwell B200内核以充分利用其性能；扩展到自回归视频生成模型；实现带反向支持的可训练版本。基于本成果可延伸的方向包括：把‘即时阈值路由+代理分数复用’思想迁移到LLM的长上下文推理（kv-cache场景同样存在top-k/top-p路由的开销）；探索可学习的、每层/每头自适应的$\beta$甚至可微阈值以替代固定超参；将零阶近似升级为更高阶或混合精度近似（结合对角协方差估计器）以在更高稀疏度下进一步缩小与稠密的差距；与量化、step caching、kernel fusion等互补技术进一步组合（已在Sol-Engine中初步验证5×潜力），向更大加速比推进；把统一内核范式推广到训练场景，研究稀疏注意力在梯度计算中的稳定性。

复现评估

复现难度较高但有相当支撑。论文给出了完整的算法伪代码（Algorithm 1）和详细的执行流水线图（图4），数学推导（阈值方差公式、Taylor近似误差界）齐全且自洽。模型覆盖Wan2.1/HunyuanVideo/LTX 2.3/Bernini/Ideogram 4/SANA-WM，均给出具体配置（去噪步数、warm-up比例、cross-attention处理、稀疏度等）。硬件明确：H100为主、RTX 5090和B200为辅。然而核心Sol-Attn依赖‘自定义GPU内核’实现，论文未提供开源链接（正文仅出现‘GitHub Code’标识），最高效的嵌套循环kernel需CUDA/Hopper级别工程能力才能复现，是主要门槛。baseline配置（XAttn/SVG2/PISA）需针对未覆盖模型自行适配。总体而言，方法思想可复现、实验设计清晰，但达到论文报告的加速比需要相当的GPU内核开发投入。

论文图表

Figure 7: Integrating Sol-Attn into Sol-Engine

图7展示在B200 GPU上把Sol-Attn融入Sol-Engine的端到端延迟累积。HunyuanVideo从866.9s基线，经Kernel Fusion降到328.4s（2.64×）、再叠加Diffusion Step Cache、最后加Sol-Attn降到170.6s（5.08×）；Wan2.1从563.8s经同类组合降到161.8s（3.48×）。柱状逐层叠加展示每项技术的贡献。

这张图是论文最强工程结果——证明Sol-Attn作为可即插即用的组件与其它免训练加速技术（缓存、kernel融合）正交叠加，可达5×端到端加速，凸显其实用价值。

Figure 9: Approximate-correction ablation at sequence length 32K

图9在32K序列、相同选中块索引下，比较纯精确稀疏（Exact-only）与Sol-Attn（Exact-or-approx）随稀疏度（70%-90%）的变化。左图相对$\ell_2$误差：纯精确误差随稀疏度迅速攀升至0.16，而近似校正保持在0.04左右；右图余弦相似度：近似校正始终高于0.96，纯精确在90%稀疏下降到0.88左右。优势随稀疏度增大而扩大。

这张图是‘代理分数复用做近似校正’这一创新的直接验证——它证明保留未选中块的零阶近似能显著降低误差，尤其在激进稀疏下优势放大，是精度优势的根本来源。

Table 2: Comparison of one-minute video refinement with SANA-WM refiner

表2对比SANA-WM精修器上各方法。Sol-Attn以最低姿态误差（CMC 1.296、T.Err 1.233）和最佳稠密相似度（PSNR 17.72、SSIM 0.507、LPIPS 0.343）在85.11%稀疏下达成3.04×端到端加速，明显优于PISA的2.35×和XAttn的2.17×。

这张表证明方法在更长的视频到视频精修（一分钟）序列上同样有效，且加速度最大、精度最佳，扩展了方法的适用范围证明。

Table 5: Comparison of Wan2.1-1.3B 480p video generation on RTX 5090

表5对比消费级RTX 5090上Wan2.1-1.3B的480p视频生成。Sol-Attn以最佳稠密相似度（PSNR 24.70、SSIM 0.794、LPIPS 0.162）在84.90%稀疏下达1.71×加速，优于XAttn的1.36×和SVG2的1.41×，证明在小模型与消费卡场景同样最优。

这张表证明方法在消费级硬件和小模型上仍保持质量与效率优势，支撑了论文面向更广泛部署的实用定位，与表4一起补全了‘非数据中心’场景的证据。

Algorithm 1: Sol-Attn Forward Pass

算法1给出Sol-Attn前向伪代码：对每个query块$Q_i$，初始化在线softmax状态$(\text{acc}, l_i, m_i)$；外层循环按chunk算$\tilde{s}_{ij}=Q_i\bar{K}^\top$，用列均值与阈值$\tau_i$比得mask，对未选中列做近似Softmax并累加到$\text{acc}$；内层循环对mask为真的块算精确$Q_iK^\top$并Softmax累加；最后输出$O_i=\text{acc}/l_i$。

这是方法实现最直接的规范——它把图4的流水线转化为可对照编码的伪代码，是复现内核和验证‘路由与近似共用同一分数tile’这一设计的核心依据。