← 返回 2026-09-30

WorldAttention：面向交互式视频世界模型的高效注意力架构 WorldAttention: An Efficient Attention Architecture for Interactive Video World Models

Zeyu Zhang, Jinyuan Mao, Dakai An, Wangbo Zhao, Hanfeng Lu, Jiasheng Tang, Yinghao Yu, Wei Wang, Bohan Zhuang 📅 2026-09-28 👍 21 2026-11-11 18:30
KV缓存管理 世界模型 稀疏注意力 系统优化 自回归扩散 视频生成
arXiv HuggingFace PDF

分层KV缓存加混合稀疏注意力，让交互式视频世界模型以22 FPS生成60秒长视频

前置知识

自回归扩散（chunk-wise AR diffusion）

把扩散模型与自回归结合的生成范式：视频按块（如每块5秒）逐步生成，每个新块以历史块的键值（KV）为条件做去噪，而不是一次性对整段视频做双向注意力。它支持可变长的流式生成，代价是必须维护一个随时间增长的 KV 缓存来保证时序连贯。

WorldAttention 的所有缓存管理与检索设计都建立在逐块自回归生成流程之上，不理解这一推理范式就无法理解 KV 为什么要分页、检索为什么发生在每个解码步。

KV 缓存（KV Cache）

Transformer 自回归推理时把历史 token 的键 $K$ 和值 $V$ 缓存下来，避免每步重算。缓存大小随序列长度线性增长，而注意力计算若遍历全部历史则复杂度随长度二次增长，两者分别构成显存和算力瓶颈。

本文的核心矛盾正是“交互回忆要求保留全历史 KV”与“缓存显存爆炸、注意力二次开销”之间的冲突，HKV 与 HSA 分别针对这两个瓶颈。

线性注意力（Linear Attention）

用低秩投影把键值压缩到 $r \ll L$ 的潜空间（如 Linformer 的 $\tilde{K}=E_K^\top K$），使注意力复杂度从 $O(L^2 d_k)$ 降到 $O(L r d_k)$。它给出全局注意力的稠密但低秩近似，能廉价传播长程上下文，代价是可能丢失细粒度细节。

HSA 的线性分支正是基于该思想以线性复杂度维持全局信息流，是双分支设计中“兜底”的那一支。

块稀疏注意力（Block-Sparse Attention）

把 token 划分成固定大小的块（通常取 16 的倍数以对齐 Tensor Core/WGMMA 计算单元），只在选定的“查询块-键块”对之间计算注意力。GPU 按块跳过未选中的计算，兼顾稀疏性与硬件利用率。

HSA 的稀疏分支与定制内核都建立在块稀疏执行之上，块大小 $B$ 与 tile 形状 $(C_t,C_h,C_w)$ 的选择直接决定实际加速比。

多级存储层次（Memory Hierarchy）

计算机体系结构经典设计：GPU SRAM（片上、最快最小）→ GPU HBM → CPU DRAM → NVMe SSD（大而慢）。系统按访问频率把热数据放在高速层、冷数据下沉到大容量层，用 LRU 等策略自动迁移。

HKV 的 L0–L3 四级缓存就是把这个思想搬到 KV 缓存上：被检索的页留在 GPU，未命中页自动卸载到 CPU/NVMe，使显存占用有界。

交互式提示切换（Interactive Prompt Switching）

用户在生成过程中突然更换文本指令（例如切换到几十秒前出现过的场景），模型必须从完整历史中找回相关视觉细节以维持主体身份与场景一致性。这是交互式生成区别于普通长视频生成的本质挑战。

它决定了“KV 必须保留全历史”这一硬约束，是全文动机的出发点：滑窗方法在此场景下功能失效。

研究动机

文本条件交互式视频世界模型要求用户随时切换提示词，新指令可能指向几十秒前出现过的场景或主体，因此 KV 缓存必须保留完整历史才能支持交互回忆。现有方案陷入两难：以 MAGI-1、Self Forcing、LongLive、SkyReels-V2 为代表的滑动窗口缓存只保留最近若干帧，早期视觉上下文被永久丢弃，当用户提示引用几十秒前的场景时所需细节已不可恢复，功能性失效；BIFE 等稀疏检索方法虽保留全部 KV 支持召回，但缓存随视频长度线性增长迅速耗尽显存，且注意力对全历史的计算开销随长度二次增长。以本文设置为例，每帧含 1560 个 token、每页 8 帧，仅 4 个检索页就有 49,920 个 token，60 秒 16 FPS 视频意味着百万级 token 的 KV——滑窗在质量上不可用，全量缓存在系统上不可行，这是交互式长视频生成走向分钟级时长的根本瓶颈。

本文的目标是本文目标是设计一个面向系统的注意力架构 WorldAttention，让交互式视频世界模型在单张 NVIDIA H100 上以实时帧率（22.0 FPS）生成长达 60 秒以上的视频，同时保留完整历史记忆以支持任意时刻的提示切换。具体拆解为三点：其一，KV 保留全部历史但 GPU 驻留量有界，通过多级存储与页级迁移把冷数据自动卸载到 CPU DRAM 与 NVMe；其二，注意力计算摆脱对全历史的二次开销，用线性分支以 $O(Lrd_k)$ 复杂度承载全局依赖、用自适应稀疏分支把算力聚焦到关键区域；其三，稀疏化与检索带来的不连续访存不能拖垮硬件效率，需要定制内核把理论收益转化为端到端 2.21× 的实际加速，并在 VBench-Long 与 InterVBench 上超越 LongLive、BIFE 等最新方法（主体一致性分别达 0.9472 与 0.9668）。

与已有工作不同的是，现有工作把 KV 管理与注意力设计当作两个独立问题分别优化：滑窗类方法只管显存不管召回，BIFE 只管检索但粒度停留在块级、成本随历史增长；STA、SpargeAttn、DiTFastAttn、VSA、SLA 等稀疏/线性注意力方法多面向推理加速，既未适配逐块长时程视频生成，也没有与 KV 管理和硬件内核协同设计。本文的独特切入是系统导向的协同设计：作者先用执行时间剖析发现稀疏注意力内核仅占总延迟的 1.86%，而 KV 重排与连续拷贝占 31%，说明单点优化内核无法解决问题，必须从存储层次（SRAM/HBM/DRAM/NVMe）、检索粒度（块级粗检索→页级细检索）、注意力结构（线性+稀疏双分支、头自适应稀疏度）到内核访存布局全栈打通。这种算法-系统-硬件一体化视角是本文区别于此前所有工作的关键差异点。

核心方法

先讲直觉：既然交互回忆需要全历史，那就把历史 KV 当作可分页的数据库，按需把最相关的几页搬进 GPU，再用便宜的注意力方式去读。技术路线分三层。第一层是分层 KV 缓存 HKV：把每个生成块切成 8 帧一页的语义页，组织在 GPU SRAM/HBM、CPU DRAM、NVMe 四级存储中；生成新块时先按提示嵌入相似度检索 Top-1 历史块，再在块内用平均查询-键相似度选 Top-4 页，拼成仅 49,920 个 token 的活动 KV 放入 L1。第二层是混合稀疏注意力 HSA：线性分支用 $r \ll L$ 的低秩投影以 $O(Lrd_k)$ 复杂度维持全局信息流，稀疏分支做块稀疏注意力聚焦关键细节，每头按注意力累计质量超阈值 $\tau_h$ 自定稀疏度，两支经 Sigmoid 门控融合。第三层是内核协同：检索页重排为连续缓冲区，由对齐 Hopper WGMMA 的 Triton/ThunderKittens 定制内核执行，H100 上达 22.0 FPS。

核心创新是页级 KV 抽象与双分支注意力的组合。与滑动窗口的本质区别在历史不丢弃：HKV 用 8 帧一页的语义页作最小管理单元，未命中页按 LRU 下沉到 CPU/NVMe，NVMe 存全量备份、任意页可恢复，显存占用有界而记忆无损。与 BIFE 等 chunk 级检索的本质区别在粒度与成本：先提示级锁定 Top-1 块缩小搜索空间（检索成本不随历史增长），再块内页级用 $\bar{Q}^\top\bar{K}_{m,j}/\sqrt{d_k}$ 精选 4 页，两级各司其职——Table 6 中 50–60s 段 CLIP 比随机选页（20.12）和错配选页（17.36）高 4.89 与 7.65。与现有稀疏/线性注意力的本质区别在头自适应：各头注意力模式从全局弥散到局部对角差异巨大（Fig. 2/3），于是用累计质量阈值 $\tau_h$ 让每头自选稀疏度，再以门控 $O_{lin}\odot G_{lin}+O_{sp}\odot G_{sp}$ 逐头逐 token 平衡两支，比全局统一稀疏度保留更多样的注意力模式。

方法步骤详情

① 初始化 KV bank：历史 KV 写入集合 $\mathcal{B}$，每块切成页 $P_{m,j}=(K_{m,j},V_{m,j})$，每页 8 帧、每帧 1560 token。② 提示级检索：当前与历史块提示嵌入算余弦相似度，取 Top-1 候选块。③ 页级检索：以当前块平均查询与候选块各页平均键打分，取 Top-4 页，共 $4\times8\times1560=49{,}920$ token。④ 构建活动 KV：拼接所选页为 $K_{active},V_{active}$ 载入 L1（GPU HBM），未选页按 LRU 下沉到 L2（CPU DRAM）/L3（NVMe）备份。⑤ HSA 双分支：线性分支把 K、V 投影到 $r\ll L$ 维做低秩注意力，复杂度 $O(Lrd_k)$；稀疏分支块池化粗选后，对每头累计注意力质量超 $\tau_h$ 的最小块集执行块稀疏 SDPA，历史页块大小 128、当前块 64。⑥ 融合与执行：门 $G{=}XW$ 过 Sigmoid，两支逐头门控加权融合；检索页重排连续后由 Triton/ThunderKittens 内核执行。

技术新颖性

技术新颖性体现在四个首次组合。第一，页级语义 KV 抽象：以往 KV 管理要么整窗滑动要么整块检索，本文把 8 帧一页作为语义与存储的最小公共单元，使检索精度和迁移开销同时可控，相当于把操作系统的分页思想引入视频扩散 KV 管理。第二，两级粗到细检索：提示级（embedding 余弦）与页级（$\bar{Q}$-$\bar{K}$ 相似度）解耦，前者保证检索成本不随历史增长，后者保证细粒度召回，Table 6 证明同预算下优于所有单一策略。第三，头自适应稀疏：不像 VSA/STA 用全局统一稀疏度，而是按每头注意力累计分布动态选块（阈值 $\tau_h$），Fig. 2/3 提供了直接的实证动机——各头从密集全局相关到局部对角结构差异巨大。第四，算法-内核协同：tile 尺寸对齐 Hopper WGMMA（16 的倍数）、检索页重排成连续缓冲区，HSA 的 ThunderKittens 内核相对 FlashAttention-3 峰值加速 14.02×；且作者诚实指出稀疏内核仅占延迟 1.86%，真正的端到端 2.21× 加速来自全栈协同，这一系统级结论本身就是方法学贡献。

Overall architecture of WorldAttention. We propose a system-oriented co-design using Hierarchical KV Cache (HKV) for coarse-to-fine memory retrieval, and Hybrid Sparse Attention (HSA) for efficient dual-branch attention computation.
Figure 1: Overall architecture of WorldAttention. We propose a system-oriented co-design using Hierarchical KV Cache (HKV) for coarse-to-fine memory retrieval, and Hybrid Sparse Attention (HSA) for efficient dual-branch attention computation.
Visualization of sparsity patterns across different attention heads.
Figure 2: Visualization of sparsity patterns across different attention heads.
Head-wise cumulative attention distribution over Top-K selected blocks.
Figure 3: Head-wise cumulative attention distribution over Top-K selected blocks.
Memory footprint analysis of HKV.
Figure 4: Memory footprint analysis of HKV.

实验结果

① VBench-Long 60s 评测（Table 1）：主体一致性 0.9472 超 BIFE 0.9410、LongLive 0.9403，背景一致性 0.9691、运动平滑 0.9915、动态程度 0.7758、图像质量 0.7259 均最优。② 交互语义评测（Table 2）：质量分 85.53（次优 BIFE 84.38），50–60s 段 CLIP 25.01 最高。③ 单提示 30 秒（Table 3）：86.55 / 22.0 FPS 双第一，LongLive 重缓存 32 帧虽 85.82 但仅 6.70 FPS。④ 效率（Fig.5/9）：HSA 内核对 FA-3 峰值加速 14.02×，HKV/HSA/内核逐级带来 1.15×/1.91×/2.21× 端到端加速，B200 14B 720p 达 2.46×。⑤ 消融（Table 4–8）：τ=1.00/0.35 组合最优；HKV 页 8 取 4 页最佳；两级检索比替代策略 CLIP 高 3.5–7.7；Top-1 块最优；3 个高相似块仅降至 85.18。⑥ Fig. 6：线性分支最接近全注意力。

Comparison of different methods on VBench-Long [13]. We extended VBench-Long to 60 seconds following LongLive [29].
Table 1: Comparison of different methods on VBench-Long [13]. We extended VBench-Long to 60 seconds following LongLive [29].
Interactive long video evaluation on VBench-Long [13]. Quality scores are reported on the full 60s sequence. CLIP scores are reported on 10s video segments with identical semantics (↑higher is better).
Table 2: Interactive long video evaluation on VBench-Long [13]. Quality scores are reported on the full 60s sequence. CLIP scores are reported on 10s video segments with identical semantics (↑higher is better).
Single-prompt 30s long video evaluation on VBench-Long [13].
Table 3: Single-prompt 30s long video evaluation on VBench-Long [13].
Comparison of hierarchical KV retrieval with alternative page-selection strategies under the same active KV budget of four pages (49,920 tokens). Quality is evaluated on the full 60-second VBench-Long sequence; CLIP scores are evaluated on aligned 10-second segments.
Table 6: Comparison of hierarchical KV retrieval with alternative page-selection strategies under the same active KV budget of four pages (49,920 tokens). Quality is evaluated on the full 60-second VBench-Long sequence; CLIP scores are evaluated on aligned 10-second segments.
Ablation of the number of prompt-level candidate chunks under the same active KV budget of four pages.
Table 7: Ablation of the number of prompt-level candidate chunks under the same active KV budget of four pages.
Robustness of hierarchical retrieval to semantically similar historical chunks. All settings use the same active KV budget of four pages (49,920 tokens).
Table 8: Robustness of hierarchical retrieval to semantically similar historical chunks. All settings use the same active KV budget of four pages (49,920 tokens).
End-to-end ablation study of WorldAttention.
Table 9: End-to-end ablation study of WorldAttention.
Execution time breakdown of HSA.
Table 10: Execution time breakdown of HSA.
End-to-end speedup across GPU platforms, model scales, resolutions, and generation horizons.
Table 11: End-to-end speedup across GPU platforms, model scales, resolutions, and generation horizons.
Attention kernel speedup.
Figure 5: Attention kernel speedup.
Comparison of our linear branch with SLA [37], SANA-Video [6], and full attention.
Figure 6: Comparison of our linear branch with SLA [37], SANA-Video [6], and full attention.
查看结构化数据
任务指标本文基线提升
交互式长视频生成（VBench-Long 扩展至 60s，LongLive 提示集） Subject Consistency 主体一致性 0.9472 BIFE 0.9410（次优）；LongLive 0.9403 +0.0062（相对次优）
交互式长视频生成（VBench-Long 60s 整段质量） Quality Score 85.53 BIFE 84.38；LongLive 83.95 +1.15（相对 BIFE）
单提示 30s 长视频生成 Quality Score / 吞吐 FPS 86.55 / 22.0 FPS LongLive（重缓存32帧）85.82 / 6.70 FPS；BIFE 85.18 / 18.0 FPS 质量 +0.73，吞吐较 32 帧重缓存约 3.3×
交互式长视频生成（InterVBench，1000 条视频） Subject Consistency 主体一致性 0.9668 正文未列出（见附录 Table 12） 论文声称超越此前 SOTA
稀疏分支注意力内核（Hopper GPU） 相对 FlashAttention-3 的加速比 14.02×（HSAtk/ThunderKittens）；HSAtriton 10.21× FlashAttention-3 = 1.00×；SVG/VMOBA/SLA 均更低 峰值 14.02×
分钟级视频端到端生成（H100, 1.3B, 480p, 60s） 端到端加速比 2.21×（HKV 1.15× → +HSA 1.91× → +内核 2.21×） FlashAttention-3 + 朴素 KV 缓存 = 1.00× 2.21×；B200 14B/720p 下达 2.46×

局限与改进

作者明示的局限：其一，检索取 Top-1 块，作者在 Table 7 讨论中承认对真正多事件的提示可能不鲁棒——取更多块会稀释固定 4 页预算，当前评测样本主要是单语义块，真实交互若频繁跨主题跳转需重新设计预算分配；其二，InterVBench 完整对比放在附录 Table 12，正文质量评测主要基于 480p、1.3B 模型，14B 只报效率（Table 11）未报质量，规模泛化证据不足；其三，Table 10 显示 KV 连续拷贝占 HSA 延迟 31%、线性分支占 39.78%，数据搬运而非计算是主要开销，而 L3 NVMe 回取延迟与分钟级以上视频的表现未量化。补充观察：每帧 1560 token、60 秒约 150 万 token 的全量 KV 长期驻留 DRAM/NVMe，存储成本随时长线性增长且未讨论 KV 量化压缩；训练需 32 张 H100 共 30 小时并依赖 Wan2.1-T2V-14B 教师与 Self-Forcing DMD 蒸馏，门槛高；检索用均值池化 $?ar{Q}/?ar{K}$ 打分，可能漏掉页内少数关键 token 的细粒度相关性。

独立分析的弱点

弱点一：Top-1 块检索与固定 4 页预算耦合，多事件或跨场景提示下单一候选块证据不足（Table 7 中 Top-4 分页策略质量降到 84.91）。改进方向：按提示复杂度自适应分配块数与每块页数，或引入可学习的预算路由器。弱点二：数据搬运主导延迟（Table 10：KV 拷贝占 31.00%、索引映射 12.50%，稀疏内核仅 1.86%）。改进方向：预测下一块所需页并异步预取，用 pinned memory 减少跨设备流量。弱点三：线性分支是固定秩 $r$ 的低秩近似，Table 4 显示 Linear Only 动态程度仅 0.5825、美学 0.5632。改进方向：分层/分头自适应秩、可学习压缩基。弱点四：页级打分基于均值池化 $\bar{Q}/\bar{K}$，对页内小而关键的目标 token 不敏感。改进方向：token 级 top-k 辅助评分或多查询头评分。弱点五：质量验证集中在 1.3B/480p，更大模型与分辨率下页大小、$K_p$、$\tau$ 阈值未必最优且需人工设定。改进方向：按注意力分布自动校准阈值，或端到端学习稀疏度。

未来方向

作者方向上，论文把系统协同设计确立为方法论，自然延伸包括：把 HKV 扩展到多 GPU/多节点分布式 KV 池以支持小时级世界模拟；结合 KV 量化与页内压缩降低 L2/L3 存储占用；把检索从启发式（余弦+均值池化）升级为端到端可学习，并与去噪时间步联合调度。基于本文成果可延伸的研究：其一，把 HSA 的头自适应稀疏度与 Infinity-RoPE 等位置编码扩展结合，进一步拉长上下文；其二，将交互式回忆能力用于具身智能与基于模拟的规划，让智能体回忆数分钟前的观测并据此决策；其三，在 B200/14B/720p 已有 2.46× 加速的基础上补齐大模型质量评测，并在蒸馏训练中直接引入检索监督信号；其四，面向多事件提示的自适应检索预算（top-k 路由）与用户意图理解结合；其五，向音频-视频-动作多模态统一的世界模型缓存管理推广。

复现评估

开源情况：论文提供代码仓库与项目主页，基座是开放的 Wan2.1-T2V-1.3B（480p, 832×480）；训练数据用公开的 VidProM，切换提示由 Qwen2-72B-Instruct 按 LongLive 方案生成；评测用 VBench-Long（160 条 60 秒交互提示）与公开的 InterVBench（1000 条视频），协议基本可得。算力门槛：完整训练约 30 小时 × 32 张 H100，配 192 CPU 核与 960GB 内存，另需 Wan2.1-T2V-14B 教师做 Self-Forcing DMD 蒸馏；推理需 H100 级 GPU，内核以 Triton 与 ThunderKittens 实现，B200 亦验证通过。难度：只跑推理复现 FPS 与质量为中等难度；从头复现训练为高难度。论文对页大小 8、Kp=4、τ=1.00/0.35、tile 配置、超参（lr 1e-4→5e-5、weight decay 1e-4、AdamW）披露较全，Appendix F 给出 HSA 完整算法，可复现性在同类系统论文中属较好水平。

论文图表

Table 4: Comparison of different modification on HSA. We report VBench-Long [13] metrics following [10, 4].

HSA 消融：仅线性分支主体一致性 0.9021 但动态程度仅 0.5825；仅稀疏分支随阈值变化（最优 0.9365）；线性+稀疏在 $ au_{max}{=}1.00, au_{min}{=}0.35$ 时达最优 0.9472/0.9691/0.9915/0.7758。

证明两分支互补：线性保一致性与背景、稀疏保动态与画质，组合才最优，是 HSA 双分支设计的核心实验支撑。

Table 5: Ablation of HKV: interactive long video evaluation on VBench-Long [13]. Quality scores are reported on the full 60s sequence. CLIP scores are reported on 10s video segments with identical semantics (↑higher is better).

HKV 消融：滑窗 CLIP 分随时间衰减（50–60s 仅 17.59），重缓存 32 帧改善语义但吞吐掉到 7.10 FPS；HKV (Psize=8, Kp=4) 质量 85.53、吞吐 22.0 FPS 最佳，(Psize=8, Kp=2) 吞吐 24.0 但质量 83.05。

对比滑窗验证全历史检索的价值，并给出页大小与页数的最佳配置，是 HKV 设计空间的核心实验。

相似论文推荐

WorldKV：基于世界检索与世界压缩的高效世界记忆 🎯 81.0%
FAST-AR：基于时序缓存压缩和稀疏注意力的快速自回归视频扩散与世界模型 🎯 78.3%
ReWorld：具备长时程记忆的交互式世界模型 🎯 76.1%
Velox：空间记忆让世界模型更高效 🎯 75.1%
QuantWM：面向视频世界模型的时间一致性2比特KV缓存量化 🎯 73.9%