HLA-WM：面向长时程视频世界模型的混合线性注意力 HLA-WM: Hybrid Linear Attention for Long-Horizon Video World Models
利用GDN仿射结构缓存分块状态摘要，按相机几何检索并重组历史记忆，免训练修复长程遗忘
前置知识
视频世界模型
通过预测未来视觉观测来建模环境动态的生成模型，通常以动作或相机轨迹为条件，自回归地流式生成视频（潜在）帧，可支持交互式仿真与智能体规划。长时程仿真要求早先观察过的场景在离开近期上下文之后仍能被恢复，而不是生成一个语义相似但空间不一致的视图。
本文的应用场景就是相机控制的自回归视频世界模型（SANA-WM），全部实验、评测协议与指标都围绕其60秒长时程rollout展开，理解这一设定才能明白『重访一致性』为何是核心目标。
Softmax 注意力与 KV 缓存
Transformer 通过查询与键的相似度对历史值向量加权聚合；为避免重复计算，需要缓存所有历史 token 的键/值对（KV 缓存）。它提供对完整历史的精确访问，但缓存大小随序列长度线性增长，长视频生成时显存开销迅速膨胀。
全 KV 缓存是论文中『精确但昂贵』的一端，HLA-WM 的显存对比（60秒上下文下 12 倍缩减）以及 KV 缓存对齐消融都直接针对这条注意力通路。
线性注意力与循环状态
把注意力改写为关联计算形式 $(\sum_i \phi(k_i)v_i^\top)\phi(q)$，历史信息被压缩为固定尺寸的循环状态 $S\in\mathbb{R}^{d_k\times d_v}$，按递推方式更新，显存与序列长度无关。代价是全部历史挤在一个状态里，遥远信息容易被后续更新稀释。
HLA-WM 建立在线性状态的仿射递推 $S_i=S_{i-1}A_i+B_i$ 之上，整个方法的缓存、检索与重组都操作这个状态，是读懂方法的数学前提。
Gated DeltaNet (GDN)
现代循环线性注意力架构，在 token 级更新 $S^t=\gamma_t S^{t-1}+\beta_t(v_t-S^{t-1}k_t)k_t^\top$ 中结合数据依赖衰减门 $\gamma_t$（自适应遗忘）与 delta 规则项（针对性覆写），状态尺寸固定。它已被 SANA-WM 等自回归视频生成模型用作跨帧记忆。
论文诊断并修复的正是 GDN 的长程遗忘问题；方法的仿射摘要、几何检索与状态重组全部作用在 GDN 主记忆矩阵上。
重访一致性与相机可控性指标
重访一致性在相同或相近相机位姿的帧对之间计算 PSNR、SSIM、LPIPS，衡量模型对早先场景的还原程度；相机可控性用 RotErr（旋转误差）、TransErr（相对平移误差）、CamMC（相机运动一致性）评估生成内容与给定轨迹的吻合程度，位姿由 Pi3X 估计。
论文所有结论都用这六个指标加 FPS 表达，明确每个指标衡量什么，才能读懂主表与消融中各项收益的含义。
研究动机
现代视频世界模型（如 SANA-WM）按相机轨迹自回归流式生成视频，要求相机在离开某区域很久后返回时能恢复原始场景结构。Softmax 注意力靠不断增长的 KV 缓存保留全部历史，显存随生成长度线性膨胀；Gated DeltaNet（GDN）这类循环线性注意力把整个历史压缩进固定尺寸状态，显存恒定。但作者实证发现 GDN 存在严重的长程遗忘：SANA-WM 的重访 SSIM 随重访间隔从约 0.4 衰减到 0.3 以下（图 1）；在相机绕大圈回到 Chunk 3 附近视角的轨迹中，Chunk 3 的信息经中间各块转移矩阵连乘后，累积保留度 $W_{3\to 35}$ 仅剩 0.0416，重访画面在布局与物体排布上明显偏离初次访问。根源在于：历史信息按时间顺序被所有后续状态更新反复变换，而绝大多数中间块观察的是无关视角——记忆的传播由时间驱动，其相关性却由空间几何决定。
本文的目标是本文的目标是：在不重新训练、不保留完整 token 级 KV 缓存的前提下，让预训练循环视频世界模型在需要时重新访问遥远的场景历史。具体而言，作者希望在固定尺寸线性状态（省显存但会遗忘）与全历史 KV 缓存（可精确寻址但昂贵）之间建立一个中间记忆机制：把历史组织成若干独立可寻址的紧凑分块摘要，当相机重新到达几何上相关的视角时，选择性地恢复早期场景信息，同时几乎不牺牲 GDN 的推理吞吐与显存优势。衡量标准是在 60 秒 SANA-WM-Bench 与 547 样本的 MBench-A 上，重访一致性（PSNR/SSIM/LPIPS）与相机可控性（RotErr/TransErr/CamMC）全面提升，且历史状态显存显著低于全 KV 方案、吞吐损失极小。
与已有工作不同的是，本文的独特切入角度是揭示并利用 GDN 状态更新的仿射代数结构。作者注意到 token 级更新 $S^t=S^{t-1}A^t+B^t$ 可按块折叠为 $S_i=S_{i-1}A_i+B_i$，且摘要对 $(A_i,B_i)$ 满足结合律的合成规则 $(A_i,B_i)\star(A_j,B_j)=(A_iA_j,\,B_iA_j+B_j)$。这意味着每个分块对任意进入状态的作用可以一次性缓存，之后按需选择性重组，无需把历史视觉 token 重新前向一遍。与基于帧检索的方法（需重新编码历史帧并重算注意力缓存）、基于 token/KV 的方法（缓存随长度增长）以及特征/空间记忆方法（需维护额外历史表示）不同，HLA-WM 在零训练、零 token 重放的条件下，用相机几何（视锥重叠）替代学习型路由器来寻址记忆，直接纠正『按时间传播』与『按空间相关』之间的错配。
核心方法
直觉上，HLA-WM 把『单一累积的 GDN 记忆』替换为『一堆可独立寻址的分块记忆』。技术上：将 60 秒 rollout 划分为 $C=40$ 个时间块（961 帧，每块约 24 个相机位姿），每块生成完成后缓存其仿射摘要 $(A_i,B_i)$——$A_i$ 描述该块如何变换已有记忆，$B_i$ 表示该块新写入的信息。对每个查询块 $q$，先由相机内参、外参与场景级中位深度估计计算它与所有历史块的对称视锥重叠分数 $R(i,q)$，选出 Top-K 几何最相关块；再叠加第一块作为持久 sink（全局锚点）与最近块（局部连续性，急转弯时从 1 块扩到 3 块）。选中摘要按时间顺序经结合律重组为查询专属状态 $S_q^{hist}=S_0A_{\pi_q}+B_{\pi_q}$，替换主 GDN 记忆后继续生成；同一选中块集合也同步应用于伴随 softmax 通路的 KV 缓存。相机控制 GDN 与短卷积局部状态保持原有时序更新，全部预训练参数冻结。
核心创新有两点。其一是『仿射可分解性』：GDN 的分块更新天然构成带结合律合成的代数结构，块级摘要 $(A_i,B_i)$ 完整刻画该块对任意进入状态的作用，因而历史记忆可以被缓存、跳过与重组——当所有历史块都被选中时，重组结果精确退化为原始 GDN 时序递推，这提供了严格的一致性校验。其二是『时间传播与空间相关的错配』：GDN 中早期信息必须穿越所有中间块的转移矩阵才能影响未来，而世界模型中信息的相关性由几何邻近决定而非时间邻近；HLA-WM 通过剔除几何无关的中间块，大幅缩短远距离相关记忆所经历的无关变换链。与已有工作的本质区别在于：不重放历史视觉 token、不重新编码历史帧、不依赖学习型检索器，仅凭代数重组与相机几何就实现了选择性记忆访问，完全免训练。
方法步骤详情
方法分五步。第一步，预计算两两几何重叠：对查询块逐帧在图像平面 5%–95% 范围采样 $7\times7$ 网格，构造射线 $r(u,v)=[(u-c_x)/f_x,\,(v-c_y)/f_y,\,1]^\top$，在深度集 $D=\{0.5\,d_{med},\,d_{med},\,1.5\,d_{med}\}$ 处实例化代理 3D 点，投影到另一块各相机视图，正深度落入视口的比例为 $V(i\to q)$，对称分数 $R(i,q)=\tfrac{1}{2}[V(i\to q)+V(q\to i)]$。第二步，确定近期预算：计算块内早晚平移方向夹角 $\theta_c=\arccos\frac{d_{early}^\top d_{late}}{\|d_{early}\|_2\|d_{late}\|_2}$，$\theta_c\ge\tau_{turn}=25^\circ$ 时 $r_c=3$，否则 $r_c=1$。第三步，选择历史集合 $I_q=I_{sink}\cup I_{recent}\cup\operatorname{TopK}_{i}R(i,q)$（默认 $K=1$）。第四步，按时间序 gather 摘要，在分块 Triton GDN 内核上前向扫描重组 $S_q^{hist}$，替换主 GDN 状态后流式生成当前块，并对 softmax KV 缓存做同样的块选择对齐。第五步，生成完成后执行 $t=0$ 缓存写入前向，缓存本块摘要 $(A_q,B_q)$；相机 GDN 与短卷积状态仍按时序更新。全程历史块不重过 Transformer。
技术新颖性
技术新颖性体现在三个层面。结构层面：此前 DeltaNet/GDN 系列把循环状态当作黑盒递推，本文首次利用其转移动态的仿射结构构造『可寻址循环记忆』——证明块级摘要的合成运算满足结合律，使任意历史子集可高效重组，并与原始递推严格一致。检索层面：用零学习成本的相机几何代理（视锥重叠加场景中位深度）替代学习型路由器或语义特征，检索不依赖生成的 RGB 内容，几乎无额外开销。工程层面：重组直接实现在原 Triton GDN 内核之上，摘要与进入状态解耦缓存，避免重评估历史块；且只重组主 GDN 矩阵与归一化状态，相机控制与卷积状态不动，保证流式生成稳定。消融（表 3/4/5）进一步证明 GDN 重组是长程收益的主要来源，KV 对齐负责稳定注意力上下文，二者互补而非冗余。
实验结果
在 60 秒 SANA-WM-Bench（Simple/Hard 各 80 条轨迹）上，Stage 1 直改记忆时六个指标全部提升：Hard 分割 PSNR 9.37→10.11 dB（+0.74）、SSIM 0.1774→0.1997、LPIPS 0.6044→0.5848、RotErr 20.38°→15.09°（−26.0%）；Simple 分割 PSNR +0.73 dB、RotErr −31.0%。双向精修后在两分割上仍改善全部六个指标（Simple RotErr 11.38°→8.88°，−22.0%；Hard PSNR 13.05→13.51、RotErr −20.1%）；AR 精修下重访指标全面改善但 Simple 分割 TransErr/CamMC 略升。在 547 样本的 MBench-A 上，三种推理模式的 PSNR/SSIM/LPIPS 全部提升：Stage 1 PSNR 10.17→11.01（+0.84 dB）、SSIM +0.0303、LPIPS −0.0428，AR/Bi 精修分别 +0.37/+0.58 dB，且覆盖全部 4 个子集的 12 个模式-子集组合。效率上，60 秒上下文历史状态显存仅 2.15 GiB，为全 KV 缓存 25.82 GiB 的约 1/12，吞吐最多降 1.6%（Stage 1：22.403→22.053 FPS）。消融：去掉 sink、Select A/B 或转弯感知均劣化（表 3）；GDN 重组是重访收益主源，KV 对齐主要稳定相机（表 4/5）；$K=1$ 即达最佳重访指标（表 6）；几何选择优于 Random/Recent/Uniform（表 7）。图 6 显示收益随重访间隔增大而增大，≥40 秒长间隔收益最明显。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SANA-WM-Bench Hard 分割 · Stage 1 重访一致性 | PSNR | 10.11 dB | 9.37 dB (SANA-WM) | +0.74 dB |
| SANA-WM-Bench Hard 分割 · Stage 1 相机可控性 | RotErr | 15.09° | 20.38° | −26.0% |
| SANA-WM-Bench Simple 分割 · Stage 1 相机可控性 | RotErr | 13.59° | 19.70° | −31.0% |
| SANA-WM-Bench 双向精修（两分割） | PSNR / RotErr | 13.56 dB / 8.88°（Simple），13.51 dB / 10.53°（Hard） | 13.04 dB / 11.38°，13.05 dB / 13.17° | 六个指标全部改善；RotErr −22.0%/−20.1% |
| MBench-A（547 样本）· Stage 1 | PSNR / SSIM / LPIPS | 11.01 / 0.2848 / 0.5823 | 10.17 / 0.2545 / 0.6251 | +0.84 dB / +0.0303 / −0.0428 |
| MBench-A · AR / 双向精修 | PSNR | 12.73 dB / 13.52 dB | 12.36 dB / 12.94 dB | +0.37 dB / +0.58 dB |
| 60 秒上下文历史状态显存 | GiB | 2.15 GiB（HLA-WM） | 25.82 GiB（全 KV 缓存） | 12× 缩减 |
| 60 秒上下文推理吞吐 | FPS | 22.05（Stage 1） | 22.40 | 吞吐损失 ≤1.6% |
局限与改进
作者承认两点局限：一是 training-free 限制了收益上限，模型从未学习过利用重组后的状态；二是检索仅依赖相机几何与 FOV 重叠，未建模遮挡、可见性与语义相关性。我的补充观察：其一，绝对指标仍低——Stage 1 的 PSNR 仅约 10 dB、SSIM 约 0.2，长程重访一致性远未解决，且精修后相对增益缩小，AR 精修下 Simple 分割的 TransErr/CamMC 甚至轻微变差；其二，方法强依赖 prescribed 相机轨迹元数据（位姿、内参、中位深度），在动作驱动或自由生成场景中需先估计位姿，误差会传导进检索；其三，场景级中位深度是粗糙代理，室内强遮挡或深度跨度大的场景下视锥重叠会误检；其四，表 4 中 Hard+双向精修下 GDN-only 使 RotErr 从 13.17° 恶化到 33.04°，说明只改循环记忆会与 softmax 上下文失配，系统鲁棒性依赖两条通路同步修改；其五，评测仅覆盖 1.6B SANA-WM 与相机控制设定，摘要库存储虽远小于 KV 但仍随块数线性增长，数分钟以上 rollout 未验证。
独立分析的弱点
独立分析几处弱点并给出改进方向。(1) 视锥重叠忽略遮挡：相机朝向墙面时，墙后场景块可能因视锥相交被误检， retrieved 的记忆实际不可见；可引入在线估计的深度/可见性，或用生成帧的 CLIP/DINO 语义特征做几何+语义混合检索。(2) Top-K=1 的极简预算：多次重访、环形走廊等需要同时恢复多个历史块的场景可能欠检索；可按 $R(i,q)$ 分布自适应决定 K，或按场景分区组织记忆库。(3) 免训练使模型从未适配重组状态，收益存在天花板；可用少量数据微调，或在训练中随机模拟块丢弃/重组，让模型学会利用非时序记忆。(4) 依赖精确相机位姿：自由文本驱动或动作条件生成需先跑位姿估计；可训练轻量位姿头或改用学习型寻址头。(5) 只在相机控制设定验证，对动作条件世界模型（游戏、机器人）的泛化未知。(6) softmax 通路的 KV 只按同一块集合筛选，其具体显存开销与截断策略文中披露有限，长上下文下 KV 端也可能成为新瓶颈。
未来方向
作者提出的方向包括：将选择性状态检索整合进训练过程，使模型学会更好地保留与利用长程记忆；以及引入更丰富或可学习的检索信号。在此基础上可延伸：(1) 遮挡感知与语义感知检索——结合在线深度估计或开放词汇特征，把几何重叠升级为真实可见性判断；(2) 把『可组合状态摘要』推广到其他线性递推架构（GLA、DeltaNet 变体乃至线性注意力语言模型的长上下文回忆），仿射合成律可能是通用机制；(3) 构建分层记忆：sink+检索+近期之外，增加场景级显式空间表示（3D 高斯/点云索引）作为第三层；(4) 在更长时程（5–10 分钟）与交互式动作条件设定下验证，并研究摘要库的有界淘汰与压缩策略；(5) 训练时模拟检索重组（如随机丢弃中间块的转移项）以提升模型对重组状态的鲁棒性，把免训练增益转化为更大的可训练增益。
复现评估
复现条件较好但有一定工程门槛。基线 SANA-WM 1.6B 为官方开源模型，SANA-WM-Bench 与 MBench-A（547 样本，四个官方子集）均为公开评测集；论文给出较完整的实现细节：$C=40$ 块划分、$7\times7$ 采样网格、深度集 $D=\{0.5d_{med},d_{med},1.5d_{med}\}$、$\tau_{turn}=25^\circ$、默认 $K=1$、4 步蒸馏采样调度 $[1000,960,889,727,0]$、每块 3 个潜在帧，并有项目主页（caesarhhh.github.io/hla-wm）。硬件为单张 H200（140 GB），偏高但可尝试降配。主要难点在于需要修改 GDN 的 Triton 内核：在 $t=0$ 前向中缓存仿射摘要 $(A_i,B_i)$（附录 A.2 的 Phase-A 充分统计量）并支持前向扫描重组（Phase-B），这要求对 flash-linear-attention 类内核有深入理解；评测还需复现 Pi3X 位姿估计协议。若作者开源代码则为中等难度，否则需自行重写内核，难度较高；论文未明确承诺开源。
论文图表
左上：基线重访 SSIM 随重访间隔（约 0–17.5 秒）增大而衰减的曲线及 HLA-WM 对比；左下：定性轨迹的相机位移曲线；右侧：388 帧重访（24.25 秒）示例，展示初次访问（帧 96）、远行（帧 344）与同位姿重访（帧 484）。基线在重访时场景布局与物体排布明显改变，HLA-WM 将重访 SSIM 从 0.490 提升至 0.570（+0.080），PSNR 从 13.35 提升至 13.58 dB。
一图同时呈现问题（SSIM 随时间间隔衰减、重访画面漂移）与方法的首个定性/定量证据，是理解研究动机的入口。
相机沿长环线在 Chunk 35 回到 Chunk 3 附近观察区域的轨迹可视化，标注 Chunk 3 的累积保留度 $W_{3\to j}$ 随生成的衰减：Chunk 9 为 0.1809、Chunk 12 为 0.1259、Chunk 15 为 0.0971、Chunk 18 为 0.0771、Chunk 21 为 0.0659、Chunk 24 为 0.0579，到重访发生时（Chunk 35）仅剩 0.0416。
这是问题诊断的核心定量证据：两个高度重叠的视角之间，早期记忆仍被大量无关中间块的转移矩阵反复稀释，直接引出『选择性重组』的核心洞察。