Video DeltaNet：面向直播视频生成的视频原生混合注意力架构 Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation
逐帧Delta规则线性注意力替换远程注意力，14.3秒768p视频去噪从799.6秒降到6.7秒
前置知识
Softmax 注意力
Transformer 的标准注意力：每个 query 与所有 key 计算点积，经 Softmax 归一化后对 value 加权求和，实现任意两个 token 之间的精确信息交换。其计算量和显存随序列长度 $N$ 二次增长，复杂度 $O(N^2)$，这是长序列场景的主要瓶颈。
本文的问题起点：视频扩散模型中 Softmax 注意力占去噪器运行时的 85% 以上，是加速的核心目标；VDN 只在局部窗口和边界锚点上保留它，其余交给线性分支。
线性注意力与递归记忆
把注意力改写成递归形式：维护一个固定大小的状态矩阵 $S\in\mathbb{R}^{d_v\times d_k}$，每步对状态做通道级衰减并写入新键值信息，读出时用 $Sq$ 查询。计算量随序列长度线性增长，但全部历史被压缩进固定容量的状态，细粒度交互可能丢失。
VDN 用双向线性记忆承载窗口之外的全部远程视频上下文，这是它复杂度从平方降到线性、且随视频变长优势越大的来源。
Delta 规则（增量规则）
联想记忆中的门控写入机制：写入新键值对时先扣除状态已能预测的部分，再按残差修正，即 $S_t=\bar S_t+\beta_t(v_t-\bar S_tk_t)k_t^\top$，其中 $\bar S_t=S_{t-1}\mathrm{Diag}(\alpha_t)$。相当于对预测误差做一步梯度下降，避免重复 key 反复写入淹没旧记忆。Gated DeltaNet、Kimi Delta Attention 都基于它。
VDA 把这个规则从单个 token 推广到一整帧的联合更新，是本文最核心的数学创新，读懂它才能理解与 SANA-WM 批量加性更新的区别。
扩散 Transformer 与 NFE
扩散模型通过多步迭代去噪生成数据，DiT 用 Transformer 作为去噪骨干。NFE（neural function evaluations）指一次生成中调用去噪网络的次数，50 步采样即 50 NFE。总推理成本近似等于 NFE 乘以单次前向时延，所以加速可以沿架构、步数、并行三个方向相乘。
论文的最终加速 14.5 倍是三条路线的乘积：混合注意力加速主干（约 2.6 倍）、50 到 8 步蒸馏（6.3 倍）、8 卡切头并行（7.4 倍），理解 NFE 才能看懂加速分解表。
分布匹配蒸馏（DMD2）
一种少步蒸馏方法：训练少步学生模型，使其生成分布匹配教师模型多步采样的分布，用 real score 与 fake score 两个评分网络估计分布梯度，不需要 GAN 判别器即可把几十步采样压缩到几步且保持画质。
VDN-H3 用去掉 GAN 项的 DMD2 目标把 50 步蒸馏到 8 步，仅训练 250 个 generator 步，是把架构加速放大成端到端 119 倍加速的关键一环。
VAE 潜空间帧与时间 chunk
视频扩散模型先用 VAE 把像素视频压缩为潜帧序列再建模。H3 的 VAE 每次把 5 个连续潜帧解码为一个时间 chunk，序列以 chunk 为自然组织单位：102 个潜帧对应约 20 个 chunk，即 14.3 秒 768p 视频，潜张量形状为 $(24,102,48,84)$。
VDN 的 15 帧注意力窗口按 chunk 边界切分、chunk 级复合扫描、以及按帧更新的 VDA，全都以 tokenizer 的 chunk 结构为对齐单位，不理解 chunk 就看不懂架构图。
研究动机
在长序列视频生成中，注意力是最大的计算瓶颈。作者实测 MiniMax H3 的工作负载：Softmax 注意力占去噪器运行时的 85% 以上。稠密 Softmax 让每个 query 直接访问全部 key，逐对计算量随序列长度平方增长——一段 14.3 秒、768p 的视频要处理 102 个潜帧，单张 B200 上 50 步稠密去噪需要 799.6 秒，H200 上更是长达 1767.3 秒，远无法满足直播级实时生成的需求。直接换成线性注意力又行不通：固定大小的递归状态保存不了 Softmax 中所有细粒度的 token 间交互，生成质量会明显退化。已有快速方案证明了这一点：4 步稀疏蒸馏的 FastH3 在五个无参考质量指标上比稠密 H3 低 2.70–12.74 分，RAFT 光流从 11.55 像素掉到 9.19 像素，首末帧条件保真度损失达 1.26 dB PSNR 和 0.048 SSIM。如何在不牺牲质量的前提下把远程注意力的平方复杂度降下来，是视频生成走向实时的核心难题。
本文的目标是本文的目标是：不从头预训练新的基础模型，把一个成熟的稠密 Softmax 视频扩散模型（MiniMax H3）改造成混合注意力架构，使远程视频上下文的处理从平方复杂度降为线性，同时生成质量与 50 步稠密基线持平。具体量化目标有三层：一是主干单次前向在 14.3 秒 768p 负载上获得 2 到 3 倍加速；二是通过少步蒸馏把 50 NFE 压缩到 8 NFE 而不损失画质；三是配合优化的 SGLang 服务栈和 8 卡 Ulysses 切头并行，把端到端去噪时延压到约 6.7 秒。同时要求所有质量维度——美学、技术质量、感知质量、指令遵循、运动幅度、首末帧条件保真——都追平稠密基线，而不是用质量换速度。
与已有工作不同的是，已有工作的切入角度各有不足：SANA-Video、SANA-WM 等从头预训练线性扩散骨干，成本高昂；SANA-WM 的批量逐帧更新让一帧内所有空间 token 基于同一个衰减后状态独立计算修正量，key 方向重叠时会产生互相冲突的写入，只能靠 $1/\sqrt{U}$ 的帧尺寸 key 缩放防止继承状态被放大，对 key 几何不敏感；SLA 等稀疏-线性混合方法主要面向图像 DiT 且需要微调路由。本文的独特之处有三点：其一，把视频扩散天然的计算单元——一整帧的全部空间 token——作为记忆更新单元，将 delta 规则改写为联合最小二乘问题，闭式解 $(\bar S_t+B_t)(I+A_t)^{-1}$ 天然非扩张，无需任何帧尺寸缩放；其二，提出分阶段教师对齐加 LoRA 协同适配的配方，把线性通路嫁接进预训练模型；其三，与 SGLang 团队合作完成从 kernel 到分布式的全栈系统优化。
核心方法
直觉上，一段视频中相邻帧决定纹理、物体边界和短期运动，需要精确的 token 级交互；而遥远上下文只承载主体身份、场景布局这类全局信息，可以被压缩。VDN 据此按时间角色切分视频-视频注意力：每个 query chunk 在双向 15 帧窗口内保留精确 Softmax 注意力（窗口与 VAE 的 5 帧 chunk 边界对齐），另加首末两个边界锚点帧提供全局参照，采用四向连通——所有帧都能看首末帧，首末帧也能看全序列；窗口之外的全部远程上下文交给双向线性记忆，前向和反向两次扫描分别汇总窗口两侧的历史，两次读出相加保证不重复计数。文本提示始终对 Softmax 分支可见，同时被汇总为文本状态 $S^T$ 初始化两次扫描，使线性分支也具备全局文本条件。两个分支各自经过门控（线性侧先 RMSNorm）、独立输出投影后相加进残差流。整套架构通过三阶段适配嫁接到 MiniMax H3，再做 8 步 DMD2 蒸馏，最后由四个融合 Triton kernel 与 8 卡切头推理栈服务。
核心创新是 Video Delta Attention（VDA）：把 delta 规则的更新粒度从单个 token 提升为一整帧。现有做法的困境在于：逐 token 更新假设自回归解码，与扩散模型整帧并行的模式不匹配；SANA-WM 的批量加性更新 $S_t^{batch}=\bar S_t(I-A_t)+B_t$ 让所有 token 的残差都基于更新前的同一状态，key 方向重叠时会盲目冲突，且 $I-A_t$ 的特征值在 $\lambda_{\max}(A_t)>2$ 时越出 $[-1,1]$，继承状态可能被放大，只能靠 $1/\sqrt{U}$ 缩放硬压。VDA 的本质区别是把帧级状态定义为联合目标的最优解：$S_t=\arg\min_S\frac12\|S-\bar S_t\|_F^2+\sum_u\frac{\beta_{t,u}}2\|Sk_{t,u}-v_{t,u}\|_2^2$，闭式解 $S_t=(\bar S_t+B_t)(I+A_t)^{-1}$ 让每个残差都评估在共享的更新后状态上，$(I+A_t)^{-1}$ 自动耦合重叠 key 的写入。由此可证继承状态过渡 $M_t=\mathrm{Diag}(\alpha_t)(I+A_t)^{-1}$ 的谱范数不超过 1，非扩张性无需帧尺寸缩放。
方法步骤详情
流程分架构与训练两条线。架构上：(1) 共享预训练 QKV，Softmax 分支在 chunk 对齐的 15 帧窗口加首末锚点上做精确注意力，保留 QK 归一化与旋转位置编码，打包进 FlashAttention varlen 接口；(2) 线性分支剔除锚点行，K/V 经深度可分离短卷积（5×5 空间加 5 抽头时间）与 SiLU，Q/K 做 L2 归一化，逐帧算出写门 $\beta_{t,u}$ 和衰减门 $\alpha_t$；(3) 计算帧统计量 $A_t=K_t^\top\mathrm{Diag}(\beta_t)K_t$、$B_t=V_t^\top\mathrm{Diag}(\beta_t)K_t$，批量分解 $I+A_t$ 得过渡 $M_t$ 与注入 $J_t$；(4) 文本状态 $S^T$ 对半初始化双向 chunk 级扫描 $S_{out}=S_{in}M_{chunk}+J_{chunk}$；(5) 窗口边界聚合两侧状态并经衰减桥 $\prod\alpha_r$ 接续，读出后 RMSNorm 加 sigmoid 门；(6) 两分支独立投影相加进残差流。训练上：A1 逐层对齐 200 步、A2 端到端对齐 500 步、B 阶段 QKVO LoRA（rank 64）协同适配 2000 步，最后 DMD2 式蒸馏 250 个 generator 步得到 8 步采样器。
技术新颖性
技术新颖性体现在四个层面。数学上，VDA 首次给出帧级 delta 规则的联合目标函数和闭式解，把『一帧如何写进记忆』从启发式批量累加变成有稳定性保证的优化问题——命题 1 证明 $\|M_t\|_2\le 1$ 且不需要衰减门与 Gram 矩阵可交换；附录 A.2 还展示其相关性感知：$U$ 个位置重复同一 key 时读出权重饱和到 $U\beta/(1+U\beta)$，正交 key 各得 $\beta/(1+\beta)$，随 key 几何自适应，均匀缩放做不到。系统上，把帧级仿射转移复合成 chunk 级转移再扫描，扫描深度与 kernel 启动次数约降为 $1/5$；用单个 CUDA kernel 在寄存器里做分块 Gauss-Jordan 消元直接输出逆矩阵，替代多 kernel Cholesky 流水线，快 4.6 到 5.0 倍。工程上，四个融合 Triton kernel（Prep/Stats/Gather/Epilogue）带来 5 到 9 倍的算子级加速。训练策略上，分阶段教师对齐证明无需从头预训练即可把线性注意力嫁接进成熟的 50 步稠密模型，A1 从冻结激活初始化避免了深栈梯度噪声。
实验结果
质量方面（103 条固定第三方提示词、768p、14.3 秒）：8 步 VDN-H3 在 VQAA、VQAT、Q-Align、FAST-VQA、DOVER++ 五个无参考指标上全部追平或超过 50 步稠密 H3，差值 +0.06 到 +1.00，而 FastH3 低 2.70–12.74 分；RAFT 光流 11.71 对 11.55 像素，运动幅度保持；FIRM-Video 指令遵循 2.25 持平、感知质量 4.45 反超 4.40、世界一致性 1.77 对 1.84 略低；FL2VA 首末帧保真 PSNR 28.67 对 28.85、SSIM 0.826 对 0.833、LPIPS 0.1156 对 0.1044，远好于 FastH3。效率方面：B200 单卡主干从 15.99 降到 6.16 s/NFE（2.6 倍，799.6 到 307.9 秒），8 步蒸馏后 49.3 秒，8 卡后 6.70 秒，对同卡数稠密基线 14.5 倍、单卡口径累计 119.3 倍；H200 上为 3.2 倍、12.5 秒（累计 141.6 倍）。潜帧从 42 到 102 时注意力占比从 42.1% 降到 20.0%，主干加速涨到 2.6 倍（B200），验证线性复杂度的长度优势。消融：矩阵逆融合快 4.6–5.0 倍，VDA-Gather/Epilogue 各 7.2–9.1 倍，切头后 chunk 扫描从 4.6 降到 1.1 ms。8 NFE 下 VDN-H3 的 VQAT 比 FastH3 v2 高 10.78 分，4 NFE 下比 FastH3 v1 高 12.64 分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 14.3s 768p 视频 DiT 去噪（B200） | 端到端时延 | 6.70 s（8×B200，8 NFE） | 799.6 s（1×B200，50 NFE Dense H3） | 对单卡稠密累计 119.3×；对同 GPU 数稠密基线 14.5× |
| 14.3s 768p 视频 DiT 去噪（H200） | 端到端时延 | 12.5 s（8×H200，8 NFE） | 1767.3 s（1×H200，50 NFE Dense H3） | 累计 141.6× |
| 主干单次前向（H200） | s/NFE | 11.16 s | 35.35 s（Dense H3） | 3.2×（B200 上为 6.16 对 15.99 s，2.6×） |
| 视频生成质量（8 NFE 同步数对比） | EvalCrafter VQAT | 89.20 | 78.42（FastH3 v2，8 NFE） | +10.78 分，且为三者最高 |
| 运动幅度保持 | RAFT 平均光流（像素） | 11.71 | 11.55（Dense H3 50 NFE）；9.19（FastH3） | 与稠密基线持平，显著优于 FastH3 |
| 首末帧条件保真（FL2VA） | PSNR / SSIM / LPIPS | 28.67 / 0.826 / 0.1156 | 28.85 / 0.833 / 0.1044（Dense H3） | 差距仅 -0.18 dB / -0.007 / +0.011，而 FastH3 退化 1.26 dB / 0.048 / +0.079 |
| 指令遵循（FIRM-Video） | Instruction Following（1–5 分） | 2.25 | 2.25（Dense H3） | 持平；感知质量 4.45 反超 4.40 |
| 长度扩展性（42→102 潜帧） | 主干加速比（B200） | 1.7×→2.6×（H200：1.8×→3.2×） | 1.0×（Dense H3） | 序列越长优势越大，注意力占比 42.1%→20.0% |
局限与改进
作者承认的局限：世界一致性 1.77 对 1.84 略低于稠密基线；50 NFE 下 FL2VA 的 SSIM 出现带显著性标记的小幅退化（0.830 对 0.833），说明混合化改造本身有轻微信息损失；所有显著性检验都只相对 Dense 50 做，VDN 与 FastH3 之间没有直接的显著性比较；实验只在首末帧到视频任务上评估。我的补充观察：其一，全部实验绑定单一基座 MiniMax H3 和 14.3 秒 768p 负载，对文本到视频、更长时长、更高分辨率或其他 DiT 骨干的泛化性未验证；其二，注意力加速后瓶颈会转移——102 帧时注意力占比已降到 20%，FFN 和 QKV 投影成为新瓶颈，继续加长视频收益递减；其三，锚点只有首末两帧，clip 中段的场景切换、目标重现只能依赖线性记忆的压缩表征，世界一致性略降可能与此相关；其四，训练数据是精选的 10,015 段视频，蒸馏仅 250 个 generator 步，规模偏小，对分布外提示的鲁棒性存疑；其五，全文缺少人类主观评测，全部依赖自动指标。
独立分析的弱点
独立分析几个弱点。第一，线性分支每帧每头需要 $d_k\times d_k$ 的矩阵逆，递归状态显存随 $d_k^2$ 增长且必须留在 FP32，迁移到更大骨干或更高分辨率时小矩阵求逆会成为新的延迟热点，可探索低秩近似或 Newton 迭代替代精确逆。第二，窗口是硬边界：物体离开又回来、多镜头剪辑等跨窗口强关联场景下，15 帧窗口加两个首末锚点可能不足，可引入可学习或多锚点机制。第三，Softmax 门初始化 0.99 且 A1 阶段固定，两分支分工完全由数据决定，论文缺乏分支贡献随层的可解释性分析，也没有防止线性分支退化为恒等旁路的正则。第四，未与 SLA/SLA2、Sparse VideoGen2 等稀疏方法在统一设置下对比，难以判断混合线性路线与稀疏路线的性价比。第五，报告的速度依赖定制技术栈（融合 Triton kernel、MXFP8、SGLang、8 卡 Ulysses），普通环境复现会有折扣，且未披露训练总算力。第六，评测只用第三方固定提示词集合，缺少人类主观评测。
未来方向
作者指出的方向：论文定位直播视频生成，6.7 秒生成 14.3 秒视频已接近流式门槛，可与 StreamDiffusionV2 一类流式系统结合做连续生成；方法与量化（SVDQuant、FourTune）和稀疏注意力正交，可叠加获得复合加速；附录 A.5 承诺发布完整可复现包。基于成果可延伸的方向：其一，把 VDA 推广到分钟级长视频与世界模型（与 SANA-WM 的分钟级世界建模呼应）以及交互式生成，非扩张过渡保证对长程记忆漂移的控制在这些场景更关键；其二，锚点机制可扩展为多个可学习全局锚点，支持多场景叙事和中段跳转；其三，理论上可把单步闭式解推广为多步迭代，或借鉴 Gated DeltaNet-2 的解耦擦写思想联合优化门控与状态更新；其四，三阶段适配配方本身是可迁移资产，可应用于图像、3D、音频等其他模态的稠密扩散骨干，大幅降低混合化门槛；其五，蒸馏仅 250 步即达标，提示适配步数与质量之间存在值得系统研究的标度律，低算力复现甚至改进的空间很大。
复现评估
开源情况较好：代码在 github.com/OpenVDN/vdn-minimax-h3，权重在 huggingface.co/OpenVDN/vdn-minimax-h3，另有项目博客。附录 A.5 承诺发布精确权重哈希、数据与评测提示词清单、随机种子、tokenizer 与帧对齐元数据、GPU 拓扑、软件版本、计时协议和全部评测输出，可追溯性设计认真。推理复现门槛中等：需要 8 张 B200/H200 才能达到论文时延，单卡可功能验证；依赖较新环境（PyTorch 2.13、CUDA 12.9、SGLang、FlashAttention、MXFP8）。训练复现难度较高但可行：基座 MiniMax H3 公开，蒸馏初始化用社区 MiniMax-H3-Turbo-LoRA；训练数据是自行精选的 10,015 段 1344×768、345 帧视频，作者未承诺公开。有利因素是适配极轻量——A1 200 步、A2 500 步、LoRA 协同 2000 步、蒸馏 250 步——有算力的实验室凑齐类似数据后复现可行。最大的隐性成本是四个融合 Triton kernel 与单 kernel Gauss-Jordan 逆的工程实现，论文只给了框架级描述。
论文图表
三栏对比：起点为冻结的稠密 H3；A1/A2 阶段只训练线性分支（Softmax 门冻结于 0.99）；B 阶段联合训练线性通路、Softmax 门和 QKVO LoRA，其余骨干（MLP、嵌入、输出头）保持冻结。
展示了不从头预训练、把线性注意力嫁接进成熟模型的分阶段适配策略，是该论文区别于 SANA 系列从头训练路线的关键。
五个提示词（电影动作、超现实旅程、场景转换、图形动画、动画体育）下，50 步 Dense H3 与 8 步 VDN-H3 各六帧的成对对比，涵盖不同视觉风格、场景转换和运动模式。
定性证据：在场景转换这类对远程一致性要求最高的样例上，8 步混合模型与稠密基线肉眼难辨，补足自动指标的说服力。
单个混合注意力块内双向 VDA 的八步伪代码：共享 QKV 与保留的 Softmax 计算、剔除锚点行并准备线性特征、构造 $A_t/B_t/\alpha_t$ 与文本状态、批量分解 $I+A_t$ 得 $C_t/M_t/J_t$、双向 chunk 级扫描、窗口边界聚合加衰减桥、RMSNorm 与门控读出、两分支门控投影相加。
把正文公式串成一个可实现的完整前向流程，是从数学到代码之间最直接的桥梁，复现者应从它入手。