← 返回 2026-05-15

SANA-WM:基于混合线性扩散 Transformer 的高效分钟级世界建模 SANA-WM: Efficient Minute-Scale World Modeling with Hybrid Linear Diffusion Transformer

Haoyi Zhu, Haozhe Liu, Yuyang Zhao, Tian Ye, Junsong Chen, Jincheng Yu, Tong He, Song Han, Enze Xie 📅 2026-05-14 👍 91 2026-07-13 08:36
世界模型 扩散模型 相机控制 线性注意力 视频生成
arXiv HuggingFace PDF

2.6B参数高效分钟级720p相机控制世界模型,单卡可部署

前置知识

扩散 Transformer (DiT)

Diffusion Transformer 把 diffusion 去噪网络替换为 Transformer:patchify 将 latent 切成 token,堆叠 self-attention+FFN 预测速度场,本文 20 层 DiT($d=2240$,20 头) 作 backbone。

理解 DiT 是看懂 SANA-WM 整体架构的前提,因为其所有注意力/GDN 改进都发生在 DiT block 内部。

Gated DeltaNet (GDN)

Gated DeltaNet 是线性注意力变体,在 $S_t \in \mathbb{R}^{D\times D}$ 上同时施加 decay gate $\gamma_t$ 和 delta-rule 修正项,以 $O(L)$ 复杂度建模长上下文,状态大小与序列长度无关,适合分钟级视频。

GDN 是 SANA-WM 替代 softmax attention 的核心组件,理解其状态更新公式 $S_t = S_{t-1}M_t + U_t$ 是看懂混合注意力机制和 Key Scaling 稳定化的关键。

Flow Matching 与 Rectified Flow

Flow matching 用 ODE 把数据分布和噪声分布连起来训练,模型学习速度场 $v_\theta(x_t, t)$,通过线性插值 $x_t = (1-t)x_0 + tx_1$ 构造中间态,推理时用 Euler 等 ODE solver 积分得到样本。

SANA-WM 的训练 (Stage 1–4) 和 refiner 的 truncated-$\sigma$ flow matching 都建立在此范式上,理解 ODE 训练和推理是看懂 refiner 设计的前提。

相机位姿表示 (Plücker Raymap 与 UCPE)

Plücker raymap 把像素编码为 6 维向量 $(d, o\times d)$ 精确表示射线;UCPE 把相机外参拆为 ray-local 几何通道 + RoPE 通道分别编码。本文粗分支用 UCPE,细分支用 raw-frame Plücker。

这是 SANA-WM 实现精确 6-DoF 相机控制的基础,不理解 Plücker/UCPE 就无法看懂 dual-branch 设计的动机。

3D Gaussian Splatting (3DGS)

3D Gaussian Splatting 是一类用大量可微 3D 高斯椭球表示场景的新型渲染方法,可从多视角图像快速重建并实时渲染新视角。本文用 FCGS 重建 DL3DV 静态场景,再设计轨迹渲染合成 60 秒视频,扩增训练数据。

理解 3DGS 才能看懂 SANA-WM 数据管线中 3DGS augmentation 模块 (生成 14,881 个合成 60s 视频) 的来源。

研究动机

当前开源分钟级视频世界模型在算力和数据上都过于昂贵。LingBot-World 14B+14B 推理需 8 卡 H100,峰值显存高达 454 GB,单卡完全无法运行;HY-WorldPlay 8B 同样需要 8 卡 215 GB 显存;Matrix-Game 3.0 虽降至 5B/8 卡,显存仍达 106 GB。这些模型通常依赖大规模私有数据(数十万到上百万 clip)、数十天到数月的多机训练,以及多卡推理才能生成一分钟 720p 视频,严重阻碍了学术界和中小实验室的复现与迭代。另一个常见替代方案是从短视频生成器蒸馏,但短视频教师对分钟级场景持久性和相机轨迹跟随的监督信号极弱,生成的 rollouts 在循环、回头看等动作下会出现明显崩坏、布局漂移、纹理模糊。

本文的目标是SANA-WM 要原生(natively)训练一个 720p 一分钟、6-DoF 相机可控、参数仅 2.6B 的开源世界模型,把训练开销控制在 213K 公开视频 clip + 64 张 H100 共 15 天,把推理开销压到单卡 H100(峰值 51 GB);进一步蒸馏 + NVFP4 量化后,在单张消费级 RTX 5090 上 34 秒生成一分钟 720p 视频。在自建一分钟世界模型基准上,姿态跟随精度超过所有开源基线,视觉质量对标 14B 量级工业系统 LingBot-World。

与已有工作不同的是，本文抓住了三条被忽视的切入点:第一,长上下文建模不应继续堆 softmax attention,而应换成 frame-wise Gated DeltaNet 这种 $O(L)$ 复杂度的线性递归 + 周期 softmax 召回的混合方案;第二,相机控制不应只用粗粒度 latent-rate UCPE,而应在粗分支外再加一个 raw-frame Plücker mixing 细分支,补偿 8 倍时间压缩里被压掉的细粒度相机运动;第三,长视频视觉质量不应只靠放大模型规模,而应额外加一个长视频 refiner stage,用 truncated-$\sigma$ flow matching 在 17B LTX-2 上 LoRA 适配,专门修正一分钟时序的失真。三者协同构成了"高效原生一分钟世界模型"这个被现有工作忽略的交叉点。

核心方法

SANA-WM 把"效率"作为世界模型第一目标,可类比为"给压缩视频潜空间里运行的轻量 DiT 装上精确追踪相机的眼睛,再叠 refiner 修饰画质"。技术上以 SANA-Video 为起点,先换 LTX2-VAE(8× 时间压缩,latent 比 Wan2.1 小 8×);backbone 改成 20 层 DiT:15 层 frame-wise Gated DeltaNet(GDN) + 5 层标准 softmax attention(位置 3/7/11/15/19),$O(L)$ 复杂度支持分钟级长上下文;相机位姿双分支注入——粗分支在 latent 帧率用 ray-local UCPE 编码 6-DoF 全局轨迹,细分支在 raw 帧率用 Plücker mixing 补偿 VAE 8× 压缩内的精细运动;最后挂一个 17B LTX-2 长视频 refiner(rank-384 LoRA,truncated-$\sigma$ flow matching,$\sigma_{\text{start}}=0.909$,3 步 Euler) 精修画质。

SANA-WM 最本质的创新是把"效率"作为世界模型的第一目标,而不是事后优化——这要求 backbone、tokenizer、相机控制、refiner、推理栈五处协同设计,缺一不可。和已有方法相比:第一,LingBot-World/Wan2.1/HunyuanVideo 用纯 softmax attention,一分钟时上下文爆炸;SANA-WM 用混合 GDN/softmax,显存随时间常量化,64 卡训练一天就能跑 961 帧。第二,CameraCtrl/MotionCtrl 这类外挂相机模块通常只在输入层加 Plücker,无法对抗 8 倍 VAE 时间压缩导致的精度损失;SANA-WM 把它升级为粗(UCPE)+ 细(原始帧 Plücker mixing)的双速率设计,RotErr 从 41° 降到 10° 量级。第三,LingBot-World 靠把基础模型做大(14B+14B)来提升视觉质量;SANA-WM 反其道,主体只 2.6B,只在第二阶段挂一个 17B 轻量 LoRA refiner 做精修,用 3 步 ODE 推理兼顾质量与速度。

方法步骤详情

方法分四大模块。模块一,Tokenization & Backbone: LTX2-VAE($C=128$, 8× 时间压缩) 把 60s 720p 压成 961 帧 latent token;20 层 DiT($d=2240$, 20 头) 中 15 层 frame-wise GDN + 5 层标准 softmax attention(位置 3/7/11/15/19),输入含文本/相机/ref-image token,经混合注意力+Mix-FFN 迭代。模块二,Memory-Efficient Long-Context: GDN 按 latent 帧扫描,状态 $S_t \in \mathbb{R}^{D\times D}$ 按 $S_t = S_{t-1}(\gamma_t I - \hat{K}_t \beta_t \hat{K}_t^\top) + V_t \beta_t \hat{K}_t^\top$ 递推,输出 $O_t = S_t \hat{Q}_t$;为避免 $M_t$ 扩张,对 key 做 $\frac{1}{\sqrt{DS}}$ 缩放使 $\text{t。

技术新颖性

SANA-WM 的新颖性主要在三处工程交叉创新。第一,Frame-wise GDN + Algebraic Stabilization: 把 token-wise GDN 推广到一次扫描整个 latent 帧,并通过 $\frac{1}{\sqrt{DS}}$ key 缩放使 $\|M_t\|_2 \le \gamma_t \le 1$,Fig. 6 证明这是唯一不会在 16 步内 NaN 的方案;同时给 CP 训练设计 transition composite $C_p$ + input composite $H_p$ 的 prefix-sum 通信,使 961 帧分片训练数学上精确恢复单卡结果。第二,Dual-Rate Camera Control: 首次把 UCPE 提升到"latent 帧率全局 + raw 帧率精细"双速率架构;Plücker mixing 用 48 通道打包 8 个原始帧 + 零初始化 3D patch embedder + 每块零初始化投影,既保持预训练权重不被破坏,又能在每 block 即时注入精细相机信号。

SANA-WM Architecture. Text, video, and pose tokens pass through alternating GDN and softmax attention blocks. Geometry-aware components (UCPE attention and Plücker mixing) are integrated to enable pose-conditioned generation, followed by a refiner to improve visual quality.
Figure 2: SANA-WM Architecture. Text, video, and pose tokens pass through alternating GDN and softmax attention blocks. Geometry-aware components (UCPE attention and Plücker mixing) are integrated to enable pose-conditioned generation, followed by a refiner to improve visual quality.
Data construction pipeline. We collect open-source video and static 3D sources, annotate metric-scale camera poses, augment DL3DV with 3DGS-rendered trajectories, and filter/caption the resulting clips into a 213K-clip training corpus.
Figure 3: Data construction pipeline. We collect open-source video and static 3D sources, annotate metric-scale camera poses, augment DL3DV with 3DGS-rendered trajectories, and filter/caption the resulting clips into a 213K-clip training corpus.
Training stability ablation.
Figure 6: Training stability ablation.

实验结果

实验在自建 60s 基准(80 个 Nano Banana Pro 首帧 × 4 类场景 × Simple/Hard 轨迹) 上进行,主要发现: (1) 相机控制: SANA-WM+refiner 在 Simple 上 RotErr 4.50°/TransErr 1.39/CamMC 1.41,Hard 上 8.34°/1.39/1.44,均为开源基线最低(LingBot-World 14B+14B Hard 18.99°、HY-WorldPlay 8B 35.46°、Infinite-World 1.3B 41.31°),双分支相机控制在硬轨迹上具有压倒性优势。(2) 视觉质量: refiner 后 VBench Overall 80.62/81.89 与 LingBot-World(81.82/81.89) 持平,但显存仅 74.7 GB vs 454 GB(6×↓),吞吐 22.0 vs 0.6 videos/hour(36×↑)。

Training data overview after filtering.
Table 1: Training data overview after filtering.
Quantitative comparison on our 1-min benchmark.
Table 2: Quantitative comparison on our 1-min benchmark.
Progressive-training ablation on VBench-I2V. Scores are official rollups; efficiency is single-H100 bf16 timing.
Table 3: Progressive-training ablation on VBench-I2V. Scores are official rollups; efficiency is single-H100 bf16 timing.
Camera-conditioning ablation on OmniWorld. FVD and Umeyama-aligned Pi3X metrics are shown.
Table 4: Camera-conditioning ablation on OmniWorld. FVD and Umeyama-aligned Pi3X metrics are shown.
Refiner ablation on the 60-second world-model benchmark using the same Stage-1 SANA-WM latents.
Table 5: Refiner ablation on the 60-second world-model benchmark using the same Stage-1 SANA-WM latents.
Revisit memory and temporal stability on the 60-second benchmark.
Table 8: Revisit memory and temporal stability on the 60-second benchmark.
Efficiency ablation and scaling. (a) 60s single-GPU VAE/DiT latency by stage; (b) H100 latency and memory scaling: recurrent variants grow compactly, while all-softmax OOMs at 60s.
Figure 7: Efficiency ablation and scaling. (a) 60s single-GPU VAE/DiT latency by stage; (b) H100 latency and memory scaling: recurrent variants grow compactly, while all-softmax OOMs at 60s.
Representative benchmark trajectories. BEV paths for four Simple/Hard examples.
Figure 4: Representative benchmark trajectories. BEV paths for four Simple/Hard examples.
Qualitative comparison of four Hard-Trajectory 60-second videos. Green borders denote SANA-WM, with transparent action overlays in the bottom-left corners.
Figure 5: Qualitative comparison of four Hard-Trajectory 60-second videos. Green borders denote SANA-WM, with transparent action overlays in the bottom-left corners.
查看结构化数据
任务指标本文基线提升
Simple 轨迹相机姿态精度 RotErr (°, ↓) 4.50° (SANA-WM + refiner) 10.47° (LingBot-World 14B+14B) RotErr 降低 57%
Simple 轨迹视觉质量 VBench Overall (↑) 80.62 (SANA-WM + refiner) 81.82 (LingBot-World 14B+14B) 几乎持平 (-1.5%), 显存 1/6, 吞吐 36×
Hard 轨迹相机姿态精度 RotErr (°, ↓) 8.34° (SANA-WM + refiner) 18.99° (LingBot-World 14B+14B) RotErr 降低 56%
Hard 轨迹视觉质量 VBench Overall (↑) 81.89 (SANA-WM + refiner) 81.89 (LingBot-World 14B+14B) 持平, 显存 1/6, 吞吐 36×
Hard 轨迹长时稳定 ΔIQ (↓, 越小越稳) 0.31 (SANA-WM + refiner) 25.88 (HY-WorldPlay 8B) 退化幅度降低 84 倍
5s 训练稳定性 VBench-I2V Total (↑) 0.8530 (Hybrid attn + LTX2) 0.8378 (Sana-Video cumulative linear) +0.015, 同时峰值显存 8.9→5.7 GB, 延迟 3.4× 加速
Hard 相机控制 (OmniWorld 验证集) FVD (↓) + CamMC (↓) 320.80 FVD / 0.2047 CamMC (UCPE+Plücker) 348.93 / 0.4937 (No control) FVD -28, CamMC -59%
部署效率 (60s 720p) Latency / GPU 34s on RTX 5090 (4 步蒸馏 + NVFP4) 需要 8× H100 (LingBot-World 60s 720p 不可行) 从集群到单消费级卡

局限与改进

作者坦承 SANA-WM 仍是 scale-limited,缺乏显式 3D 场景记忆,在动态场景、罕见视角、更长 rollout 下可能漂移。Tab. 8 显示 revisit PSNR 仅 14.10–14.46 dB,即便是 refiner 后对回访视角的复现能力仍有限;Hard 轨迹 AR 模式 RotErr 仍达 10.02°,离亚度级精度有差距。Tab. 9 揭示 stage-1 bidirectional RotErr 3.11–3.17°,显著低于 AR(7.59–10.02°),说明 chunk-causal 自回归在 chunk 边界损失一致性,refiner 未能完全弥补。我的独立观察: (1) 80 个首帧全部来自 Nano Banana Pro 合成,可能与真实世界分布有偏差,实拍场景迁移性需额外验证;(2) 60s benchmark 主要测回访记忆,缺乏长程因果、物体永久性细粒度测试;(3) SpatialVID-HQ 占 158,369 clips(74%),其余六数据集总和仅 54,606,数据多样性可能被高估。

独立分析的弱点

独立分析下 SANA-WM 有三处可改进弱点。第一,基线对标偏弱: 最强对比 LingBot-World 14B+14B 在 720p 60s 设置下"在我们的 8 H100 评估预算下不可行",视觉质量"持平"主要来自 480p 对比,720p 60s 上 SANA-WM 实际没有强对手,工业级未开源系统(Gen-3/Gen-4/Sora/Wan 2.2)未纳入。改进: 增加 720p 强基线或加入人类偏好评分。第二,数据偏置: 74% 数据来自 SpatialVID-HQ,可能造成地理/视觉风格过拟合;OmniWorld/Sekai 是游戏合成数据,真实世界动态行为覆盖不足;几何估计器(Pi3X/MoGe-2) 在低纹理/镜面/运动模糊场景失败会污染训练标签。改进: 增加真实驾驶/第一视角行走/动态主体多样性数据,并对几何估计做置信度门控。

未来方向

作者在结尾提出的方向: 扩展到机械臂动作、点追踪等其他控制模态;强化持久场景记忆(显式 3D/4D 表示);开发实时/流式 refiner。基于论文成果可延伸的方向: (1) 把 SANA-WM 的混合 GDN/softmax 范式迁移到交互式游戏世界模型(目前 Genie 系列仍以 softmax 为主,显存瓶颈突出);(2) Dual-Branch Camera Control 的 coarse+fine 思路可推广到双速率文本控制(全局剧情+局部动作),缓解长视频语义漂移;(3) Truncated-$\sigma$ flow matching 的 refiner 范式可推广到任意长视频生成场景,把高质量大模型作为"渲染器"叠加在小模型输出之上,降低整体算力门槛;(4) attention-sink 部署策略可结合 state-space 做长视频流式生成,实现无限长度 1× 显存生成。

复现评估

作者承诺开源模型权重和训练/推理代码(论文含 Project Page / GitHub),数据管线 5/7 来自公开数据集(SpatialVID-HQ、DL3DV、OmniWorld、Sekai、MiraData),Pose 引擎基于开源 VIPE(Apache-2.0) + Pi3X(BSD-3, 非商用) + MoGe-2(MIT 风格),refiner 基于 LTX-2 Community License。算力门槛: 完整训练需 64 H100 × 15 天,普通实验室难承担;但推理门槛低——stage-1 单卡 H100(51 GB) 即可,蒸馏 + NVFP4 量化版单卡 RTX 5090 即可 34s 出片,几乎和消费级显卡兼容。复现难度中等偏上: 主要难点(a) 复现 213K clip 几何标注管线(需 Pi3X+MoGe-2+DiFix3D 三工具协同);(b) 复现 3DGS augmentation(需 FCGS 重建 DL3DV 全部 10K 场景);(c) 4 步蒸馏 + NVFP4 稳定性调优需工程经验。

论文图表

SANA-WM teaser. From one image and an action trajectory, SANA-WM generates minute-scale 720p worlds with precise control, 64-GPU training, and single-GPU inference.
Figure 1: SANA-WM teaser. From one image and an action trajectory, SANA-WM generates minute-scale 720p worlds with precise control, 64-GPU training, and single-GPU inference.

首页宣传图,展示从单张图像+相机轨迹生成 1 分钟 720p 视频的能力,强调 64 卡训练、单卡推理的卖点,含可视化轨迹叠加。

这是论文营销级封面,把"分钟级 + 720p + 精确控制 + 单卡推理"四个卖点一次性传达,读者第一眼就能定位本文的差异化价值。