Matrix-Game 3.0:具备长程记忆的实时流式交互世界模型

720p@40FPS 长程记忆交互世界模型，统一数据、模型与加速

前置知识

扩散 Transformer (DiT)

以 Transformer 为主干的扩散生成模型,把视频切分成时空 token 后用自注意力建模。本文的 5B 与 28B 主干均基于 Wan2.2-TI2V-5B 的 DiT 架构。

是整个模型(基础模型、记忆增强 DiT、蒸馏学生)的统一骨架,理解注意力与位置编码对读懂记忆机制至关重要。

Flow Matching 目标

用流匹配方式预测从噪声到真实样本的速度场 $v_\theta$,训练时对当前帧施加噪声并最小化 $\epsilon - v_\theta$ 的 L2 损失。本文以此构造自回归长序列目标。

是 base 模型和蒸馏阶段的统一训练损失,理解流匹配才能理解多段自回归与误差注入。

分布匹配蒸馏 (DMD)

通过最小化 reverse KL 让少步学生逼近多步教师,梯度近似为数据评分与生成分数之差:$\nabla\mathcal{L}\_{DMD}\approx\mathbb{E}[(s\_{data}-s\_{gen})\nabla\_{\theta}x]$。

是本文把 50+ 步去噪蒸馏到少步、并对齐训练-推理的关键工具。

相机感知记忆检索

按相机视锥重叠度或采样近似分数 $s(i,j)$ 选择与当前视角最相关的历史帧,避免因视角差过大而误用记忆。

这是 Matrix-Game 3.0 在长 rollout 中保持空一致性的关键设计,直接决定 GPU 检索贡献 33.4 FPS。

研究动机

现有交互式世界模型存在三重张力:Memory-Game 2.0、HY-Worldcraft-2 等虽然依靠因果自回归少步扩散做到实时流式,但缺乏长期记忆机制,场景一致性在数十秒后明显漂移;LINGBOT-World 通过扩 context 长度强化了几何一致性,却牺牲了实时部署;Genie 虽展示了 720p @ 24 FPS 的潜记忆能力,但非开源且细节不可复现。具体到工程场景,这意味着游戏玩家在 60 秒后开始看到地面布局跳变、自动驾驶仿真在岔路口无法回溯先前的入口视角、具身策略训练会因短时一致崩塌而失效。短时视频扩散模型在直接套用到这些长 rollout 场景时,会在第 $k$ 段出现指数级误差累积,使得模型要么退化为不连贯片段,要么因延迟过高无法真正交互。

本文的目标是Skywork AI 旨在打通数据-模型-部署三层共设,构建一个能同时满足 720p @ 40 FPS 实时流式、分钟级空一致性、可在大模型上扩展的工业级世界模型。具体目标包含:(1) 用统一双向 DiT 主干 + 相机感知记忆 + 误差注入,使 5B 模型在分钟级序列上仍能回到先前视角;(2) 设计多段自回归 DMD 蒸馏,让学生在少步推理下与教师行为对齐;(3) 通过 INT8 量化、轻量 VAE、GPU 检索等系统优化,把端到端推理推到 40 FPS,并把 28B (MoE) 同样纳入流水线。

与已有工作不同的是，作者选择了一条系统协同路线而非单点突破:既不模仿 Genie 把训练和推理栈隐藏起来,也不简单堆叠 context 长度,而是把'误差感知 + 相机感知记忆 + 训练-推理对齐蒸馏 + 三段推理加速'做成一个可复现的 5B/28B 流水线。其独特切入点是:在双向主干上同时处理记忆帧、近期帧与当前预测帧,让三者共享一套自注意力而非走外部 KV 路由,并通过 head-wise jittered RoPE 缓解周期性位置冲突,从而在同一注意力空间里完成长程纠正与流式生成。

核心方法

Matrix-Game 3.0 沿数据-模型-部署三轴协同设计。数据侧把 UE5 合成、AAA 游戏录制和真实视频合并为带动作-位姿标注的工业流水线;模型侧引入统一的 5B 双向 DiT,先用误差注入训练交互 base,再叠加相机感知记忆做成 long-horizon base;部署侧用多段自回归 DMD 把 base 蒸馏成少步学生,再叠加 INT8 量化、轻量 MG-LightVAE、GPU 检索以及异步 8+1 GPU 拓扑,最终在 720p 上跑到 40 FPS。直觉上可以理解为:先让模型'见过'足够多可控交互,再让模型'记住'走过的视角并自我纠错,最后让模型'跑得起来'。

与已有方法的本质区别在于三处统一:(1) 双向主干统一 base 与蒸馏,避免文献[15,19,49,60]中常见 teacher-student 异构导致的 ODE 蒸馏不匹配;(2) 记忆帧、最近帧、当前帧被一起送入同一自注意力空间,而非沿用 RELIC 的 camera-aware KV 旁路或 MoC 的稀疏路由,从而稳定 few-step 训练;(3) 用 head-wise 扰动的 RoPE 基频 $\hat{\theta}^h = \theta\_{base}(1+\sigma_\theta\epsilon^h)$ 打破记忆与当前帧的周期同步,缓解 long rollout 下的位置别名。此外,把全条件(记忆+历史)纳入共享误差 buffer,通过随机采样残差 $\delta\sim\mathrm{Uniform}(E)$ 注入 $x\_{1:k}+\gamma\_h\delta$、$m\_{1:r}+\gamma\_m\delta$,桥接训练-推理分布差。

方法步骤详情

流水线五步。(1) base 训练:Wan2.2-TI2V-5B 嵌入动作模块至前 15 DiT 块,键盘 Cross-Attention、鼠标 Self-Attention,$2\!\times\!10^{-5}$ 学习率训 50K 步,0.8 概率 4 历史+10 当前帧,0.2 退化为 I2V。(2) 记忆增强 base:统一自注意力内并列 5 帧相机视锥检索 memory、4 历史与 10 当前噪声 latent,head-wise jittered RoPE 差异化频率,误差 buffer $E$ 收集 $\delta=\hat{x}_i-x_i$ 扰动历史与记忆,4.8M clips。(3) 多段 DMD:teacher/critic/student 同源,600 步 cold-start 后切 $k\!\in\![1,6]$,DMD 仅在末端段算反向 KL。(4) 加速栈:INT8 量化、MG-LightVAE (50%/75%)、GPU 视锥近似检索。(5) 8+1 异步使 5B 跑 40 FPS,28B MoE 加视角专用扩至分钟级。

技术新颖性

技术新颖性集中在'同源对齐与统一注意力'两件事上。相较 Memory-Game 2.0 / HY-Worldcraft / LINGBOT-World 等偏重单一组件的工作,Matrix-Game 3.0 第一次公开把以下六件事串成一条可复现工程闭环:(1) tick-level 同步的 UE5 NavMesh-RL 数据引擎、TB 级 AAA 四层解耦录制管线、ViPE 重新对齐的真实视频四源数据;(2) SVI 风格的误差收集/注入同时作用于记忆与历史,降低 exposure bias;(3) camera-aware + Plücker 几何编码的记忆检索和 RoPE head-jitter 共存,缓解位置别名;(4) 双向 DMD 学生通过多段自回归对齐训练-推理;(5) 全链路加速栈包括 INT8、LightVAE、GPU 检索和 8+1 异步;(6) 28B MoE 上用视角专用 + 高/低噪声解耦的训练策略扩展到分钟级。

**Figure 2**: Overview of Matrix-Game 3.0.

**Figure 3**: Illustration of our interactive base model.

**Figure 4**: Illustration of our memory-augmented base model.

**Figure 5**: Frame-level self-attention visualization for the memory-enhanced DiT.

**Figure 6**: Illustration of our few-step distillation stage.

**Figure 7**: Representative scenes and agent trajectories from our data engine.

实验结果

实验从三个层次递进:图 8 验证交互 base 在 1-5s 内动作可控、背景稳定、相机推拉一致;图 9 用 reverse-action(后段是前段动作的镜像)做场景重访,模型在 t=22-30s 准确还原之前观察的几何/外观/纹理,说明记忆机制确实在起作用而非仅靠短时连续性;图 10 展示 28B 模型在 GTA V 等第三视角场景的分钟级稳定性;图 11 显示蒸馏学生在长 rollout 中能复现被遮挡内容、无明显风格漂移。Table 1 消融显示 GPU 检索贡献最大(去除后 -33.40 FPS),INT8 (-12.62) 与 MG-LightVAE (-14.21) 不可缺;Table 2 显示 VAE 折中:Wan2.2 VAE PSNR 33.79/SSIM 0.99/Full 0.99s;MG-LightVAE(50%) PSNR 31.84/0.99/0.52s(2.6× 解码加速);MG-LightVAE(75%) PSNR 31.14/0.99/0.35s(5.2× 加速),50% 取得最佳质量-速度平衡。

**Table 1**: Ablation on major acceleration components with 75% VAE pruning.

**Table 2**: Reconstruction quality and efficiency comparison between Wan2.2 VAE and MG-LightVAE.

**Figure 8**: Qualitative results of our interactive base model.

**Figure 9**: Memory-based scene revisitation in long videos.

**Figure 10**: Qualitative results of our 28B model on third-person video generation.

**Figure 11**: Qualitative results of our distilled model.

**Figure 12**: MG-LightVAE reconstruction qualitative comparison.

查看结构化数据

任务	指标	本文	基线	提升
端到端实时推理(720p 综合)	FPS	~40 FPS(8+1 异步 DiT+VAE)	Memory-Game 2.0 / HY-Worldcraft-2 实时但无记忆;LINGBOT-World 长 context 但非实时	首个把长程记忆与 40 FPS 实时同时做到的工业级系统
DiT 量化加速	FPS	~40(完整配置)	27.38(去除 INT8 后)	+12.62 FPS
MG-LightVAE 解码加速	FPS	~40(完整配置)	25.79(去除 MG-LightVAE 后)	+14.21 FPS
GPU 检索加速	FPS	~40(完整配置)	6.60(去除 GPU 检索退化为 CPU 精确视锥)	+33.40 FPS
VAE 重建保真度(50% 剪枝)	PSNR / SSIM	31.84 / 0.99	Wan2.2 VAE 33.79 / 0.99	PSNR 仅下降 1.95、解码器加速 2.6×
VAE 重建保真度(75% 剪枝)	PSNR / SSIM	31.14 / 0.99	Wan2.2 VAE 33.79 / 0.99	PSNR 下降 2.65、解码器加速 5.2×

局限与改进

作者承认的主要局限包括:对管线硬件依赖强(8 块 H/A 系列 GPU + FlashAttention 2/3 + Reactor 加速基础设施),复现门槛较高;MG-LightVAE 75% 版虽然 PSNR 仍在 31 以上,但定性图(图 12)中存在纹理细节模糊,在高反差、过曝区域尤其明显;表 1 中 GPU 检索贡献最大,意味着检索替换为更复杂 scoring 后会再次成为瓶颈,系统弹性不足。作为外部观察还可以指出几点:质性结果以重访/RPG 场景为主,缺少定量用户研究或与 Genie 3、LINGBOT-World 的同口径对比;28B MoE 模型只展示了第三视角若干序列,缺乏对第一视角与可玩性 AGI 评测;模型未开源且权重未公开,qualitative figures 无法独立复现;Long rollout 中的极端相机转角仍可能出现记忆帧因 Plücker 对齐误差引入的鬼影与闪烁。这些都构成方法未来亟需解决的边界条件。

独立分析的弱点

独立分析可以识别四项可改进的弱点。其一,记忆检索虽然采用 GPU 近似采样,但当 rollout 长度继续增长时,候选集合呈线性增大,会再次成为延迟瓶颈,可考虑层级记忆池或基于哈希的近似最近邻。其二,DMD 蒸馏只在末端段上计算反向 KL,中间段的误差无显式监督,容易出现段间跳变,可改为段级 DMD 或加入光流一致性奖励。其三,MG-LightVAE 75% 剪枝后纹理细节退化明显,在过人脸、远景小物体上仍有残影,可通过 $\mathcal{L}\_{freq}$ 高频重建损失或对抗式 patch 判别器来补偿。其四,head-wise jittered RoPE 的扰动幅度 $\sigma_\theta=0.8$ 是在 5B 模型上 swept 出的,在 28B 模型上的迁移未必最优,需要重新校准,并研究其与 memory attention 强度的耦合关系。

未来方向

作者在结论里提出三件事:扩大数据规模与多样性、提升分辨率与时长、设计更先进的记忆机制。从结果可自然延伸的方向还包括:把相机感知检索扩展到 task-aware(动作-语义双通道)以支持 NPC 类复杂行为;引入隐式神经表征或 3D Gaussian 作为可微记忆,使视锥重叠之外的语义匹配也能稳定检索;在 28B 模型上探索高/低噪声解耦是否能配合 RLHF/DPO 改善动作忠实度;以及把端到端系统搬到 H/A 系列之外的消费卡(如 4090/RTX 6000 Ada)以推动'每机可玩'。同时,可以引入可玩性基准(GTA-style driving、迷宫导航)对分钟级一致性做定量评估,补足当前主要以定性 reverse-action 重访展示的不足。

复现评估

复现难度偏中-高。文章是 Technical Report,方法、消融、VAE 数据有完整叙述,但模型权重与代码均未公开。数据侧:1000+ UE5 场景 NavMesh-RL、AAA 四层解耦录制(GTA V / RDR2 / Palworld / Cyberpunk 2077 / Hogwarts Legacy)、DL3DV-10K、RealEstate10K、OmniWorld-CityWalk、SpatialVid-HD 是论文级工业资产,个人研究者只能做简化版。算力侧:5B 训练 + 600+2400 步蒸馏需要较大显存,40 FPS 评测依赖8 块 H/A GPU + FlashAttention + LightX2V + Reactor 加速基础设施,成本高。流程侧:误差 buffer、RoPE jitter、DMD 多段自回归给出了公式与超参,对'读懂'较友好;但缺代码、权重与精确训练配置,所以'读懂容易、复现 40 FPS 困难'。

Matrix-Game 3.0:具备长程记忆的实时流式交互世界模型 Matrix-Game 3.0: Real-Time and Streaming Interactive World Model with Long-Horizon Memory