WorldPlay2：在控制与时序跨度上扩展实时交互世界模型 WorldPlay2: Extending Real-Time Interactive World Models in Control and Horizon
用因子化混合控制、压缩记忆与稳定蒸馏，实现实时、精细可控且长时一致的交互世界模型
前置知识
流匹配（Flow Matching）
一类生成模型范式：把高斯噪声分布到数据分布的传输建模为一个随时间变化的速度场，网络回归瞬时速度，采样时从纯噪声出发沿速度场积分去噪。相比 DDPM 式扩散，概率路径更平直、采样步数更少，训练目标形如 $\mathcal{L}=\mathbb{E}\|v_\theta(x_\sigma,\sigma)-(\epsilon-x)\|^2$，其中 $\sigma$ 为噪声水平。
WorldPlay2 的学生模型与教师评分模型都建立在流匹配之上，式(5)的学生损失就是流匹配目标的记忆条件版本，不理解流匹配就无法读懂其核心训练目标。
自回归视频扩散（Autoregressive Video Diffusion）
把长视频切成若干 chunk，模型以历史 chunk 与当前动作为条件逐段去噪生成未来 chunk，实现流式延长。训练通常用 teacher forcing（以真实历史为条件）加因果注意力 mask，推理时却要消费自己生成的历史，这种训练-测试差异会带来误差累积与暴露偏差，rollout 越长问题越严重。
本文的 AR 学生模型、Fig.3 的因果注意力 mask，以及“长 rollout 导致蒸馏不稳定”的核心痛点，全部源于这一范式的基本性质。
分布匹配蒸馏（DMD）
一种加速扩散模型的方法：让学生以极少步数生成，并用“真实分数”与“伪分数”（在学生样本上训练的分数模型）之差作为梯度，把学生的整体生成分布拉向教师分布，而非逐点回归某个去噪步。它能缓解暴露偏差并继承教师的长时一致性，但对学生 rollout 分布偏离教师非常敏感，容易训练发散。
Stable Forcing 的第三阶段就是分布匹配蒸馏；理解 fake/real score $s_{fake/real}=v(x^\sigma,\sigma,m_{<t},A) $ 的含义，才能明白“高效评分评估”到底在计算什么、为什么可以分 clip 进行。
PDD 并行解码蒸馏
把扩散噪声调度离散为 $K$ 个 block，每个 block 含 $C$ 个相邻子区间；训练一个并行解码器，单次前向同时预测块内多个区间的平均速度 $u_0,\dots,u_{C-1}$，用停止梯度（stop-gradient）自举监督，从而把几十步的采样压缩到少数几步并保持质量，是近期图像/视频蒸馏的强基线。
WorldPlay2 把 PDD 扩展到记忆增强的 AR 学生上作为“少步初始化”，是 Stable Forcing 能够稳定的前提；不看懂 PDD 就无法理解蒸馏第一阶段在做什么。
因果注意力与记忆 token
因果注意力要求每个 token 只能关注自己及之前的 token，是流式自回归生成防止未来信息泄漏的机制；记忆 token 则是把远端历史压缩成的少量向量，作为上下文前缀供后续 chunk 交叉注意，用远小于全历史的代价携带长期信息，是滑动窗口之外维持长程依赖的主流方案。
本文的压缩记忆 $m_{<t}=[x_{sink};x_{cmp};x_{tmp}]$ 正是“因果 mask + 记忆前缀”的具体化，Fig.3 专门画出了训练时的因果注意力 mask 结构。
循环闭合评测（Loop-closure Evaluation）
让模型先沿一条随机动作序列前进探索，再把动作序列倒序执行、回到起点。若世界模型几何一致，重访时看到的场景应与首过时高度一致；通常用 PSNR/SSIM/LPIPS 衡量 2D 视觉一致性，用 MEt3R 衡量 3D 多视角空间一致性，差异越小代表长程几何记忆越牢。
本文自建的 RevisitBench（200 条轨迹）完全基于该协议，是论文证明“长时几何一致性”的核心证据链，也是理解 Table 1 右半部分的前提。
研究动机
交互世界模型要把视频生成器改造成能实时响应输入的可探索环境，但现有方法在“控制”与“长时一致”两头都有具体困难。控制端：异构控制信号的语义粒度和时间跨度差异极大——相机俯仰/偏航与角色移动需要帧级对齐的精确控制，而开门、天气突变等交互事件更适合跨较长时段的高层语义指令；更麻烦的是控制信号常与场景外观、角色身份等内容因子纠缠，Lingbot-World-V2、AlayaWorld 用逐 chunk 文本承载所有控制，内容与事件混在一起、文本-视觉对应模糊，复杂交互执行不准（Table 2 中它们的交互平均分仅 52.5 和 39.4）。记忆端：Lingbot-World-V2、EchoWM 等滑窗方法受限于固定上下文窗口，远处信息被丢弃、记忆衰减，长程几何一致性崩溃；WorldPlay 依赖相机位姿检索历史，rollout 越长位姿漂移复利累积、检索失准；AlayaWorld/Alaya-Evoke-Turbo 用显式 3D 表示做记忆，跨 chunk 度量尺度歧义引发几何错位、重影与闪烁。蒸馏端：全上下文双向教师的注意力代价随视频长度二次增长，对学生长 rollout 评分贵到不可行；而学生以少步采样做长 rollout 时误差迅速复利，生成分布大幅偏离教师，蒸馏不稳定甚至模式崩溃。
本文的目标是本文的目标是构建一个同时满足三个条件的实时交互世界模型 $N_\theta(x_t|x_{<t},A_{\leq t})$。其一，支持多样化控制：既包括帧级精确的相机运动、第三人称角色移动、视角切换与跳跃，也包括开门上车、天气切换、物体出现消失等语义级交互，且各控制可自由组合、互不干扰；其二，保持长时程几何一致性：用户以循环闭合轨迹回到起点时，场景结构与物体布局不漂移、不重影，论文展示了超过 1277 帧的连续稳定生成；其三，实时性：推理吞吐达到 16 FPS 量级以支撑真正的交互体验。为同时达成三者，作者把问题拆解为三个既可独立攻关又需互相咬合的子问题——异构控制的因子化表征、面向蒸馏的紧凑历史记忆、稳定的长时蒸馏框架，并明确把“可随算力与数据规模扩展”作为设计底线，而不是把长时记忆与加速当成两个孤立模块分别打补丁。
与已有工作不同的是，本文的独特之处在三处反常规的切入。第一，控制表征上不做“大一统”，而是按时间粒度因子化：帧对齐的低层动作走轻量嵌入并注入每个 Transformer 块的 FFN 之前，语义级控制则拆成 scene/character/event 三个解耦字段的结构化文本，显式把“世界长什么样”“谁在动”“发生了什么”分开监督，使控制组合可复用且响应精确。第二，记忆与蒸馏协同设计而非各管一摊：以往工作把长时记忆（检索/稀疏注意力/显式 3D）与蒸馏视为独立模块，本文让压缩记忆 token 同时被 AR 学生与双向教师共享，长 rollout 因此可切成独立 clip 做记忆条件评分，把不可行的整段教师评分变成可扩展的分块计算——这是“为蒸馏而设计记忆”的视角转换。第三，蒸馏稳定性上不与分布偏移硬抗：先用 PDD 给学生一个“像样的”少步初始化，把 rollout 分布拉回教师邻域，再用全 rollout 重放把采样与反传解耦，双管齐下消除误差复利，而不是寄希望于损失函数本身更鲁棒。
核心方法
整体思路是“先把控制解耦、再把历史压缩、最后稳定地蒸馏成少步模型”。模型形式上是 chunk 级自回归世界模型：给定历史 $x_{<t}$ 与控制序列 $A_{\leq t}$，生成下一块 $x_t\in\mathbb{R}^{T\times H\times W}$。第一步，控制接口因子化为 $A_t=\{a_t,d_t\}$：$a_t$ 是帧对齐动作（连续俯仰/偏航角 + 离散前后左右移动、视角、跳跃），连续量经 MLP $E$、离散量经可学习嵌入 $e$ 后相加得 $e_t=E(\text{continuous})+e[\text{discrete}]$，在每个 Transformer 块 FFN 前注入 $\tilde{h}_t=h_t+F([h_t\oplus e_t])$；$d_t$ 是结构化语义文本 $d_t=(d_{scene},d_{character},d_{event})$。第二步，可学习历史压缩器 $C_\phi$ 用双分支设计（粗分支用 DiT patchifier 处理低分辨率低帧率潜变量 $x_{lr}^{<t}$，细分支用下采样模块处理全分辨率历史得残差细节）把历史编码为 $m_{<t}=[x_{sink};x_{cmp};x_{tmp}]$，序列长度缩减约 $l\cdot s^2=32$ 倍。第三步是多阶段课程训练：双向基座学导航 → 接入记忆压缩器 → teacher forcing 改造成因果 AR 模型并用流匹配损失 $\mathcal{L}_{student}$ 训练 → PDD 少步初始化 → Stable Forcing 分布匹配蒸馏，最后叠加系统级推理优化，在 8 张 H20 上实现 16 FPS 实时生成。
核心创新有三点，各自对应一类已有方案的本质改造。其一，控制的因子化混合接口：已有方法要么把所有控制塞进单一文本（Lingbot-World-V2、AlayaWorld），导致内容因子与事件纠缠、监督模糊；要么绑死显式相机位姿（WorldPlay），导致第三人称角色运动僵硬不自然。本文按“需要什么精度、跨多长时间”给控制分流：帧级动作走轻量加性嵌入（作者发现无需显式位姿也能精确导航，反而让角色旋转更流畅），语义事件走三字段结构化文本，使“换角色不换场景、换事件不换角色”的组合泛化成为可能。其二，面向蒸馏的压缩记忆：与滑窗的局部假设、检索的位姿依赖本质不同，压缩记忆是可学习的有损摘要，且被学生与教师共享——教师因此不必吞下整条 rollout，只需对每个 clip 以 $m_{<iL}$ 为条件独立评分，把蒸馏评分的代价从随总长二次增长降为随 clip 数线性增长。其三，Stable Forcing：不同于 Self Forcing 直接在少步 rollout 上做匹配，本文先以 PDD 并行解码初始化学生、再用“前向完整采样 + 反向只重放一个缓存中间步”的重放机制，兼顾 rollout 保真与各去噪时间步的梯度覆盖。
方法步骤详情
完整流程分数据、训练、推理三段。数据构建：聚合 SpatialVID（30K）、Sekai（20K）、UE 循环闭合渲染（50K）、ABot-World（30K）与内部游戏录制（570K）共 700K 段 30–60 秒导航视频，另建 10K 段交互事件数据（复杂交互 5K、环境迁移 3K、物体增删 2K）；用 VLM 按固定 JSON 模板产出 scene/character/UI/按 5 秒区间标注的 dynamic interactions 结构化字幕；长视频切成 150 帧、重叠 10 帧的子片段，用 ViPE 独立估计位姿再按重叠窗对齐度量尺度拼接，游戏录制按每游戏角速度中位数标定旋转速率；最后按视觉五维（清晰度、细节、噪声压缩、动态范围、美学）与动作平滑性双重过滤。训练五阶段：(1) 双向 DiT 基座在导航数据上学动作条件，每序列 32 个目标 latents；(2) 按 TinyHistory 两段式接入记忆压缩器，3D 卷积全部替换为因果 3D 卷积防未来泄漏；(3) teacher forcing 加因果 mask 把双向模型改造成 chunk 级 AR 模型（16 目标 latents 即 4 chunks，变长记忆填充后用 FlexAttention 加速），优化流匹配损失 $\mathcal{L}_{student}$；(4) 扩展 PDD 做少步初始化，块内并行预测相邻区间平均速度 $u_k$ 并用停止梯度监督；(5) Stable Forcing：学生 4 步采样自 rollout 320 latents，前向对每 chunk 全程采样并在随机时间步 $d_i$ 打快照 $R_i$，rollout 切成 10 个 clip 由记忆条件双向教师计算 $s_{fake/real}$，反向仅重放快照步、按 $\mathcal{L}_i=\mathrm{MSE}(\tilde{z}_i,\mathrm{sg}(\tilde{z}_i-g_i))$ 累加梯度，伪分数按 DMD2 更新。推理优化：QKRoPE、QKV 融合、FFN 编译、文本缓存、FP8 量化、SageAttention、关闭 FSDP、轻量 VAE（基于 TAE 重训）逐级把每 chunk 延迟从 4.138s 压到 0.998s。
技术新颖性
技术新颖性可从三个对照面看清。对照长时记忆方案：滑窗方法（Lingbot-World-V2、EchoWM、Matrix-Game 系列）受局部假设制约、远处信息被遗忘；检索方法（WorldPlay、WorldMem）受位姿漂移制约；显式 3D 方法（AlayaWorld、Alaya-Evoke-Turbo）受跨 chunk 度量尺度歧义与重影闪烁制约。本文的因果 3D 卷积双分支压缩器在 96 latents 训练下 MEt3R 0.128 反而优于全上下文基线的 0.133，同时把序列长度砍掉 32 倍，证明“有损摘要”可以不输“无损保留”。对照蒸馏方案：Self Forcing 类方法在长 rollout 上少步采样时分布急剧偏离教师、训练崩溃，本文消融显示 PDD 初始化加全 rollout 重放把 WBench 从 73.9（无初始化无重放）/75.2（无初始化）提升到 83.1，证明“先让学生像样、再谈分布匹配”的训练次序本身就是贡献。对照教师评分范式：全上下文教师每迭代耗时 261s 且在 320 latents 上直接显存溢出，记忆条件逐 clip 评分只要 167s/迭代且可继续扩展——这是把“记忆”重新定义为“蒸馏的计算原语”带来的结构性收益，而非单纯工程加速。
实验结果
定量结果分四组。WBench 导航综合（Table 1）：WorldPlay2 平均 83.1 分居首，超过此前最优 Alaya-Evoke-Turbo（82.0）1.1 分，五个分项中 Interaction 88.3、Consistency 90.0、Physical 74.0 均为最高，Quality 81.8 与 Lingbot-World-V2 持平，Setting 81.5 领先；去掉 Stable Forcing 掉到 79.0，说明蒸馏框架贡献约 4 分。RevisitBench 循环闭合一致性（Table 1）：PSNR 19.71、SSIM 0.613、LPIPS 0.318、MEt3R 0.105 全面最优，对比最强基线 WorldPlay（17.05/0.553/0.416/0.179），PSNR 高出 2.66、MEt3R 相对降低约 41%，验证无需检索、无需显式 3D 也能锁定长程几何。交互事件响应（Table 2，145 个 held-out 样本、VLM 自动评分）：平均 74.7（环境与物体变化 EO 79.2、复杂交互 CI 70.1），比次优 Lingbot-World-V2 的 52.5 高出 22.2 分，说明因子化解耦对语义执行的提升远大于对导航侧的提升。消融（Table 5–8）：交互事件数据从零加入使双向模型的事件响应从 46.7 升到 84.0（EO 86.8、CI 81.2）；去掉结构化语义控制使旋转误差从 0.168 恶化到 0.478、平移精度从 98.3% 降到 88.9%；96 latents 训练下压缩记忆 MEt3R 0.128 优于全上下文的 0.133（SSIM/LPIPS 略逊）；蒸馏消融依次为 73.9→75.2→82.3（全上下文教师）→83.1（完整方案），且本文迭代耗时 167s 对比全上下文教师 261s，320 latents 时全上下文教师显存溢出而本方法正常扩展。系统优化（Table 4）：每 chunk 延迟从 4.138s 逐级压到 0.998s（4.15 倍加速，其中轻量 VAE 单项贡献 75.88% 的削减），最终在 8×H20 上达成 16 FPS 实时流式生成。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WBench 导航综合评测 | 平均分 Avg（VLM 多维评分，↑） | 83.1 | Alaya-Evoke-Turbo 82.0（次优） | +1.1 分 |
| WBench 交互可控性 | Interaction 分项（↑） | 88.3 | EchoWM 87.9（次优） | +0.4 |
| WBench 长时一致性 | Consistency 分项（↑） | 90.0 | AlayaWorld 89.5（次优） | +0.5 |
| RevisitBench 循环闭合几何一致性（200 条轨迹） | PSNR（↑）／MEt3R（↓） | 19.71 ／ 0.105 | WorldPlay 17.05 ／ 0.179 | PSNR +2.66；MEt3R 相对降低约 41% |
| 交互事件响应（145 个 held-out 样本） | 平均分（VLM 0–4 评分聚合，↑） | 74.7 | Lingbot-World-V2 52.5（次优） | +22.2 分 |
| 实时推理（每 chunk 生成延迟） | 延迟（s，↓） | 0.998 | 未优化基线 4.138 | 4.15× 加速（削减 75.88%），8×H20 上 16 FPS |
局限与改进
作者明确承认两点局限：一是角色在长 rollout 中会出现渐进的视觉与语义漂移，偶尔无法严格保持身份一致（例如千帧之后人物外观悄然变化）；二是扩展到无限时域生成仍是开放难题，无限 rollout 的稳定性与长期几何保持（不累积误差）尚未解决。我的补充观察：其一，交互事件数据仅 10K 且全部为内部数据，模型的语义响应强依赖基座预训练的指令跟随能力，“小数据即可解锁”的结论只在自家基座上验证过，换基座未必成立；其二，事件评测依赖 VLM（Seed）自动 0–4 打分，交互类主观指标的可信度缺乏人工评测佐证，且 145 个测试样本规模偏小；其三，压缩记忆在 96 latents 下 SSIM 0.653、LPIPS 0.414 均略逊于全上下文的 0.688、0.406，细粒度纹理存在可测损失；其四，实时性依赖 8 张 H20 与一整套系统优化栈，离消费级单卡部署尚远；其五，RevisitBench 为自建基准，轨迹来源包含自家 UE 渲染管线，存在有利于自身设计选择的潜在偏置。
独立分析的弱点
独立分析几点弱点并给出改进方向。第一，语义控制入口太“重”：推理时用户必须提供 scene/character/event 三字段结构化文本，而实际产品里玩家只会按几个键，可引入轻量语言模型实时把稀疏输入补全成结构化控制并维持跨回合一致。第二，角色漂移的根源是记忆 token 对所有内容无差别有损压缩，对“主角”没有特权：可给角色身份加对比学习锚定损失，或周期性把角色参考帧重新编码注入 $x_{tmp}$，让身份信息走低压缩通道。第三，无限 horizon 的根本困难是压缩器容量固定而历史无界：可探索层级记忆（把旧记忆再摘要为超压缩层）或“压缩 token + 按需触发的少量原始片段”的混合检索记忆，在场景布局显著变化时动态扩容。第四，蒸馏目标是固定的 4 步学生，推理预算不能自适应：可结合 any-step 蒸馏（如 AnyFlow 的思路）让同一模型在 1–8 步之间按需权衡质量与速度。第五，DMD 评分需要真实视频提供 real score，意味着监督被锁在训练分布内：用无参考先验分数或学习型奖励替代 real 分支，是走向开放式世界生成（没有真值场景可依）的关键缺口。第六，8 卡 H20 的实时门槛过高，可在记忆压缩与蒸馏框架不变的前提下把骨干蒸馏到更小模型，验证方法的可迁移性。
未来方向
作者在结论与附录中提出两个方向：无限时域生成（同时做到无限 rollout 稳定与长期几何保持），以及与“能程序化生成空间连贯 3D 环境的编码智能体”结合，把符号级世界构建接入生成式世界模型。基于本文成果还可自然延伸：其一，把分布匹配目标换成强化学习信号（作者团队的 WorldCompass 已在探索 RL for world models），用游戏引擎或用户反馈做奖励，修正 VLM 难以度量的物理合理性缺陷；其二，把“记忆条件逐 clip 教师评分”范式迁移到具身智能——世界模型即策略评估器，clip 级评分恰好匹配策略 rollout 的分段评估需求；其三，结构化语义控制天然适合与 LLM 智能体组合：event 字段就是智能体的动作空间，可构建“LLM 下指令、世界模型出视频”的闭环模拟器，用于智能体训练数据的无限扩增；其四，把压缩记忆与轻量显式几何（点云或高斯）混合，兼取隐式记忆的稳健与显式表示的精确，有望同时解决尺度歧义与细节损失；其五，在交互事件数据侧做自动化扩充（用现有视频编辑模型合成事件对），摆脱对内部 10K 数据的依赖。
复现评估
复现难度：高。论文未声明开源代码或模型权重（仅有项目页 worldplay2.github.io 展示视频）。数据方面，SpatialVID、Sekai、ABot-World 公开可取（合计约 80K 段），但占训练集大头的 570K 游戏录制、50K UE 循环闭合渲染与全部 10K 交互事件数据均为内部资产，无法直接获取，语义交互能力几乎不可复现。评测方面，WBench 来自第三方文献可用，RevisitBench 协议描述较细（50 条 10 秒 + 150 条 30 秒循环闭合轨迹、动作倒放规则），可以自行重建；交互事件评测需自备 VLM 裁判与 held-out 样本。算力方面，推理需要 8×H20 才能到 16 FPS，训练算力未披露，但五阶段课程（双向 32 latents → 记忆 → AR 4 chunks → PDD → 320 latents 分布匹配）规模不小。加分项是附录披露相当充分：结构化字幕模板、VLM 评测 prompt、Stable Forcing 完整伪代码（Alg.1）与逐项推理优化延迟表都在，工程团队照此复现路径清晰；学术实验室完整复现预计需数月与可观算力，更现实的路径是复用其“压缩记忆 + 逐 clip 评分”思想到自有小模型上。
论文图表
teaser 图，三行展示模型三大能力：上排为灵活交互（导航控制叠加复杂语义事件）；中排为多轮交互（通过连续事件指令实现连贯叙事，展示 Frame 1 到 Frame 355 的事件演进）；下排为长时程一致性（在复杂导航控制下从 Frame 1 一直生成到 Frame 1277 仍保持场景几何稳定）。
一图概括论文声称的三大贡献（灵活控制、多轮交互、长时一致），是理解论文动机与能力边界的入口。
与五个交互世界模型的主对比表：WBench 六项（Avg/Quality/Setting/Interaction/Consistency/Physical）加 RevisitBench 四项（PSNR/SSIM/LPIPS/MEt3R）。本文完整模型 Avg 83.1 第一，交互与一致性分项最优；RevisitBench 上 PSNR 19.71、MEt3R 0.105 大幅领先；w/o Stable Forcing 版本 Avg 79.0。
论文最核心的定量证据表，同时证明控制性、长时一致性与蒸馏框架三方面贡献。
推理优化逐项延迟表：基线 4.138s/chunk，依次叠加 QKRoPE（-0.85%）、QKV 融合（-1.47%）、FFN 编译（-1.55%）、文本缓存（-4.42%）、FP8 量化（-8.05%）、去 FSDP（-13.92%）、SageAttention（-17.06%）、轻量 VAE（最终 0.998s，4.15× 加速、削减 75.88%）。
实时性是交互世界模型的硬指标，此表揭示延迟瓶颈主要在 VAE 而非 Transformer，对工程实践极具参考价值。
双向教师模型上加不加交互事件数据的消融：无交互数据时平均 46.7（EO 57.5、CI 35.8），加入 10K 交互数据后升到 84.0（EO 86.8、CI 81.2）。
证明“预训练已具备指令跟随、小数据即可解锁语义交互”这一关键论断，是数据策略的核心依据。
结构化语义控制消融：去掉后旋转误差从 0.168 恶化到 0.478，平移精度从 98.3% 降到 88.9%。
量化证明语义解耦不是只影响语义任务，还会通过消除“语义纠缠”反哺导航控制精度。