Lyra 2.0：可探索的生成式三维世界

单图生成长时3D一致视频并重建可交互3D场景

前置知识

潜空间视频扩散模型 (Latent Video Diffusion)

在 VAE 编码的潜空间进行去噪的视频生成模型，Wan 2.1 VAE 空间下采样 8× 时间下采样 4×，latent shape 为 $z \in \mathbb{R}^{F' \times 16 \times h \times w}$。

Lyra 2.0 基于 DiT-based 视频扩散模型，理解 VAE 潜空间和 flow matching 是阅读公式 $\mathcal{L} = \mathbb{E}_{z_0,t,\epsilon}\|v_\theta(z_t,t,c)-(\epsilon-z_0)\|^2$ 的前提。

相机条件生成 (Camera-Conditioned Generation)

通过 Plücker 坐标 $r_i(u,v)=(d, o\times d)\in\mathbb{R}^6$ 或深度前向 warp，将相机内外参 $T_i, K_i$ 和深度 $D_i$ 注入到 DiT 的注意力层，控制生成视角。

Lyra 2.0 的相机控制通过 depth warping + Plücker 两条路径互补，二者结合是实现视角精准控制的关键。

3D Gaussian Splatting (3DGS)

用各向异性 3D 高斯椭球表达场景，可微光栅化实现实时新视角渲染，DAv3 等前馈模型可从图像直接回归 3DGS 属性。

Lyra 2.0 的 3D 重建把长视频喂给微调后的 DAv3，得到可实时渲染的 3DGS 场景供下游仿真使用。

FramePack 时序压缩

对历史帧按时间距离做可变 patchification 压缩，靠近的帧细粒度、远的帧粗粒度，固定 token 预算下延长有效时序跨度，anchor 帧始终以全分辨率保留。

Lyra 2.0 用 FramePack 抑制长时序 drifting，并在此基础上叠加空间 memory 和自增强训练策略。

Flow Matching / Rectified Flow

在潜空间用线性插值 $z_t=(1-t)z_0+t\epsilon$ 形成噪声路径，训练 DiT 预测速度 $v_\theta$；推理用 FlowUniPC 多步调度器。

Lyra 2.0 用 logit-normal 采样时间步，并通过 DMD 蒸馏把 35 步采样压缩为 4 步。

研究动机

现有的相机可控视频扩散模型在短轨迹上 3D 一致性尚可，但一旦要扩展到跨房间、跨街道这类长轨迹、视角变化大、需要重访已生成区域的场景，就会遭遇两类典型退化：第一类是 spatial forgetting——历史帧超出模型有限的时序上下文窗口（通常仅几十帧），重访时模型只能 hallucinate 出与早期帧不一致的结构，导致全局布局断裂；第二类是 temporal drifting——自回归生成会累积每一步的小误差，连续引入新区域使早期帧的视觉重叠度下降，颜色和几何都会逐渐扭曲。GEN3C 等基于累积点云条件化的方法虽提供显式空间约束，但生成瑕疵污染 3D 几何，反过来又污染后续条件化；用相机位姿嵌入扩展 context 的方法则依赖自注意力推断长程几何对应，视角变化大时容易失败。

本文的目标是本文目标是构建一个交互式系统 Lyra 2.0，从单张输入图像 $I_0$ 和用户任意指定的相机轨迹 $\{(T_i,K_i)\}_{i=0}^{T-1}$ 出发，生成长时间、3D 一致的相机可控视频；视频片段在自回归循环中可被用户多次指定轨迹持续扩展，最终被前馈重建为高保真 3DGS 与表面 mesh，可直接导入 NVIDIA Isaac Sim 做 embodied AI 机器人仿真、虚拟现实漫游等下游任务，整个 pipeline 强调长时 horizon 与可交互。

与已有工作不同的是，本文的核心切入是把几何与外观两个职责解耦：用 per-frame 的带噪 3D 几何做纯 routing（检索相关历史帧 + 建立稠密 3D 对应），让视频扩散模型的像素先验去负责外观合成；同时通过自增强训练在 train-test 分布上搭桥，缩小自回归条件化的差距。这条路线既不依赖累积的全局 3D 表示，也避免把硬几何约束塞进注意力去自学习多视角对齐，是与 GEN3C / CaM / SPMem / WorldMem 等已有方法的关键区别。

核心方法

Lyra 2.0 采用 retrieve–generate–update 的自回归循环：用户在交互 3D 探索器中给出下一段相机轨迹和可选文本 prompt 后，系统 (i) 从不断增长的 3D cache 中按可见性打分选 $N_s=5$ 个最相关历史帧作为 spatial slots；(ii) 用相机控制视频扩散模型以 DiT 为骨架、FramePack 做时序压缩、前馈 35 步 flow matching 采样生成下一段 $L=80$ 帧视频；(iii) 把新帧并入 cache 并更新点云，往复迭代直到覆盖目标场景。整体 pipeline 在长视频生成完成后，再交给微调过的 Depth Anything v3 (DAv3) 前馈出 3DGS，最后用 hierarchical sparse grid + marching cubes 提取表面 mesh。

核心创新是把几何信息从条件化信号降级为 routing 信号。3D cache 永远不融合到单一全局点云里，而是 per-frame 独立存储深度 $D_i$ 和下采样点云 $P_i$；检索时把每个 $P_i$ 投影到目标视角 $\{(T^*,K^*)\}$，用最小深度差判断可见像素数 $\varphi(i)$，贪心挑选能最大化未被覆盖像素的 $N_s$ 帧。注入 DiT 时不直接拼 warp 后的 RGB（避免 disocclusion 空洞和深度边界伪影），而是 forward-warp 一个 4 通道的 canonical 坐标+深度图 $[\hat{C}_j;\hat{D}_j]\in\mathbb{R}^{4\times H\times W}$，用正弦编码 + 像素 shuffle + 单层线性映射注入到每个 transformer block 的 query/key 上，让对应关系提示注意力路由而不替代合成。

方法步骤详情

完整流程：(1) 3D cache 构建——每帧 $I_i$ 存 $D_i$ 和下采样子样 $P_i$，per-frame 独立、从不融合；(2) 几何感知检索——把 $P_i$ 投到目标视角，用可见性 $\varphi(i)$ 选 $N_s=5$ 帧；(3) canonical 坐标 warp——用 $D_j$ 前向 warp 出 4 通道 map $[\hat{C}_j;\hat{D}_j]$；(4) DiT 条件化——FramePack 时序 slot + spatial slot + Plücker ray 注入 q/k；(5) 自增强训练——以 $p_{aug}=0.7$ 对 history 加噪并做单步去噪，target 保持干净；(6) 3D 重建——3000 段自生成视频微调 DAv3，再 VDB sparse grid + marching cubes 出 mesh；(7) DMD 蒸馏——35 步压到 4 步，单步 15 s。

技术新颖性

技术新颖性体现在四点：(a) Decoupled 3D memory：与 SPMem 等累积全局点云不同，本文坚持 per-frame 独立存储，避免深度误差在长时序下被乘性放大；(b) Canonical coordinate warping 而非 RGB warping：用 $(u,v,z,2j/(N_s-1))$ 4D 几何图替代有空洞的 warp 图，把 disocclusion/depth-bleeding 伪影彻底隔离在生成模型之外；(c) Self-augmentation on bidirectional DiT：针对双向注意力无法用 Self-Forcing 的痛点，仅对 history 一次性加噪去噪，target 保持干净，overhead 几乎为 0；(d) 端到端可交互：把交互式 GUI、长时 3D 一致性生成、feed-forward 3DGS、mesh 导出与 Isaac Sim 仿真首次串成完整 pipeline，runtime 194 s/step 满模型、15 s/step DMD。

**Figure 6**: Qualitative ablation study

**Figure 9**: Target-frame coverage vs. number of retrieved spatial memory frames

实验结果

在 DL3DV 与 Tanks-and-Temples 上 Lyra 2.0 均 SOTA：DL3DV 长视频 FID 43.43、Subjective Quality 44.54、Style Consistency 87.46、Camera Ctrl 64.67；Tanks-and-Temples FID 51.33、Subjective Quality 43.35、Camera Ctrl 63.87。3D 重建 DL3DV LPIPS-G 0.579、FID 65.94，显著优于 CaM+DAv3 (LPIPS-G 0.668、FID 94.04) 与 SPMem+DAv3 (LPIPS-G 0.625、FID 93.56)。消融显示去掉 FramePack 后 Style Consistency 从 85.07 跌到 80.61，去掉自增强后 Camera Ctrl 从 63.87 跌到 53.92。DMD 4 步与 35 步满模型持平，单步推理 13× 加速。Fig. 3 显示基线在 ~800 帧时结构崩塌或严重 drift。

**Table 1**: Quantitative comparison on single-view to long video generation

**Table 2**: Quantitative comparison on 3D scene generation

**Table 3**: Ablation study on Tanks and Temples

**Figure 3**: Video generation comparisons

**Figure 5**: Qualitative comparison with Lyra and FantasyWorld

**Figure 8**: In-the-Wild Scene Generation

查看结构化数据

任务	指标	本文	基线	提升
长视频生成 (DL3DV)	FID ↓	43.43 (满模型) / 43.63 (DMD)	GEN3C 58.96、CaM 50.43、SPMem 53.77、VMem 120.59、Yume1.5 84.84、HY-WorldPlay 139.36	比次优 CaM 低 7.0，比 GEN3C 低 15.5
长视频生成 (DL3DV)	Subjective Quality ↑	44.54 (满) / 45.21 (DMD)	SPMem 38.32、CaM 35.19、GEN3C 24.60、VMem 18.54、Yume1.5 22.80、HY-WorldPlay 4.79	比 SPMem 高 6.2，比 GEN3C 高 19.9
长视频生成 (Tanks-and-Temples)	FID ↓	51.33 (满) / 49.71 (DMD)	GEN3C 79.07、CaM 59.20、SPMem 60.11、VMem 136.48、Yume1.5 89.69、HY-WorldPlay 163.54	比次优 CaM 低 7.9，OOS 场景仍显著领先
长视频生成 (Tanks-and-Temples)	Camera Ctrl ↑	63.87	GEN3C 69.54（最优）、SPMem 62.05、CaM 42.71、VMem 0.68	比除 GEN3C 外所有基线高 1.8+（GEN3C 在 Camera Ctrl 略优但 Style Consistency 显著低）
3D 场景生成 (DL3DV)	LPIPS-G ↓	0.579	SPMem+DAv3 0.625、CaM+DAv3 0.668、GEN3C+DAv3 0.649	比次优 SPMem 低 0.046
3D 场景生成 (DL3DV)	FID ↓	65.94	CaM+DAv3 94.04、SPMem+DAv3 93.56、GEN3C+DAv3 99.83	比次优 SPMem 低 27.6
推理加速	per-step latency	15 s/step (4 步 DMD)	194 s/step (35 步 + CFG)	13× 加速，质量持平或略优

局限与改进

作者在 §6 明确承认两点局限：(1) 当前框架只建模静态场景，没有对动态对象/角色运动做显式建模，无法处理包含移动主体或时变光照的视频；(2) 训练数据 DL3DV 存在跨视角曝光差异，模型在生成时会复现这种 photometric 不一致，进而破坏前馈 3DGS 重建。Tab. 2 中 Ours + DAv3 (未微调) 在 Subjective Quality 上只有 17.02，低于 Ours Full 的 20.52，说明生成视频里的微小不一致仍会拖累 3D 重建。Tab. 3 的 w/o Self-Augmentation 把 Camera Ctrl 拉到 53.92 也提示，复杂的自回归 chain 对训练-推理分布对齐非常敏感，独立帧的 Subjective Quality 47.88 反而更高。个人观察：(a) 推理 35 步 + CFG 单步 194 s 仍很重，4 步 DMD 是唯一实时方案；(b) 单卡 GB200 显存未公开，64 卡训练门槛高；(c) 主观分差异统计显著性未给出。

独立分析的弱点

三个值得指出的弱点：(i) 检索的 greedy 最大化覆盖策略对遮挡/深度噪声敏感，Fig. 6 的 w/ Explicit Corr. Fusion 表明一旦把 routing 换成 hard geometric fusion，Camera Ctrl 直接掉 6.6 点，说明当前 learned 聚合对深度瑕疵仍很脆弱——可考虑引入 depth uncertainty weighting 或置信度门控；(ii) 自增强只对 history latent 加噪，未对 retrieved spatial slots 加噪，长程下 spatial slot 本身可能已含 drift；可在训练中以更低概率对 spatial slot 也做 one-step 扰动进一步缩小 gap；(iii) DAv3 微调使用 3000 段自生成视频，规模有限且域单一（DL3DV 风格），在 in-the-wild Fig. 8 上仍能看到 photometric 跳变；改进方向是把微调数据扩展为游戏引擎合成 + 真实 + 自生成的混合集，配合 exposure-aware 损失。

未来方向

作者在 §6 提到动态场景与 photometric stability 两大方向。个人可延伸方向：(1) 在 3D cache 中引入 instance-level 动态追踪（CoTracker / DROID-SLAM style），将模型从静态场景扩展到可动对象；(2) 借鉴 WonderWorld / Bolt3D 的思想，把当前 retrieve–generate–update 范式与 explicit 3D 布局规划结合，让用户能勾勒未来区域轮廓而非只画相机轨迹；(3) 把 DMD 蒸馏与 NFMC / consistency model 结合，进一步把 4 步压到 1-2 步实现真正实时；(4) 把 canonical coordinate warping 拓展为 3D Gaussian feature warping，桥接 retrieval 阶段和 3DGS 重建阶段，从源头保证 video-to-3D 的一致性。

复现评估

复现评估：模型基于 Wan 2.1-14B DiT 公开权重初始化，新增模块用零权重 cold start；代码与数据未明确宣布开源，但作者声明 build upon Wan 2.1-14B 且相机/深度/姿态管线（ViPE、DAv3）均为公开工具，便于二次实现。训练在 64 张 NVIDIA GB200 上跑 7000 iter，batch 64，单 iter 实际 wall-clock 未披露；DMD 蒸馏未注明 epoch 数。超参集中在附录 A.2：AdamW lr $3\times10^{-5}$、wd 0.1、bf16、$p_{aug}=0.7$、$N_s=5$、$d=8$、$\delta=0.1$、$L=80$、CFG 5.0。复现难点：64 卡 GB200 集群门槛极高；Wan 2.1-14B 推理本身需要约 80 GB 显存；自增强需要在双向 DiT 上做 one-step denoising-cache，工程实现细节多；评估需要 ViPE + DAv3 + WorldScore 主观分评测工具链。整体难度评级：硬件门槛高、代码未开源、细节多 → 复现难度大。

Lyra 2.0：可探索的生成式三维世界 Lyra 2.0: Explorable Generative 3D Worlds