L3G-World：基于潜在3D高斯记忆的实时无限世界生成 L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory
用可增量精炼的潜空间3D高斯记忆，让视频世界模型实现实时且长程空间一致的世界生成
前置知识
交互式视频世界模型（Interactive World Model）
以用户动作（如相机轨迹、键盘输入）为条件的视频生成模型，自回归地逐块（chunk）生成视频流，使观者可以在生成的环境中'探索'。代表工作包括 Genie、Yume、Matrix-Game 等。核心难点在于：随着生成流变长，模型必须记住'走远之前看到的世界'，才能在镜头回环（loop closure）时呈现一致的场景，同时每一步生成延迟必须足够低以支持交互。
本文的全部设计（持久3D记忆+条件化生成+蒸馏加速）都是围绕'长程一致性'与'实时性'这对矛盾展开的，理解这一任务设定是读懂动机的前提。
3D Gaussian Splatting（3DGS）
把场景表示为一组各向异性3D高斯基元，每个高斯由中心 $\mu$、协方差 $\Sigma$（用尺度 $s$ 与四元数 $q$ 参数化）、不透明度 $\alpha$ 和颜色 $c$ 描述。渲染时把高斯投影到目标相机视平面，按深度排序做 alpha 合成：$C = \sum_i c_i \alpha_i \prod_{j<i}(1-\alpha_j)$。它可微、渲染快，是近年新视角合成与可微场景记忆的主流表示。
本文把3D高斯当作世界模型的'持久场景记忆'，并在每个高斯上额外附加VAE潜特征，所有记忆读写与条件渲染都建立在3DGS的渲染机制之上。
VAE潜空间与潜扩散（Latent Diffusion）
视频扩散模型不在像素空间工作，而是先用3D VAE把视频压缩成低分辨率潜张量 $z_0 = E(x)$（如 480×832 RGB 压缩为 60×104×16 通道），在潜空间训练扩散模型，生成后再用解码器 $D$ 还原。这样训练与采样成本大幅降低，但也意味着：若想用外部信号（如渲染的3D场景）条件化生成器，传统做法要先渲染成RGB再用VAE编码，这一步往往成为延迟瓶颈。
本文最核心的创新之一是让每个高斯直接存储VAE潜特征并把它渲染到潜空间，从而完全跳过'RGB渲染+VAE重编码'，这正是实时性的关键来源。
前馈式3D重建与token化高斯（Feed-forward / Token-based 3DGS）
传统3DGS需对每个场景做逐场景优化，前馈方法（如 pixelsplat、Depth Anything 3、ZipSplat）则用神经网络一次前向从图像直接预测3D几何。token化方法更进一步：不用逐像素预测稠密基元，而是把图像特征聚类成少量token，每个token经MLP头解码出一组高斯（如本文每token解码32个高斯），表示更紧凑、速度更快。
L3G-Mem 直接构建在 ZipSplat 与 DA3 之上，其 spawn/refine 双流结构与 K-means 初始化都源自这一技术脉络，是理解方法章节工程细节的基础。
Rectified Flow 与少步蒸馏（Flow Matching / Distillation）
Rectified flow 训练速度场 $v_\theta(z_t,t) \approx \epsilon - z_0$，其中 $z_t = (1-t)z_0 + t\epsilon$。少步蒸馏把教师模型（35步采样）压缩成学生模型：flow-map 蒸馏让学生学习任意噪声水平 $t \to r$ 的直接跳变 $\Phi_{r\leftarrow t}$；on-policy 蒸馏（DMD式反向KL）则让学生在自己自回归生成的样本上、以冻结教师为真实分数参照进行优化，缓解训练-测试失配。
L3G-Gen 教师用 rectified flow 训练，再用 AnyFlow 方案蒸馏成 4 步、无 CFG 的学生模型（L3G-World Fast），这是达到 9.02 FPS 实时生成的另一半关键。
研究动机
交互式世界模型要在长程探索与回环（loop closure）时保持空间一致，同时还要实时生成，这对场景记忆提出了相互矛盾的要求。论文在 Table 1 中用 400 帧生成实验量化了两条现有路线的失败模式。第一条路线是时间上下文（temporal context）：让新块通过注意力检索历史帧或 KV cache，但其显存与注意力开销随生成流长度和分辨率线性增长，复杂度为 $O(TR)$（$T$ 为帧数、$R$ 为分辨率），WorldKV 在 400 帧时直接显存溢出（OOM），Yume 1.5 需要峰值 66.7 GiB 显存、只有 1.42 FPS。第二条路线是显式3D记忆，但内部存在效率-吞吐的根本权衡：前馈式方法（点云的 Spatia、逐像素高斯的 NeoVerse 等）重建快，却为每个像素预测稠密基元并逐帧堆积，同一空间区域被反复累积成冗余表示，渲染越来越慢（Spatia 0.24 FPS、NeoVerse 1.99 FPS，显存 32.6/36.8 GiB），且已存基元从不被修正，早期几何错误会永久保留；优化式方法（ArtiFixer）虽然表示紧凑、显存随场景范围 $O(S)$ 增长（11.7 GiB），但逐场景迭代优化引入巨大延迟（0.10 FPS），无法配合实时生成。
本文的目标是本文的目标是构建一个'随探索场景的空间范围 $O(S)$ 而非生成流长度 $O(TR)$ 增长'的紧凑3D记忆：它能以前馈速度在线读写，既能在新区域补充内容、又能回写修正旧区域的几何错误；同时这个记忆要能直接以视频扩散模型的 VAE 潜空间形式渲染出来去条件化生成器，免除 RGB 渲染后再 VAE 编码的延迟瓶颈。最终交付形态是 L3G-World：从单张输入图和相机轨迹出发，实时（单张 H100 上 9.02 FPS、480×832 分辨率）生成长达数百帧、回环一致的可探索世界，并在生成质量与长程自一致性上达到 SOTA。
与已有工作不同的是，本文的独特切入是把3D场景记忆当作'需要持续修订的持久场景表示'，而不是'不断追加的基元缓冲区'。具体有两个与既有工作本质不同的决策：其一，记忆更新是选择性的——只在当前记忆未覆盖或复现误差高的区域 spawn（生成）新高斯，对已探索区域的可见高斯做残差 refine（精炼），从而打破记忆随流长增长的宿命；其二，每个高斯额外存储一份 VAE 潜特征，使记忆可以在目标相机下直接渲染进 DiT 的潜空间，绕过'RGB 渲染→VAE 编码'这条所有先前显式3D记忆方法都绕不开的延迟路径。这两点分别切断了'记忆规模-生成时长'和'条件化-编码延迟'两个耦合。
核心方法
直觉上，本文把生成中的世界当作一个'持续被修订的场景文件'，而不是不断追加的帧堆：生成器每产出一段视频，就用它去更新和修正同一个3D记忆，再让记忆反过来条件化下一段生成。技术路线上，L3G-World 由两个模块自回归交替构成。第一个是记忆更新器 L3G-Mem：以 ZipSplat 为基础、Depth Anything 3（DA3）为几何骨干的前馈网络，输入当前窗口 $W_k=\{(I^k_i, C^k_i, z^k_i)\}_{i=1}^V$（RGB帧、相机、VAE潜码）与上一时刻记忆 $\mathcal{M}_{k-1}$，输出更新后的记忆 $\mathcal{M}_k = \mathrm{Update}(\mathcal{M}_{k-1}, W_k)$，其中每个记忆条目是（memory token, 3D高斯组）对，token 经 MLP 头解码出高斯参数。第二个是记忆条件化的自回归视频 DiT L3G-Gen：基于 Cosmos-Predict2.5-2B，把记忆中存储的 VAE 潜特征渲染到目标相机，通道拼接后作为生成条件。每个循环步为：L3G-Gen 生成下一视频块 → 该块送入 L3G-Mem 更新记忆 → 记忆渲染出潜空间条件供下一块使用。再配合 AnyFlow 式 flow-map + on-policy 少步蒸馏（学生每步生成 3 个潜帧、4 步去噪、无 CFG），得到实时变体 L3G-World Fast，在 H100 上达到 9.02 FPS。
核心创新有两点。第一是自适应高斯生成（Adaptive Spawning）+ 残差精炼（Refinement）的记忆更新机制：把记忆 $\mathcal{M}_{k-1}$ 渲染到当前相机得到 RGB 与不透明度图，低不透明度（未被覆盖）或高 RGB 误差（覆盖但复现差）的 patch 进入生成掩码 $S_k(p) = \mathbb{1}(E_k(p) > \tau_E \lor A_k(p) < \tau_\alpha)$（$\tau_E=0.05$、$\tau_\alpha=0.25$），只对掩码内的几何特征做 K-means 聚类来初始化 spawning queries，且聚类数 $N_q$ 与掩码比例线性相关（$N_{min}=1024$ 到 $N_{max}=10240$）——聚类预算只花在记忆缺失的内容上；同时对可见高斯按深度探针（$\tau_d=0.05$）与局部不透明度（$\tau_{\alpha_{local}}=1/255$）检索其 memory tokens，作为 refinement tokens 输出带门控 $g, g_z$ 的残差 $(\delta\mu, \delta s, \delta q, \delta\alpha, \delta c, \delta z)$，原地修正旧高斯。这与已有方法的本质区别在于：前馈式基线只会'追加'、优化式基线靠慢速全局优化来修正，而本文用一次前向同时完成'补新'与'改旧'。第二是 VAE 潜特征提升（VAE Latent Lifting）：用与 spawn query 相同的空间索引初始化 latent queries，cross-attend 到 $z_k$ 后与 spawn token 通道拼接解码，让每个高斯携带 16 维 VAE 潜特征，渲染时用与 RGB 完全相同的几何与 alpha 合成，直接得到 DiT 潜空间条件图，VAE 条件渲染吞吐从 2.97 FPS 提升到 943.6 FPS（Table 3）。
方法步骤详情
完整流程分八步。(1) 输入窗口构造：取 $V\in\{1,..,9\}$ 帧 RGB、相机与 VAE 潜码组成 $W_k$，DA3 从层 39/29/19 提取 1536 维几何特征 $F_k=\{F^l_k\}_{l=1}^{L=3}$，patch 大小 14。(2) 记忆读取：把 $\mathcal{M}_{k-1}$ 光栅化渲染到当前相机，得到 RGB、不透明度与深度图；逐 patch 统计 MSE 与累积 alpha 得到生成掩码 $S_k$；对每个高斯在投影中心和椭圆主轴上探针采样，判断可见性并检索其 memory tokens $T^{rf}_k$。(3) token 初始化：掩码内 $F^1_k$ 特征经 K-means 得到 spawning queries $Q_k$。(4) 联合处理：spawn 流与 refine 流拼接后过 $L=3$ 个 transformer 块，每块先 cross-attend 几何特征、再做流内 self-attention，随后一层全局 self-attention 让新旧内容交换信息；VAE 分支用相同空间索引初始化 $Q^z_k$ 并 cross-attend $z_k$。(5) 解码与写回：spawn 头把 $T^{sp}_k = \mathrm{Concat}_c(\bar{Q}_k;\bar{Q}^z_k)$ 解码为每 token 32 个新高斯及 16 维 VAE 特征，refine 头输出残差并门控更新被检索高斯，新高斯连同 token 追加进 $\mathcal{M}_k$。(6) 生成条件：L3G-Gen 渲染 $\mathcal{M}_{k-1}$ 的 VAE 潜特征与 alpha 到目标相机，按 Eq. 6 与噪声潜码通道拼接，加 RayRoPE 相机位姿编码与时间 RoPE（参考帧占 $-L_{ref},..,-1$），按相机邻近性检索最多 3 个历史潜码作参考 token。(7) 训练：Eq. 5 的总损失 $\mathcal{L} = \frac{1}{K}\sum_k(\mathcal{L}^k_{rgb} + \lambda_{lpips}\mathcal{L}^k_{lpips} + \lambda_{depth}\mathcal{L}^k_{depth} + \lambda_{vae}\mathcal{L}^k_{vae} + \lambda_{vis}\mathcal{L}^k_{vis})$，含 RGB ℓ1、LPIPS、深度 ℓ1、VAE MSE 与可见性损失，$K=5$ 个窗口自回归展开、对 $\mathcal{M}_{k-1}$ 加 stop-gradient 保证因果性；教师用 rectified flow（Eq. 8）。(8) 蒸馏：按 AnyFlow 先做 flow-map 蒸馏（LoRA rank 升到 128），再用学生自身 rollout 样本做 on-policy 分布匹配，得到 4 步无 CFG 的 L3G-World Fast。
技术新颖性
技术新颖性体现在四个层面。其一，记忆规模与系统形态：Table 1 显示本文是首个同时满足'前馈重建 + $O(S)$ 记忆 + 在线精炼'的方案（7.4 GiB、9.02 FPS），而此前前馈方法记忆为 $O(TR)$、优化方法延迟过高。其二，token 化紧凑高斯的选择性生成：继承 ZipSplat 的 token→32 高斯解码，但把 K-means 聚类预算只分配给记忆缺失区域，相比对全部几何特征聚类节省约 1.8× 高斯数（消融 41K vs 75K），这是对 token-3DGS 范式在'流式记忆'语境下的改造。其三，潜空间可渲染记忆：把 VAE 潜特征附加到每个高斯上、用同一几何做 alpha 合成渲染到潜空间，此前显式3D记忆工作均需 RGB 渲染后再 VAE 编码，本文将其彻底消除（Table 3：943.6 vs 2.97 FPS；系统层面 349–359× 提升）。其四，残差 refine 机制针对自回归误差传播这一已知顽疾：Table 4 显示去掉 refine 后闭环自一致性 PSNR 15.11→14.82、TransErr 0.278→0.314、MEt3R 0.081→0.091，说明'修订式记忆'不仅是省显存，还实质改善了生成质量。此外用 LoRA 微调冻结的 Cosmos-Predict2.5（仅训练 75.8M 参数）配合 UCPE 相机编码与 RayRoPE，是把3D记忆接入现成视频底模的务实做法。
实验结果
论文在 DL3DV 与 RealEstate10K 上用 481 帧闭环轨迹（先探索离开初始视角、再原路返回）评测，基线覆盖时间上下文（Yume 1.5、Matrix-Game 3.0）、点云记忆（GEN3C、Spatia、SPMem、Lyra 2.0、3DScenePrompt）与高斯记忆（NeoVerse），全部用 DA3 统一深度尺度，单张 A100 测速。主实验（Table 2）：DL3DV 上 L3G-World 取得 PSNR 16.00、LPIPS 0.366、FID 40.57、SC 0.820、BC 0.893 全部最佳，TransErr 0.142 最低，RotErr 3.41°次优；仅存 33K 个基元、11.88 MiB，重建 40.09 FPS、RGB 渲染 460.73 FPS、VAE 条件渲染 1086.58 FPS。RealEstate10K 上 PSNR 18.36、LPIPS 0.269、FID 36.09、SC 0.841、BC 0.923 均最佳；蒸馏版 L3G-World Fast 在 DL3DV 上拿到最佳 IQ 0.672 与 AQ 0.515。效率上：对 NeoVerse 基元少 266–417×、显存少 42–67×、RGB 渲染快 8.3–10.4×、VAE 条件吞吐高 349–359×；对最高效的 Lyra 2.0 重建快 8.9–9.5×、显存少 7.8–10.4×、VAE 渲染吞吐高 643–648×（摘要口径为最多 38.6× 更少基元、3.2× 更快重建、359× 更快 VAE 渲染）。Table 1 的 400 帧压力测试中本文 7.4 GiB、9.02 FPS（H100），WorldKV 直接 OOM、ArtiFixer 仅 0.10 FPS。消融（Table 3）：去掉自适应 spawn 高斯数 41K→75K 且 NVS 变差；去掉 refine PSNR 16.52→15.52；去掉全局自注意力 PSNR 16.52→16.36；去掉 RGB 监督 PSNR 骤降至 10.26（说明潜空间条件也依赖准确几何）；去掉 VAE lifting 使 VAE MSE 0.177→0.570、渲染 943.6→2.97 FPS。系统级消融（Table 4）：去掉记忆 refine 后闭环 PSNR 15.11→14.82、LPIPS 0.435→0.464、FID 48.09→50.63；改用 RGB 渲染+VAE 编码替代直接潜渲染则 FID 48.09→51.84。附录 Table 6 与在线 3DGS 对比：L3G-Mem 基元少 49–53×、显存少 13–14×、更新快 2.5–2.6×、VAE 渲染吞吐高 245–430×，且 DL3DV PSNR 17.52 显著高于 ReCoSplat@480×832 的 12.41。定性结果（Fig. 6/8）：闭环最终帧上时间上下文方法出现布局漂移，Spatia/NeoVerse 模糊崩坏，GEN3C 难以外推，而本文能恢复与输入视角结构、外观一致的场景。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 长程闭环自一致性（DL3DV，481帧轨迹） | PSNR | 16.00 | 最佳基线 Yume 1.5 13.71 / GEN3C 13.54 | +2.29 dB（vs 最佳基线） |
| 长程闭环自一致性（RealEstate10K） | PSNR | 18.36 | Lyra 2.0 17.30 / GEN3C 16.62 | +1.06 dB（vs 最佳基线） |
| 生成质量（DL3DV） | FID | 40.57 | GEN3C 48.65 / Yume 1.5 50.88 | 降低 16.6%（vs 最佳基线） |
| 3D记忆紧凑度（DL3DV） | 基元数量（K） | 33 | Lyra 2.0 1,273 / NeoVerse 8,766 / 3DScenePrompt 149,880 | 38.6×（vs Lyra 2.0），266×（vs NeoVerse） |
| VAE潜空间条件渲染吞吐（DL3DV） | Render FPS（VAE） | 1,086.58 | NeoVerse 3.11 / Lyra 2.0 1.69 / GEN3C 0.40 | 349×（vs NeoVerse），643×（vs Lyra 2.0） |
| 端到端世界生成速度（400帧，H100，480×832） | FPS | 9.02 | NeoVerse 1.99 / Yume 1.5 1.42 / ArtiFixer 0.10 | 4.5×–6.4×，唯一满足实时 |
| 相机可控性（DL3DV） | TransErr | 0.142 | GEN3C 0.210 / Matrix-Game 3.0 0.376 | 降低 32%（vs 最佳基线 GEN3C） |
| 在线NVS对比在线3DGS（DL3DV） | PSNR / 基元数 | 17.52 / 39K | ReCoSplat@480×832 12.41 / 11,550K | +5.11 dB 且基元少约 296× |
局限与改进
作者明确承认三点局限（附录 E）：其一，记忆面向静态场景设计，没有显式建模独立运动的物体；其二，记忆虽然随空间范围而非流长增长，但在极大规模探索下仍会持续增大，需要自适应剪枝或层次化表示；其三，refine 能渐进修正错误高斯，但长程自回归生成引入的误差仍可能传播进后续记忆更新。我的补充观察：第一，评测使用预设相机轨迹（去程+原路返回），并非用户实时键入动作的真正交互设定，'interactive'程度与开放世界游戏仍有距离；第二，spawn mask 依赖固定阈值 $\tau_E=0.05$、$\tau_\alpha=0.25$ 的 RGB 误差与不透明度，光照变化或非朗伯表面会被误判为'未覆盖'而触发冗余 spawn，反之平滑纹理区域误差低可能永远不被精炼；第三，整个几何链条建立在 DA3 的度量深度之上，单图初始化时几何不确定性大，且表 2 中 RealEstate10K 的 RotErr（1.23°/5.47°）与 MEt3R 略逊于 GEN3C/Lyra 2.0，说明相机可控性并非全面领先；第四，生成器仅用 LoRA（75.8M 参数）微调冻结底模，自一致性 PSNR 的绝对值（16–18 dB）仍不高，FID 36–40 距真实分布也有明显差距；第五，参考潜码只检索 3 个相机邻近帧，超出记忆渲染表达能力的视角（大遮挡、镜面反射）一致性可能退化。
独立分析的弱点
独立分析出五个具体弱点。其一，静态世界假设在实际交互中会立刻暴露：玩家推开门、移动物体后，持久记忆仍用旧几何条件化生成，产生'幽灵物体'——改进方向是给高斯加时间戳/置信度衰减，或拆分动态层，用生成块与记忆渲染的差异检测变化区域并选择性重置。其二，阈值式 spawn mask 对外观变化脆弱：昼夜交替、季节或天气变化会使同一视角的 RGB 误差持续超阈值，反复 spawn 冗余高斯——改进方向是用学习到的不确定性或特征距离（如 VAE 潜特征余弦相似度，其消融显示比 RGB MSE 更稳）替代固定阈值。其三，无剪枝机制：城市级长探索下记忆仍会膨胀，论文自己承认需要自适应剪枝或分层/LOD 记忆结构，可结合可见性统计与 opacity 合并冗余高斯。其四，误差传播缺乏防御：如果某个生成块把错误结构写回记忆，refine 只能渐进修正甚至可能强化错误（模型自吃自尾的反馈回路），改进方向是在记忆写回时按生成器置信度加权、或定期与初始输入帧做全局一致性校验回滚。其五，评测轨迹偏理想化：真实探索是非平滑路径，回访时视角差异远大于'原路返回'，届时纯渲染条件的局限会显现——建议增加随机游走轨迹与跨场景泛化基准；另外 Table 2 显示 RealEstate10K 上 RotErr/MEt3R 落后于 GEN3C 与 Lyra 2.0，说明直接潜渲染条件在精确姿态遵循上还有提升空间，可探索把渲染深度/法线也拼入条件。
未来方向
作者提出的方向包括：把持久记忆扩展为能解耦动态内容与静态几何的形式，以支持更通用的交互环境；引入自适应剪枝或层次化记忆表示以提升超大规模探索下的可扩展性。基于本文成果可自然延伸的方向：其一，接入真正的动作接口（键盘、文本指令）实现'改变世界'式交互，让记忆支持可编辑的对象级语义层（如结合实例结构化 token 的 C3G 思路）；其二，与在线流式视频输入结合，构建'实时重建+生成'一体化系统，面向闭环自动驾驶仿真与机器人训练（类比 Omnidreams 的定位）；其三，把直接潜渲染条件推广为多模态条件（深度、法线、语义特征图），进一步压 RotErr 与 MEt3R；其四，用更大或更高效的底模（如 LTX-2 类模型）替换 Cosmos-Predict2.5，配合更激进蒸馏把 9 FPS 推向交互级 30 FPS；其五，在理论层面研究'潜空间渲染条件'与'像素级条件'在分布匹配训练下的等价性与信息瓶颈，为潜空间3D记忆建立更普适的设计准则；其六，探索多智能体共享同一持久记忆的场景（多人游戏、数字孪生），记忆的紧凑性 ($O(S)$) 在此场景下是天然优势。
复现评估
复现评估：论文未在正文中给出开源代码链接，仅提供项目页（https://cvlab-kaist.github.io/L3G-World/），截至阅读时尚无法确认代码是否放出。有利因素是几乎所有依赖均开源：L3G-Mem 基于 ZipSplat 与 Depth Anything 3（几何骨干，层 39/29/19、1536 维特征），L3G-Gen 基于 NVIDIA Cosmos-Predict2.5-2B，蒸馏遵循 AnyFlow，训练数据 DL3DV 与 RealEstate10K 公开，评测基线（GEN3C、Spatia、SPMem、Lyra 2.0、NeoVerse 等）均有官方实现。算力门槛适中：训练在 4×A100 上进行（batch size 8/16），L3G-Mem 94K 步、1.6B 可训练参数；L3G-Gen 教师仅 3.3K 步 LoRA（rank 16，75.8M 参数）；蒸馏阶段 flow-map 1.0K 步 + on-policy 4.6K 步（LoRA rank 128，210.3M 参数），估计数天量级 A100 时间，学术实验室可负担。主要难点在工程：(1) 记忆读写涉及高斯光栅化探针（深度/不透明度阈值检索）、K-means 初始化、双流 transformer 与门控残差写回等大量细节；(2) K=5 窗口自回归训练加 stop-gradient 的实现容易出错；(3) 学生模型的 on-policy 蒸馏管线需要同时维护冻结教师、可训练教师副本与学生 rollout；(4) 若要复现完整对比实验，还需按论文方式为 8 个基线做 DA3 深度对齐并搭建 481 帧闭环评测基准。综合判断：若无官方代码，忠实复现约需 2–4 周工程量；若代码开源，直接训练复现的难度为中等。
论文图表
概览图：左侧展示从单张输入图+文本提示出发，L3G-Mem 维护潜空间3D高斯记忆；右侧对比显示先前方法需 RGB 渲染后经 VAE 编码（慢），本文直接潜空间渲染（快）；下方对比稠密累积（冗余、错误持续、OOM）与本文的自适应精炼；底部标注三大卖点：可扩展记忆、实时生成、可选3D高斯优化。
一图总览论文的两大核心主张（潜空间直接渲染、选择性记忆更新）及其效率收益，是快速把握全文贡献的入口。
与专门在线3DGS方法（ReCoSplat、OF3GS）对比：L3G-Mem 在 480×832 下基元少 49–53×、显存少 13–14×、更新快 2.5–2.6×、VAE 渲染吞吐高 245–430×，DL3DV PSNR 17.52 远超 ReCoSplat@480×832 的 12.41，RealEstate10K 上 19.68；ReCoSplat 低分辨率版本保真更高但吞吐不满足实时。
回应'为什么不用现成在线3DGS做记忆'的质疑，界定本文记忆的定位：不是追求重建SOTA，而是在严格吞吐约束下保住足够的空间与潜信息保真度。