NeoVerse：基于野外单目视频增强的4D世界模型 NeoVerse: Enhancing 4D World Model with in-the-wild Monocular Videos

NeoVerse的完整工作流程包括以下步骤：重建训练阶段，(1) 对输入单目视频，使用预训练的DINOv2提取帧特征，将特征与相机token和注册token拼接后输入交替注意力块获得帧特征；(2) 通过双向运动编码分支，复制切片帧特征分别获得前向运动特征F^fwd_t和后向运动特征F^bwd_t，这些特征用于预测双向线性速度和角速度；(3) 预测4D高斯的完整属性：3D位置mu_i通过将预测深度反投影到3D空间获得，静态属性（alpha_i, r_i, s_i, sh_i, tau_i）从帧特征预测，动态属性（v^+_i, v^-_i, omega^+_i, omega^-_i）从双向运动特征预测；(4) 计算多任务损失L_recon = L_rgb + lambda_1 L_camera + lambda_2 L_depth + lambda_3 L_motion + lambda_4 L_regular，其中L_motion对预测的双向速度进行监督，L_regular防止高斯变得过度透明。生成训练阶段，(5) 从长视频输入的N帧中采样K个关键帧（K远小于N），仅使用K个关键帧进行重建但从所有N帧渲染，因为渲染过程相比网络计算极其高效；(6) 对非关键帧查询时间戳t_q，通过双向速度将最近关键帧高斯i在时间t传输到t_q：位置mu_i(t_q) = mu_i + v^+_i|t_q-t|（t_q大于等于t）或mu_i + v^-_i|t_q-t|（t_q小于t），旋转r_i(t_q) = r_i乘以phi(omega^+_i|t_q-t|)（t_q大于等于t）或r_i乘以phi(omega^-_i|t_q-t|)（t_q小于t），不透明度alpha_i(t_q) = alpha_i exp(-gamma乘以d(t_q,t)^(1-tau_i))；(7) 模拟退化渲染：对预测的相机轨迹应用随机变换获得新轨迹，使用深度识别从新相机姿态不可见的高斯并剔除，渲染剩余高斯回原始视角；在新轨迹渲染深度图并应用平均滤波，根据平均滤波后的深度值调整每个高斯的中心位置；(8) 使用退化的RGB渲染、深度图、掩码和Plücker嵌入作为条件，原始视频作为目标，训练生成模型f_theta，损失为L_gen = E_{x1,x0,c_render,c_text,t}||f_theta(x_t, t, c_render, c_text) - v_t||_2^2。推理阶段，(9) 给定单目视频，前馈模型输出4DGS和每帧相机参数；(10) 可选地进行全局运动跟踪：计算每个高斯的可见性加权最大速度幅值m_i，根据阈值eta将高斯分为静态集S和动态集D；(11) 对静态部分跨所有帧聚合，对动态部分仅从附近几帧聚合；(12) 根据需要将高斯插值到中间时间戳（如慢动作和子弹时间镜头）；(13) 将聚合或插值后的高斯渲染到任意期望的新轨迹；(14) 将渲染结果和其他条件发送到生成模型生成视频。

NeoVerse的技术新颖性体现在多个方面。首先，双向运动建模是4D高斯Splatting领域的首次尝试，与4DGT的单向时间建模策略形成鲜明对比，这种双向设计使得高效的时间插值和稀疏关键帧重建成为可能，显著提升了训练效率（实验显示使用11-21个关键帧即可达到与全帧相当的性能）。其次，在线退化模拟是基于第一性原理的创新设计，与ViewCrafter等依赖多视角数据直接获取退化渲染对的方法不同，NeoVerse的三种退化模拟技术（可见性高斯剔除、平均几何滤波、扭曲模拟）完全基于几何关系和深度学习原理，能够从单目视频自动生成训练对，这使得利用大规模野外单目视频成为可能。再次，全局运动跟踪与分离聚合策略是对传统4DGS表示的扩展，通过计算可见性加权的最大速度幅值来识别动态实例，避免了基于瞬时速度可能误判部分静态状态的动态物体的问题。最后，训练策略上的创新（仅训练控制分支而冻结生成模型）使得NeoVerse能够利用强大的蒸馏LoRA加速生成过程，这种设计既提升了训练效率，又使模型能够兼容不同的生成模型backbone。综合来看，NeoVerse的新颖性不在于某个单一模块的创新，而在于整体架构的可扩展性设计，这种端到端的可扩展性在4D世界建模领域是前所未有的。

基于对论文的深入分析，NeoVerse存在以下独立分析的弱点及其改进方向：(1) 线性运动假设的局限性：论文假设相邻关键帧之间的运动近似线性（Eq. 3-4），这在短时间间隔内是合理的近似，但对于长时间跨度的剧烈运动、非线性运动（如弹性物体的形变）或复杂物理交互场景可能不够准确。改进方向可以考虑引入更高阶的运动模型（如二次插值、样条插值）或学习运动场的非线性表示，同时在训练中加入更剧烈运动的监督信号。(2) 全局运动跟踪阈值eta的敏感性：论文使用固定阈值eta将高斯分为静态集和动态集，这个阈值的选择可能对不同的场景、相机运动模式和物体运动速度敏感，固定阈值可能导致某些场景下动态物体被误判为静态（当运动较慢时）或静态物体被误判为动态（当相机运动较快时）。改进方向可以考虑自适应阈值策略，如根据场景的统计特性（速度分布、深度分布）动态调整eta，或者使用可学习的分类器来替代固定阈值。(3) 复杂场景的生成质量限制：虽然NeoVerse在生成质量上优于TrajectoryCrafter等重建加生成混合方法，但在某些复杂场景（如非常挑战的人体活动、复杂的遮挡关系、极端的光照变化）中，生成质量仍有提升空间，可能表现为ghosting patterns或模糊输出。改进方向可以增强退化模拟的多样性，引入更多类型的退化模式（如光照变化、遮挡模糊、运动模糊），或者使用更强大的生成模型backbone（如更大的扩散模型或基于transformer的生成模型）。(4) 对2D卡通等非3D数据的无法处理：NeoVerse需要数据具有正确的底层3D信息，无法应用于2D卡通、插画等非3D数据。改进方向可以考虑引入2D到3D的提升模块，或者针对非3D数据设计专门的生成策略，如使用2D先验和伪3D几何的结合。(5) 大规模户外场景的泛化能力：论文主要在室内和小规模场景上评估，在大规模户外场景（如城市街景、自然景观）上的性能尚未充分验证，这些场景可能具有不同的尺度、深度分布和运动模式。改进方向可以在训练数据中加入更多大规模户外场景，或者设计尺度不变和场景自适应的特征表示。

作者提出的未来工作方向包括：(1) 扩展更多数据，作者提到由于训练资源的限制，整理的数据集（100万片段）并不是很大，未来的工作会扩展更多数据；(2) 开源代码，作者提到会公开源代码以通过廉价和多样化的野外单目视频来去中心化通用4D世界模型。基于论文的成果和局限性，可以延伸以下未来研究方向：(1) 更强大的运动建模：当前的双向运动建模仍然基于线性插值，未来可以探索更复杂的运动表示，如基于物理的运动模型、学习型运动场或分层运动表示（全局相机运动加局部物体运动），这将提升对复杂动态场景的建模能力。(2) 多模态扩展：当前NeoVerse主要处理视觉信息，未来可以扩展到多模态场景建模，如结合音频、文本、语义信息来增强4D世界表示，这将支持更丰富的应用如音频驱动动画、语义编辑等。(3) 实时交互：当前的推理速度已经相当快（21秒生成81帧），但距离真正的实时交互还有差距，未来可以通过模型压缩、蒸馏、量化等技术进一步提升推理速度，实现实时交互式4D场景探索和生成。(4) 更精细的物理感知：当前的NeoVerse主要关注几何和外观的一致性，对物理属性的建模（如重力、碰撞、材料属性）有限，未来可以引入物理感知模块，实现更真实的动态场景模拟和生成。(5) 可控生成与编辑：虽然NeoVerse已经支持多种下游应用，但在精细可控生成方面还有提升空间，如基于文本的精确控制、基于草图的编辑、基于属性的操作等，这将使NeoVerse更适合创意内容生产。(6) 评估基准与标准化：4D世界建模领域缺乏统一的评估基准，未来可以建立更全面的评估数据集和指标体系，包括几何精度、生成质量、效率、泛化能力等多个维度，这将促进该领域的健康发展。

NeoVerse的复现难度中等。论文提到作者将公开源代码，这为复现提供了良好的基础。论文详细描述了实现细节和训练设置，包括：(1) 训练数据：论文整理了18个公开数据集，包括Arkitscenes、DL3DV、PointOdyssey、Kubric、Waymo、SpatialVID、GFIE等，以及自收集的大规模单目视频数据集（超过100万片段）。这些数据集大多是公开可获取的，但自收集的数据集可能无法完全复现。(2) 训练设置：重建模型在32张A800 GPU上训练150K迭代，生成模型训练50K迭代，使用余弦学习率调度，峰值学习率重建模型为1乘10的负4次方，生成模型为1乘10的负5次方。这些设置描述清晰，复现者可以直接采用。(3) 网络架构：论文详细描述了双向运动编码分支、高斯属性预测头、控制分支等模块的设计，包括交替注意力块、DPT头、卷积层等具体细节，这些信息足以复现网络架构。(4) 评估协议：论文详细描述了在各个基准上的评估设置，包括VRNeRF（6个场景，随机采样16视图作为输入，8个新视角作为测试）、Scannet++（50个场景，32视图输入，16新视角测试）、ADT（4个场景，64帧clip，32帧输入stride 2）、DyCheck（5个场景，64帧，32帧输入）等，这些设置描述清晰可复现。然而，复现仍然面临一些挑战：(1) 计算资源要求高：需要32张A800 GPU进行训练，这对大多数研究机构来说是相当昂贵的资源要求。(2) 训练数据规模大：超过100万片段的训练数据，存储和预处理都需要大量资源。(3) 某些数据集可能难以获取：论文提到的一些数据集可能不是完全公开的，或者需要特定的申请流程。(4) 细节可能存在缺失：论文作为会议论文通常有篇幅限制，某些实现细节（如具体的数据预处理流程、超参数调优细节、训练稳定性处理等）可能不够详细。总体而言，NeoVerse的复现难度在可接受范围内，有代码公开的情况下，具备足够计算资源的研究者应该能够复现主要结果。