通过稀疏扩散和3D渲染实现静态场景的高效相机控制视频生成 Efficient Camera-Controlled Video Generation of Static Scenes via Sparse Diffusion and 3D Rendering

SRENDER的方法步骤如下：1）自适应关键帧选择：输入完整相机轨迹和参考图像，Transformer模型预测最优关键帧数量（在4-35之间），然后沿轨迹均匀采样关键帧位姿。2）关键帧扩散生成：使用基于扩散强制的历史引导视频扩散模型，以输入图像和关键帧相机位姿为条件，生成稀疏关键帧。模型采用8帧上下文窗口，对于超过8个关键帧的情况，先生成8个覆盖整个轨迹的关键帧，再用已生成关键帧作为条件生成剩余关键帧。3）3D重建：将生成的关键帧输入预训练的AnySplat模型，获得3D高斯溅射表示。由于AnySplat预测的位姿和输入相机轨迹在不同坐标系中，需要通过最小二乘仿射变换对齐。4）视频渲染：使用3DGS渲染器在每个相机位姿处评估，生成密集视频。对于长视频，采用10秒的时间分块策略，每个分块独立重建3D场景，通过共享关键帧对齐相邻分块。

SRENDER的技术新颖性体现在多个方面：首先，它是第一个将稀疏关键帧生成与确定性3D重建渲染相结合的视频生成框架，这种混合生成-确定方法在视频生成领域是全新的。其次，自适应关键帧密度预测器是创新的，它将关键帧数量预测建模为学习问题，从相机轨迹和场景外观中直接预测最优关键帧数量，而非使用固定密度。第三，渐进式训练策略解决了在极低帧率下训练扩散模型的不稳定性问题：先在高帧率视频上训练，然后逐渐降低有效帧率直到匹配推理时的稀疏关键帧间距。第四，时间分块策略解决了长轨迹中关键帧漂移问题，通过将关键帧分成固定长度的时间块（10秒），每个块独立重建3D场景，避免了不一致观测导致的模糊重建。

从独立分析的角度，SRENDER存在几个值得改进的弱点。首先，自适应关键帧选择模型虽然能预测关键帧数量，但采用均匀采样策略确定关键帧位置，这可能不是最优的。改进方向是开发能够预测关键帧位置（而不仅仅是数量）的模型，例如在相机运动变化剧烈的地方自动增加关键帧密度。其次，时间分块策略使用固定10秒的块长度，这可能导致块边界处的不连续性。改进方向是开发自适应分块策略，根据场景复杂度和关键帧一致性动态调整块长度。第三，AnySplat作为3D重建模型是预训练的，没有针对SRENDER的特定需求进行微调。改进方向是端到端训练整个流水线，优化关键帧生成和3D重建的联合目标。第四，当前方法在推理时需要运行完整的扩散模型来生成关键帧，对于需要极低延迟的应用仍然不够快。改进方向是探索更高效的关键帧生成方法，如一致性模型或蒸馏技术。

作者提出和基于成果可延伸的未来研究方向包括：1）扩展到动态场景：随着4D重建技术的成熟（如Megasam、Shape of Motion等），SRENDER的核心思想（稀疏视图生成、自适应关键帧、3D渲染）可以直接迁移到动态环境，这是最重要的扩展方向。2）改进3D重建质量：随着3D表示和重建技术的进步，SRENDER的视觉保真度将相应提高，特别是高频细节的恢复。3）更高效的扩散推理：任何扩散推理的改进都能直接降低稀疏关键帧的生成成本，而方法的整体效率提升来自根本不使用神经网络生成中间帧。4）更长视频生成：当前方法在超过10秒的轨迹中会出现关键帧漂移，未来可以探索更好的长程一致性维护机制。5）多模态条件：扩展到文本、音频等多模态条件控制，增加方法的实用性。

SRENDER的复现评估如下：开源情况方面，论文引用了多个开源组件，包括History-Guided Video Diffusion模型（GitHub仓库提供）、AnySplat模型、VGGT模型等，但论文本身没有明确说明是否开源完整代码。数据集方面，使用了两个公开数据集：RealEstate10k和DL3DV，数据获取相对容易。算力需求方面，训练需要显著的计算资源：关键帧密度预测器在单个NVIDIA GH200 Superchip上训练5小时；关键帧生成模型在8个NVIDIA GH200 Superchip上训练6天。推理相对高效，生成20秒视频仅需16秒左右。复现难度中等，主要挑战包括：1）需要训练或获取多个预训练模型（关键帧生成、3D重建）；2）需要处理相机位姿对齐和坐标系变换；3）时间分块策略的实现需要仔细处理块间过渡。总体而言，对于有扩散模型和3D重建经验的研究团队，复现是可行的，但需要相当的工程努力。