OmniRoam：通过长视野全景视频生成实现世界漫游 OmniRoam: World Wandering via Long-Horizon Panoramic Video Generation
基于全景表示和预览-精炼两阶段设计的可控长视野全景视频生成框架
前置知识
全景视频与等距柱状投影（ERP）
全景视频是一种能够覆盖360度水平视野的视频表示形式，通常采用等距柱状投影将球面图像映射到2D平面。与透视投影相比，ERP在水平方向上具有循环移位特性，相机旋转对应于像素的循环移位而非透视视图中的几何遮挡。这种表示方式天然提供了全局场景覆盖和空间记忆能力，每帧都保留了场景的全局上下文，为保持长时期空间和时间信息提供了自然且显式的机制。
本文的核心创新正是利用全景表示的全局特性来克服透视视频在长视野场景建模时的局限性，理解ERP的几何特性对于领会作者为何选择全景表示而非透视视频至关重要。
Rectified Flow 扩散框架
Rectified Flow是一种新兴的扩散模型训练范式，其核心思想是通过将数据分布向噪声分布的直线轨迹进行拉直来简化采样过程。在训练时，前向过程在数据$z_v$和噪声$\epsilon \sim \mathcal{N}(0, I)$之间进行线性插值得到$z_t = t z_v + (1-t)\epsilon$，模型学习预测速度场$v_\Theta$。损失函数$\mathcal{L}_{\text{preview}} = \mathbb{E}_{t,z_0,\epsilon}\|v_\Theta([z_{\text{in}},z_t]_{\text{frame}}, t, c) - (z_v - \epsilon)\|_2^2$只在目标潜在变量上计算。
本文的预览和精炼阶段都基于Rectified Flow框架，理解这一机制有助于明白模型如何实现从粗到细的渐进生成策略。
3D Gaussian Splatting（3DGS）
3D Gaussian Splatting是一种实时辐射场渲染方法，通过在3D空间中放置各向异性的高斯椭球体来表示场景。每个高斯具有位置、旋转、缩放、不透明度和颜色等属性，渲染时通过将高斯投影到图像平面并进行alpha blending生成最终图像。与NeRF等隐式表示相比，3DGS提供了显式的场景表示，支持实时渲染和场景编辑。本文利用从生成的全景视频中采样的多视角透视视图来重建3DGS场景。
本文将生成的全景视频用于3DGS重建，展示了全景视频生成作为3D场景表示的潜力，理解3DGS有助于评估本文方法的下游应用价值。
轨迹控制与Flow-Scale分解
轨迹控制是指在视频生成过程中显式引导相机运动的能力。本文提出将相机轨迹分解为两个正交分量：flow（流）表示每帧的归一化3D运动方向$D = \{d_k\}_{k=1}^f$，其中$\|d_k\| = 1$；scale（尺度）表示每步相机位移的全局标量$s \in \mathbb{R}^+$，用于量化播放速度。flow通过零初始化的相机编码器$E_c$嵌入为$z_d = E_c(D)$，scale通过对数空间投影嵌入为$z_s = \phi(\log(s))$。这种分解基于两个假设：均匀速度和固定朝向。
Flow-Scale分解是本文的技术核心，理解这一机制有助于明白作者如何实现灵活的相机控制，以及为什么这种分解能简化精炼阶段的操作。
研究动机
现有视频生成方法主要基于透视视频，这种表示方式在长视野场景建模时存在根本性局限性。透视视频的视场角有限（通常水平约90-120度），无法提供完整的场景覆盖，导致在进行大范围相机运动时难以保持全局场景一致性。具体表现为：当相机在场景中移动较大距离时，早期帧的视觉信息会逐渐丢失，需要依赖记忆机制来累积上下文，这容易引入误差累积和时序漂移。现有的自回归世界模型（如Stable Video Diffusion、CogVideoX、Hunyuan-Video等）虽然能够生成长视频，但在处理大相机运动时经常出现质量退化或结构不一致。例如，在生成81帧以上的视频时，视角从起始位置移动后往往无法准确返回原始视图，导致场景的闭环一致性严重下降。此外，透视视频的视场限制使得模型难以在单帧中建立全局场景结构，这对于场景级的理解和建模构成了障碍。
本文的目标是本文的目标是构建一个可控的全景视频生成框架，实现长视野场景漫游。具体来说，作者希望生成沿着用户指定相机轨迹漫游的360度全景视频，能够保持从起始位置出发、经过长时间探索后返回到视觉状态相近的初始视图。框架需要支持灵活的相机控制，允许用户指定运动轨迹（如前进、后退、左转、右转、S型曲线、闭环等），并在视觉质量、轨迹可控性和长视野一致性方面超越现有方法。此外，框架还应该支持两阶段生成策略：先快速生成预览版本以高效导航大规模场景布局，再生成高质量精炼版本以提供沉浸式探索体验。
与已有工作不同的是，本文的独特切入角度在于将全景视觉作为大尺度场景生成的基础，而非简单地将全景视为透视图像的直接扩展。作者认为有效的场景建模受益于全局到局部的设计：先通过全景表示建立全局场景结构，然后通过增加空间和时间分辨率逐步细化局部细节，从而生成既高保真又全局一致的场景表示。这与现有全景视频生成方法（如DynamicScaler、PanoDiT、TiP4GEN、VideoPanda等）不同，后者往往只是将透视生成架构适配到全景数据，没有充分利用全景表示的优势。本文的另一个创新在于提出了循环一致性这一新的评估指标，用于量化长视野视频生成中的全局空间一致性，填补了现有指标（如FVD、FID）无法捕获扩展时间上的全局结构一致性的空白。
核心方法
OmniRoam采用全局到局部的两阶段生成策略。第一阶段是预览阶段，根据用户提供的输入图像或视频以及指定的相机轨迹，生成加速播放的中分辨率全景视频，提供场景的快速概览。第二阶段是精炼阶段，对预览视频进行时间扩展和空间上采样，生成最终的高分辨率、长时间范围的全景视频，实现高保真的世界漫游。两个阶段都基于预训练的视频生成模型Wan2.1-1.3B进行微调，采用Diffusion Transformer架构。整个框架的关键创新在于引入了分解的轨迹控制、可见性掩码条件化以及旋转不变的全景坐标系设计。此外，框架还支持实时自回归预览和3DGS重建等扩展应用。
本文的核心创新点包括三个方面。首先，作者引入了Flow-Scale轨迹分解策略，将相机运动控制分解为表示每帧归一化运动方向的flow和表示全局位移步长的scale。这种分离使得速度调整变得直观，并提供了细粒度的控制：scale全局调制所有帧的运动幅度，而flow指定每帧的方向信息。更重要的是，这种分解简化了精炼阶段的操作，后者只需调整单个参数（即scale）而无需引入轨迹向量。其次，作者提出了可见性掩码条件化机制，在精炼阶段将长时间视频分割成多个片段，通过二进制可见性掩码$m^{(i)}_j = \begin{cases}1 & \text{if } j_0^{(i)} \le j < j_0^{(i)} + w \\ 0 & \text{otherwise}\end{cases}$选择哪些预览帧作为生成条件，从而实现分段精炼。最后，作者设计了旋转不变的全景坐标系，通过消除相机自旋转严格通过相对于ERP中心的平移来定义轨迹，简化了生成空间。
方法步骤详情
OmniRoam的生成流程包含两个主要阶段。在预览阶段，输入包括全景图像或视频$V_{\text{in}} \in \mathbb{R}^{f \times 3 \times H \times W}$和相机轨迹$D = \{d_k\}_{k=1}^f$以及尺度$s$。首先，3D变分自编码器$E_v$将输入和目标视频编码为潜在表示$z_{\text{in}} = E_v(V_{\text{in}})$和$z_v = E_v(V_v)$。然后，flow通过相机编码器嵌入为$z_d = E_c(D) \in \mathbb{R}^{f' \times c_d}$，scale通过投影嵌入为$z_s = \phi(\log(s))$。接着，源和目标潜在变量沿帧维度拼接，条件$\{z_d, \tilde{z}_s\}$注入到transformer块中。最后，模型通过Rectified Flow目标训练，生成81帧的480乘以960分辨率全景预览视频。在精炼阶段，预览视频$V_p \in \mathbb{R}^{f \times 3 \times H \times W}$在尺度$s$下生成，目标尺度为$s'$（如$s'=1.0$表示正常播放）。首先计算需要的时间扩展因子$n = s'/s$，然后将视频分成$n$个片段。对于第$i$个片段，构建可见性掩码$m^{(i)}$选择对应的预览帧作为条件，掩码下采样后与预览潜在变量$z_p$进行逐元素相乘得到$\tilde{z}^{(i)}_p = z_p \odot m'^{(i)}$。最后，将目标潜在变量$z'_v$与掩码条件拼接，通过精炼模型生成最终的高分辨率视频片段，拼接后得到641帧的720乘以1440分辨率全景视频。
技术新颖性
OmniRoam的技术新颖性体现在多个方面。在表示层面，本文首次系统性地论证了全景表示在长视野场景建模中的优势，通过消融实验证明全景视频在视觉质量、轨迹可控性和循环一致性方面均显著优于透视视频。在设计层面，本文提出的全局到局部的预览-精炼框架与直接的自回归生成形成对比，实验显示前者的循环一致性得分几乎是后者的两倍（1.96 vs 0.89），表明更强的长时空间相干性。在评估层面，本文提出的循环一致性指标$C_{\text{loop}} = \frac{1 - S_2}{1 - S_1}$（其中$S_1$是闭合得分，$S_2$是中间得分）填补了长视野视频生成评估的空白，能够量化生成视频在完成闭环轨迹后返回初始视觉状态的能力。在应用层面，本文展示了从生成的全景视频中提取多视角视图用于3DGS重建的可行性，证明了全景视频生成可以作为3D场景表示的有效途径。
实验结果
实验结果显示OmniRoam在多个评估维度上显著优于基线方法。在视觉质量方面，在480p分辨率下，本文方法的FAED为5.27，优于Matrix-3D的8.66和Imagine360的23.35；SSIM为0.70，优于Matrix-3D的0.63和Imagine360的0.33；LPIPS为0.18，优于Matrix-3D的0.37和Imagine360的0.61。在720p分辨率下，本文方法的FAED为5.07，优于Matrix-3D的9.76；SSIM与Matrix-3D相当（0.66 vs 0.66）；LPIPS为0.33，与Matrix-3D相近。在轨迹可控性方面，通过PSNR指标评估对指定轨迹的遵循程度，本文方法在480p下三个时间窗口的PSNR分别为23.06、20.69、19.87，均显著优于Matrix-3D的19.05、17.35、17.04。在720p长视频（641帧）上，本文方法的PSNR在frames 610-615和630-635分别为15.55和15.63，展示了在长时间范围内保持轨迹控制的能力。在循环一致性方面，本文方法在480p和720p下分别达到2.34和1.96，显著优于Matrix-3D的1.38和1.41。消融实验表明，将全景视频替换为透视视频会导致循环一致性从1.96下降到1.42（641帧），验证了全景表示的重要性；将全局到局部策略替换为直接自回归生成会导致循环一致性从1.96下降到0.89（641帧），验证了预览-精炼框架的有效性。实时预览扩展方面，通过self-forcing蒸馏的轻量级模型能够在7秒内生成81帧全景预览，远快于原始预览模型的约5分钟，精炼后仍能达到可接受的质量。3DGS重建应用展示了从生成的641帧视频中均匀采样100帧，每帧提取5个120度视场的透视视图，用于重建具有一致结构的3D场景。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 全景视频生成（480p） | FAED | 5.27 | Matrix-3D: 8.66, Imagine360: 23.35 | 相比Matrix-3D提升39.1%，相比Imagine360提升77.4% |
| 全景视频生成（480p） | SSIM | 0.70 | Matrix-3D: 0.63, Imagine360: 0.33 | 相比Matrix-3D提升11.1%，相比Imagine360提升112.1% |
| 全景视频生成（480p） | LPIPS | 0.18 | Matrix-3D: 0.37, Imagine360: 0.61 | 相比Matrix-3D改善51.4%，相比Imagine360改善70.5% |
| 轨迹可控性（480p，PSNR'25） | PSNR | 23.06 | Matrix-3D: 19.05 | 提升21.0% |
| 循环一致性（480p） | Loop Consistency | 2.34 | Matrix-3D: 1.38 | 提升69.6% |
| 循环一致性（720p长视频） | Loop Consistency | 1.96 | Matrix-3D: 1.41 | 提升39.0% |
局限与改进
作者承认本文方法存在几个局限性。首先，轨迹控制基于两个关键假设：均匀速度（相机沿轨迹以几乎恒定的速度移动）和固定朝向（相机朝向在整个序列中保持不变）。这些假设在数据整理期间强制执行，但限制了生成轨迹的多样性。其次，计算开销较高，预览阶段生成81帧视频需要约5分钟，虽然通过self-forcing蒸馏的实时预览模型将时间缩短到7秒，但这需要额外的训练步骤。第三，3DGS重建应用展示了定性结果，但没有提供定量的评估指标（如重建误差、视图一致性得分等），难以客观评估重建质量。基于我的观察，还有一些额外局限性：真实世界手持全景视频的轨迹估计依赖COLMAP，这可能引入噪声和误差；模型在合成数据上训练时，生成的轨迹是物理可行的但不一定涵盖所有真实世界的运动模式；框架主要关注静态场景漫游，对动态物体和交互场景的处理能力尚未探索。
独立分析的弱点
基于独立分析，本文方法存在几个可以改进的弱点。首先，轨迹控制的均匀速度和固定朝向假设过于严格，限制了生成轨迹的多样性。改进方向可以是引入变速轨迹控制（如加速、减速）和可变朝向（如用户自由控制视角），这需要设计更灵活的条件化机制和相应的数据采集协议。其次，实时预览模型虽然将生成时间从5分钟缩短到7秒，但仍需要额外的蒸馏训练步骤，且模型架构可能不适合移动端部署。改进方向可以是设计轻量级的专用架构，或者探索更高效的采样方法（如一致性蒸馏）。第三，3DGS重建应用缺乏定量评估，难以客观判断生成全景视频作为3D表示的有效性。改进方向可以是引入标准的3D重建评估指标（如PSNR、SSIM、LPIPS在未见视图上的表现）并与真实3DGS场景进行比较。第四，真实世界视频的轨迹估计依赖COLMAP，可能引入噪声。改进方向可以是探索端到端的轨迹学习，或者使用更鲁棒的运动估计方法。第五，方法主要针对静态场景，对动态物体的处理能力有限。改进方向可以是在训练数据中包含动态元素，或者在生成过程中引入物体级别的控制。
未来方向
作者提出的未来工作方向包括：探索更多样化的轨迹类型，以支持更丰富的场景漫游体验；开发轻量化架构以支持实时应用；定量评估3D重建质量以验证全景视频生成作为3D表示的潜力。基于本文的成果，可以延伸出多个有趣的研究方向。一是扩展到全景视频编辑应用，如从生成的全景视频中提取特定区域进行修改，或者在漫游过程中动态插入、删除物体。二是研究音频场景建模，将声音与全景视频生成结合，实现更沉浸式的世界漫游体验。三是探索多用户协同漫游，允许不同用户在同一个生成的全景场景中独立探索，并实现用户间的视觉共享。四是研究动态场景和交互式漫游，如支持用户与场景中的虚拟物体进行交互，或者在漫游过程中根据用户行为动态调整场景布局。五是探索跨模态控制，如通过文本描述指定场景漫游路径，或者通过语音指令控制相机运动。六是研究更高效的长视频生成方法，如结合状态空间模型或线性注意力机制来降低计算复杂度。
复现评估
本文的复现性评估如下。代码方面，作者在GitHub上提供了代码仓库，但论文撰写时仓库可能尚未完全发布，需要确认是否包含完整的训练和推理代码。数据方面，作者构建了一个混合数据集，包含约2000个真实手持全景视频（约500万帧）和1000个3DGS合成场景。真实数据涵盖酒店、学校和户外景观等多样化环境，合成数据从InteriorGS数据集渲染，包含精确的相机轨迹。作者表示将发布全景视频数据集和相机轨迹，这将大大促进复现工作。算力方面，预览模型和精炼模型都基于Wan2.1-1.3B（14亿参数）进行微调，训练预览模型需要约184k步（120k步真实数据加64k步合成数据），训练精炼模型需要120k步，批大小均为64。这种规模的训练需要多GPU集群支持（如8乘以A100或类似配置），推理时单个720p视频生成可能需要数分钟，实时预览模型约7秒。整体复现难度中等偏高，主要挑战在于数据采集和算力需求。
论文图表
该图展示了基于实时预览器的两阶段生成结果。视频在480p分辨率下实时生成，随后精炼到720p。图中显示了生成的帧序列，展示了实时预览模型能够保持整体场景结构并生成合理的结果，精炼后进一步提升质量。
这张图展示了论文的一个关键扩展应用，证明了实时预览的可行性。从图中可以看到，即使使用蒸馏的轻量级模型，生成的预览视频仍能保持合理的场景结构，这为实际应用（如交互式场景探索）提供了可能性。
该图展示了闭环轨迹下的长视频生成结果，呈现641帧生成视频序列，从第一帧到最后一帧均匀采样显示。视频以闭环方式遍历场景，最后几帧与初始帧非常相似，展示了强大的长时一致性。
这张图是论文最有力的视觉证据之一，它直观地展示了OmniRoam在长视野一致性方面的卓越能力。641帧的视频在完成闭环后能够返回到视觉上与初始帧高度相似的状态，这验证了全景表示在保持空间记忆方面的优势。
该图包含两个子图。实时预览器：顶部显示输入第一帧，后面是沿指定相机轨迹生成的帧，展示了轨迹跟随的全景漫游。3D Gaussian Splatting：左侧显示重建的3DGS，右侧显示用于重建的采样的全景视频帧。
这张图展示了论文的两个重要扩展应用，证明了OmniRoam的实用性和下游价值。实时预览器展示了方法的交互潜力，3DGS重建展示了全景视频生成作为3D场景表示的可能性，这为未来的研究方向提供了启示。