CubeComposer：从透视视频生成时空自回归式4K 360°视频 CubeComposer: Spatio-Temporal Autoregressive 4K 360° Video Generation from Perspective Video

CubeComposer的完整生成流程包括以下步骤：(1) 输入预处理：给定透视视频 $\{I^{\text{pers}}_t\}_{t=1}^N$（视场角 $\phi$，每帧相机旋转 $R_t \in SO(3)$），通过投影 $\Pi_{\text{cube}}$ 转换为cubemap格式，得到带掩码的条件帧 $X^{\text{cond}}_{f,t}$ 和二值掩码 $M_{f,t}$，其中大部分区域因超出视野而为空白。(2) 生成顺序规划：计算每个面 $f$ 在每个时间窗口 $w$ 的空间覆盖度 $c_{f,w} = \frac{1}{T_{\text{win}}} \sum_{t=s_w}^{e_w-1} \langle M_{f,t} \rangle$，按降序排列确定生成顺序 $\sigma_w$，优先生成覆盖度最高的面（获得最多条件信息）。(3) 时空自回归循环：从第一个时间窗口开始，按规划顺序逐面生成。每个生成步骤构造三部分上下文token：历史token $\mathbf{u}^{\text{hist}}_w$（前 $H$ 个已生成窗口）、当前窗口token $\mathbf{u}^{\text{curr}}_{w,f}$（当前窗口已生成的面和未生成面的透视条件）、未来片段token $\mathbf{u}^{\text{fut}}_{w,f}$（从透视条件中动态选取短视野内覆盖度超过阈值 $r$ 的最近片段）。(4) 去噪生成：将上下文token经VAE编码和patch embedding后，与生成token拼接，通过DiT执行flow matching去噪。在注意力机制中，生成序列执行全自注意力，上下文序列对生成序列全注意力但对自身仅在带宽 $K$ 内稀疏注意力。(5) 连续性处理：生成过程中使用cube-aware位置编码（按cubemap拓扑重映射位置索引）和cube-aware padding/blending（用相邻面的重叠区域填充边界，生成后加权平均混合）。(6) 组装输出：所有面生成完成后，将cubemap转换回等距柱状格式，得到最终4K 360°视频。

CubeComposer在技术上有三个层面的新颖性。第一，在问题建模层面，它首次将360°视频生成从「单次全量扩散去噪」重新定义为「时空自回归生成」，这一建模方式在360°视频领域是全新的——此前的自回归工作（如FIFO-Diffusion、Rolling Forcing）仅在时间维度进行自回归用于长视频扩展，而CubeComposer同时在空间和时间两个维度进行自回归。第二，在生成顺序层面，覆盖度优先的空间排序策略是原创的，它将输入透视视频的空间覆盖信息转化为生成确定性信号，让信息从高确定性区域向低确定性区域自然传播。第三，在注意力机制层面，稀疏上下文注意力设计（上下文对自身仅在对角带状窗口内注意力）在保持线性复杂度的同时保留了足够的上下文交互能力，这一设计专门针对「生成序列短但上下文序列长」的场景进行了优化，与已有的稀疏注意力方法有本质区别。

从独立分析角度来看，CubeComposer存在以下几个值得关注的弱点及其改进方向。第一，上下文窗口大小的限制：本文使用固定的历史窗口数 $H$ 和未来片段长度 $T_{\text{frag}}$，在相机运动缓慢、场景变化小的场景中可能浪费了上下文容量，而在快速运动场景中可能上下文不足。改进方向是设计自适应的上下文选择策略，根据场景动态性调整上下文的范围和内容。第二，六个面的生成是严格串行的，这限制了并行化潜力。实际上，不相邻的面（如上U和下D）在生成时并不相互依赖，理论上可以并行生成。改进方向是识别可并行的面并设计分组生成策略，以降低推理延迟。第三，cube-aware padding/blending在像素空间进行加权平均混合，这可能在高频纹理区域产生模糊。改进方向是在潜空间进行混合，或使用学习的混合权重而非固定加权平均。第四，模型基于Wan 2.2 5B基座，参数规模相对较小，更大的基座模型可能带来显著的质量提升，但也意味着更高的训练和推理成本。

论文在结论中提出了两个明确的未来方向：减少扩散步骤以提高效率，以及向流式360°生成演进以摊销计算并降低延迟。基于本文的成果，还可以延伸以下研究方向：第一，将时空自回归框架扩展到更高分辨率（如8K）或更长时间的360°视频生成，这需要更精细的上下文管理策略来处理累积的上下文长度增长。第二，结合音频或文本描述进行多模态条件生成，使用户可以通过自然语言描述控制360°视频中特定区域的内容。第三，将CubeComposer的时空自回归思想应用于其他需要高分辨率生成的任务，如4K视频编辑、高分辨率3D场景生成等。第四，探索在推理阶段使用更高效的采样策略（如一致性模型或蒸馏加速），将自回归步骤的延迟降低到实时级别，这对VR交互场景至关重要。第五，引入用户交互式控制，允许用户在生成过程中选择性地调整特定面的内容，实现更精细的创作体验。

从复现角度来看，CubeComposer的复现条件相对清晰但仍有一定门槛。数据方面，论文构建了4K360Vid数据集（11,832个视频）并使用了公开的ODV360数据集，数据获取基本可行，但4K360Vid数据集的公开发布状态未在论文中明确说明。模型方面，基座模型Wan 2.2 5B是开源的，训练从该基座微调，技术路线可行。然而，训练需要处理4K分辨率的360°视频数据，显存和计算需求较高——虽然自回归策略降低了峰值显存，但训练数据本身的规模和分辨率意味着需要大量GPU资源。论文未报告具体的训练硬件配置和训练时长，这是一个复现障碍。推理方面，由于自回归需要依次生成多个面×多个时间窗口，推理延迟可能是实际应用的瓶颈，但论文也未给出具体的推理时间数据。总体而言，复现难度中等偏高，核心算法逻辑清晰，但数据和算力需求较大。