全景视频生成：带时空记忆的相机控制视频重渲染框架

首个引入时空记忆机制的相机控制视频重渲染框架，实现多视图场景的一致性生成

前置知识

Plenoptic Function（全光函数）

全光函数是描述三维世界中光线传播的数学表示，由Adelson和Bergen在1991年提出。它将场景表示为七维函数，其中空间位置和光线方向是核心参数，还包括波长和时间维度。视频帧可以理解为全光函数的离散采样，每一帧是特定视点和时间点的光线集合。在生成任务中，重建全光函数意味着能够从任意视角、任意时间点渲染场景，这要求模型理解场景的完整几何结构和动态变化。这种表示方法为多视图一致视频生成提供了理论基础，因为它明确要求不同视角和时间的输出必须在物理上保持一致，特别是在源视图中不可见但通过生成模型hallucinated出来的区域。

本文核心思想是生成时空依赖的全光函数，理解这个概念才能明白作者为什么要强调跨视图的时空一致性，以及为什么需要记忆机制来维持hallucinated区域的一致性。全光函数的概念将视频生成从单纯的像素合成提升到对场景物理理解的层面，这要求模型不仅生成视觉上合理的帧，还要确保这些帧在不同视角和时间下保持几何和语义的一致性。

Flow Matching（流匹配）

流匹配是一种生成建模方法，通过学习从噪声分布到数据分布的向量场来生成样本。给定数据样本和噪声样本，以及连续时间变量，前向过程进行线性插值，形成从纯净数据到纯噪声的渐变路径。速度场描述了这个渐变路径的方向和速度。模型学习预测速度函数，通过求解常微分方程从噪声逐步恢复到数据。相比传统的扩散模型，流匹配的训练目标更直接，不需要复杂的变分下界估计，采样效率更高，特别适合大规模视频生成任务。在本文中，流匹配的目标是最小化预测速度场与真实速度场之间的均方误差，这个简单而有效的目标使得模型能够稳定地学习复杂的时空生成模式。

本文基于Cosmos-Predict2.5-2B模型，该模型采用流匹配范式。理解流匹配的数学原理有助于理解训练目标公式，以及为什么可以在训练中偏向更高噪声级别来增强鲁棒性。流匹配的简洁性也解释了为什么模型能够在32块H100 GPU上高效训练，以及在推理时能够快速生成高质量的视频。

Plucker Raymaps（普吕克光线图）

普吕克坐标是表示三维空间中光线的六维参数化方法，相比传统的四维射线表示更加优雅和对称。对于通过特定点和方向的每一条光线，普吕克坐标可以唯一表示这条直线的方向和位置信息，同时保持投影不变性。在视频生成中，将相机参数映射为普吕克光线图，其中每个像素对应一条从相机中心出发的光线。这种表示保留了完整的相机几何信息，包括相机的内参和外参，使得模型能够理解视点之间的空间关系。更重要的是，普吕克坐标的光线级表示使得模型能够学习光线级别的对应关系，这对于维持多视图一致性至关重要。

本文使用普吕克光线图编码相机信息，理解这种表示方法有助于明白模型如何集成相机姿态信息，以及为什么能够实现精确的相机控制。普吕克坐标的几何特性也解释了为什么模型能够理解大角度视角变化下的空间关系，这是传统参数化方法难以实现的。

3D FOV-based Retrieval（基于3D视锥的视频检索）

这是一种基于空间共可见性的视频检索机制，通过计算两个相机轨迹之间的空间重叠程度来度量相似性。对于每个相机轨迹，算法构建对应的视锥体，这是一个以相机为中心、沿着光线方向延伸的锥形空间。算法在视锥体内部进行蒙特卡洛采样，通过均匀分布生成一组采样点。然后计算一个视锥内的采样点有多少落在另一个视锥内，这个比例反映了两个视角之间的空间共可见性。对所有帧的相似性取平均得到视频级相似度，最后选择相似度最高的视频作为上下文。这种方法相比基于相机姿态的相似性计算更加鲁棒，因为它直接度量实际的空间重叠，而不是依赖参数的欧几里得距离。

这是本文的核心创新之一，理解这个算法才能明白为什么选择的是最相关的过去视频段，以及为什么能够在hallucinated区域保持时空一致性。蒙特卡洛采样的引入也解释了为什么算法能够在保持准确性的同时控制计算复杂度，使得大规模视频检索变得可行。

Autoregressive Generation（自回归生成）

自回归生成将复杂的多视图视频生成分解为序列决策过程，每个步骤只生成一个视角的视频，但可以利用之前生成的所有视角的信息。给定源视频和目标相机轨迹，模型按顺序生成每个视角的视频，每一步生成都依赖之前生成的所有视频和对应的相机参数。上下文通过时间拼接形成，使得模型能够同时看到多个视角的内容。这种范式使得模型能够逐步扩展视角覆盖范围，每一步都可以利用之前步骤获得的信息来生成更一致的内容。特别是在处理源视图中不可见的区域时，自回归生成允许模型从一个视角的hallucination开始，然后在其他视角中保持这个hallucination的一致性。

本文采用多输入单输出的自回归范式，理解这一点才能明白为什么要引入记忆机制和检索策略，以及为什么需要渐进式训练和自条件训练来增强稳定性。自回归生成的序列特性也解释了为什么会出现误差累积问题，以及为什么需要专门的设计来缓解这个问题。

研究动机

现有的相机控制视频重渲染方法在单视图场景下取得了显著进展，但在多视图场景下面临严峻挑战。具体来说，这些方法在hallucinated区域难以维持时空一致性。以机器人操作为例，当从头视图生成到夹爪视图时，机器人两侧的区域在不同视角下应该保持一致，但由于扩散模型的固有随机性和有限的长程空间记忆，现有方法往往产生几何错位和视图去同步。在Basic基准的顺序相机轨迹测试中，ReCamMaster的View Synchronization在多个shots时表现不佳，说明多视图生成的一致性严重不足。这不仅影响视觉质量，也限制了这些方法在沉浸式内容创作和具身AI等需要全面场景重建的应用中的实用性。当视角变化较大时，问题更加明显，因为模型需要在更大的区域进行hallucination，而现有方法缺乏在这些区域保持一致性的机制。

本文的目标是本文的目标是构建一个相机控制的生成式视频重渲染框架，能够显式地强制时空记忆以实现一致的场景生成。具体而言，给定一个源视频和一组目标相机轨迹，目标是对应生成多个目标视频，每个视频与输入视频共享相同的上下文但对应不同的虚拟相机轨迹。生成的视频需要保持源内容保真度，并在视点间展示同步的时空一致性，特别是在hallucinated区域。框架需要支持多样化的相机变换，包括第三人称到第三人称的转换，如左右旋转、方位角仰角变化、距离变化，以及机器人操作中的头视图到夹爪视图转换。更重要的是，框架需要能够处理长视频序列，在保持时空一致性的同时扩展到更长的生成时长。

与已有工作不同的是，本文的独特切入角度是引入显式的基于视频检索的记忆机制来同步生成式hallucination。与现有的单次推理方法不同，它们独立生成每个视图，PlenopticDreamer采用自回归的多输入单输出公式。在每个步骤中，它从记忆库中检索一组之前生成的视频相机对，并将下一个生成条件化为这些检索到的上下文。这种设计能够在时间和视点之间同步hallucination，同时保持场景几何和运动动态。更重要的是，这是第一个将记忆机制集成到生成式视频到视频重渲染框架的工作，与之前仅关注文本到视频或图像到视频的框架不同。另一个关键创新是三维视锥基于的视频检索策略，它评估空间共可见性来选择最相关的过去视频段，相比基于帧的检索方法更加鲁棒。这种方法不仅考虑了相机姿态的相似性，还考虑了实际的空间重叠，使得选择的上下文更加相关和有用。

核心方法

PlenopticDreamer的整体思路是将视频重渲染视为生成时空依赖的全光函数，通过显式的记忆机制来维持跨视图的一致性。直观上，当生成一个新视角的视频时，模型需要记住之前生成的其他视角中的内容，特别是那些在源视图中不可见但在其他视角中已经hallucinated出来的区域。技术路线包括采用自回归的多输入单输出架构，每次生成一个视角的视频；构建视频相机记忆库，使用三维视锥基于的检索策略选择最相关的上下文；使用普吕克光线图编码相机信息，通过相机投影层与视频latent对齐；引入渐进式上下文缩放训练和自条件训练来增强稳定性和鲁棒性；提出长视频条件机制以支持扩展的视频生成。整个框架基于Cosmos-Predict2.5-2B这一流匹配的DiT模型，通过微调适配视频重渲染任务。这种设计使得模型能够逐步构建场景的完整表示，在每一步生成中利用之前的上下文来保持一致性。

核心创新点是首个引入长期时空记忆的相机控制生成式视频重渲染框架。与现有方法的关键区别在于，现有方法是单次推理，一次性生成多个视角的视频，视角之间没有直接的信息流动，而PlenopticDreamer采用自回归范式，新生成的视角会依赖之前生成的视角，并通过三维视锥基于的检索策略智能选择最相关的过去视频段作为条件。另一个本质区别是记忆的粒度，现有方法的记忆通常是帧级别的或三维结构级别的，而本文是视频级别的，能够捕获更丰富的时空上下文。此外，本文的训练策略也是独特的，专门针对自回归生成中的收敛困难和误差累积问题设计。渐进式上下文缩放训练使得模型能够逐步学习处理更复杂的上下文，而自条件训练则提高了模型对不完美输入的鲁棒性。这些设计的组合使得PlenopticDreamer能够在多视图场景下保持卓越的时空一致性。

方法步骤详情

PlenopticDreamer的方法步骤可以分为训练、检索和生成三个阶段。训练阶段采用渐进式上下文缩放策略，首先用小的上下文大小训练模型，然后逐步扩大上下文大小，最后在第二阶段从一定数量的场景生成合成数据并继续训练。训练目标是最小化预测速度场与真实速度场之间的均方误差。自条件训练在第一阶段使用真实条件，收敛后用模型生成的合成输出替换真实条件进行第二阶段训练。检索阶段，给定记忆库中的视频相机对、目标相机轨迹和最大检索数量，算法对每个视频计算其与目标轨迹的空间共可见性相似度，构建每个帧的相机视锥，在近平面和远平面之间进行蒙特卡洛采样，统计一个视锥内的采样点有多少落在另一个视锥内，对多个帧的相似度取平均得到视频级相似度，最后返回相似度最高的视频。生成阶段，给定检索到的上下文视频和目标相机，首先将视频通过变分自编码器映射到latent空间并patchify得到视频token，同时将相机编码为普吕克光线图并通过相机投影层与视频token对齐，然后通过DiT block进行噪声调度和可学习重建，生成目标视频的latent，最后通过变分自编码器的解码器得到像素空间的目标视频。对于超过模型时间窗口的长视频，采用重叠分块策略，将源视频分成多个重叠子块，连续块共享前一块的部分帧，在生成时将重叠帧作为额外的条件。

技术新颖性

PlenopticDreamer的技术新颖性体现在多个方面。首先是首个将记忆机制集成到生成式视频到视频重渲染框架的工作，之前的视频生成记忆机制主要针对文本到视频或图像到视频任务，没有考虑相机控制和多视图一致性的特殊需求。其次是三维视锥基于的视频检索策略，相比基于帧的检索方法，本文的视频级相似性通过平均帧级空间共可见性得到，更加鲁棒，能够在hallucinated区域保持一致性。第三是渐进式上下文缩放训练策略，观察到直接用大的上下文大小训练往往导致不稳定的收敛，本文从小上下文开始逐步扩大，显著改善了收敛稳定性和训练速度。第四是自条件训练策略，通过在第二阶段用模型自己的合成输出替换真实条件，提高了模型对不完美输入的鲁棒性，减轻了自回归生成中的误差累积。第五是长视频条件机制，通过重叠分块和保留前一块的部分帧作为条件，支持了连贯的长视频重渲染。最后是分治推理策略，当检索视频数超过模型容量时，将视频分成多个批次，合并轨迹生成中间视频，覆盖尽可能多样化的视点并最小化视点重叠。

**Figure 1**: We present PlenopticDreamer, a generative framework that re-renders input video under novel camera trajectories while preserving long-term spatio-temporal memory in hallucinated regions across overlapping views, thereby producing coherent plenoptic functions.

**Figure 2**: PlenopticDreamer Framework. Its core is an autoregressive multi-camera video generator that retrieves k video camera pairs from the memory bank using a 3D FOV based retrieval strategy.

**Figure 3**: FOV based Retrieval Comparison. Unlike prior frame level retrieval methods, ours computes robust video level similarity by averaging frame wise similarities.

实验结果

PlenopticDreamer在两个基准数据集上实现了最先进的性能。在Basic基准上，本文方法在View Synchronization指标上显著优于所有基线，多个shots的匹配像素数量大幅领先。这证明了多视图一致性有大幅提升。在视觉质量方面，FVD显著优于其他基线，说明生成视频的保真度更高。在相机精度方面，平移误差和旋转误差与重新训练的基线相当，但显著优于原始基线。定性结果显示，在大角度视角变化下，PlenopticDreamer能够保持一致的hallucinations，而其他方法则难以保持时空一致性。在Agibot基准上，本文方法在视觉质量和视图同步上都优于重新训练的基线。定性结果显示，给定头视图操作视频，PlenopticDreamer能够从左右夹爪视角生成时间一致的视频，而基线方法则难以保持视图同步和高质量的视觉效果。消融研究验证了每个组件的贡献，移除任何一个组件都会导致性能下降。增加检索上下文数量可以略微提升多视图一致性，但进一步扩大带来边际收益递减。应用展示表明，PlenopticDreamer支持连贯的长视频重渲染和焦距效果模拟，能够生成对应不同焦距的景深变化。

**Table 1**: Quantitative Comparison on the Basic Benchmark. Ours consistently outperforms all baselines in view synchronization across all shots while maintaining high fidelity visual quality and accurate camera accuracy.

**Table 2**: Quantitative Comparison on the Agibot Benchmark. Visual quality and view synchronization are assessed on 2 shots.

**Table 3**: Ablation Study on the Basic Benchmark. Evaluation is conducted on the full set, comprising a total of generated videos.

**Table 4**: Ablation on Retrieved Context Video Number.

**Figure 4**: Qualitative Comparison on the Basic Benchmark. PlenopticDreamer generates high fidelity visuals with consistent hallucinations from different camera trajectories.

**Figure 5**: Qualitative Results on the Agibot Benchmark. Given a head view manipulation video in Agibot, PlenopticDreamer can generate temporally consistent videos from the left and right gripper viewpoints.

**Figure 6**: Ablation Study. Qualitative visualization of effects from different training strategies and context retrieval method.

**Figure 7**: Long Video Generation. Given a leftward rotation camera trajectory, ours preserves spatial consistency across adjacent video chunks, yielding seamless transitions at their boundaries.

查看结构化数据

任务	指标	本文	基线	提升
Basic Benchmark - View Synchronization (12 Shots)	Mat. Pix. (K)	41.2	ReCamMaster*: 31.2	+32%
Basic Benchmark - Visual Quality (FVD)	FVD	425.8	ReCamMaster*: 675.4	-37%
Basic Benchmark - Camera Translation Error	TransErr	0.54	ReCamMaster: 0.72	-25%
Agibot Benchmark - View Synchronization (2 Shots)	Mat. Pix. (K)	15.3	ReCamMaster*: 13.2	+16%
Agibot Benchmark - Visual Quality (PSNR)	PSNR	14.54	ReCamMaster*: 13.84	+5%

局限与改进

作者承认的局限性包括，尽管采用了自条件训练，本文方法在长镜头视频中仍然偶发失败，包括过曝光和畸变。在复杂的人类运动场景中，性能有所下降，这可能源于Cosmos预训练数据中的偏见。我们自己的观察还包括，三维视锥基于的检索策略依赖于准确的相机参数，在实际应用中可能需要额外的相机标定步骤。分治推理策略虽然能够处理超过模型容量的检索视频数，但轨迹融合过程可能引入累积误差。长视频条件机制中的重叠帧数量是一个超参数，可能需要针对不同任务进行调整。方法的计算开销较大，在多块高性能GPU上训练需要数天时间，且推理时需要多次自回归步骤，不利于实时应用。此外，当前的实现主要针对预定义的相机轨迹，对于用户交互式的实时相机控制支持有限。在极端视角变化下，如接近180度的旋转，方法的性能仍然有限。

独立分析的弱点

独立分析的弱点包括，hallucinated区域的一致性虽然优于基线，但在极端视角变化下仍可能出现几何不一致，这是因为自回归生成中的误差累积难以完全避免。改进方向可以是引入显式的三维几何约束或可微的渲染层来强制几何一致性。长视频生成中的块边界虽然通过重叠帧保持连续性，但在视觉上仍可能察觉到不连续，改进方向可以是采用可变长度的重叠策略或在块边界处应用平滑处理。计算复杂度较高，特别是在检索步骤和自回归推理中，改进方向可以是开发更高效的近似检索算法或并行化自回归推理。对相机参数的准确性依赖较强，在实际应用中相机标定误差可能导致检索策略失效，改进方向可以是引入相机参数的噪声鲁棒性训练或联合优化相机参数。在复杂动态场景中性能下降，改进方向可以是引入物体级别的记忆机制来跟踪每个物体的独立状态。在长序列生成中，模型的注意力机制可能难以覆盖早期的上下文，改进方向可以是引入层次化的记忆结构或更高效的长距离依赖建模。

未来方向

作者提出的未来工作方向包括探索Self-Forcing风格的范式来进一步减少训练测试差距。基于本文成果可延伸的方向包括，将记忆机制扩展到更高维度的表示，如四维时空体积或神经辐射场，以捕获更丰富的场景信息。研究自适应的检索策略，根据生成任务的动态难度调整检索视频的数量和权重。探索交互式的相机控制，允许用户在生成过程中实时调整相机轨迹。将方法应用到更广泛的场景类型，如医学影像、虚拟现实和增强现实。开发更高效的训练和推理算法，降低计算成本，使方法能够在消费级硬件上运行。研究方法的可解释性，分析记忆检索和自回归生成如何协同工作以保持一致性。探索与其他生成技术的结合，如生成对抗网络、变分自编码器和强化学习，以进一步提升生成质量和控制能力。研究跨模态的记忆机制，结合文本、音频和视觉信息来增强生成的一致性和多样性。探索在线学习和持续学习的机制，使模型能够在使用过程中不断改进。研究方法的理论基础，特别是记忆机制对一致性的影响。

复现评估

复现评估方面，论文承诺将在项目网站上发布代码、模型和数据集链接。实验使用的基础模型是Cosmos-Predict2.5-2B，这是一个公开可用的视频基础模型。训练数据包括MultiCamVideo和SynCamVideo等大规模合成数据集，以及Agibot大规模机器人操作数据集，这些数据集的大小和多样性使得复现需要较大的存储和计算资源。训练在多块高性能GPU上进行，批大小为1，学习率为2e-5，仅更新自注意力层和相机编码器，其他参数冻结。训练过程需要数天时间。评估指标包括多种度量，涵盖了视觉质量、相机精度和视图同步等多个方面。复现难度较高，主要挑战包括需要大量的计算资源、需要获取和预处理大规模的训练数据集、需要仔细调整超参数、需要实现复杂的检索算法和自回归推理逻辑。然而，论文提供了详细的算法描述和实现细节，如果能获得代码和模型，复现应该是可行的。论文也提供了消融研究的结果，帮助理解每个组件的作用，这对于复现和进一步研究都有帮助。