ShotVerse：面向文本驱动多镜头视频创作的电影级相机控制 ShotVerse: Advancing Cinematic Camera Control for Text-Driven Multi-Shot Video Creation

ShotVerse的完整流程分为数据准备、轨迹规划、轨迹注入三个阶段。数据准备阶段(Section 4.1)：从高制作水准影视作品中收集20,500个片段，通过四步标定流程将不连续的单镜头轨迹对齐到统一全局坐标系——(i)使用SAM进行动态前景移除，保留静态背景；(ii)使用PI3对每个镜头独立重建局部轨迹；(iii)采样关键帧进行联合全局重建，定义全局坐标系；(iv)基于锚点帧估计相似变换，对齐局部轨迹到全局系统。配合层次化描述，组装为249帧的多镜头序列。轨迹规划阶段(Section 3.1)：构造层次化输入序列，将全局描述和每个镜头描述交错排列，并在每个镜头描述后插入M个可学习的轨迹查询token $_m^{(k)}$。VLM编码整个序列，提取查询token的最终层隐藏状态作为相机代码 $H_{plan}^{(k)}$。将所有镜头的相机代码与分隔token $$ 拼接，作为自回归Transformer解码器的前缀。解码器生成变长轨迹token序列，通过去标记器映射回连续SE(3)位姿。轨迹注入阶段(Section 3.2)：将相机外参矩阵 $E_t \in \mathbb{R}^{3 \times 4}$ 展平并通过可学习的Camera Encoder投影为与视频token同维度的嵌入 $c_{cam}$，直接加到每个Transformer块的自注意力层输入特征上。同时采用4D RoPE策略，将注意力头维度划分为四个子空间，显式建模镜头边界。训练采用Flow Matching目标，分两阶段：高噪声阶段优化相机编码器锚定粗粒度运动，低噪声阶段仅用LoRA细化细节。

ShotVerse的技术新颖性体现在多个方面。首先，这是首个专门针对整体式多镜头视频生成模型的显式电影级相机控制方法，区别于现有的单镜头控制或多相机同步生成方法。其次，提出的自动化多镜头相机标定流程是首创，通过四步流程将不连续的单镜头轨迹对齐到统一全局坐标系，解决了跨镜头空间一致性的核心难题。第三，VLM驱动的轨迹规划器利用大模型的空间先验实现从文本到轨迹的自动映射，绕过了传统方法对3D场景重建或角色代理的依赖。第四，4D RoPE策略显式建模镜头维度，将注意力头分为 $F_{shot}, F_{frame}, F_h, F_w$ 四个子空间，实验表明将镜头切换准确率从0.429提升至0.933。第五，提出的三轨评估协议(A:文本到轨迹、B:轨迹到视频、C:端到端)首次系统评估电影级多镜头相机控制，填补了该领域评估标准的空白。第六，坐标对齐得分(CAS)指标通过测量具有最大视场重叠的跨镜头帧对的视觉一致性来评估坐标系统统一性，是评估多镜头一致性的新方法。

尽管ShotVerse取得了显著进展，仍存在几个值得深入分析的弱点。首先，Planner的轨迹生成是自回归的，这意味着生成速度受限于序列长度，对于包含多个镜头的长序列，推理延迟可能成为瓶颈。改进方向可以探索并行解码策略或非自回归生成架构。其次，Controller采用直接特征注入方式将相机嵌入加到自注意力输入上，这种简单的加法操作可能无法充分利用相机信息，特别是在复杂运镜场景下。可以探索更精细的交叉注意力机制或自适应调制策略。第三，4D RoPE虽然有效建模了镜头边界，但将镜头维度与空间维度固定划分，可能不是最优的维度分配策略。可以探索动态维度分配或学习式位置编码。第四，坐标对齐得分(CAS)指标依赖DINOv2相似度，可能无法完全捕捉几何一致性，需要开发更直接的几何评估指标。第五，数据集从影视作品中收集，可能存在版权和许可问题，且影视作品的风格多样性可能不足以覆盖所有应用场景。改进方向包括扩展到更多视频来源，或开发数据增强策略。第六，评估中的用户研究细节(样本量、评估者背景)未充分说明，可能影响结论的可靠性。

作者提出了几个有前景的未来研究方向。首先是扩展到多场景无限长度生成：当前整体式范式受限于单次前向传播的时长，需要研究如何将电影级相机控制扩展到跨场景的长视频生成，可能需要结合自回归方法和记忆机制。其次是探索语义-几何协同的更深层次：作者发现文本先验可以补偿标定噪声，这暗示了更紧密地融合语义理解和几何推理的潜力，可以研究如何让Planner和Controller共享更多的中间表示。第三是提升对复杂场景的泛化能力：特别是高密度人群和动态场景，可能需要更强大的前景建模和运动估计模块。第四是探索交互式电影创作工具：将ShotVerse集成到实际的视频编辑工作流中，让用户能够迭代式地调整和细化生成结果。第五是扩展到其他媒体形式：如虚拟现实(VR)中的沉浸式叙事、游戏中的动态镜头调度等。第六是研究更细粒度的控制：除了整体镜头描述，允许用户指定更精确的控制点，如关键帧位姿或运动速度曲线。第七是探索自监督或弱监督学习范式，减少对标注数据的依赖。

从复现角度看，本文提供了较为详细的实现细节：Planner使用Qwen3-VL-2B骨干网络配合OPT解码器(12层)，Controller基于HoloCine模型，LoRA秩分别为32和128，离散化bin数B=256。训练使用AdamW优化器，学习率 $10^{-4}$，在96块NVIDIA H20 GPU上使用FSDP训练。推理使用Nucleus采样(温度 $ au=0.9$, $p=0.95$)。然而，复现面临几个挑战：首先，训练需要大量GPU资源(96块H20)，这对大多数研究机构来说成本过高；其次，ShotVerse-Bench数据集的构建依赖从影视作品中收集原始素材，涉及版权问题，且数据集的具体获取方式未详细说明；第三，论文提到有项目页面但未提供代码仓库链接，开源情况不明；第四，Controller基于HoloCine模型，而HoloCine本身的开源状态会影响复现；第五，评估中使用的闭源商业模型(Sora2、VEO3等)结果无法复现验证。总体而言，完整复现难度较高，但核心算法思想和架构设计是清晰的，理论上可以在较小规模上进行概念验证。