CT-1：视觉-语言-相机模型将空间推理知识迁移到相机可控视频生成 CT-1: Vision-Language-Camera Models Transfer Spatial Reasoning Knowledge to Camera-Controllable Video Generation
用视觉语言联合推理自动生成相机轨迹，实现精准可控视频生成
前置知识
扩散模型 (Diffusion Models)
通过前向加噪与反向去噪学习数据分布的生成模型：前向过程将真实样本 $K$ 逐步加噪为高斯噪声，反向过程用神经网络 $\epsilon_\theta$ 还原数据。CT-1 中扩散过程直接作用于相机轨迹 $K \in \mathbb{R}^{T\times C}$，而非像素。
CT-1 整条技术线（轨迹分布建模、WavReg 损失、训练目标 $\mathcal{L}=\mathcal{L}_{\text{diff}}+\beta \mathcal{L}_{\text{wav}}$）都建立在扩散模型之上，不熟悉其加噪/去噪范式就难以理解为什么用 DiT 而不是回归头。
视觉-语言模型 (VLM)
将视觉编码器（DINOv2、CLIP/SigLIP 等）与语言模型（LLaMA 系列）联合训练的多模态模型，可对齐图像与文本语义空间并执行跨模态推理。本文用双分支 DINOv2+SigLIP 编码图像、LLaMA-2 处理指令，并引入可学习的 `` 令牌聚合多模态信息。
CT-1 的核心定位是'比 VLM 多一个 C（Camera）'的 VLC 模型，若读者不熟悉 VLM 范式，就无法理解为什么作者强调这是'早期尝试'，也无法体会 `` 令牌这一设计与传统回归头的本质差异。
SE(3) 相机姿态
三维刚体运动群 $\text{SE}(3) = \text{SO}(3) \ltimes \mathbb{R}^3$。每个位姿由旋转 $R_t$ 与平移 $p_t$ 组成，描述相机位置与朝向，轨迹需满足时间连续性与几何合法性。
相机轨迹的合法性完全取决于 SE(3) 几何约束，理解这一点才能看懂'非唯一性''语义对齐'等轨迹性质为何对建模至关重要，以及为什么不能简单把它当数值序列预测。
Diffusion Transformer (DiT)
用 Transformer 替换 U-Net 作为扩散模型骨干的架构（Peebles & Xie, 2022），通过堆叠自注意力层联合建模空间与时序依赖，可扩展到亿级参数。CT-1 的'相机 Transformer'模块本质上是一个用于轨迹分布建模的 DiT。
作者专门做了 Base/Large/Huge（33M/130M/458M）三档缩放实验，验证 DiT 范式的可扩展性也适用于相机轨迹分布，这直接关联到论文 Table 3 的核心数据。
离散小波变换 (DWT) 与频率域正则化
DWT 通过低通/高通滤波器把信号分解为不同尺度的低频近似 $a_l$ 与高频细节 $d_l$，正交性保证 $\|x\|_2^2 = \|a_L\|_2^2 + \sum_l \|d_l\|_2^2$。本文据此设计 WavReg 损失对不同频率成分施加差异化权重。
WavReg 是本文最具新颖性的技术贡献之一（详见 Eq. 6 与 Fig. 3 的能量/平滑度分析），不理解 DWT 的多尺度分解就无法理解为何 $\lambda_a > \lambda_{d_L} > \cdots > \lambda_{d_1}$ 的权重设计是合理的。
研究动机
相机可控视频生成长期面临两条路线的两难困境。**高层语义控制**路线（如 Wan2.2、LTX-Video、CogVideoX）让用户用文本描述相机运动，看似易用但实际成功率低：论文在 CameraBench100 上对 Dolly-in、Pan Left、Truck Left or Right、Tilt Down or Right、Regular or Up、Complex Motion 六类典型运动测试，Wan2.2 平均成功率仅 64.9%，LTX-Video 仅 45.5%，且在精细运动上经常生成近乎静态的画面（Fig. 5 的 CogVideoX/Case a/b/c 三个失败案例）。**显式参数控制**路线（MotionCtrl、CameraCtrl）需要人工逐帧标注 SE(3) 参数，作者用 VLM 估计时平均成功率仅 30.1%，自回归估计更差至 23.6%，完全无法胜任大规模自动化场景。两条路线都难以同时满足'语义对齐''轨迹可执行''场景自适应'三个要求。
本文的目标是本文提出 Vision-Language-Camera（VLC）模型 CT-1（Camera Transformer 1），目标是在给定参考图像 $v$ 和相机运动文本指令 $\ell$ 的条件下，自动学习一个映射 $p_\theta(K_{1:T} \mid v, \ell)$，直接输出时间连续、几何合法、与场景语义对齐的相机轨迹 $K_{1:T}=\{K_t\}_{t=1}^T$（其中 $K_t \in \text{SE}(3)$），再将其注入现有视频扩散模型以实现相机可控生成。具体目标是在 CameraBench100 上把平均成功率从 Wan2.2 的 64.9% 提升至 81.6% 以上，同时让 CT-1 推理开销仅占整体 5.3% 左右，保证实用性。
与已有工作不同的是，作者识别出一个被现有研究忽视的中间地带：**'相机轨迹分布建模'**既不同于 VLM 的离散 token 生成，也不同于纯数值回归（坐标/边界框），而是要在 SE(3) 流形上建模一个时间连续且具有非唯一性的相机运动分布。已有工作要么完全不做分布建模（ChatCam 仅依赖文本、无场景感知），要么用回归头输出单条轨迹（忽略非唯一性）。CT-1 的独特切入点是：把'视觉-语言联合推理'得到的场景感知语义令牌 `` 作为条件信号注入 DiT，用扩散过程建模 SE(3) 上的轨迹分布，并用基于小波的正则损失在频率域强化低频主导与时间平滑性，从而把空间推理能力迁移到下游视频生成器。
核心方法
CT-1 采用'视觉-语言模块 + 相机 Transformer + 可插拔视频生成器'的解耦两阶段框架。参考图像 $v$ 同时送入 DINOv2（局部细节）与 SigLIP（高层语义）得到视觉令牌 $V$，相机运动指令 $\ell$ 经 LLaMA-2 tokenizer 得到语言令牌 $T$，二者与可学习的 `` 令牌做因果注意力融合，`` 位隐藏状态 $f_{cam}$ 为多模态全局条件。该特征与扩散步嵌入 $e_s$ 相加后作为 DiT 前缀条件，DiT 在带噪轨迹 $K^{(s)}$ 上学习去噪 $\hat K$，再用 1D Haar DWT 沿时间维分解为低频 $a_L$ 与高频 $d_l$，按 $\lambda_a > \lambda_{d_L} > \cdots > \lambda_{d_1}$ 加权构成 WavReg 损失，与扩散损失加权求和（$\beta=0.1$）。推理时 $\hat K$ 注入 CameraNoise+Wan2.1 生成 49 帧视频，CT-1 仅需 13 步去噪。
核心创新有三点。**第一**，把相机轨迹视为 SE(3) 上的分布而非单点回归，用 DiT 建模 $p_\theta(K_{1:T} \mid v, \ell)$，保留'非唯一性'这一关键性质；这与 MotionCtrl/CameraCtrl 吃显式参数后做条件注入的设计哲学相反，也不同于 ChatCam 仅用文本、无场景感知的方法。**第二**，引入可学习的 `` 令牌作为多模态融合枢纽，把视觉语言理解压缩到单一全局特征 $f_{cam}$，再注入 DiT，避免高 token 开销。**第三**，提出 WavReg 损失：基于 1D 正交 Haar 小波把轨迹分解为低频全局运动（占能量主体）与高频细节扰动，通过 $\lambda_a>\lambda_{d_L}>\cdots>\lambda_{d_1}$ 差异化权重强化低频、保结构不'过平滑'，Fig. 3 的 1000 样本分析给出经验依据。
方法步骤详情
**1 多模态编码。**图像 $v$ 经 DINOv2+SigLIP 双分支编码拼接投影得视觉令牌 $V$；指令 $\ell$ 经 LLaMA-2 tokenizer 得 $T$。**2 多模态融合。**$V$、$T$ 与 `` 拼成序列输入 LLaMA-2 因果注意力，取 `` 位隐藏状态 $f_{cam}$ 作全局条件。**3 轨迹扩散建模。**前向加噪 $K^{(s)}=\sqrt{\bar\alpha_s}K+\sqrt{1-\bar\alpha_s}\epsilon$，$K^{(s)}$ 与 $c=e_s+e_{cam}$、位置嵌入一起进入 DiT 堆栈输出 $\hat K$。**4 WavReg 损失。**对 $\hat K$ 做 1D Haar DWT 分解 $L$ 层得 $a_L$、$d_l$，$\mathcal{L}_{\text{wav}}$ 与 $\mathcal{L}_{\text{diff}}$ 加权（$\beta=0.1$）。**5 解耦推理。**CT-1 13 步去噪输出轨迹，CameraNoise+Wan2.1 渲染 49 帧。
技术新颖性
技术新颖性体现在四个层面。**模型范式**：首次把'相机轨迹'作为 SE(3) 流形上的分布进行扩散式建模，打破 VLM 回归头范式（坐标/边界框）的局限。**条件注入**：`` 令牌 + 元素加的简洁设计比 cross-attention 更轻量，与扩散步嵌入 $e_s$ 自然融合，是 DiT 类条件化方法的优雅变体。**损失函数**：WavReg 把信号处理的多尺度分析直接引入扩散训练，通过 $\lambda_a>\lambda_{d_L}>\cdots>\lambda_{d_1}$ 把'低频主导'编码进损失函数，并配合 Fig. 3 四组实证（能量、平滑度、几何信息保留、Jitter-偏差权衡）形成完整闭环。**数据层面**：CT-200K 含 47M+ 帧 200K 视频，区分'通用场景'（Pexels-400K、DynPose-100K 经 LLM 清洗）和'推理场景'（EgoSchema/EgoMe/Ego-ST 经 LLM 重构指令），用 VGGT（93.5% 精度）作位姿估计骨干，Table 6 验证双场景互补。
实验结果
**Table 1（CameraBench100）**：CT-1 6 类运动平均 81.6%，相对 Wan2.2（64.9%）提升 25.7%，相对 CameraCtrl+VLM（30.1%）提升 171.1%；Tilt Down/Right 71.4% 与 Complex Motion 81.5% 领先。**Table 2（VBench）**：Aesthetic 0.585、Imaging 0.709、Motion 0.990、Dynamic 0.830 四项均最优。**Table 3（缩放）**：Base/Large/Huge（33M/130M/458M）三档 Complex Motion 从 64.8%→76.4%→81.5% 单调上升，验证 DiT 缩放法则在 VLC 上成立。**Table 4（WavReg 消融）**：$\beta=0.1$ 最优（0.708/81.5%），$\beta=0$ 仅 0.681/76.1%。**Table 6（数据效率）**：GS+RS 合并 200K 后 Complex Motion 从 70.7%/73.9% 提升到 77.8%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CameraBench100 平均相机控制成功率（6 类运动平均） | Success Rate (%, 越高越好) | 81.6% | Wan2.2 (prompt-input+PE) 64.9% | +16.7 个绝对百分点 / 相对提升 25.7% |
| CameraBench100 Tilt Down or Right 任务 | Success Rate (%) | 71.4% | Wan2.2 (w/ PE) 50.0% | +21.4 个绝对百分点 / 相对提升 42.8% |
| CameraBench100 Complex Motion 任务 | Success Rate (%) | 81.5% | Wan2.2 (w/ PE) 68.5% | +13.0 个绝对百分点 / 相对提升 19.0% |
| VBench Imaging Quality | VBench Score (0-1, 越高越好) | 0.709 | Wan2.2 (w/o PE) 0.671 | +0.038 / 相对提升 5.7% |
| VBench Dynamic Degree | VBench Score (0-1, 越高越好) | 0.830 | Wan2.2 (w/ PE) 0.810 | +0.020 / 相对提升 2.5% |
| 模型缩放 Huge vs Base | Complex Motion Success Rate (%) | 81.5% (Huge, 458M) | 64.8% (Base, 33M) | +16.7 个绝对百分点 / 相对提升 25.8% |
| WavReg 消融 $\beta=0.1$ vs $\beta=0$ | Complex Motion Success Rate (%) | 81.5% | 76.1% | +5.4 个绝对百分点 / 相对提升 7.1% |
| CT-1 vs 下游视频生成的相对推理时间 | 时间占比 (%) | 22.81s / 429.02s ≈ 5.3% | （对照为下游视频生成 100%） | CT-1 仅占 5.3% 总时间，模块化设计几乎不增加部署成本 |
局限与改进
**作者承认/隐含的局限。****第一**，CT-200K 200K 视频 47M 帧远小于 Pexels-400K，且严重依赖 VGGT（93.5% 精度）和商用 LLM/MLLM 标注，存在标注噪声与场景偏差；推理场景仅来自三个 Ego 数据集，泛化未充分验证。**第二**，Success Rate 依赖两位专家独立标注且需双方一致，效率低、可重复性差，专家对小幅度平移的判断有主观差异。**第三**，与 MotionCtrl/CameraCtrl 的详细对比仅放 Appendix 6.2.4，主表未直接对比最显式参数控制路线。**第四**，方法局限于相机轨迹生成，不涉及物体级动作/多人交互等更复杂的视频控制信号。**额外观察**：Fig. 5 显示 CT-1 在 OOD 场景仍有少量失败（如 Case b 出现相机方向偏差），且论文未给出失败案例的系统性错误分析；458M Huge 模型单卡 28.91GB 显存也限制实际部署。
独立分析的弱点
**第一，双阶段解耦带来误差累积。**CT-1 输出 13 步轨迹，CameraNoise 配合 4× 时序压缩渲染 49 帧，两阶段误差会叠加；Table 7 给出时间分配但未给出误差分解定量数据。改进方向：端到端联合训练让视频生成器在反向传播时把梯度回传至 CT-1，或用 score distillation 对齐两个阶段分布。**第二，WavReg 仅用 1D 时间维分解，未考虑 SE(3) 几何结构。**正交 Haar 小波作用于平坦欧氏空间，$R_t \in \text{SO}(3)$ 的 $R_tR_t^\top=I$、$\det R_t=1$ 约束未被显式编码。改进方向：在 SO(3) 流形上做小波分解并加流形约束项。**第三，`` 单一令牌信息瓶颈。**Table 5 中 Image→Prompts 的 Dynamic Degree 从 0.810 降到 0.780 印证此点。改进方向：借鉴 SAM 引入区域级视觉令牌。**第四，缺少长视频支持与闭环控制。**目前 13 步/49 帧绑定，无法支持数分钟级长视频。
未来方向
**作者已指明方向**：将 CT-1 接入更多可控视频扩散模型（CameraCtrl/MotionCtrl 已初步验证）以确认其作为通用'轨迹规划器'的模块化能力；扩展到更多推理场景（自动驾驶、机器人操控）；附录展示了 RealEstate10K、MultiCamVideo、DrivingDoJo 等数据集的定性结果。**自然延伸方向**：**（a）多模态输出。**把单一相机轨迹扩展为'相机+物体+人物动作'的联合轨迹分布，让 CT-1 成为通用空间-时间规划器。**（b）闭环交互式控制。**把 CT-1 嵌入 RL/IL 框架，让用户通过自然语言迭代修正相机运动。**（c）高效化。**借鉴 diffusion distillation、量化、KV cache 复用把推理压到 < 1s 以实现实时预览。**（d）评价协议自动化。**训练 reward model 学习人类对相机轨迹的偏好，构成可大规模复现的自动评估。**（e）拓展到 3D/4D 场景生成。**与 NeRF/3DGS 结合应用于 VR/AR。
复现评估
**代码与数据。**作者给出代码仓库 github.com/gulucaptain/Camera-Transformer-1 和项目主页 gulucaptain.github.io/Camera-Transformer-1/，提供完整实现。CT-200K 由 Pexels-400K、DynPose-100K、EgoSchema、EgoMe、Ego-ST 等公开源派生，已由人工二次审核但未明确说明是否公开完整标注。**基模型。**依赖 VGGT、DINOv2+SigLIP、LLaMA-2、Wan2.1、CameraNoise、CameraCtrl/MotionCtrl，均有公开权重或代码。**算力。**Table 7 显示单卡推理显存 28.91GB（Huge），未给出训练硬件；458M DiT + LLaMA-2 全量微调至少需 8×A100 80GB 级别，重训门槛较高。**评测。**CameraBench100 与 VBench 均为开源工具，评测协议明确但人工评估仍有主观性。**总体可复现性：中高**，算法/数据/代码均开源，完整重训 Huge 需要较高算力。
论文图表
