OmniDirector：无需跨配对数据的通用多镜头相机轨迹克隆 OmniDirector: General Multi-Shot Camera Cloning without Cross-Paired Data

方法的具体步骤分四阶段。 第一步是相机栅格的构建。给定参考视频，先用 TransNet-V2 检测切镜头帧 $F=\{f_i\}_{i=1}^{K}$，把视频切成多个子片段，每个片段内用 DPA-V3 估计外参 $[R_i|t_i]$，焦距近似为 $f=0.8\cdot\max(H,W)$。然后在 3D 场景里构造"空房间"：用两层 X-Z 平面（地板 yfloor、天花板 yceiling）配上 Y 轴方向竖直线，形成"隧道壁"。设 $\Delta h$ 与平均相机高度成比例，用 KD-tree 找每个网格点 $p$ 到轨迹投影 $c_{\rm proj}$ 的距离 $d_{\rm traj}$，仅在环形区域 $W=\{(x,z)|r0$ 且 $\Delta x<0$ 定义为 Left Arc Shot。语义融合阶段把 $T_c$、参考图像 $I$、用户提示 $T_u$ 一起喂给 Qwen3-VL，输出一段统一的最终文本 $T_f$，实现多模态信号协同。 此外，自适应 CFG 把无条件视觉分支设为黑屏，无条件文本设为"完全静止相机"描述，并采用 coarse-to-fine 调度：高噪声阶段注入相机栅格特征建立全局布局，低噪声阶段注入其他控制信号精修局部内容。

OmniDirector 的技术新颖性可以从表征层、训练层、推理层三个维度来分析。表征层最核心的贡献是"相机栅格"这一视觉化表征——把抽象的相机参数 $[R_i|t_i]$ 重新编码成一段在空 3D 房间中运动的彩色网格视频。这种思路的精妙之处在于：相机栅格在数学上等价于一种"自监督可视化"，因为它本身不携带任何外观/动作信息，只承载几何与时序结构，从而天然解决了跨配对数据稀缺和信息泄漏两大顽疾；与此同时，它和 RGB 视频同形态，可以复用现有 3D VAE、Patchify 等视频管线，避免了 Plücker 坐标那种需要专门设计的相机编码器。训练层的创新点是"自重建目标"：让 30% 的样本以相机栅格本身作为重建目标，迫使模型把栅格当成一等公民去解析，而不是当成可忽略的弱监督信号，这种设计在多模态条件扩散训练中并不常见。推理层最值得注意的是 PE Agent 的层次化设计——把相机提示拆成 inter-shot（跨镜头关系）和 intra-shot（片段内运动）两层，分别用不同 MLLM 流水线生成，再用语义融合统一进文本条件，整套机制把"如何把异构控制信号协同成一个文本"这个开放问题工程化成了可复现的 4 步 pipeline。再加上 Adaptive CFG 的 coarse-to-fine 调度、Asymmetric Classifier-Free（无条件视觉分支设为黑屏+静态相机文本）、基于 $\theta=\arctan(r'/\zeta)$ 与 Kannala–Brandt 多项式 $\theta_d=\theta(1+k_1\theta^2+k_2\theta^4+k_3\theta^6+k_4\theta^8)$ 的鱼眼扩展、基于 $\phi\propto\rho$ 的 dolly zoom 扩展，这些细节拼在一起构成了一个相对完整的"通用相机克隆"框架，是当前学界在该方向上少有的系统性工作。

从独立分析视角，主要弱点集中在三个方面。第一，时间一致性与长上下文能力不足：当前 (2T+1) 帧拼接 + 联合注意力的注入方式没有显式的长程记忆机制，当 T 增长时视觉 token 数量线性膨胀，全局注意力复杂度爆炸，模型难以维持跨镜头身份一致性（如同一人物在不同镜头中外观不变）。改进方向是引入 long-context cross-attention 模块或 memory bank，例如把过去 N 帧压缩成一组隐变量作为 key/value 池，限制 attention 范围同时保留长期信息。第二，相机栅格依赖位姿估计管线：DPA-V3 在复杂视频上不可避免地失效，且焦距用了 $0.8\cdot\max(H,W)$ 这种粗暴近似，对真实电影级焦距变化（如 telephoto 切换到 wide）刻画不准。改进方向是端到端学习一个"参考视频→相机栅格"的可微渲染管线，或者干脆放弃显式位姿估计，改用论文图 8 涌现能力所暗示的"直接从参考视频推断运动"路径，训练一个 reference-video-conditioned DiT 替代栅格分支。第三，PE Agent 高度依赖外部 MLLM：camera prompt 生成和 semantic fusion 都要调 Qwen3-VL/Gemini，推理成本和可控性都受影响，且 MLLM 对罕见相机语义的描述噪声会传播到生成结果。改进方向是把 PE Agent 内化为可微的 prompt expansion 模块，与视频生成模型联合训练，避免推理时多模型串接。

作者明确提出的方向是引入先进的时间记忆机制（long-context cross-attention、memory bank）来支持更长视频的生成。基于本文的成果还可以延伸出几条值得探索的方向：①把相机栅格推广到更复杂的电影语言——例如 Z 轴 roll 镜头、360° 环绕、Push-pull rack focus，把每种特殊效果都用对应的 3D 几何元素编码到栅格里；②联合优化相机栅格与参考视频的双向条件生成，让栅格估计误差可以被下游生成器反馈修正；③把相机栅格作为一种"视频理解探针"——既然 RGB 视频和 Canny 视频都能驱动生成，可以探索其他视觉模态（depth、normal、segmentation）作为相机条件的等价替代物，进一步扩大可解释性；④把 PE Agent 拆成"用户可控"和"自动推断"两层，给专业导演保留手动覆盖接口；⑤把百万级相机栅格数据公开，反哺学界对相机运动的视觉表征研究。

作者明确给出了项目页 https://ymlinfeng.github.io/OmniDirector.github.io/，但论文中并未声明模型权重和训练代码是否开源。从可复现性证据看：①训练数据规模 1.8M 互联网视频、180 万条 (视频, 相机栅格) 对，这对一般研究者几乎不可承担；②训练超参明确（10k 步、batch 64、lr $5\times 10^{-5}$、480p 分辨率），但 MMDiT 骨干的具体规模未披露，依赖快手内部 in-house I2V 扩散骨干，外部研究者无法直接套用；③相机栅格渲染管线虽然只涉及 NumPy + 3D 几何，可复现；④推理时依赖 Qwen3-VL、Gemini 3.1 Pro、DPA-V3、TransNet-V2、LTX-Video 等多个外部模型，单卡复现几乎不现实，至少需要 8 卡 A100 级别算力才能跑训练；⑤评测集 1094 条虽然规模可控，但 MLLM 评分的随机性会引入方差。综合评估，复现难度高，主要难在数据、算力和多模型依赖。