MoRight：做对运动控制 MoRight: Motion Control Done Right

完整训练流程按以下步骤进行。第一步：数据标注与规范化。对原始视频 $x$ 用 ViPE [36] 估计逐帧深度 $\{D_i\}$、相机位姿 $\{C_i\}$、内参 $K$，用 AllTracker [30] 提取稠密像素轨迹 $\{\tau_i\}$。通过反投影+重投影公式 $\tau_i^{can} = \pi(K, C_0 C_i^{-1} \pi^{-1}(K, \tau_i, D_i))$ 把所有轨迹重投影到第一帧坐标系，得到"规范化静态视角"下的轨迹。第二步：主动-被动分解。用 Qwen3-VL 配合系统提示词识别主动物体（自身驱动）和被动物体（被驱动的），用 SAM2 分割得到掩码 $M^{act}$、$M^{pas}$，按掩码归属把轨迹分为 $\tau^{can,act}$ 和 $\tau^{can,pas}$。第三步：配对多视角数据合成。筛选相机近似静态的视频，用 camera-controlled video-to-video 模型合成对应的运动相机版本，形成 $\{x^{can}, x^{tar}\}$ 配对；额外用 SyncCamMaster [2] 合成 3.4K 图形数据增加相机多样性。第四步：双流联合去噪。规范化流的输入条件 $c^{can}=\{I, C_1, \{\tau^{can}\}\}$，目标流条件 $c^{tar}=\{I, \{C_i\}, \emptyset\}$。两路潜变量沿时间维拼接，用同一 DiT 权重联合去噪。第五步：条件注入与运动迁移。轨迹图通过轻量 3D 卷积编码器得到 $e_{trk} \in \mathbb{R}^{T \times H \times W \times d}$，相机信号通过 warp 第一帧后 VAE 编码得到 $z_{cam}$。在每个 transformer block 里通过公式 $f^i \leftarrow f^i + W_{cam} z^i_{cam} + W_{trk} e^i_{trk}$ 注入到特征中。第六步：因果训练。对前景轨迹按 $\tilde{\tau}_i = \tau^{act}_i$（概率 $p$）或 $\tau^{pas}_i$（概率 $1-p$）随机丢弃一半，让模型学会补全。配合粒度丢弃（patch 级别平均）、遮挡丢弃、轨迹截断等增强提升鲁棒性。第七步：推理。用户在第一帧上画稀疏轨迹（1500 条/视频），指定目标相机位姿，模型联合去噪 35 步后输出目标视角视频。

技术新颖性主要体现在三个层面。架构层面：双流 DiT + 跨视角自注意力的设计，第一次让"用户画轨迹 + 自由调相机"成为可能，且不依赖任何 3D 先验。相比 ReCamMaster [1]、SyncCamMaster [2]、Gen3C [60] 等需要相机轨迹或深度做 warp 的方法，MoRight 在规范流里完成"运动学习"，目标流通过注意力吸收，等于把 motion bank 隐式编码在 DiT 权重里。任务层面：把"因果推理"从外部模块（物理引擎、LLM 文本规划）拉回到视频模型内部，方法简洁优雅——一个 dropout 就能学到动作-结果链，推理时双向皆可。数据层面：异构监督融合策略（paired two-view + 静态单视角 + 混合单视角 + 合成图形）巧妙解决了"现实视频都是单视角"的难题，特别是单视角静态视频被复制为两流后，第一流带运动条件、第二流无运动条件，迫使模型学会通过自注意力"传递"运动信息。WanMove [15]、ATI [68] 等基线必须使用全帧前景/背景像素轨迹作为特权输入，而 MoRight 只用第一帧重投影轨迹就达到了可比甚至更好的 EPE。

独立分析几个可改进的弱点。第一，规范化视角与目标视角的耦合方式过于隐式。Cross-view self-attention 虽然让两流交换信息，但没有显式几何约束（如投影一致性损失），理论上可能出现"目标流中物体位置不对应规范化流的轨迹"的情况——论文 EPE 4.27 vs MP 4.25 的微弱差距可能就源于此。改进方向：加入显式的 2D-3D-2D 一致性损失，或借鉴 SyncCamMaster 的同步约束。第二，训练数据的因果标注依赖 Qwen3-VL，存在标注错误风险。从 Figure 9 的"两个烤肉串合并"案例看，主被动分类出错会直接破坏因果学习。改进方向：人工校验小批量数据 + 引入主动学习循环让模型自己识别可疑标注。第三，推理时单视频 15 分钟的耗时难以支持实时交互。改进方向：蒸馏到少步（5-10 步）扩散模型，或结合一致性模型（Consistency Model）做单步生成。第四，camera encoder 仅 32 通道、trajectory encoder 隐藏维 64，相对 14B DiT 显得"轻"，可能是快速运动或复杂相机轨迹处理不力的瓶颈——可以在不影响计算预算的前提下适度增宽。第五，方法只支持单张输入图，不支持多张关键帧预设；也不支持对已生成视频进行二次编辑，这限制了其在长视频/故事板场景的应用。

作者在结论和消融中暗示了几个方向。一是把因果推理扩展到更长时间跨度：当前 480p 单段视频的因果建模是"局部"的，未来可以探索长程记忆（如借鉴 ReLic [35] 的 long-horizon memory），让因果链跨段连贯。二是更复杂的物理建模：当前 PC 分 0.88 仍有提升空间，可结合 PhysGen3D [11] / PhysDreamer [89] 的物理仿真先验，让生成视频在刚体、流体、弹性体上更逼真。三是结合世界模型用于具身智能：MoRight 论文开头明确提到 embodied AI agents 和 world models 是目标应用，未来可以把 MoRight 作为可交互的世界模型 backbone，集成进 Navigation World Models [6]、DreamDojo [23] 这类系统。四是拓展到多物体、人物-人交互（human-human interaction）：目前主要演示手-物交互，对 Ponimator [49] 那种人-人交互动画还未涉及。五是 3D 一致性生成：把双流架构推广到 3D-aware 生成，让用户能给出 6DoF 相机轨迹而不仅是离散关键帧位姿，这是从 2D 可控到 3D 可控的自然延伸。

复现可行性需要分几方面评估。代码方面，论文提供了项目页 https://research.nvidia.com/labs/sil/projects/moright，但摘要及正文中未明确说明代码是否开源（arXiv 版本通常不强制附代码），从学术惯例看，NVIDIA 的项目通常会后续开源，建议关注 GitHub。数据方面，训练数据来源透明：Panda-70M [13]、Wild-SDG-1M [36]、SyncCamMaster [2] 均为公开数据集。共采集 76K 静态视频、合成 43K 配对多视角视频、3.4K 合成交互视频，全部 480p。算力方面，门槛较高：训练用 64 张 GPU 跑 15K 迭代，batch size 16，学习率 $3 \times 10^{-5}$，weight decay 0.001，AdamW 优化器；推理单视频 35 步扩散需约 15 分钟单张 A100。这是一个仅大厂或顶级实验室可复现的算力规模，独立研究者基本只能做推理或在小数据集上 fine-tune。实现细节方面，论文附录 A 给出了较完整的网络架构、训练超参、数据增广和推理流程，相机编码、轨迹编码、位置编码（RoPE）、双流拼接方式都写清楚了，工程上参考价值高。总体而言，方法思路清晰、数据集公开，但完整复现需要 64-GPU 集群的算力投入。