MotiMotion：基于视觉推理的运动控制视频生成

用VLM推理补全稀疏轨迹，生成符合物理常识的视频。

前置知识

扩散模型 / Flow Matching

扩散模型从噪声逐步去噪到数据；Flow Matching 学一个向量场 $v_t$ 直接连接噪声 $x_1$ 与数据 $x_0$，训练损失为 $\mathcal{L}_{FM}=\mathbb{E}[\|v_t(x_t)-(x_1-x_0)\|^2]$。

本文基于 Wan 系列 flow-matching 视频扩散模型做条件注入，必须先懂向量场与潜空间结构才能跟上 channel-wise concat 设计。

轨迹控制 (Motion Control)

在 I2V 生成里，通过点轨迹、光流或边界框显式指定画面内物体的运动路径，常见做法是把轨迹渲染为时空热图注入扩散过程。

MotiMotion 的基线正是这类方法，但本文指出它们把稀疏轨迹当字面命令，会丢失二级物理因果。

视觉语言模型 (VLM)

同时理解图像与文本的多模态大模型，可对画面内容、空间关系做出零样本推理与常识判断。本文用 Gemini 3.1 Pro 分析稀疏轨迹背后用户的真实意图。

VLM 承担了最重要的「规划器」角色，其推理质量直接决定二级运动是否合理。

2AFC 加权胜率

让评估者从两个候选中选更好的方式；进一步引入强度标签 Slight/Moderate/Strong，对应权重 $w\in\{1,2,3\}$，避免微小差异累积成虚假优势。

这是本文评测可信度的关键设计，需要先理解才能正确解读 78% 等数字背后的含义。

物理交互与因果传播

物体间的因果链，如多米诺倒塌、齿轮耦合、气流吹动轻物；用户只给局部触发，模型必须自行推断后续连锁反应。

MotiBench 全围绕此现象设计，理解它才能明白为什么稀疏轨迹会让现有方法失效。

研究动机

现有运动控制视频生成（如 MagicMotion、Wan-Move、DragAnything）把用户画的稀疏轨迹当成「字面命令」严格执行，但用户输入天然是不精确的：人类很难精确指定铰链门的旋转弧或自由落体的加速过程，更不可能为「举起卡住多米诺的手」这种指令画清楚每一块骨牌的倒下轨迹。由此模型陷入了双重困境——一方面遵循用户画的不完整路径，另一方面又完全忽略了用户没画的二级因果（多米诺链、齿轮耦合、气流吹起头发等）。在人评基准 MotionPro 与作者实验中可观察到，模型忠实执行了用户轨迹，却产出手抬起但骨牌静止不动、指针转动但时针不动这类物理上荒谬的结果。VLM 评测对物理可信度的打分普遍低于 0.25，说明现有方法在「物理合理性」维度上的缺陷是系统性的，不是偶发瑕疵。

本文的目标是MotiMotion 的目标是在不强迫用户补全轨迹的前提下，让模型生成的视频同时满足三个条件：(1) 尊重用户绘制的局部轨迹作为意图证据；(2) 自动补全因轨迹稀疏而缺失的物理二级运动；(3) 在用户轨迹明显不对时（如 VLM 推理出错误方向），允许生成器偏离轨迹并依赖自身先验。落到具体数值上，作者在新建的 MotiBench 上用 VLM 评测期望物理可信度、语义一致性、画质均显著高于 MagicMotion 与 Wan-Move，并在 12 人用户研究中取得 78% 以上的偏好率。

与已有工作不同的是，已有「物理感知生成」路线大致分三类：把物理求解器塞进扩散条件、把物理奖励灌入 DPO 训练、把物理先验蒸馏进视频模型。这些方法要么把物理知识隐式烤进权重、难以干预编辑；要么只能处理单一力或刚性碰撞，覆盖不到工具机制与日常物理。本文选择了一条完全不同的切入角度——把 VLM 当成显式、可读、可迭代的规划器，将「推理」完全外包给一个训练冻结的世界知识源，然后用一个置信度机制让视频生成器弹性地遵守规划。这样既保留了 LLM 系方法的可解释性优势，又把扩散模型的「自然运动先验」以软融合的方式保留下来。

核心方法

MotiMotion 走的是「reasoning-then-generation」管线。直觉上可以把它想成一个导演协作模式：粗略分镜（用户画的轨迹 + 一句 prompt）交给一位懂世界知识的资深导演（VLM），由他补写出详细剧本（精细 prompt + 一致二级轨迹），再交给执行导演（flow-matching 视频扩散器）按剧本拍摄；但如果 VLM 写出的剧本某条线画歪了，执行导演不会被死死绑住——它有一个置信度开关，剧本可信度高就严格跟，剧本模糊就信赖自己的镜头语言补上自然细节。技术上分三大块：在 Wan 2.2 I2V-A14B 上接出的轨迹条件视频生成器（把轨迹转成时空高斯热图注入潜空间）、调用 Gemini 3.1 Pro 做 prompt-and-motion 推理、引入 confidence-aware 训练让条件强度可调。

把用户轨迹当成「意图证据」而非「字面命令」是本文最核心的观念转变，体现在两个具体技术上：(1) 用 VLM 在 0 训练代价下对稀疏轨迹做修复与二级轨迹生成，把「应该发生什么」从用户手中拿回一部分交给世界知识；(2) 用置信度 $s \in [0,1]$ 调制高斯核幅度 $G' = s \cdot G$，让条件信号从「硬约束」降级为「软引导」——$s=1$ 时模型像现有方法一样死跟轨迹，$s=0$ 时模型退化成先验生成器，置信度连续取值的中间区则允许弹性跟随。这两点的本质区别是把「控制」从单点决策变成连续谱，与现有「要么跟要么不跟」的二元控制形成代际差异。

方法步骤详情

流程分四阶段。(A) 轨迹条件生成器：把 $N$ 条点轨迹在每帧渲染为均值=坐标的 2D 高斯热图，填入零初始体积 $M$，经 VAE 得运动潜变量 $z_m$，与噪声潜变量、首帧潜变量沿 channel 拼接送入 DiT；扩展 tokenization 层并初始化为 0，仅更新此层与全部 self-attention，按 flow-matching 在 OpenVid 训 5K 步（lr $10^{-5}$，batch 16）。(B) VLM 推理：把坐标序列、原图+可视化轨迹、可选文本一并喂 Gemini 3.1 Pro，输出细化 prompt、用户轨迹修复、二级轨迹；约 50s/10K token/0.07 美元。(C) 置信度训练：对 50% 样本按强度 $I$ 施加仿射+子采样+Savitzky-Golay 平滑，再以 $G'=sG$ 缩放幅值送入网络训 3K 步。(D) 推理调用已训模型，可选让 VLM 看视频再迭代。

技术新颖性

与 MotionBooth/I2VControl 这类语义边界控制相比，本文首次把 VLM 显式拉进轨迹修复闭环，让「次级因果」从隐式幻觉变成可读文本。与 PhysGen3D/PhysDreamer 这种把物理求解器刚性焊进条件不同，本文通过置信度把硬物理与软生成解耦，避免了「物理对了但画面卡」的妥协。与 DPO/RLGF 把物理奖励灌入权重的方案相比，本文保留模块化结构，允许用户在 prompt 层面干预而不重训模型。技术上的具体新颖点可总结为三点：点级高斯热图替代潜变量 embedding、首次用 VLM 联合修复 prompt+二级轨迹、训练阶段把 $s$ 当成连续变量而非置信二值分类。

**Figure 2**: MotiMotion Pipeline. (a) reasoning-then-generation 框架；(b) confidence-aware 训练示意

**Figure 4**: Confidence-Aware Control 修正 VLM 推理错误示例

实验结果

MotiBench 上 MotiMotion 取 Physical 0.302、Photo 0.520、Semantic 0.665，全面胜 MagicMotion (0.157/0.550/0.343) 与 Wan-Move (0.218/0.483/0.511)，物理/语义拉开 0.145 与 0.322。2AFC 加权偏好 vs MagicMotion 78.0% Overall / 97.9% 人类偏好，vs Wan-Move 73.8%/81.4%。Cross-method 把 MagicMotion Physical 0.157→0.283、Semantic 0.343→0.588。Ablation 每加一模块都跳一档：基座 0.166→+Prompt 0.237→+Motion 0.285→+Confidence 0.302。运动跟随 16 轨迹 FVD=712.8/EPE=7.89，相对 Image Conductor 提升 ~58%。失败 9.7% 方向错、4.8% 锚点偏移，置信度调制把后者压到 3.2%。

**Table 1**: Quantitative Evaluation. MotiBench 上 physical/photo/semantic 三维评分

**Table 4**: Ablation Study of Reasoning and Control

**Table 6**: Scenario Distribution of MotiBench

**Table 7**: Motion Following. FVD / EPE 在 4 与 16 轨迹下的对比

**Table 9**: Quantitative Comparison between One- and Two-stage Reasoning

**Figure 3**: Qualitative Comparison. MagicMotion / Wan-Move / w/o-Reasoning / w/o-Motion-Reasoning / MotiMotion 对比（Chop board, Turn handle）

**Figure 5**: Iterative Correction. 让 VLM 看视频多轮修正（a→b→c→d）

查看结构化数据

任务	指标	本文	基线	提升
MotiBench 物理可信度（VLM 评测）	Physical score ↑	0.302	MagicMotion 0.157 / Wan-Move 0.218	vs MagicMotion +0.145, vs Wan-Move +0.084
MotiBench 语义一致性（VLM 评测）	Semantic score ↑	0.665	MagicMotion 0.343 / Wan-Move 0.511	vs MagicMotion +0.322, vs Wan-Move +0.154
MotiBench 光感画质（VLM 评测）	Photo score ↑	0.520	MagicMotion 0.550 / Wan-Move 0.483	vs MagicMotion -0.030, vs Wan-Move +0.037
2AFC 整体偏好率	Win Rate %	78.0 / 73.8	vs MagicMotion / vs Wan-Move	+28.0 / +23.8 (随机基线 50%)
2AFC 人类用户偏好率	Human Win Rate %	97.9 / 81.4	vs MagicMotion / vs Wan-Move	+47.9 / +31.4
运动跟随（16 轨迹）	FVD ↓	712.8	Image Conductor 1838.9 / DragAnything 1282.8	FVD -61% / -44%
运动跟随（16 轨迹）	EPE ↓	7.89	Image Conductor 24.26 / DragAnything 9.80	EPE -67% / -19%

局限与改进

作者在 Limitations 与 Failure Cases 中明确点出几条问题：(1) 依赖外部 VLM API，全管线推理约 50 秒/样本，约是单一视频生成的 5–10 倍，对实时控制不可接受；建议用小 VLM 或蒸馏规划，但目前没有集成方案。(2) 推理失败率 9.7%（方向错）+ 4.8%（锚点偏移），其中锚点偏移经置信度调制可降至 3.2%，但方向错的 9.7% 没有兜底。(3) MotiBench 仅 62 张图、五大类（碰撞/约束变化/工具机制/气流/日常），30% 是多物体交互，统计功效弱、外推到长时序复杂场景（电影级运镜、连续对话动作）未经测试。(4) 评测依赖 Gemini 3.1 Pro 当评委，但生成端也用 Gemini 当规划器，存在同源偏差——人类研究在两个最强对比上偏好率反而更高（97.9% / 81.4%），部分支持 VLM 评分的有效性，但这个问题仍未彻底排除。(5) 推理是离线单次，不支持像 MotionStream 一样的交互式实时控制。

独立分析的弱点

独立观察到的几个潜在弱点及改进方向：(1) 推理与生成分离线耦合，缺乏「交互式纠错回路」——一次性输出完整轨迹后若用户想换一个二级物体会被迫重新调 VLM，可以引入规划编辑接口让用户先看 VLM 提案再触发生成，类似 controlnet 的「轻量编辑」用法。(2) 置信度目前是轨迹级的（一条轨迹一个 $s$），实际失败常发生在轨迹中段，可以改成分段 $s(t)$ 让「正在加速/减速段」自动降低 $s$，匹配自然加速度曲线。(3) 把 VLM 当规划器对视觉编码分辨率敏感（坐标抖动常因 VLM 看不清细节），可考虑显式给 VLM 提供高分辨率裁剪 patch 或回退到专用 2D 点编辑器。(4) 训练中只区分「用户 $s=1$ / 预测 $s=0.5$」二档，连续谱是否真有梯度是开放问题——可补连续 $s$ 的消融，并在推理时让 VLM 自报置信度做端到端校准。(5) 评测对 Gemini 评分的同源偏差没做交叉裁判，可以加 GPT-4o、Claude 等多模型融合或纯物理指标（如物体位移直方图匹配）。

未来方向

作者在 Discussion 中提到三类后续：(i) 用更小本地 VLM 或把规划蒸馏进视频模型以消除 50s 推理延迟；(ii) 把 MotiBench 扩展到长时序、对话动作、多人交互场景并增加连续 $s$ 的 benchmark 设计；(iii) 把规划模块拓展为多轮交互，配合 MotionStream 类实时系统做「边画边生成」。基于结果可延伸的方向还包括：(iv) 把 confidence-aware 思路用于其他条件模态（深度、法线、音频），检验是否同样需要软约束；(v) 把 VLM 推理用于视频编辑（如 MotionEdit）已展示雏形，可推广到 segment-level、camera-level 控制；(vi) 引入失败自愈机制，当 VLM 预测与生成结果不一致时自动调用 verifier 重新规划。

复现评估

复现成本中等偏高，关键资源：(1) 视频生成器基于 Wan 2.2 I2V-A14B 公开权重，只需在 OpenVid 上微调 5K + 3K 步，按论文 batch=16、lr $10^{-5}$ 即可，单机多卡 A100/H100 可在一周内完成；训练数据 OpenVid 与点轨迹抽取工具 CoTracker3 都开源。(2) 推理依赖 Gemini 3.1 Pro 闭源 API（无免费层，单样本约 0.07 美元），并且它的版本变化可能影响结果，这是最大不确定性。(3) MotiBench 62 张图与文本 prompt 由作者团队手工标注，论文未承诺公开评测 prompt，需要联系作者或复现组手动重建。(4) 评测 Gemini 3.1 Pro 当 judge，需要稳定一致的 prompt 才能复现论文中的 VLM 分数。(5) 整体代码计划开源（项目页 motimotion.github.io），但截至目前仓库公开度尚不明确，复现人员需要预留 ~200 美元 API 预算 + 1–2 周工程时间。(6) 用户研究方案可学习 (12 人×30 题)，但不计入复现必要项。

MotiMotion：基于视觉推理的运动控制视频生成 MotiMotion: Motion-Controlled Video Generation with Visual Reasoning