视频生成中的运动归因：MOTIVE框架 Motion Attribution for Video Generation
提出MOTIVE框架，通过运动加权梯度归因识别影响视频生成运动质量的训练片段。
前置知识
视频扩散模型
视频扩散模型是生成式人工智能的核心架构，通过在潜在空间中逐步去噪来生成视频。这些模型通常基于3D U-Net或带有时间注意力的2D U-Net，能够同时捕捉空间外观和时间动态。训练过程涉及前向加噪和反向去噪，损失函数通常为均方误差。在视频生成中，模型需要学习物体运动、变形、交互和物理约束，这比图像生成复杂得多。
理解视频扩散模型的基本原理是掌握运动归因方法的基础，因为MOTIVE框架直接作用于这些模型的梯度计算过程。
数据归因（影响函数）
数据归因旨在量化单个训练样本对模型预测的影响。经典方法是影响函数，通过计算损失函数的Hessian逆矩阵来估计训练样本的上权重变化对测试样本预测的影响。然而，精确计算Hessian逆在大规模模型和数据集上不可行，因此实际方法如TracIn和TRAK通过梯度内积或梯度特征投影来近似影响。
MOTIVE框架基于梯度相似性进行数据归因，理解传统影响函数的局限性和近似方法对于理解本文的创新至关重要。
光流与运动表示
光流是视频中像素在连续帧间的位移向量场，能够捕捉物体运动、相机运动和场景动态。光流计算通常基于亮度恒定假设和局部平滑性约束。在视频分析中，光流是表示运动的标准方法，可以计算运动幅度、方向和加速度。MOTIVE使用AllTracker提取光流，并将其用于创建运动掩码，以隔离动态区域。
光流是本文运动归因的核心表示，理解光流如何捕捉运动信息对于理解运动掩码的构建和运动加权损失至关重要。
Johnson-Lindenstrauss投影
Johnson-Lindenstrauss引理指出，高维空间中的点集可以通过随机投影嵌入到低维空间，同时近似保持点对之间的距离。Fastfood是一种高效实现，使用Walsh-Hadamard矩阵、随机置换和对角矩阵的组合，计算复杂度为O(D' log D')。这种投影技术被用于降低梯度存储的维度，同时保持影响排名的几何结构。
MOTIVE使用Fastfood投影来实现大规模梯度的高效存储和计算，这是方法可扩展性的关键组成部分。
研究动机
现有数据归因方法主要针对图像生成，关注静态内容如物体、纹理和背景。当这些方法直接应用于视频时，会将运动和外观同等对待，导致归因信号过度强调低级外观匹配而忽略时间动态。视频生成面临三个独特挑战：（i）需要定位动态区域，使归因聚焦于运动而非静态背景；（ii）梯度必须跨时间积分，计算成本随序列长度增加；（iii）需要捕捉速度、加速度和轨迹连贯性等时间关系，单帧归因无法测量这些。现有方法将时间视为额外的空间轴，未能显式建模时间结构，因此无法有效解释为什么生成模型会产生特定的运动模式。
本文的目标是本文的具体目标是提出一个可扩展的、基于梯度的运动归因框架MOTIVE，能够：（1）隔离运动特定影响，将时序动态从静态外观中分离；（2）扩展到现代大规模、高质量视频数据集和模型；（3）通过运动加权损失掩码实现高效且可扩展的运动特定影响计算；（4）识别哪些微调片段改善或降低时间动态；（5）指导数据筛选以提高时间一致性和物理合理性。最终目标是实现运动平滑性和动态度的量化改进，在VBench指标上达到可衡量的提升。
与已有工作不同的是，本文的独特切入点在于首次将数据归因聚焦于运动而非视觉外观。现有工作主要关注图像生成中的静态内容归因，而视频生成中的运动归因是一个未被探索的领域。作者抓住了三个被忽视的关键点：（i）运动是区分视频生成和图像生成的核心元素，但现有归因方法未专门处理；（ii）高质量数据在微调阶段尤为重要，而运动特定归因在此阶段价值最大；（iii）运动学习可以从特定训练样本中追溯，为诊断生成伪影和实现可控数据选择提供了定量工具。这种运动中心的视角填补了视频生成理解的空白。
核心方法
MOTIVE框架的核心思路可以类比为“运动显微镜”：通过放大梯度信号中的运动成分，同时抑制外观噪声，来识别对生成视频运动质量影响最大的训练片段。技术路线分为四个关键组件：（1）可扩展梯度计算，使用单时间步、共同随机性和Fastfood投影实现高效影响评分；（2）帧长度偏差修正，标准化梯度幅度以避免长视频获得不公平的高分；（3）运动感知加权，通过光流掩码重新加权损失空间中的梯度，聚焦于动态区域；（4）数据选择，基于运动影响分数选择最相关的训练子集进行微调。整个流程从运动检测开始，计算运动幅度补丁，应用损失空间运动掩码，最终生成运动影响矩阵并用于数据筛选。
核心创新点是运动加权损失掩码，它通过在损失空间中重新加权梯度来隔离运动特定影响。与传统视频级归因不同，后者将每个片段作为单一单元并混淆外观和运动，运动归因使用运动掩码重新加权逐位置梯度，通过动态行为而非静态内容分配影响。具体而言，给定视频v，首先使用AllTracker提取光流A，计算运动幅度M_f(h,w) = ||D_f(h,w)||_2，然后进行最小-最大归一化得到权重W(f,h,w)。这些权重用于定义运动加权损失：L_mot(θ; v,c) = (1/F_v) * mean[W_{v,c}(f,˜h,˜w) · L̃_{θ,v,c}(f,˜h,˜w)]。当W全为1时，这恢复标准目标；当W强调运动区域时，梯度信号聚焦于动态区域。这种损失空间掩码保持前向加噪和生成不变，仅重新加权归因，避免了运动加权与噪声注入之间的相互作用。
方法步骤详情
方法步骤完整描述：第一步，运动检测与潜在空间映射。给定视频v∈R^{F×H×W×3}，使用VAE编码为潜在表示h=E(v)∈R^{F×H/s×W/s×C}。使用AllTracker提取像素空间运动信息A=A(v)∈R^{F×H×W×4}，提取位移向量D_f(h,w)=(d_w,d_h)。通过双线性下采样将运动量从(H,W)映射到潜在网格(H/s,W/s)。第二步，运动加权梯度计算。计算运动幅度M_f(h,w)=||D_f(h,w)||_2，进行最小-最大归一化得到权重W(f,h,w)∈[0,1]。通过双线性下采样得到潜在对齐权重W(f,˜h,˜w)。计算固定(t_fix,ε_fix)下每个帧f和潜在像素(˜h,˜w)的逐位置平方误差L̃_{θ,v,c}(f,˜h,˜w)，定义运动加权损失L_mot。第三步，帧长度偏差修正。原始梯度幅度依赖于视频帧数F，偏向长视频。通过标准化梯度：∇_θL_diff(θ;v,t_fix,ε_fix) ← (1/F)∇_θL_diff(θ;v,t_fix,ε_fix)来修正。第四步，运动影响计算与数据选择。对于查询视频(ˆv,ˆc)，计算每个训练片段(v_n,c_n)的运动感知影响分数I_mot(v_n,ˆv)。对于单查询点，选择得分最高的K个样本；对于多查询点，使用多数投票聚合。
技术新颖性
技术新颖性体现在多个层面。首先，这是首个将数据归因聚焦于运动而非视觉外观的框架，填补了视频生成理解的理论空白。其次，运动加权损失掩码是全新的技术贡献，它在损失空间中重新加权梯度，而非在数据空间或模型架构中修改，这保持了生成过程的完整性。第三，帧长度偏差修正解决了视频特定挑战，原始梯度幅度与视频长度相关，导致长视频获得不公平的高分，本文通过标准化梯度幅度解决了这一问题。第四，单时间步归因与共同随机性的结合，在保持排名稳定性的同时大幅降低计算成本，固定t=751（中间去噪步骤）与共享噪声采样实现了高效估计。第五，Fastfood投影的引入使得存储和计算在十亿参数模型上可行，将梯度维度从D降至D'，同时保持排名几何结构。这些创新共同构成了一个完整、可扩展且实用的运动归因系统。
实验结果
实验结果表明MOTIVE框架在运动归因和微调数据选择方面取得了显著成功。在VBench评估中（Table 1），MOTIVE在动态度指标上达到47.6%，显著优于随机选择（41.3%）和全视频归因（43.8%），甚至超过全数据微调（42.0%）。在主题一致性上达到96.3%，美学质量46.0%，同时保持运动平滑性96.3%。值得注意的是，仅使用10%的训练数据，MOTIVE在动态度和主题一致性上就超越了使用完整数据集的全微调模型，这证明了运动特定归因对定向微调的优越性。人类评估（Table 2）显示，在17名评估者对50个视频的成对比较中，MOTIVE相对于基础模型的胜率为74.1%，相对于随机选择的胜率为58.9%，相对于全微调的胜率为53.1%。消融研究显示，单时间步归因与多时间步基线的Spearman相关性为66%，投影维度D'=512在准确性和效率之间达到最佳平衡（相关性74.7%）。帧长度标准化将虚假长度相关性降低了54.0%，同时保留了基于运动的相关性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视频生成运动质量评估 | 动态度 (Dynamic Degree) | 47.6% | 42.0% (全微调) | 提升5.6个百分点 |
| 视频生成运动质量评估 | 运动平滑性 (Motion Smoothness) | 96.3% | 96.3% (全微调) | 持平 |
| 视频生成运动质量评估 | 主题一致性 (Subject Consistency) | 96.3% | 95.9% (全微调) | 提升0.4个百分点 |
| 人类评估运动质量 | 胜率 (Win Rate) | 74.1% | 基础模型 | 提升74.1% |
| 人类评估运动质量 | 胜率 (Win Rate) | 53.1% | 全微调 | 提升53.1% |
局限与改进
作者承认的局限性包括：（i）运动显著性依赖于所选跟踪器；严重遮挡或透明度可能降低掩码质量；（ii）仅相机运动和非常细微的微运动在没有额外信号（如相机姿态）的情况下仍然难以分离。此外，从实验中观察到，MOTIVE在需要复杂变形、旋转动力学和物理驱动运动的场景中表现最佳，但对于简单的平移运动或缺乏明确物理约束的运动，改进可能有限。计算成本方面，虽然单时间步归因降低了成本，但在单个GPU上处理10k样本仍需约150小时，尽管可并行化，但需要大量GPU资源。另外，框架依赖于预训练的光流跟踪器，其质量直接影响运动掩码的准确性，这可能成为性能瓶颈。
独立分析的弱点
尽管MOTIVE框架取得了显著成果，但仍存在几个值得关注的弱点。首先，运动归因严重依赖光流估计的质量，AllTracker在处理遮挡、透明物体或快速运动时可能产生不准确的运动掩码，导致归因信号失真。改进方向包括开发更鲁棒的运动估计方法，或结合多种运动表示（如深度流、语义流）来提高掩码质量。其次，计算成本仍然较高，即使使用单时间步归因，处理大规模数据集仍需大量GPU小时。可以通过更高效的梯度近似方法或增量计算技术进一步降低成本。第三，框架主要关注物体运动，对相机运动的分离能力有限，这限制了在需要精确相机控制的场景中的应用。结合相机姿态估计和场景深度信息可以改善这一限制。第四，运动加权损失假设运动区域对运动学习最重要，但某些静态区域（如支撑表面、固定参考点）可能也对物理合理性至关重要，当前的二值化掩码可能忽略了这些微妙关系。
未来方向
基于MOTIVE框架的成果，未来研究可以朝多个方向发展。首先，扩展运动归因到更多运动类型和场景，包括多人交互、流体动力学、布料模拟等复杂物理过程，这需要更精细的运动表示和归因方法。其次，将运动归因与模型可解释性结合，不仅识别影响运动的训练数据，还解释模型如何从这些数据中学习特定运动模式，这可能揭示视频生成中的“运动知识”是如何编码的。第三，开发自适应数据选择策略，根据查询视频的运动特性动态调整选择标准，而不是使用固定的百分位阈值。第四，将运动归因应用于模型调试和修复，当生成视频出现运动伪影时，追溯到有问题的训练数据并进行针对性清洗或增强。最后，探索运动归因在模型压缩和知识蒸馏中的应用，识别对运动质量至关重要的参数和数据，实现更高效的模型部署。
复现评估
从复现性角度看，MOTIVE框架提供了相对完整的复现条件。论文基于公开可用的Wan2.1-T2V-1.3B模型，使用VIDGEN-1M和4DNeX-10M数据集（10k子集），这些资源均可获取。实现细节清晰：分辨率480×832，学习率1×10^{-5}，仅更新DiT骨干网络，冻结T5文本编码器和VAE。训练在4-8个NVIDIA A100 GPU上进行，单GPU处理10k样本约150小时，64 GPU并行约2.3小时。然而，完整复现面临几个挑战：首先，需要访问预训练的AllTracker模型进行光流提取；其次，Fastfood投影的实现需要仔细调参以平衡性能和存储；第三，人类评估需要招募17名评估者并进行50个视频的成对比较，这可能成本较高。论文未明确说明代码是否开源，但基于NVIDIA的研究项目，很可能提供代码和预计算的运动掩码。总体而言，对于拥有足够计算资源的团队，复现是可行的，但需要投入相当的时间和GPU资源。
论文图表
