FlashMotion：基于轨迹引导的少步可控视频生成 FlashMotion: Few-Step Controllable Video Generation with Trajectory Guidance

第一阶段训练SlowAdapter：使用Wan2.2-TI2V-5B作为多步生成器（SlowGenerator），采用密集到稀疏的训练策略，先用分割掩码作为密集轨迹条件训练4.6K步，再用边界框作为稀疏轨迹条件微调5.4K步。轨迹特征通过零初始化卷积层注入到对应DiT块。第二阶段训练FastGenerator：使用DMD分布匹配损失将SlowGenerator蒸馏为4步生成器，公式为$\nabla_{\theta}\mathcal{L}_{DMD} = \mathbb{E}_{\epsilon \sim \mathcal{N}(0,I)}[-s_{real}(x_t, t) + s_{fake}(x_t, t)]$，其中$s_{real}$和$s_{fake}$分别估计真实和生成视频分布的得分。第三阶段训练FastAdapter：将SlowAdapter作为初始化，使用混合损失$L = \mathcal{L}_G + \lambda\mathcal{L}_{diffusion}$微调，其中$\mathcal{L}_G$是对抗损失，$\mathcal{L}_{diffusion}$是扩散损失，动态权重$\lambda = \frac{1}{4} \times 10^{-3} \times \text{step}^{0.1}$。

技术新颖性体现在多个方面。首先，这是首个研究少步轨迹可控视频生成的工作，填补了视频蒸馏与轨迹控制的交叉领域空白。其次，设计的扩散判别器架构融合了语义自注意力（整合首帧图像和文本信息）、轨迹交叉注意力（关注轨迹图）和视频交叉注意力（关注视频令牌），这三个注意力层依次处理可学习查询令牌。第三，提出的动态扩散损失缩放机制解决了早期训练中扩散损失梯度远大于对抗损失的问题。最后，引入的FlashBench基准包含600个长视频序列（最多121帧），按前景物体数量（1-5个和>5个）分组，填补了长序列轨迹控制评估的空白。

独立分析的弱点包括：第一，三阶段训练增加了工程复杂度，未来可以考虑端到端的单阶段训练范式；第二，动态扩散损失缩放公式$\lambda = \frac{1}{4} \times 10^{-3} \times \text{step}^{0.1}$是基于经验设计的，可能对不同数据集和架构需要调参，可以引入自适应权重学习机制；第三，ResNet适配器在复杂场景下轨迹精度不足，可以设计更强大的适配器架构；第四，本文主要关注2D轨迹控制，对于3D相机运动（如旋转、俯仰）的支持有限，可以扩展到6自由度相机控制；第五，判别器的三个注意力层增加了计算开销，可以探索更轻量的判别器设计。

作者提出的未来方向包括：探索更长的视频生成能力（当前最长121帧），以及支持更多样化的轨迹表示（如光流、关键点）。基于成果可延伸的方向包括：将FlashMotion框架扩展到其他可控视频生成任务（如文本控制、音频控制）；研究少步生成中的时序一致性增强技术；探索跨模态的轨迹控制（如用语音描述轨迹）；开发实时交互式的视频编辑工具；以及将FlashMotion与3D生成模型结合，实现轨迹可控的3D视频生成。另外，FlashBench基准可以进一步扩展，增加更多动态背景和复杂交互场景的数据。

复现评估方面，论文提供了GitHub代码仓库（https://github.com/quanhaol/FlashMotion）和项目网站（https://quanhaol.github.io/flashmotion-site/）。训练数据使用MagicData（23K视频），但未明确说明是否公开。算力需求较高：第一阶段需要16张A100训练约10K步，第二阶段需要16张A100训练5.5K步，第三阶段需要4张A100训练1K步。论文提供了详细的超参数设置（学习率、批大小、更新比例等）和评估指标计算方法。整体复现难度中等偏高，主要挑战在于获取训练数据和满足算力需求。