模式寻觅遇见均值寻觅：面向快速长视频生成的解耦训练范式 Mode Seeking meets Mean Seeking for Fast Long Video Generation

方法分为训练和推理两个阶段。训练阶段每步处理两个minibatch：(1) 真实长视频batch——从数据集采样长视频潜在表示 $x_0^{long}$，构造噪声版本 $x_t^{long} = (1-t)x_0^{long} + tz$，输入共享编码器 $E_\phi$ 得到特征 $h_t$，通过Flow Matching头 $D_{FM}^\theta$ 预测速度 $u_\theta$，计算SFT损失 $\mathcal{L}_{SFT}$ 更新编码器和FM头；(2) 学生rollout batch——用学生模型当前参数生成长视频，对每个滑动窗口 $\text{crop}_k$ 添加噪声，通过DM头 $D_{DM}^\psi$ 预测窗口速度 $v_\psi^{(k)}$，同时查询冻结的短视频教师获得教师速度 $u_{teacher}$，训练一个fake得分估计器 $v_{fake}$ 来估计学生分布得分，计算DMD梯度代理 $(v_{fake} - u_{teacher})^\top \nabla_{\hat{x}_0^{(k)}}$ 更新编码器和DM头。总损失为 $\mathcal{L}_{total} = \mathcal{L}_{SFT} + \lambda_{seg} \mathcal{L}_{seg}$。推理阶段丢弃FM头，仅用DM头 $v_\psi$ 端到端双向生成长视频，4步即可完成。

本文的技术新颖性体现在三个层面：第一，首次在视频生成领域提出"时间维度不等价于空间分辨率"这一关键观察，从根本上质疑了混合长度训练的有效性；第二，将DDT（解耦扩散Transformer）架构从图像生成引入视频生成，并创新性地用它来分离均值寻觅和模式寻觅两种本质上冲突的目标，这在技术上比简单的多任务学习更优雅；第三，首次实现滑动窗口级别的DMD/VSD蒸馏应用于双向长视频生成——之前DMD主要应用于图像和短视频，本文通过巧妙的滑动窗口裁剪和VAE解码-重编码策略解决了窗口边界处图像/视频潜在语义不匹配的问题（从非零偏移位置裁剪的窗口开头是视频潜在而非图像潜在，需要重建），使得短视频教师可以仅通过局部窗口查询来指导长视频的每一帧。

从独立分析角度看，本文存在几个值得关注的弱点：(1) 评估不充分——200个提示词的测试集规模偏小，且仅评估30秒视频，对于声称"分钟级"生成能力的论文来说说服力不足。建议增加至少1000个提示词的测试，并报告60秒、120秒视频的质量衰减曲线。(2) 教师-学生同构限制——当前实验中教师和学生都是Wan 1.3B，实际应用中可能需要从更强的教师（如14B或专用短视频模型）向更轻的学生蒸馏。建议探索异构教师-学生组合。(3) 缺乏用户研究——VBench的自动指标和Gemini-3-Pro的评分未必与人类感知完全一致，特别是在运动自然性和叙事连贯性方面。建议增加人工评估。(4) 滑动窗口的粒度固定——当前窗口长度固定为约5秒，对于不同复杂度的视频，自适应窗口大小可能更优。(5) 训练效率未知——论文未报告完整训练的GPU小时数和收敛速度，难以评估实际可复现性。

本文的未来研究方向可以从以下几个维度展开：第一，与因果自回归模型结合——作者在附录中明确提出这是"自然的后续工作"，可以将本文训练好的双向长视频模型作为基础模型，进一步进行因果AR训练，或者将长上下文双向模型蒸馏为因果采样器（通过添加因果注意力掩码）。第二，与rollout鲁棒性技术结合——如Rolling Forcing、LongLive等方法可以进一步提升AR推理时的误差累积问题。第三，更长上下文外推——本文的编码器已具有长上下文能力，结合更长的位置编码方案（如InfinityRoPE的扩展版本）可能实现更长的生成。第四，交互式世界模型——长上下文编码器提供了一种持久的历史表示，可以在此基础上添加动作/交互条件，应用于具身智能和游戏世界建模。第五，探索更高效的DMD实现——当前每5步需要训练fake得分估计器，是否可以用更轻量的替代方案（如EMA教师）来简化训练流程。

从复现角度看，本文具有一定可行性但存在几个挑战。开源方面：论文基于FastGen（NVIDIA开源仓库）实现，但未明确说明是否开源完整训练代码和预训练权重，这会显著影响复现难度。数据方面：训练数据来自Sekai数据集（公开）、MiraData子集（公开）和筛选的互联网视频，总计超过10万条10秒到分钟级视频，平均31秒，上限61秒——这些数据基本可获取，但互联网视频的筛选标准未详细说明。算力方面：训练在A100和GB200 GPU上进行，使用DeepSpeed Ulysses序列并行（A100组大小4，GB200组大小2），对于1.3B模型规模，预估需要数十到上百GPU天；14B模型的算力需求可能达到数百GPU天。关键依赖：Wan模型（开源）、DDT架构（需自行实现或从开源代码修改）、DMD/VSD梯度实现（技术细节较多）。总体复现难度为中等偏高，主要瓶颈在DMD滑动窗口实现的工程复杂性。