掩码强制：基于双噪声掩码推演的自回归视频扩散蒸馏改进 Mask Forcing: Improving Autoregressive Video Diffusion Distillation via Dual-Noise Masking Rollout

完整流程对应 Algorithm 1。第一步，准备：教师为 Wan2.1-T2V-14B、学生为 Wan2.1-T2V-1.3B，固定 $T=4$ 步去噪时间表（从 $N_t=1000$ 个训练时间步中选取），每个 chunk 采样退出步 $s\sim\mathrm{Uniform}\{1,\dots,T\}$。第二步，对每个 chunk $i$（chunk-wise 下含 3 个 latent 帧），从纯噪声做一次无扰动前向得初始预测 $\hat{x}^0_{i,T}$。第三步，对 $j=T-1,\dots,s$ 的每个去噪步：在窗口 $[\max(t_{\min},t_j-\Delta/N_t),\,t_j]$ 内均匀采样更低噪声时间步 $t'_k$（默认 $\Delta=250$、$t_{\min}$ 取调度索引 20 处的值）；采样一次噪声 $\epsilon_j$，把上一步干净预测 $\hat{x}^0_{i,j+1}$ 分别重加噪到 $t'_k$ 得更干净状态 $x^{t'_k}_i$、到 $t_j$ 得更噪状态 $x^{t_j}_i$。第四步，用掩码比例 $\alpha=0.2$ 的二值掩码 $M^i$ 混合成 $x^{t_{mix}}_i=M^i\odot x^{t'_k}_i+(1-M^i)\odot x^{t_j}_i$，以原始时间步 $t_j$ 为条件前向得 $\hat{x}^0_{i,j}=G_\theta(x^{t_{mix}}_i\mid x_{<i},c,t_j)$；chunk-wise 时掩码对 chunk 内每帧独立采样、每 chunk 重采样。第五步，chunk 到达退出步 $s$ 后，其干净预测 $\hat{x}^0_{i,s}$ 写入 KV cache 作为后续 chunk 条件。第六步，对完整 rollout 输出计算 DMD 损失更新 $\theta$。训练约 1.5k 步、8 卡 GPU 共 14 小时，推理无需改动。

技术新颖性有四个层面。第一，问题定位新：明确把过饱和与过平滑归因于 self-rollout DMD 的逆 KL 众数寻求，并指出作用点应是 rollout 轨迹而非损失函数，此前工作未系统化利用这一视角。第二，机制设计新：双噪声掩码把 MaskGIT/MAE 式掩码建模嫁接到扩散蒸馏 rollout 上，且刻意让输入局部噪声水平与全局条件时间步不一致——模型以为整个输入处于 $t_j$，实际部分 token 是更干净的 $t'_k$，这种不一致本身就是只在训练时存在的扰动，推理时消失。第三，理论贡献新：给出掩码轨迹边缘分布逆 KL 的精确互信息分解（公式 21），把掩码多样性、轨迹多样性与教师众数覆盖之间的因果链形式化，并指出扰动强度的权衡——扰动太弱则互信息小、覆盖提升有限；太强则条件分布偏离教师支持区域、平均逆 KL 上升。第四，工程友好：无需真实数据、无后训练、无额外前向传播，约 1.5k 步、8 卡、14 小时即可收敛，以即插即用方式同时改进三个 AR 蒸馏基线；消融系统覆盖掩码比例、时间步窗口、掩码方案三组超参，给出质量-动态性权衡的完整实证图谱。

弱点一：质量-动态性跷跷板依赖手工调参。消融显示掩码比例与时间步窗口都在更干净信号越多、画质越好但运动越差的方向上单调权衡（$\alpha=0.2$、$\Delta=250$ 是作者选的平衡点），对运动剧烈的应用（体育、舞蹈生成）默认配置可能明显压低运动性（$\alpha=0.5$ 时 Dynamic 从 82 掉到 44）。改进方向：引入随 rollout 进度或预测不确定性自适应调整 $\alpha$ 与 $\Delta$ 的调度，或把运动性指标作为约束纳入超参选择。弱点二：中间误差仍会进入 KV cache。方法只靠更干净 token 的上下文间接改善中间预测，没有对其施加任何显式监督，长视频 24–30s 区间 HPSv3 仍从 9.65 衰减到 8.68，说明误差累积只是被缓解而非消除；改进方向是对写入 KV cache 的退出预测加一致性校验或时序正则。弱点三：理论与实践有缝隙。互信息分解假设精确分数，且 fake score 估计的是混合边缘的分数，当掩码强度大、各条件分布差异显著时，单点估计的梯度可能高方差，而 DMD 类训练本身就不稳定，论文缺少训练稳定性分析；改进方向是给出梯度方差随 $\alpha$、$\Delta$ 变化的实证曲线并引入方差缩减手段。弱点四：评估规模有限——人评仅 24 人，多样性测试每 prompt 仅 8 个样本，且未在更大规格学生（如 14B）或其他基座（HunyuanVideo、LTX）上验证可扩展性；改进方向是扩大人评规模并做跨基座验证。

作者提出的方向：其一，把相机控制 I2V 世界模型实验扩展到长序列训练与 rollout，以及面向时间外推的上下文更新策略（引用 LongLive 与 Self Gradient Forcing 的思路），实现长时程精确交互式生成；其二，在项目页基础上继续推进交互式世界模型应用。基于本文成果可以延伸的方向：第一，自适应或可学习的掩码调度——把 $\alpha$ 和 $\Delta$ 作为随训练进程退火的课程，早期大扰动促探索、后期小扰动保质量，有望同时拿到高 HPSv3 与高 Dynamic；第二，把双噪声掩码与众数覆盖型目标（rCM、一致性目标）正交结合，检验互信息机制在非逆 KL 目标下是否仍有增益；第三，理论延伸——把互信息分解推广到非精确分数与有限样本情形，定量刻画掩码强度与梯度方差/偏差的关系，反过来指导超参自动选择；第四，迁移到动作条件交互式世界模型（Matrix-Game、OmniWorld 类）与音视频联合生成，验证多模态条件下的鲁棒性；第五，探索结构化掩码设计空间，如利用光流先验做运动区域偏置的掩码，把更干净 token 放在运动传播最需要的位置。

复现条件总体友好。有利方面：基座与教师（Wan2.1-T2V-1.3B/14B）、三个基线、训练 prompt 集（VidProM）与各评测集（100-prompt、VBench、MovieGen、VBench-Long）全部公开；方法只改 rollout 输入构造，不改结构、不加数据、不加阶段，作者提供了完整伪代码（Algorithm 1）和关键超参（$\alpha=0.2$、$\Delta=250$、$t_{\min}$ 取调度索引 20 处值、$T=4$ 步、退出步均匀采样、两次重加噪共享 $\epsilon_j$）；训练成本仅约 1.5k 步、8 卡 GPU 共 14 小时，学术实验室可承受；另有项目主页 alicezrzhao.github.io/mask-forcing。不利方面：正文未明确承诺开源训练代码，需以项目页实际发布为准；部分实验门槛较高——frame-wise 的 ODE 初始化模型需自行用教师蒸馏的 ODE 配对数据训练，相机控制实验需先在 SpatialVID、OmniWorld、Sekai 等多个数据集上训练双向模型再做 teacher forcing 与一致性蒸馏，工程量大；评测依赖 HPSv3、VisionReward、V-JEPA2/CLIP 特征空间的 MMD 等多个组件，管线搭建有工作量；14B 教师推理显存需求不低。综合判断：有 DMD/self-forcing 经验的团队复现核心方法难度中等偏低（一至两周量级），完整复现含世界模型在内的全部实验难度较高。