SGF+：解耦梯度流的自回归视频生成 SGF+: Decoupling Gradient Flows for Autoregressive Video Generation

完整流程分四步。第一步，模型组装：以 Wan2.1-T2V-1.3B 为学生骨干，用 Causal Forcing 发布的 Teacher Forcing 权重初始化；另备冻结的 Wan2.1-T2V-14B 真教师和单独训练的 fake-score 网络（也从 1.3B 初始化），构成 DMD 蒸馏三件套。SGF+ 用两套完整参数实现角色分离（也支持双 LoRA 适配器，本文采用全参数），生成器参数从 1.4B 增至 2.8B。第二步，Pass 1 无梯度自回归 rollout：模型串行生成各块，对每块做多步去噪得到干净估计 $\tilde{x}_i$，再以 $t_{ctx}=0$ 调用写入器更新串行 KV 缓存，即 $KV_i = C_\theta(\tilde{x}_i, t_{ctx}\,|\,KV_{<i})$；随机采样去噪出口 $t^\star$ 并记录全部 $X$ 与 $Z^\star$，二者均从采样轨迹 detach。第三步，Pass 2 并行梯度重建：在因果重建掩码 $M_{rec}$ 下一次前向完成 $M_{\theta_c} = C_{\theta_c}(sg(X), t_{ctx}\,|\,M_{rec})$ 与 $\hat{X}_{tar} = D_{\theta_d}(Z^\star, t^\star\,|\,M_{\theta_c}, M_{rec})$，损失 $\mathcal{L} = \mathcal{L}_{DMD}(\hat{X}_{tar})$；梯度经 KV 状态到达 $\theta_c$、经目标去噪到达 $\theta_d$，回放潜变量与缓存轨迹保持 detached，因此无需对整个 rollout 反传。第四步，优化与推理配置：AdamW（$\beta_1=0,\beta_2=0.999$），生成器学习率 $2\times10^{-6}$、critic $4\times10^{-7}$，每 5 次 critic 更新做 1 次生成器更新，推理用 4 步去噪；上下文策略为 sink+FIFO——帧级模式 4 个 sink + 16 个近期潜变量 + 1 个当前（窗口 21），块级模式 3 + 6 + 3（窗口 12）。训练数据只用 VidProM 过滤扩展提示上的 5 秒视频窗。

新颖性有四点。其一，首次把自回归视频扩散中"写上下文"与"去噪"作为两个优化角色显式分离并定量刻画冲突：128 prompt × 4 去噪步测量中 Attention/FFN 平均梯度夹角 104.2°/106.3°，512 对配对余弦全负；且冲突在 Teacher Forcing 初始化时已存在——真实视频 50 步扩散 schedule 上，相邻步梯度方向在 0→1（干净上下文写入到带噪去噪的过渡）处发生突变，TF 阶段平均角色梯度夹角也达 95.1°/105.1°。其二，解决方案极简：不加辅助损失、不加数据、不延长训练时域，仅拆参数即得收益，工程上只是把 SGF 已有的梯度路径重新路由。其三，附录 G 给出局部优化理论：固定回放目标下，在欧氏预算 $\|\delta_c\|^2+\|\delta_d\|^2\le r^2$ 内，$D_{split}(r)^2 - D_{shared}(r)^2 = \frac{r^2}{2}\|g_C - g_D\|^2$；共享约束导致的下降损失占比 $\Gamma = 1 - \frac{\langle g_C,g_D\rangle}{E}$（$E=\|g_C\|^2+\|g_D\|^2$），负对齐时 $\Gamma>1/2$；当 $g_C=-g_D$ 时绑定参数点成为共享目标的驻点而拆分目标并非驻点，同学习率下一步下降差距 $\approx 2\eta\kappa$（$\kappa=-\langle g_C,g_D\rangle$）。其四，部分分离的残余损失有闭式刻画（式 29，正比于未分离块上 $\|g_C^{(b)}-g_D^{(b)}\|^2$ 之和），直接预言并解释了消融中 Attention-only/FFN-only 不如全分离的结果。

独立分析四点弱点。其一，运动保守化风险：SGF+ 在动态程度上一致偏低，虽然可解释为对手伪运动灌水，但对真实需要大幅运动的分布（体育、动作场面、镜头快速移动），更稳的更新规则可能系统性压低运动幅度；改进方向是引入运动感知的奖励或分布匹配项，把"稳定性"与"运动丰富度"解耦优化。其二，参数与显存成本：全参数分离使参数、优化器状态和缓存均近翻倍，在 14B 级模型上代价高昂；双 LoRA 变体只提了一句没有数据，值得系统消融 LoRA 秩与层级选择，并可借助附录 G 的块级公式（式 29）按 $\|g_C^{(b)}-g_D^{(b)}\|$ 挑选冲突最大的块做选择性分离，以小代价吃到大头收益。其三，评估面窄：VBench 类指标无法衡量小时级视频的语义连贯、情节记忆与世界状态一致性，长时程能力主要靠定性图支撑，应补充长期记忆探针任务和人类评估。其四，框架耦合：方法深度绑定 SGF 的两遍 replay 与 DMD 蒸馏设定，对非蒸馏自回归模型、块级世界模型是否同样受益未知；理论也只覆盖固定回放下一阶情形，非凸长期训练动力学缺乏刻画。

作者明确提出的方向有二：一是把角色分离前移到 Teacher Forcing 阶段并推广到世界动作模型（WAM）——既然 TF 初始化时就存在 95.1°/105.1° 的角色梯度夹角，以 teacher forcing 训练、需要用历史 KV 预测视觉与动作的世界动作模型是天然应用场景，分离上下文写入与视觉/动作预测可能让历史表示学得更好；二是非对称架构：为上下文写入器定制更轻的容量，在受限缓存预算下从冗余视频历史学习压缩 KV 表示，只通过未来生成损失优化写入器、不动去噪器的参数与注意力接口，目标是同时降低参数存储、缓存显存和注意力成本。论文还提到模型合并（task arithmetic、TIES-Merging、DARE 等）可作为协调多角色优化的替代技术路线。基于本文成果还可延伸：按层/块梯度冲突度做自适应选择性分离；把角色分离与 FreqForcing、MemRoPE、attention sink 等免训练长视频技术叠加验证互补性；把压缩 KV 写入器发展为显式分层记忆模块，向长时程记忆世界模型演进。

复现评估：项目页为 https://zihan-su.github.io/self-gradient-forcing-plus ，提供大量生成视频展示，但论文文本中未见明确的代码开源链接，复现可能需等待官方发布或按论文自行实现。所需外部组件均公开可得：Wan2.1-T2V-1.3B/14B 权重、Causal Forcing 的 Teacher Forcing 初始化权重、VidProM 提示集、VBench/VBench-Long/MovieGen-128 评测提示。附录 B 给出的超参与配置相当完整：AdamW（$\beta_1=0,\beta_2=0.999$）、生成器学习率 $2\times10^{-6}$、critic $4\times10^{-7}$、1:5 生成器/critic 更新比、4 步去噪、sink+FIFO 上下文策略（帧级 4+16+1、块级 3+6+3）。算力门槛较高：训练峰值显存约 98.15GB、稳定显存 73.60GB（表 3），需要 H100 级单卡或多卡并行，且要同时容纳冻结的 14B 教师与 fake-score 网络；完整评测还需跑 VBench 全套指标。总体属于中等偏高难度：方法结构清晰（在 SGF 基础上拆参数、改两遍前向的参数路由），但缺少官方代码时，可微 KV 重建的显存工程细节（梯度检查点、并行重建）是最大门槛。