自梯度强制：原生长视频外推 Self Gradient Forcing: Native Long Video Extrapolation

完整步骤如下（对应 Algorithm 1）。(1) 采样出口索引 $s \sim \text{Uniform}\{1,...,K\}$，令 $t^\star = t_s$。(2) Pass 1（无梯度）：对块 $i=1..N$，采样 $z_i^{t_1} \sim \mathcal{N}(0,I)$；对去噪步 $k=1..s$ 调用 $G_\theta(z_i^{t_k}; t_k, KV)$ 得到 $\hat{x}_i^{(k)}$ 并用调度器 $\Psi$ 更新噪声潜变量；记录 $Z^\star_i = z_i^{t^\star}$ 与 $\tilde{x}_i = \hat{x}_i^{(s)}$；把 $\tilde{x}_i$ 追加到上下文潜变量集合并通过 $C_\theta(\tilde{x}_i, t_{ctx}; KV)$ 更新持久 KV 缓存。(3) Pass 2（开启梯度）：令 $X_{rec} = \text{sg}(X_{ctx})$，在匹配的因果掩码 $\mathcal{M}_{rec}$ 下计算目标预测 $\hat{X}_{tar} = G_\theta(Z^\star, t^\star; X_{rec}, t_{ctx}, \mathcal{M}_{rec})$，梯度穿过上下文侧前向、K/V 投影、未来到上下文注意力与目标侧去噪计算。(4) 用 $\mathcal{L}_{DMD}(\hat{X}_{tar})$ 更新 $\theta$，并保留上下文 K/V 梯度。实现细节：Pass 2 使用 FlexAttention 配编译静态块稀疏因果掩码以提升显存效率；帧式配置 sink 4、总窗 21（FIFO 16、当前块 1）；块式配置 sink 3、总窗 12（FIFO 6、当前块 3、块大小 3）。fake-score 与 generator 更新按 5:1 调度，额外 Pass 2 工作只影响每个 5 步循环里的 generator 更新。

技术新颖性在于把一个串行图保留问题重塑为有界并行重计算问题，从而以可承受代价恢复了直接可微缓存无法承担的上下文写入梯度。作者给出清晰的显存 scaling 论证：直接可微缓存的显存 $\mathcal{M}_{direct} \gtrsim \mathcal{M}_{cache} + \sum_{i=1}^{T} \mathcal{M}_{KV\text{-formation}}(i) + \mathcal{M}_{\text{saved attention}}$（循环依赖、随 rollout 增长、OOM），而 SGF 的显存 $\mathcal{M}_{SGF} \approx \mathcal{M}_{\text{pass1 cache data}} + \mathcal{M}_{\text{records}}(\tilde{X}_{ctx}, Z^\star) + \mathcal{M}_{\text{parallel window}}(N)$（定窗、并行），满足 $\mathcal{M}_{SGF} < \mathcal{M}_{direct} < \mathcal{M}_{full\text{-}BPTT}$。SGF 还正交于所有上下文/缓存设计改进，能直接叠加。修订中作者识别出 Solaris（Savva et al. 2026）的 Checkpointed Self Forcing 在结构上最接近——同样采用 rollout 后并行重计算——但 SGF 把它形式化为针对历史上下文梯度缺口'记忆写入梯度恢复'的目标，并系统研究了原生长视频外推。

(1) 有界替代而非全 BPTT——只对单出口步、且不更新采样潜变量。改进方向：用梯度检查点扩展重建窗口，或在小段子序列上周期性做一次完整 BPTT 作为强监督。(2) 每块每步只采样单个出口步 $t^\star$，监督信号稀疏。改进：多出口步加权平均，或在出口步分布上加课程（早期低噪、后期高噪）。(3) 高度依赖重建几何与推理一致——掩码/RoPE/sink 任何偏差都会训练到错误的写入器，比较脆弱。改进：训练中内嵌 Pass1-Pass2 一致性自检（类似 Appendix D 但在线），自动校验掩码。(4) 上下文策略仍是固定 sink+FIFO，记忆表达力有限。改进：可学习 sink、或与检索/稀疏注意力组合以容纳更长程上下文。(5) dynamic degree 不能区分连贯与不连贯运动，需更精细的运动连贯性度量（如光流一致性、相机估计稳定性）才能公平比较。(6) 仅在 5s 窗口验证，长窗口训练是否会稀释上下文梯度信号未知。

作者明确提出的未来方向：把 SGF 与更强初始化、长上下文调优、检索增强记忆、缓存压缩技术结合；最自然的下一步是把 SGF 与长 rollout 暴露或检索组合，使模型既能写好短窗记忆又能访问更丰富的长程上下文。基于本成果可延伸的方向：把 SGF 迁移到交互式/世界模型场景（如 Solaris 的 Minecraft 多人世界模型、Matrixgame3），让世界状态记忆写入同样获得未来监督；与 Head Forcing 的头异质性、Next Forcing/Video-Mirai 的多块未来感知监督融合；用 SGF 解锁更长训练窗口（分钟级训练窗）以缩小训练-外推差距；探索可学习 sink 与 SGF 的联合优化。从理论角度，可研究 SGF 梯度相对于全 BPTT 梯度的偏差界，给出有界近似的收敛性保证。

开源情况：作者承诺代码与模型发布于项目页 https://zhuang2002.github.io/SelfGradientForcing ，但阅读时点尚未放出。基线来源明确：帧式与块式因果 ODE 的 Self Forcing 基线用 Causal Forcing 发布的 checkpoint，块式双向 ODE 基线用 Self Forcing 发布的 checkpoint，其余由作者在相同训练设置下复现。数据与配置：训练仅用 5s 窗口，基于 Wan video VAE，Pass 2 用 FlexAttention 配编译静态块稀疏因果掩码；帧式 sink 4/FIFO 16/当前 1、块式 sink 3/FIFO 6/当前块 3/块大小 3 全部写明。评测协议标准：5s 用 VBench 16 维、60s 用 VBench-Long、240s 用 128 条 MovieGen 提示。算力：从峰值显存约 80GB 推断为单卡 A100/H100 80GB 级别。算法（Algorithm 1）步骤精确、配置完整，复现难度中等——主要工程难点在于让 Pass 2 的因果重建掩码与 RoPE 精确匹配推理几何，且在干净上下文时间步的对齐上容错极低；若没有发布 checkpoint，精确复现初始化有一定门槛。两阶段恢复保真度（Table 7）与 sink 消融（Table 8）提供了可自查的诊断实验。