Salt:面向快速视频生成的自一致分布匹配与缓存感知训练框架 Salt: Self-Consistent Distribution Matching with Cache-Aware Training for Fast Video Generation

Salt 的训练 pipeline 可以拆成六个紧密耦合的步骤。第一步,准备数据与 teacher:在 Wan 2.1 (I2V 14B、T2V 1.3B) 与 AR backbone (Self Forcing / LongLive / Causal Forcing) 上,把多步 teacher 的 reference distribution 与 score $s_r$ 准备好,作为 DMD 的固定参考。第二步,定义学生诱导的 Euler 一步算子 $\Psi_\theta^{t \to s}(x) = x - (t-s) v_\theta(x, t, c)$,所有后续操作都基于这一算子。第三步,构建更密的训练网格 $\mathcal{T}_{\text{train}}$ (Salt 取 8 点),并对每个 $t_s \in \mathcal{T}_{\text{train}}$ 按 $t_e \sim \mathcal{T}^{(K)} \cap \{t < t_s\}$、$t_m \sim \mathcal{T}_{\text{train}} \cap (t_e, t_s)$ 采样三元组,使 $t_e$ 落在推理网格上、$t_m$ 落在训练网格内,兼顾训练信号丰富度与推理端点的监督。第四步,计算 SC 损失:对每个三元组同时跑一次直接更新与一次复合更新,得到两个端点 $x^{(1)}_{t_e}$ 与 $x^{(2)}_{t_e}$,用 $\mathcal{L}_{SC} = \|x^{(1)}_{t_e} - x^{(2)}_{t_e}\|_2^2$ 衡量 semigroup defect,该步骤只需在 $t_m$ 多一次 forward,开销极轻。第五步,组合 DMD + SC 总目标 $\mathcal{L}_{DMD} + \lambda_{SC} \mathcal{L}_{SC}$,按 DMD 标准的 critic / generator 交替方式优化。第六步(仅 AR),在每个 batch 从 $K \in \{2, 4, 8\}$ 采样步数做 chunk-wise 自回归 rollout:同时跑 DMD 更新、当 $K=8$ 时激活 $\mathcal{L}_{SC}$、当 $K \in \{2, 4\}$ 时跑参考对齐——具体是把同一 $\epsilon$ 下 K 步的 rollout 与更密 schedule 的参考 rollout 在中间层特征上做 $\ell_2$ 归一化,按帧计算 $R_f = \bar{z}_f \bar{z}_f^\top \in \mathbb{R}^{S \times S}$ 的 token 关系矩阵,再用 $\mathcal{L}_{align} = \frac{1}{F} \sum_f \frac{1}{S^2} \sum_{i,j} [\|R_f^{low}(i,j) - R_f^{ref}(i,j)\| - \delta]_+$ 做 margin-relaxed 对齐,只在关系差异超过 margin $\delta$ 时才惩罚。最终 AR 目标为 $\mathcal{L}_{DMD} + \lambda_{SC} \mathcal{L}_{SC} \mathbf{1}[K=8] + \lambda_{align} \mathcal{L}_{align} \mathbf{1}[K \in \{2, 4\}]$。

从技术新颖性看,Salt 的贡献可以拆成三点。第一,把 semigroup defect 从"主训练目标"降级为"正则项",并显式论证这一区分对视频任务的必要性:纯轨迹回归在复杂动态下会 mode-average,从而过平滑外观与动作;纯 DMD 又会因局部信号而漂移。两者结合的代价几乎只有一次额外 forward(在 $t_m$ 处),却换来了多步稳定性的显著提升。第二,把 KV cache 从"工程对象"重新概念化为"受先前质量调制的条件",并提出 mixed-step rollout + cache-conditioned reference alignment 的训练机制,首次系统性地在 AR 视频蒸馏的训练分布中显式覆盖 cache 质量谱。第三,在算子层直接端点对齐,而不是像 AYF 那样在连续 $(t, s)$ 对上做 PDE 风格的约束,实现更简单、与现代 CM solver / 自回归 rollout 直接兼容。从工程角度看,Salt 不改 backbone 架构、不引入额外推理开销、不依赖新数据,这些都让它的方法学新颖性与其工程可落地性同时具备。

独立审视后可以指出若干未被充分讨论的弱点。其一,SC 项目前只在 K=8 时激活,2/4 步 rollout 时 $\mathcal{L}_{SC}$ 直接置零,但表 5 显示 2 步推理反而是 Salt 相对最受益的场景;进一步把 SC 项扩展到更短链、或对不同 K 自适应地设 $\lambda_{SC}$,可能是直接的改进方向。其二,reference alignment 用的是单层中间特征的 token 关系矩阵,且只在 $K \in \{2, 4\}$ 时启用,空间结构信息相对单一;若改成多层、多 stage 的特征对齐、或引入时间维度的关系矩阵,可能进一步改善长 horizon 稳定性。其三,Dynamic Degree 在 I2V 上的下降提示 SC 项对运动幅度的"压制"过于保守,可以考虑在 SC 损失中加入运动幅度先验或耦合 motion magnitude regularizer 来显式保留动态性。其四,论文没有深入讨论 mixed-step rollout 中 $K \in \{2, 4, 8\}$ 这一离散集合的选择敏感度,也未给出对超长 horizon(>30 秒)或多 chunk 同步 cache 机制的实验;LongLive 30 秒结果提升有限已经暗示当 chunk 数与 cache 变化范围进一步扩大时,这一离散覆盖可能不足。其五,所有 Salt 增益的统计显著性并未给出置信区间或多 seed 平均,且与基线差距多在 0.3–1.5 分之间,样本波动是否主导仍不清晰。

作者在结论里把未来方向表述为"进一步分析 compositionality deficit 的理论根源"与"探索更广 backbone / 缓存机制",基于此可以延展出几条值得跟进的线索。第一,把 semigroup defect 形式化成可度量的连续时间诊断量,推导 compositionality deficit 与 DMD 梯度方差之间的理论联系,从而给出 $\lambda_{SC}$、$\delta$、采样三元组分布的超参选择准则。第二,把 cache-conditioned training 推广到非自回归场景——例如 sliding-window 视频扩散,把窗口重叠区的 cache / feature 当成受质量调制的条件,验证 Salt 在 I2V 14B 上的 VBench-I2V 增益是否可以进一步放大。第三,把 reference alignment 从空间 token 关系矩阵扩展到时间维度,设计时空联合的 relational loss,从而更直接地针对"长 horizon 时间一致性退化"这一仍未解决的痛点。第四,把 Salt 的混合步数 rollout 思路与 chunk-level 早退、动态 KV cache 压缩结合,做成自适应的"训练时随机化"机制,使单一模型能覆盖 2/4/8/16 步乃至更多档位的推理预算。第五,探索 Salt 与 reward-based distillation (Reward Forcing) 的组合,看是否能在保持分布匹配锐度的同时进一步对齐人类偏好。

Salt 的可复现性总体良好。论文在 Section 4.1 与附录提供了较为完整的实验设置:Wan 2.1 14B I2V 与 1.3B T2V 作为非自回归 backbone,Self Forcing / LongLive / Causal Forcing 作为 AR backbone;非自回归侧在 8 张 H200 上跑 800 iteration,与 DMD 的训练设置完全对齐,便于做公平对比;AR 侧遵循各原始工作的训练与评测协议。所有定量结论都在公开的 VBench / VBench-Long 上,主结果表与消融表里的 DMD-4 / DMD-8 / LightX2V / rCM / PCM / CausVid 等基线指标都可独立核实。代码承诺开源在 https://github.com/XingtongGe/Salt,论文还声明与多种 KV-cache 内存机制(LongLive、Self Forcing 等)兼容且不引入额外推理开销,方便落地。潜在复现难点在于三点:(a) I2V 实验使用了"proprietary internal I2V training set",非自回归 I2V 的训练数据未公开,论文级别的完全复现需要替代数据集;(b) AR backbone 自身的训练流程复杂且部分实现细节在原论文里就需要较多工程量;(c) Ours-α 引入额外 discriminator,以及 reference alignment 中 $\delta$ / $\lambda_{align}$ / 多层特征的具体选择都集中在附录,实际复现时需要仔细对齐这些超参。