RhymeFlow：通过异步去噪流调度实现免训练视频生成加速 RhymeFlow: Training-Free Acceleration for Video Generation with Asynchronous Denoising Flow Scheduling

RhymeFlow 推理流水线含七步。输入：长度 $N$ 的噪声潜帧 $\{z_T^{(i)}\}_{i=1}^N$、文本 prompt、Video DiT $\theta$。第一步同步 Warm-up：$t=T$ 到 $t=T-T_w$ 间对每帧执行 $z_{t-1}^{(i)} = \text{DiT}(z_t^{(i)}, \text{prompt})$，全帧共用 3D 注意力。第二步关键帧选择：用 $T_w$ 步内最后输出做单步去噪得 $\hat{z}_0^{(i)}$，从 $i=1$ 顺序遍历，若 $\cos(\hat{z}_0^{(i)}, \hat{z}_0^{(k)}) < \tau$ 则加入 $\mathcal{K}$。第三步渐进异步调度：$t > T_{mid}$ 时非关键帧每 $n_{small}=2$ 步跳一次；$t \le T_{mid}$ 时每 $n_{large}=3$ 步更新一次。第四步关键帧更新：非关键帧用 $\hat{z}_\tau^{(j)} = (1-\alpha) z_{t_{start}}^{(j)} + \alpha z_{t_{end}}^{(j)}$ 投影后再算 $K,V$。第五步 Rhythmic Points：轨迹交汇时全帧重做同步 3D 注意力重对齐。第六步 KV-Cache 维护每层滚动缓存。第七步循环至 $t=0$ 后 VAE 解码输出像素视频。

本文的技术新颖性可以分四个层面理解。第一层是问题形式化层面：首次显式地把每帧每步同步去噪作为可破除的约束提出来，并给出关键帧走稠密、非关键帧跳步的替代范式，这是稀疏注意力社区长期默认但从未直接挑战的假设。第二层是算法层面：基于余弦相似度的序列式关键帧选择（Table 4 显示比均匀选帧 PSNR 高 2.0 dB、比随机选帧高 5.7 dB）+ 渐进式异步步长（高噪声阶段步长小、低噪声阶段步长大）结合 Rectified Flow 的线性假设做解析投影，三者耦合紧密。第三层是工程层面：post-attention rolling cache 设计把非关键帧中间状态从持久存储压缩为瞬时计算，使显存峰值低于原始稠密模型。第四层是范式层面：通过与 SAP 组合实现 1.66×（Wan 2.1）/1.93×（CogVideoX-v1.5）/2.60×（HunyuanVideo）的加速比，证明该方法可与所有主流稀疏注意力正交叠加，是首个系统化证明 inter-step 帧间调度可作为独立加速轴的工作。

独立分析，RhymeFlow 有四个可改进的弱点。第一，$T_w=8$ 步 warm-up 是硬开销，可探索 warm-up 异步化或轻量早停。第二，关键帧选择仅看相邻关键帧余弦相似度，没利用 motion magnitude 或光流信息，对强运动场景可换成 motion-aware score。第三，Projection 假设 ODE 轨迹线性，但 Rectified Flow 只是近似线性，$n_{skip}=3$、低噪声阶段非关键帧可能经历大幅结构变化；可训练 hypernetwork 预测非线性残差 $\delta_\tau^{(j)}$ 让 $\hat{z}_\tau^{(j)} = (1-\alpha) z_{start} + \alpha z_{end} + \delta_\tau^{(j)}$，或用 KL 监控发散超阈值则动态调小 $n_{skip}$。第四，KV-Cache 只缓存最近两步 hidden state，$n_{skip} > 2$ 时部分中间 $\tau$ 离缓存步太远，可改成缓存三步。第五，用户研究只对比 SVG、SAP、Dense，未与 EasyCache、DiCache、FasterCache、TeaCache 等缓存类方法直接对比。

作者明确提出用学习到的连续调度函数替代手动设计的渐进步长，可延伸出多个方向。第一，可把 $(T_w, n_{small}, n_{large}, T_{mid}, \tau)$ 五个超参联合建模为 RL 策略，让 agent 在每段视频上自动决定配置，用下游 VBench 分数作 reward。第二，把关键帧选择从静态余弦相似度升级为在线 learned predictor，输入 $\hat{z}_0^{(i)}$ 拼接时间位置 embedding，输出该帧作为关键帧的概率。第三，把 Latent Trajectory Projection 推广到非线性形式，用 Rectified Flow 模型自身作 predictor 做 few-step rollout 得到更精确的中间状态。第四，把 inter-step 帧间异步扩展到 inter-chunk 时序分块——把整个视频分成长度为 4-8 帧的块，块内异步、块间同步，进一步压低长视频延迟。第五，把异步调度与 token-level sparse attention 做端到端联合 NAS 搜索。第六，把方法推广到图像扩散和多视角视频生成，验证 inter-step 范式的通用性。

本文可复现性整体良好。作者开源了项目页 https://simon-dcs.github.io/Website-of-RhymeFlow/ 和 GitHub 仓库 https://github.com/Simon-Dcs/RhymeFlow，且所有核心超参都给出默认值（$T_w=8, M=4, n_{small}=2, n_{large}=3$）。实验基于两个主流开源模型 Wan2.1-T2V-v1.3B-Diffusers 与 CogVideoX-v1.5-T2V 以及 HunyuanVideo，无私有权重依赖。评估使用 Penguin Benchmark + VBench 评测协议，PSNR/SSIM/LPIPS/SubCons./ImgQual. 全是公开标准。算力方面单次评估在 A800 跑 Wan 2.1 约需 16-17 分钟，整体复现估计需 4-8 张 A800 × 3-5 天。复现难度中等偏高（涉及 DiT 内部 attention hook 修改和 KV-Cache 替换）。潜在不确定点：余弦相似度阈值 $\tau$ 和 $T_{mid}$ 具体小数位论文未完全给到，需查代码；Rectified Flow 轨迹线性度对不同 DiT 不一定一致，复现者可能需微调 $\tau$。