WorldCache：面向加速视频世界模型的内容感知缓存框架 WorldCache: Content-Aware Caching for Accelerated Video World Models

WorldCache的完整步骤如下：输入：latent tensor z_t ∈ R^(B×T×H×W×D)（第t步的潜变量），cached deep states from steps t-1和t-2（存储在ping-pong buffer中）。步骤1：运行probe blocks（1..k）计算浅层特征z^(k)_t。步骤2：CFC计算运动代理v_t = ||z^(0)_t - z^(0)_{t-2}|| / (||z^(0)_t|| + ε)，并计算运动自适应阈值τ_CFC(v_t) = τ_0 · (1 + α · v_t)。步骤3：SWD计算显著性图S_{h,w} = exp(Var_d(z̄^(k)_t[h,w,:]))，归一化为Ŝ，然后计算显著性加权drift δ^SWD_t = (1/HW) Σ_{h,w} ||z^(k)_t(h,w) - z^(k)_{t-1}(h,w)|| · (1 + β_s · Ŝ_{h,w})。步骤4：决策：如果δ^SWD_t < τ_ATS(t) = τ_CFC(v_t) · (1 + β_d · t/T)，则cache hit；否则cache miss。步骤5：Cache hit时，OFA首先估计位移场u_{t→t-1} = LatentCorr(z^(0)_t, z^(0)_{t-1})，warp缓存特征z̃^(N)_{t-1} = Warp(z^(N)_{t-1}, u_{t→t-1})。然后计算residuals r_{t-2} = z^(N)_{t-2} - z^(0)_{t-2}, r_{t-1} = z̃^(N)_{t-1} - z^(0)_{t-1}, r̃_t = z^(k)_t - z^(0)_t。计算Δ_tgt = r̃_t - r_{t-2}, Δ_src = r_{t-1} - r_{t-2}，最优增益γ* = argmin_γ ||Δ_tgt - γ·Δ_src||^2 = ⟨Δ_tgt, Δ_src⟩ / (||Δ_src||^2 + ε)，clamp到[0, γ_max]。逼近输出ẑ^(N)_t = z^(0)_t + r_{t-2} + γ* · (r_{t-1} - r_{t-2})。步骤6：Cache miss时，运行full deep blocks得到z^(N)_t，更新缓存。输出：逼近的deep output ẑ^(N)_t（或full computed z^(N)_t）用于采样器得到z_{t+1}。整个循环对t = 1..T执行。

WorldCache的技术新颖性体现在四个方面：一是首次将缓存问题形式化为动态逼近问题，识别出零阶保持是质量退化的根源，并用向量投影和warping来改进逼近；二是引入motion-adaptive thresholding (CFC)，用从latent input导出的运动代理v_t来动态调整skip阈值，这在prior方法中不存在；三是引入saliency-weighted drift (SWD)，用通道方差显著性图重新加权drift信号，使缓存决策反映foreground fidelity而非background noise，这是首次将saliency感知引入缓存决策；四是最优状态插值(OSI)用最小二乘向量投影替代标量ratio方法，这在feature trajectory弯曲时自然衰减γ*，防止沿过时方向外推，这比DiCache的L1 ratio方法更principled。此外，WorldCache的模块化设计允许单独使用每个模块，为未来研究提供了组合空间。

独立分析的弱点包括：一是对静态场景的优化不足，虽然CFC在fast dynamics时收紧阈值，但在静态场景中可能过于保守，错过加速机会，改进方向可以是加入scene complexity估计来进一步放松阈值；二是motion estimation仅用latent correlation，在低纹理或重复模式区域可能不准确，可以引入外部光流网络或改进correlation的multi-scale策略；三是显著性估计仅用channel variance，可能不捕获某些语义重要但channel-wise稳定的内容（如 uniform color的关键物体），可以引入语义显著性（如预训练的saliency detector）；四是ping-pong buffer策略在高动态场景中可能频繁失效，导致cache miss rate高，可以探索多-slot cache或adaptive buffer size；五是方法假设denoising trajectory的两阶段结构（structure formation + refinement），但这在不同模型和schedulers中可能不同，ATS的phase-aware relaxation可能需要更灵活的调度策略；六是仅关注spatio-temporal consistency，没有显式优化world model特有的metrics如physical plausibility，可以在决策中引入physics-aware constraints；七是warping操作增加了~3% overhead，在cache hit率低时可能得不偿失，可以动态启用/禁用warping。

作者提出的未来研究方向包括：将WorldCache扩展到更多DiT backbone和视频生成任务，如text-to-video、video editing；探索与其它加速技术（如蒸馏、few-step sampling）的组合，实现更大的端到端加速；研究自适应超参数选择，根据输入复杂度在线调整τ_0, α, β_s, β_d；将saliency-weighting扩展到更多维度，如temporal saliency或cross-attention saliency。基于成果的可延伸方向包括：将CFC的motion-adaptive思想应用于其它缓存场景，如KV cache在LLM推理；将SWD的perception-aware probing扩展到其它diffusion加速方法，如early exit或layer skipping；将OFA的optimal approximation框架用于其它重用场景，如generation buffer caching；研究WorldCache在交互式world simulation中的应用，如real-time planning和control；将方法推广到3D生成或多模态生成；探索在训练阶段也使用缓存策略，如training-time feature reuse；研究WorldCache在continual learning或adaptive generation中的应用，其中cache可能需要动态更新。

复现评估：论文提到项目页面在World-Cache，但没有提供具体的URL和代码仓库链接。实验使用NVIDIA H200 GPU，batch size和precision设置在所有方法间保持一致，但论文没有报告具体的precision（如FP16 vs BF16）和memory usage。Hyperparameters在所有模型和任务上固定（τ_0=0.08, α=2.0, β_s=0.12, β_d=4.0, probe depth k未明确说明，γ_max=2），没有提供per-dataset的tuning细节。论文报告了wall-clock latency的平均值，但没有标准差或多次运行的统计显著性测试。评估的PAI-Bench benchmark的public access没有明确说明，PAI-Bench spans six physical domains但没有列出具体的prompt数量和split。代码和checkpoint的开源状态不清楚，论文没有声明代码将开源，也没有引用开源代码仓库。复现难度中等偏高，因为需要访问Cosmos-Predict2.5和WAN2.1的checkpoint，这些模型可能需要NVIDIA的访问许可。方法的核心算法描述详细，但一些实现细节（如LatentCorr的具体实现、correlation的patch size、warping的interpolation method）在论文中没有明确说明。