WorldCache：通过异构 Token 缓存免费加速世界模型 WorldCache: Accelerating World Models for Free via Heterogeneous Token Caching

WorldCache 的完整流程如下。初始化阶段：设置历史缓冲区 $H$（存储最近 3 个 FULL 输出）、token 掩码 $I_{stable}, I_{linear}, I_{chaotic}$、缓存步计数器 $k=0$、累积漂移信号 $E_{acc}=0$。对于每个去噪步 $t$ 从 $T$ 到 $0$：(1) 如果历史缓冲区不足 3 个 FULL 输出，或累积漂移 $E_{acc} \geq \eta$，则执行 FULL 计算——运行完整骨干网络 $y_t = F_\theta(z_t, t)$，将 $(y_t, t)$ 存入历史缓冲区 $H$，当 $|H|=3$ 时计算每个 token 的曲率 $\kappa_i$ 并按百分位数 $p_s=0.3, p_c=0.7$ 更新 token 分组掩码，然后重置 $k \leftarrow 0, E_{acc} \leftarrow 0$；(2) 否则执行 CACHE 近似——$k \leftarrow k+1$，对稳定 token $i \in I_{stable}$ 直接复用 $\tilde{y}_{t,i} = y_{t_\star,i}$，对线性 token $i \in I_{linear}$ 进行一阶外推 $\tilde{y}_{t,i} = y_{t_\star,i} + k \cdot v_{t_\star,i}$，对混沌 token $i \in I_{chaotic}$ 使用阻尼更新 $\tilde{y}_{t,i} = y_{t_\star,i} + k \cdot v_{adapt}^i(k)$ 其中 $v_{adapt}^i(k) = (1-\alpha_k)v_{t_\star}^i + \alpha_k v_{t_\star-1}^i$，$\alpha_k = 3(k/n_{max})^2 - 2(k/n_{max})^3$；(3) 计算当前步的归一化漂移 $E(t) = \frac{1}{|I_{chaotic}|}\sum_{i \in I_{chaotic}} \kappa_i \|\tilde{y}_{t,i} - \tilde{y}_{t+1,i}\|_2$ 并更新累积 $E_{acc} \leftarrow E_{acc} + E(t)$；(4) 用调度器更新隐变量 $z_{t-1} = S(z_t, \tilde{y}_t, t)$。整个过程交替进行直到去噪完成。

WorldCache 的技术新颖性体现在三个方面。首先，这是第一个系统性识别并解决扩散世界模型中 token 异构性问题的工作。之前的方法（如 TeaCache、EasyCache、DuCa）都假设所有 token 具有相似的动力学，采用全局统一的缓存规则。WorldCache 首次基于物理学中曲率的概念，提出了一种有理论保证的 token 可预测性度量，证明了曲率可以作为一阶缓存难度的上界（Lemma A.2），并且曲率与特征偏差的乘积在全局缩放下是无量纲的（Theorem 4.1）。其次，作者设计的 Hermite 阻尼预测器是一个巧妙的技术创新——它不是简单地复用或外推，而是通过 smoothstep 调度混合最近两步的速度，在缓存序列变长时自动变得更加保守，这既保留了短期预测的响应性，又避免了长期累积的漂移。实验表明，这种阻尼更新相比朴素外推可以将混沌 token 的缓存误差降低约 40%。第三，混沌优先的自适应跳过（CAS）策略解决了"何时触发昂贵计算"这一关键问题——与全局平均误差或固定间隔策略不同，CAS 只监控混沌 token 子集的累积漂移，避免了稳定 token 对触发信号的稀释效应。Theorem 4.1 的无量纲归一化使得单一阈值 $\eta$ 可以跨模态和跨时间步工作，这在世界模型的多模态设置下尤为重要。

从独立分析的角度来看，WorldCache 存在以下几个值得改进的弱点。第一，曲率估计的延迟问题：当前方法需要三个连续的 FULL 输出才能计算曲率并更新 token 分组，这意味着在去噪开始时有一段"冷启动"期。对于去噪步数较少的场景（如 30 步），这个冷启动开销占比更大。一个可能的改进方向是利用前向过程中的统计信息或模型的先验知识来预估初始曲率分布，减少冷启动期。第二，百分位数分组的静态性：当前的 token 分组完全基于曲率百分位数，这意味着分组比例是固定的（30% 稳定 + 40% 线性 + 30% 混沌），但实际上不同时间步和不同场景中 token 的难度分布是动态变化的。可以考虑引入自适应分组机制，根据当前步的曲率分布动态调整分组边界。第三，阻尼预测器的固定调度：Hermite 阻尼更新的 $\alpha_k$ 仅依赖于缓存步数 $k$ 和最大缓存长度 $n_{max}$，没有利用当前 token 的实际曲率信息。一个改进方向是让阻尼系数同时依赖于 $k$ 和 $\kappa_i$，使得高曲率 token 更快地进入保守模式。第四，CAS 的阈值敏感性：虽然论文展示了 $\eta$ 在一定范围内的鲁棒性，但不同模型（Voyager 用 $\eta=1.0$，Aether 用 $\eta=0.2$）需要不同的默认值，说明阈值仍然与模型相关。可以考虑基于历史漂移分布的自适应阈值机制。

论文和其成果可以延伸出多个未来研究方向。首先，作者在附录中展示了 WorldCache 在第三个模型 LingBot-14B 和更长序列（81 帧、161 帧）上的有效性，这表明异构 token 缓存的核心思想可以推广到更多世界模型架构和更长时域的仿真场景。其次，当前的 WorldCache 是完全免训练的，一个自然的扩展方向是引入轻量级的微调或蒸馏来进一步提升混沌 token 的预测精度——例如，可以训练一个小的 MLP 来替代当前的 Hermite 阻尼更新器，直接预测高曲率 token 的未来特征。第三，曲率度量可以与其他模态的物理先验结合——例如，在动作条件生成中，可以利用动作信号来预判哪些区域可能出现突变，从而提前调整分组策略。第四，WorldCache 的异构缓存思想可以与其他加速技术（如量化、稀疏注意力、token 剪枝）正交结合，实现更大的综合加速比。第五，当前方法在每个去噪步内对所有 token 使用相同的 FULL/CACHE 决策，未来可以探索更细粒度的混合策略——例如对部分模态执行 FULL 而对其他模态执行 CACHE。

论文的代码已在 GitHub 开源（https://github.com/FofGofx/WorldCache），并在补充材料中附带了生成的原始视频文件。实验在单张 NVIDIA A800 GPU 上进行，硬件门槛相对适中。使用的两个世界模型（HunyuanVoyager-13B 和 Aether-5B）均为公开可用的预训练模型，数据集使用 WorldScore benchmark 和 Sintel 数据集。方法本身是完全免训练的，不需要额外的数据或训练过程，仅需要设定三个超参数（$p_s=0.3, p_c=0.7, n_{max}=6$）和每个模型对应的阈值 $\eta$。论文提供了详细的实验设置（附录 Sec. C）和消融研究。综合评估，复现难度较低——主要的资源需求是 A800 级别的 GPU（46-50GB 显存）和公开的预训练世界模型。