面向视频世界模型的可寻址记忆

WorldTrace：免训练的可寻址压缩记忆，让视频世界模型在长程生成中保持场景一致性

前置知识

自回归视频世界模型（Autoregressive Video World Model）

这是一类逐块（chunk-by-chunk）生成视频场景的模型，每个新块都通过对先前上下文的 KV 缓存做注意力来预测下一帧。代表工作如 Matrix-Game-2、LingBot-World，目标是用作下一代游戏引擎或闭环机器人模拟器，让用户能在生成的视觉世界中自由移动并重访先前位置。模型在训练时只在有限上下文长度（如 $\Delta t_{train}$ 个 latent frame）内见过相对位置偏移，推理一旦超过训练视野就会遇到外推问题。

WorldTrace 的整套方法都建立在'自回归生成依赖 KV 缓存携带历史'这一前提之上，理解世界模型如何用缓存承载视觉记忆，才能理解长程失效为何本质是记忆可寻址性问题。

KV 缓存（KV Cache）

在 Transformer 推理时，为避免重复计算历史 token 的 Key/Value，把它们缓存下来供后续 query 注意力使用。在视频世界模型里，KV 缓存扮演'不断增长的视觉记忆'：每生成一个新块就把它的 K、V 追加进缓存。朴素做法是滑动窗口（先进先出丢弃最旧 token），但这会丢弃远端场景；若压缩缓存又面临如何在固定预算内保持记忆可读的难题。

本文所有创新都围绕'如何组织、压缩、定位 KV 缓存'展开，不理解 KV 缓存就无法理解'可寻址性'这一核心概念。

旋转位置编码 RoPE（Rotary Positional Embedding）

RoPE 通过对每对频率 $f$ 的 query/key 施加旋转 $R(\theta_f t)$ 来编码相对位置。query 与 key 的注意力贡献为 $a_f^{q,k}=\mathrm{Re}(A_f^{q,k} e^{i\theta_f \delta_{q,k}})$，只依赖相对偏移 $\delta_{q,k}=q-k$。训练时 $\delta_{q,k}\le \Delta t_{train}$；推理超过训练视野后偏移超出训练分布，高频分量退化为位置噪声，低频分量仍保留信号。

论文的核心论点正是 RoPE 外推导致缓存 token 不可寻址，以及 RoPE 旋转相位相消破坏朴素压缩——这是两个被耦合诊断的瓶颈。

滑动窗口缓存（Sliding Window Cache）

最常见的 KV 缓存管理基线：保持最近 $L_{attn}$ 个 latent frame，超出窗口的最旧 token 先进先出被丢弃，不做位置修正也不做内容压缩。它的优点是 GPU 峰值内存恒定、实现简单，但缺点是远端场景一旦离开窗口就彻底丢失，无法在重访时复原原始外观。

滑动窗口是论文所有实验的主基线，WorldTrace 的所有改进都是相对它度量的，理解它的失效模式才能理解 LoopBench 在测什么。

LoopBench（环路重访基准）

本文提出的新基准，测试压缩后的 KV 缓存能否在长程绕行后重建先前访问过的场景。模型沿环路轨迹（如 ABA 直线折返、ABCA 三角、ABCDA 方形）行进并最终回到起点 A，用几何对齐的 CLIP 相似度（PAC）评分返回帧与初始场景的匹配度。它改变路径拓扑、rollout 长度 $N$、相机朝向、多次重访深度四个维度。

LoopBench 是评估情景记忆召回的专用工具，论文第三大贡献，理解它的几何与指标才能读懂 WorldTrace-Landmark 的实验结果。

研究动机

自回归视频世界模型（如 Matrix-Game-2、LingBot-World）依赖 KV 缓存作为'不断增长的视觉记忆'携带已生成帧。但论文发现两个耦合的失败：第一，一旦生成 rollout 超过训练上下文长度（$\Delta t_{train}$），时间 RoPE 偏移 $\delta_{q,k}=q-k$ 就超出训练分布，模型难以通过注意力检索相关视觉信息——即使旧内容仍存在缓存里也'读不出来'，即不可寻址。第二，朴素地把缓存中带不同 RoPE 相位 $R(\theta_f t_m)$ 的 key 直接平均会因相位相消（指向相反方向的向量部分抵消）而损坏压缩记忆，且摘要越多（$N_s$ 越大）相消越严重。这两类失败相互耦合：位置不可寻址时再好的内容压缩也无用，内容被相消破坏时位置再合适也无用。这解释了为何现有'只调位置'或'只调内容'的单侧方法在长程生成中都会失效。

本文的目标是构建一个无需重新训练（training-free）的记忆框架 WorldTrace，让压缩后的 KV 缓存同时满足两个性质：(1) 可寻址性——每个摘要槽在任意生成长度 $N$ 下都保持训练分布内的时间位置，使远端 token 始终能被注意力读到；(2) 信息性——压缩时不发生 RoPE 相位相消，保留摘要应携带的信号。在此基础上提供两个互补的内容写入器：WorldTrace-Field 面向时间连贯性（平滑摘要），WorldTrace-Landmark 面向情景召回（关键场景逐字保存）。同时提出 LoopBench 基准，专门评测压缩缓存能否在长程绕行后重建先前访问过的场景。

与已有工作不同的是，本文的独特切入角度是把长程失效重新框定为'可寻址性'问题而非'存储量'问题——'没有任何记忆方案能在过去观测一旦落到上下文窗外后仍被可靠访问的前提下改善视觉持久性'。此前工作只解决两个耦合瓶颈之一：一条线只调位置（如 Block-relative RoPE 重索引、YaRN、MemRoPE 的两路 EMA 记忆 token），另一条线只调内容（时间平均、token 驱逐）。WorldTrace 首次把'按槽位秩分配的不变虚拟位置'与'规范（未旋转）空间 key 缓存'配对，专门针对 $N$ 槽压缩缓存（而非 MemRoPE 的固定两路、也非 Infinity-RoPE 的无限生成场景），并用结构化稀疏注意力 / NMF 视角统一了两个写入器。

核心方法

整体直觉是：既不丢弃远端历史（滑动窗口的弊端），也不盲目压缩（朴素平均的相位相消）。WorldTrace 把局部注意力窗口 $L_{attn}$ 划分为最近窗口 $\mathcal{R}$（$N_r$ 个逐字 latent frame）与摘要缓存 $\mathcal{S}$（$N_s$ 个槽，$N_s+N_r=L_{attn}$）。每个摘要槽获得一个仅由其槽位秩决定、与绝对地平线 $N$ 无关的训练分布内虚拟位置，使远端 token 在任意 rollout 长度下都可寻址。每个槽存储的内容在规范（未旋转）空间压缩以避免相位相消，再重新旋转到该槽的虚拟位置。这被形式化为用固定 $L$ 的结构化稀疏模式逼近对所有 $T$ 个过去帧的全注意力，投影矩阵 $P\in\mathbb{R}^{L\times T}$ 决定保留哪些历史；把 $P$ 松弛为任意非负值即退化为非负矩阵分解（NMF）问题。在 Matrix-Game-2 上，连贯性用 $N_s=2/N_r=4$，召回用 $N_s=4/N_r=2$（$L_{attn}=6$）。

核心创新是首次把两个以往从未配对的机制耦合起来。第一是按槽位秩的虚拟位置分配（WorldTrace Slot Indexing）：$t_v^s=q-(L_{attn}-1-s)$，$s=0,\dots,N_s-1$，把每个摘要的偏移锚定到其秩，使全部 $N_s$ 个槽在任意地平线下既互不相同又落在训练分布内——这避开了'Block-relative 坍缩'（把偏移钳到 $\Delta t_{train}$ 会让所有旧摘要槽塌缩到同一位置而无法区分）。第二是规范 key 存储：把每个 key 反旋转回规范形式 $R(-\theta_f t_m)K_f^{t_m}$ 再压缩，最后重新旋转到目标虚拟位置 $t_v$。与已有方法的本质区别在于：MemRoPE 只支持两路记忆流、Infinity-RoPE 针对无限生成而非压缩缓存，而 WorldTrace 把规范存储与槽位秩位置组合后可直接服务任意 $N$ 槽缓存，并提供匹配两类未来 query 家族的两个写入器。

方法步骤详情

步骤 1（缓存划分）：把 $L_{attn}$ 切成最近窗口 $\mathcal{R}$（$N_r$ 逐字帧）与摘要缓存 $\mathcal{S}$（$N_s$ 槽），连贯性用 $N_s{=}2/N_r{=}4$、召回用 $N_s{=}4/N_r{=}2$。步骤 2（虚拟位置）：对位置 $q$ 的 query 按 $t_v^s{=}q{-}(L_{attn}{-}1{-}s)$ 给每个槽赋位，落在 $[t_v^{min},t_v^{max}]$ 内且与地平线 $N$ 无关。步骤 3a（WorldTrace-Field）：把离开最近窗口的 $T{-}N_r$ 帧分成 $N_s$ 个连续时间组，每组先反旋转到规范空间再平均、再旋转到 $t_v$，即 $K_f^{field}(t_v){=}R(\theta_f t_v)\tfrac1M\sum_m R({-}\theta_f t_m)K_f^{t_m}$；被逐帧的规范 key 留主机内存每步重算，故 GPU 峰值内存与滑动窗口基线相等。步骤 3b（WorldTrace-Landmark）：用相邻规范 key 余弦距离突变（阈值 $\tau$）检测场景进入事件，用最近进入帧逐字填满 $N_s$ 槽；key 在标记时冻结为规范形式，此后每次移位只做一次全新旋转（形式同上式但 $M{=}1$ 不平均），避免 bfloat16 反复旋转的累积漂移。步骤 4 在重组缓存上正常做注意力。

技术新颖性

技术新颖性体现在三方面。其一，诊断创新：把长程失效框定为 RoPE 外推使缓存 token 不可读，而非不可留；并给出逐频率分析——最快的时间分量退化为位置噪声而慢分量仍保留可用信号。其二，位置方案创新：WorldTrace Slot Indexing 同时满足线性、训练分布内、地平线稳定、位置互异四条性质，显式避开 Block-relative 坍缩（论文 Remark 1 给出证明草图）。其三，内容压缩创新：规范 key 缓存机制虽与并发工作 MemRoPE 共享，但 WorldTrace 首次把它与槽位秩位置配对，并用结构化稀疏注意力 / NMF 视角统一两个写入器为投影矩阵 $P$ 的两种行结构选择（均匀平均 vs 单帧逐字）。此外 WorldTrace-Landmark 的冻结 key 还解决了 bfloat16 下多次移位累积的浮点漂移（Wang et al. 指出的问题），并首次把规范缓存选择性地用于检测到的场景进入事件而非每个缓存 key。

**Figure 3**: Three LoopBench geometries

实验结果

在 Matrix-Game-2（1.3B）与 LingBot-World（14B）上验证三条主张。（Q1 位置是瓶颈）：Table 1 固定压缩只变位置，WorldTrace-Field 在 $N$=8/16 取 TempSSIM 0.413/0.545，超 Block-relative（0.390/0.530）+5.9%/+2.8%、超 Centroid-linear（0.377/0.479）+9.5%/+13.8%。（Q2 连贯性）：Table 2 在 $N$=48 时 TempSSIM 0.545 vs 滑动窗口 0.472（相对 +15.5%），Scene Drift 最低 0.0295；基线在 $n$=18 即漂移、本文全程连贯。（Q3 召回）：Table 3 LoopBench 全条件提升 PAC，ABA 0.864 vs 0.723（+19.5%）、ABCA 0.792 vs 0.673、ABCDA 0.799 vs 0.666；$N$=32 时 ABA 0.825 vs 0.627，地平线越长优势越大；附录显示逐字地标召回在 $N$=256 仍 PAC≈0.99，规范 K 锚定仅 0.610。消融 Table 5：$N_s$=4 时规范平均把 LatentDiff 从 0.312 降到 0.233（−25.3%），朴素平均则随 $N_s$ 增大而恶化。

**Table 2**: WorldTrace-Field TempSSIM and Scene Drift at N=32, 48

**Table 3**: WorldTrace-Landmark improves episodic recall across topology, edge length, camera orientation, and multi-revisit depth

**Table 4**: Position assignment & canonical compression ablation

**Table 5**: Phase cancellation: Naive vs. canonical key averaging

**Figure 4**: WorldTrace-Field at number of chunks N=48

**Figure 5**: LoopBench qualitative results on the three revisit geometries

查看结构化数据

任务	指标	本文	基线	提升
长程连贯性（开放 rollout，$N$=48）	TempSSIM（↑，相邻解码帧间 SSIM）	0.545（WorldTrace-Field）	0.472（滑动窗口）	+15.5% 相对提升，同时 Scene Drift 最低 0.0295
位置分配消融（$N$=8/16，固定规范压缩）	TempSSIM（↑）	0.413 / 0.545（WorldTrace）	0.390 / 0.530（Block-relative）；0.377 / 0.479（Centroid-linear）	+5.9%/+2.8% vs Block-relative；+9.5%/+13.8% vs Centroid-linear
情景召回（LoopBench ABA，$N$=16）	PAC（↑，几何对齐 CLIP-ViT-H/14 余弦相似度）	0.864±0.009（WorldTrace-Landmark）	0.723±0.013（滑动窗口）	+19.5%（相对）；$N$=32 时差距扩大到 0.825 vs 0.627
超长地平线召回（ABA，$N$=256）	PAC（↑）	≈0.99（逐字地标召回）	0.610（规范 K 锚定 Latent re-anchor）	从秒级延伸到分钟级返回原点
相位相消消融（$N_s$=4）	LatentDiff（↓）	0.233（规范平均）	0.312（朴素 RoPE 空间平均）	−25.3%，且朴素平均随 $N_s$ 增大恶化

局限与改进

作者承认的局限：WorldTrace-Field 偏好连贯性但会模糊具体场景细节（平均丢失单帧身份）；WorldTrace-Landmark 保留特定地点但完全依赖检测并保留正确的场景进入帧——一旦检测失败召回就失败；方法仅设计用于带固定 KV 缓存预算的时间-RoPE 自回归模型，难以推广到其它位置编码或增长型缓存；当前只实例化了两个简单的结构化投影。我的补充观察：Tier 3（相机朝向）是最难的设定，全 360° pan 时 WorldTrace-Landmark 的 PAC 仅 0.577 vs 基线 0.559（仅 +3.2%），说明当视点变化剧烈（而非平移）时仅靠位置可寻址性不足以解决外观剧变；评测仅限于游戏风格世界模型（Matrix-Game-2、LingBot-World），未在照片级真实或多样场景上验证；LoopBench 本身可能未涵盖真实交互环境的全部复杂性（如动态物体、光照变化）。

独立分析的弱点

独立分析的弱点及其改进方向：(1) 场景进入检测脆弱——WorldTrace-Landmark 依赖单一余弦距离阈值 $\tau$ 检测场景进入，该超参可能无法跨环境泛化，且正文未给出敏感性分析；改进方向是用多线索（语义、运动、深度）或可学习的检测器。(2) WorldTrace-Field 的模糊——平均天然丢失细节；改进是组内自适应加权，或构建 field+landmark 混合缓存。(3) 内容写入器种类有限——只实例化了均匀平均与单帧逐字两种 $P$；NMF 形式提示可加更丰富的可学习投影。(4) 评测范围窄——仅游戏风格合成世界，未测照片级/真实世界视频世界模型。(5) 大视点旋转下失效——360° pan 增益微弱，说明仅位置可寻址性不足以应对外观剧变，需结合外观不变特征。(6) 固定预算耦合——假定固定 $N_s/N_r$ 划分，未做基于场景复杂度的自适应槽位分配。

未来方向

作者明确指出：未来记忆系统需更自适应地选择投影，尤其在智能体自由移动、重访地点、从变化视点查询过去的交互场景中；WorldTrace-Field 与 WorldTrace-Landmark'只是同一底层问题（把长视觉历史投影到小而可寻址缓存）的两个结构化近似'。基于成果可延伸的方向：(1) 用 NMF 形式训练一个小投影网络，按场景自适应产出 $P$；(2) 混合缓存，按检测到的 query 模式交错排布 field 槽与 landmark 槽；(3) 自适应槽位分配，检测到多个场景进入时动态扩大 $N_s$；(4) 推广到 RoPE 以外的位置编码（如 ALiBi、NoPE）及增长型缓存；(5) 应用到下一代游戏引擎与闭环机器人模拟器（论文引言提及的落地场景）；(6) 在照片级世界模型与更长分钟级 rollout 上评测；(7) 给出槽位秩位置在特定注意力分布下最优性的理论分析。

复现评估

复现性中等偏混合。有利面：方法无需训练（training-free），算法完整给出（Def. 1 给位置、Eq. (3)/(4) 给两个写入器、App. G 给伪代码）；指标 TempSSIM、Scene Drift、PAC（CLIP-ViT-H/14）定义精确，$N_s/N_r$ 配置（2/4 与 4/2）、$L_{attn}=6$、$F=3$、$\Delta t_{train}+1=6$ latent frame 均明确；项目主页 https://research.nvidia.com/labs/sil/projects/WorldTrace/ 提供素材；每条件用 $n$=100 个不同初始场景。不利面：LoopBench 数据集细节部分在附录；场景进入阈值 $\tau$ 未在正文给出；Matrix-Game-2（蒸馏自 Wan 1.3B T2V）与 LingBot-World（14B）为 NVIDIA 模型未必公开；正文未明确代码发布与推理算力需求；与 MemRoPE、YaRN 的对比仅在附录。总体：重新实现算法本身中等难度，完整复现基准（含模型权重）较难。

面向视频世界模型的可寻址记忆 Addressable Memory for Video World Models