RAR：面向时间一致交互世界模型的速率自适应滚动 RAR: Rate-Adaptive Rollout for Time-Consistent Interactive World Models
以步长参数化时间速率，让交互世界模型在共享物理时间坐标下多速率一致滚动生成
前置知识
时间速率与步长（temporal rate & stride）
时间速率 $f$ 表示每秒物理时间对应的帧数（FPS），每帧代表的时间间隔为 $\Delta t = 1/f$。本文引入步长 $s = f_{base}/f$ 作为统一参数：固定 $N$ 帧的序列，物理覆盖时长为 $T^{(s)}=(N-1)s/f_{base}$，即步长越大视野越长、时间粒度越粗。运行时吞吐 $r$（每秒生成更新数）与滚动速率之比 $\rho = r/f_{rollout}$ 决定世界推进的相对快慢。
全文的问题定义（速率-吞吐失配、速率-视野权衡）和方法设计都建立在这几个量的关系上，不理解它们就无法理解论文要解什么。
旋转位置编码 RoPE
RoPE 通过对 attention 的 query/key 子空间做与位置成正比的旋转变换来编码相对位置：第 $k$ 个旋转子空间中，位置 $n$ 与 $m$ 的交互内积只依赖相对相位 $(m-n)\omega_k$，因此注意力得分天然只与相对距离有关，常用于 LLM 和视频生成模型的时间/空间位置编码。
Stride-RoPE 是全文核心：把 RoPE 的时间坐标从帧索引改写为物理时间坐标 $p_n=ns$。不理解 RoPE 的相对相位机制，就无法理解为什么缩放坐标能让不同帧率共享同一时间几何。
KV Cache 与流式自回归生成
自回归模型每步只计算新 token 的 Q/K/V，并把历史的 K/V 缓存下来避免重复计算。位置编码通常在写入缓存前加到 key 上。本文沿用 Unified Relative RoPE Recipe：缓存中保存未加 RoPE 的原始 key、对应 value 及时间坐标，注意力时再按需旋转。
RAR 的在线变速滚动要求'不清空缓存、不重算历史'地改变步长，其实现方式完全取决于缓存里存了什么——理解这一点才能看懂第 3.3 节的速率切换机制。
Diffusion Forcing 与 Self-Forcing
Diffusion Forcing 给序列中每帧独立噪声水平，把下一帧预测与全序列扩散结合，使同一模型既可双向训练也能因果滚动；Self-Forcing 在训练时用模型自己的滚动输出作为条件来去噪，弥合训练与测试的分布差距。两者与双向训练共同构成现代交互世界模型常用的三阶段流水线。
RAR 的所有实验模型都沿用 Solaris 的三阶段训练（双向→DF→SF），论文 Table 4 中的步数和学习率（如 Doom 10k/12k/5k 步）都对应这些阶段。
LPIPS、DOVER 与速率保真度 SR
LPIPS 是基于深度特征的参考型感知相似度指标，越低越好；DOVER 是无参考视频质量总分，范围 $[0,1]$、越高越好。SR 是本文新提出的速率保真度指标：用 RAFT 光流估计帧间运动速度并除以帧间隔得到物理速度，对各速率取几何均值归一化、跨案例取中位数比值，理想值为 1。
论文所有结论都围绕这三个指标展开；SR 是判断'生成世界的时间语义是否正确'的关键新工具，读不懂 SR 就读不懂实验部分。
研究动机
现有交互式世界模型（Oasis、Matrix-Game 2.0、Solaris 等）几乎都以单一固定时间速率 $f$ 训练并滚动，训练速率与部署速率被绑定为 $f_{train}=f_{rollout}$，作者称之为时间速率耦合，具体表现为两个问题。其一是速率-吞吐失配：设运行时吞吐为每秒 $r$ 次生成更新，世界推进的相对速度为 $\rho=r/f_{rollout}$。例如按 30 FPS 训练的模型在只有 15 更新/秒的硬件上，世界会慢一半——按住同一移动指令 1 秒的位移只有预期一半；在 60 更新/秒硬件上则快一倍，导航与动作时机全部错乱。其二是速率-视野权衡：上下文固定 $N$ 帧时物理视野 $T=(N-1)/f$，Doom 上 70 FPS 模型的 213 帧只覆盖约 3 秒，想看 15 秒就得把训练序列拉长约 5 倍并付出数倍的单步训练开销，导致模型难以同时学会快速控制响应与长期环境演化。
本文的目标是本文的目标是把时间速率本身变成交互世界模型的可控维度，让一个模型同时具备五种能力：(1) 在训练过的多个速率上（如 Doom 的 14/35/70 FPS）生成时间语义一致的滚动；(2) 无需重训练即泛化到未见中间速率（如 49 FPS）；(3) 在不中断滚动、不清空 KV 缓存的前提下在线切换速率，包括平滑变化曲线与六段恒定步长的突变调度，从而把世界推进速度匹配到运行时吞吐 $r$（理想情况下 $\rho=1$）；(4) 在固定序列预算下用细步长样本捕捉精细动态、粗步长样本覆盖长时程，缓解速率-视野权衡；(5) 通过少量微调迁移到预训练世界模型（SANA-WM）而不损失感知质量。
与已有工作不同的是，已有工作各自只触及问题一角。离线视频生成的可变帧率方法（Imagen Video、SVD 的 FPS 条件、LTX-Video 的物理时间编码）面向一次性指定全局帧率的有限视频，不处理流式滚动中的历史一致性与在线变速；常见的 FPS 条件嵌入只做全局速率控制，不强制不同速率共享时间几何——本文附录实验显示此类 Embed 方法在未见速率上的 SR MAE 高达 14.50%；长上下文方法（NTK-aware 缩放、YaRN、LongRoPE）通过扩大序列位置数延长依赖范围，而 RAR 反其道行之：序列长度不变，改变每步代表的物理时长。RAR 的独特切入是用步长 $s$ 统一参数化训练采样与推理控制，并用物理时间坐标的 RoPE 保证跨速率的时间几何一致，使'世界走多快'成为滚动过程的运行时属性。
核心方法
世界推进多快由每次更新代表的物理时间间隔 $\Delta t_n$ 决定，RAR 把这个间隔变成显式可控变量：以步长 $s$ 统一参数化，给定基准帧率 $f_{base}$，采样速率 $f=f_{base}/s$。训练时对步长集合 $\mathcal{S}_{train}$ 在物理时刻 $t_n^{(s)}=ns/f_{base}$ 同步采样视频帧与控制信号，每条序列固定 $N$ 帧，物理覆盖 $T^{(s)}=(N-1)s/f_{base}$——细步长样本学快速局部动态与控制响应，粗步长样本在同等序列预算下覆盖更长时程。为了让注意力感知真实物理间隔，提出 Stride-RoPE：把时间坐标从帧索引 $n$ 换成 $p_n=ns$，使相对相位 $f_{base}(t_m-t_n)\omega_k$ 只依赖物理时间差。推理时取 $s_{rollout}=f_{base}/r$ 即令滚动速率匹配吞吐 $r$（$\rho=1$）；步长可逐帧变化，坐标按 $p_{n+1}=p_n+s_n$ 累加。框架搭在 Solaris 三阶段流水线（双向训练→Diffusion Forcing→Self-Forcing）上，不改动模型结构。
核心创新是 Stride-RoPE 的物理时间坐标。标准 RoPE 的相对相位是 $(m-n)\omega_k=f(t_m-t_n)\omega_k$，同一个物理时间间隔在不同采样率下诱导不同相位——位置编码本身并不表示流逝的物理时间。Stride-RoPE 把时间坐标改为 $p_n=ns=f_{base}t_n$，相位变为 $f_{base}(t_m-t_n)\omega_k$，与采样率 $f$ 无关：相同物理时间间隔诱导相同相对相位。这带来三个与已有方法的本质区别：(1) 与 FPS 条件嵌入不同，时间几何在注意力层面被跨速率强制共享，未见速率无需重训练即可插值；(2) 与只训基础帧率、推理时缩放坐标的 Single 策略不同，多步长训练让模型真正学会不同粒度的动力学，而非事后重标定；(3) $p_n$ 对任意实数 $s>0$ 连续且良定义，配合存储 pre-RoPE key 的 KV 缓存（sink 帧固定位置），旋转可即时重算，历史不丢弃即可在线变速。当 $f=f_{base}$ 时 $s=1$、$p_n=n$，精确退化为标准 RoPE，不引入任何可学习参数。
方法步骤详情
第一步，数据与初始化：Doom 用 ViZDoom 采集、CS2 从比赛 demo 构建、FPV 用公开无人机竞速数据；Doom/CS2 从 Matrix-Game 2.0 初始化（各约 1.8B、360p），FPV 从 SkyReels 初始化（约 1.3B、480p）。第二步，多步长采样：三环境取 $f_{base}=70/64/60$，速率集 $\{14,35,70\}/\{16,32,64\}/\{20,30,60\}$ FPS，序列长 213/241/241 帧，按 $t_n^{(s)}=ns/f_{base}$ 同步采样帧与控制。第三步，三阶段训练：双向训练→Diffusion Forcing→多速率 Self-Forcing（如 Doom 依次 10k/12k/5k 步，lr 约 $10^{-4}$ 至 $10^{-7}$）。第四步，速率控制推理：选 $s_{rollout}$ 使 $f_{rollout}=f_{base}/s_{rollout}$ 匹配吞吐 $r$；KV 缓存存 pre-RoPE key，帧坐标按 $p_\ell=\sum_{j<\ell}s_j$ 累加，注意力时对缓存 key 施加 $R(p_i\omega_k)$ 旋转。第五步，在线变速：每个自回归步可换新步长，累加坐标延续物理时间轴，无需清缓存或重算历史。
技术新颖性
新颖性体现在五点。(1) 问题形式化新：首次把'时间速率'从世界模型的固定属性提升为一等可控维度，并提出 temporal-rate coupling 概念，把速率-吞吐失配与速率-视野权衡统一起来。(2) 改动极小且优雅：Stride-RoPE 只把时间坐标映射从 $n$ 改为 $ns$，不加可学习参数、不改旋转频率与空间坐标，在 $f=f_{base}$ 时精确退化回标准 RoPE，属于'一行改动'级别的等变性技巧。(3) 与 LTX-Video/LTX-2 等物理时间编码相比，RAR 面向流式交互场景：支持历史一致前提下的在线变速，而非全局帧率一次设定的离线视频。(4) 训练效率角度新：多步长联合训练以固定序列长度覆盖多个物理视野（Doom 上 14 FPS 视野 15.1 秒 vs 70 FPS 3 秒），实验证明比直接拉长序列（每步开销 1.56×/5.25×）更高效。(5) 评测贡献：提出首个基于光流的速率保真度指标 SR，把'时间语义是否正确'变成可量化的对象。
实验结果
Q1 多速率生成（Table 1）：固定帧数下滚动速率从最高降到最低，物理视野在 Doom/CS2/FPV 延长 5×/4×/3×（Doom 70→14 FPS 视野 3.0→15.1 秒），LPIPS 仅升 6.1%–11.4%，DOVER 持平；六个未见速率 SR 0.960–1.024，平均 $|SR-1|$ 约 3.5%–4.0%。方法对比（Table 5）：RAR 的 SR MAE 为 3.54%/3.54%/4.02%，远低于 Single（109.08%/52.24%/67.28%）与 Embed（13.92%/7.24%/9.40%），未见速率对上 1.62% vs 14.50%。Q2 在线变速（Fig.5/6）：FPV 平滑/突变调度的 Pearson 相关 0.998/0.970，Doom 0.941/0.938，CS2 0.899/0.963，突变台阶全部正确恢复且不清 KV 缓存。Q3 速率-视野（Table 2）：相同更新数下 RAR 在 14/35 FPS 的 LPIPS 0.3834/0.3413，优于基线 0.4376/0.3863，70 FPS 相当；匹配墙钟时间下优于 425/849 帧定点训练（每步耗时 1.56×/5.25×）。Q4 迁移（Table 3）：SANA-WM 仅 3k+3k 步微调，10/20/30 FPS 的 SR 由 0.598/0.983/1.234 改善至 0.641/0.989/1.127，LPIPS 由 0.57 降至 0.50。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Doom 多速率滚动（14–70 FPS，固定帧数预算） | SR 速率保真 MAE (%) | 3.54 | Single 109.08；Embed 13.92 | 相对 Embed 降低约 75%，相对 Single 降低约 97% |
| CS2 多速率滚动（16–64 FPS） | SR MAE (%) | 3.54 | Single 52.24；Embed 7.24 | 相对 Embed 降低约 51% |
| FPV 多速率滚动（20–60 FPS） | SR MAE (%) | 4.02 | Single 67.28；Embed 9.40 | 相对 Embed 降低约 57% |
| 未见中间速率插值（六个环境-速率对） | 未见速率 SR MAE (%) | 1.62（SR 范围 0.960–1.024） | Embed 14.50 | 降低约 89%，证明共享时间几何带来的插值能力 |
| Doom 低速率生成质量（14 FPS，10k 更新，213 帧窗口） | LPIPS ↓ | 0.3834 | 只训 70 FPS 的单速率模型 0.4376 | 降低约 12.4%，且 70 FPS 上保持相当（0.3135 vs 0.3113） |
| Doom 849 帧长滚动（70 FPS，匹配墙钟训练时间） | LPIPS ↓ | 0.3552（10k 步 0.3614） | 849 帧定点训练 0.3745（10k 步 0.3929） | 约 5%（10k 步时约 8%），而对手每步训练开销高 5.25× |
| SANA-WM 预训练模型多速率适配（10/20/30 FPS） | SR→1 与 LPIPS ↓ | SR 0.641/0.989/1.127，LPIPS 约 0.50 | 原模型推理时直接套 Stride-RoPE：SR 0.598/0.983/1.234，LPIPS 约 0.57 | SR 更接近 1 且 LPIPS 降低约 13%，感知质量未受损 |
局限与改进
作者明确承认的范围限制：SR 结论只在训练速率范围内成立，超出范围外推明显失效——低速侧 Doom 7 FPS/CS2 8 FPS/FPV 10 FPS 的 SR 分别为 0.739/0.636/0.634（运动欠缩放），高速侧 Doom 84 FPS 1.191、CS2 72 FPS 1.273 过冲，而 FPV 80 FPS 0.864 欠冲，偏移方向因环境而异、无普适规律。SR 依赖 RAFT 光流，作者也承认测量不确定性会污染评估：对运动间歇性的射击游戏，即使 GT 视频，平滑调度的 Pearson 相关也只有 0.841（Doom）/0.896（CS2）。我自己观察到：实验规模限于 360p/480p、1.3–1.8B 参数的模型和三个环境，尚未在开放世界级系统上验证；低速率下 LPIPS 随速率降低而升高（Doom 14 FPS 0.4279 vs 70 FPS 0.3852），粗粒度生成质量仍有代价；变速评估对每条滚动应用了全局标定因子并按 LPIPS 筛掉一半案例，绝对步长校准能力其实未被直接证明；此外未研究变速滚动对下游控制策略训练与用户操作时序的实际影响。
独立分析的弱点
弱点一：超出训练范围即失效且方向不可预测（Table 6 中 SR 低至 0.634、高至 1.273），改进方向是在训练中加入少量边界外步长，或对坐标 $p_n$ 做非线性（如对数）变换扩大有效覆盖范围。弱点二：SR 指标依赖光流质量，在稀疏运动场景（射击游戏站立、瞄准时）噪声大，作者不得不做两阶段过滤，改进方向是结合深度一致性、事件触发或音频等多模态信号做更稳健的速率测量。弱点三：低速率下 LPIPS 升高 6.1%–11.4%，说明单帧跨越更长物理时间时生成难度增大，改进方向是为粗步长样本引入时间超分辅助损失或多尺度判别器。弱点四：只验证了模型能跟踪步长调度，未研究变速对下游 RL 策略学习、玩家操作时序的影响，也缺少与真实游戏引擎时钟的端到端同步实验，改进方向是接入策略训练管线量化 $\rho=1$ 的实际收益。弱点五：KV 缓存方案绑定特定 cache recipe（sink token 固定位置），与长时程记忆机制（如 ReWorld 类）的兼容性未知；弱点六：三环境的 $f_{base}$（70/64/60）均由数据源帧率决定，如何自动选择基准帧率与步长集合缺乏讨论。
未来方向
作者指出的延伸：把 RAR 迁移到更多预训练世界模型（已验证 SANA-WM 1.6B），并在不同算力的真实部署硬件上在线匹配吞吐。基于其成果还可延伸：(1) 与帧率插值/超分结合——粗步长低帧率滚动换取长视野，再实时细化为高帧率显示，兼得视野与流畅度；(2) 时空自适应变速：交互焦点区域用细步长、稳定远景用粗步长，把速率分配变成计算资源调度问题；(3) 把速率纳入策略的动作空间，让智能体学会'慢动作观察、快动作推进'；(4) 借鉴 NTK-aware 缩放思想实现训练范围外的稳健外推；(5) 多玩家场景中各客户端吞吐不同，RAR 的物理时间坐标可作为分布式世界时钟同步机制；(6) 将 SR 推广为世界模型时间一致性的标准评测指标，建立带可控速率的公开 benchmark。
复现评估
复现条件较为透明。论文给出了完整训练配置（Table 4）：各环境分辨率（360p/480p/720p）、参数量（1.3–1.8B）、$f_{base}$、训练速率集、序列长度（213/241/241/961 帧）以及三阶段的步数与学习率。数据全部公开可得：ViZDoom+Sample Factory 开源、CS2 数据来自比赛 demo（作者引用了开源转换工具）、FPV 用公开的人类飞手无人机竞速数据集、SANA-WM 适配用公开的 Sekai 数据子集；基座模型 Matrix-Game 2.0 与 SkyReels 均开源。SR 指标的完整定义、聚合方式与两阶段过滤流程在附录 B/E 有详细描述。正文未见明确的代码/权重开源声明，这是不确定因素。算力上属于中等规模：千卡以下、数万次更新的微调量级，多卡 A100/H100 可承担。主要难度不在方法本身（改 RoPE 坐标+多步长采样非常简单），而在搭建三套交互数据管线、三阶段训练流水线以及光流评估细节，总体复现难度评估为中等。
论文图表
示意图分两半：(a) 用彩色小车与灰色预期位置对比展示当 $r=15/30/60$ 更新每秒而 $f_{rollout}=30$ 时，1 秒墙钟时间后生成世界相对预期状态的偏移；(b) 对比固定速率与 RAR，在相同 $N$ 帧预算下高帧率覆盖短物理时间、低帧率覆盖长物理时间。
一图道尽全文动机：两个问题（时间速率耦合的两面）的直觉解释都在这里，是理解为什么需要速率可控滚动的起点。
对比 SANA-WM 基线与经 3k+3k 步 RAR 适配后的模型在 10/16/20/24/30 FPS 的 SR 与 LPIPS：适配后 10 FPS SR 0.598→0.641、20 FPS 0.983→0.989、30 FPS 1.234→1.127、24 FPS 持平 1.173，LPIPS 全面不升（约 0.57→约 0.50）。
Q4 的唯一证据表，说明 RAR 是可移植的即插即用训练策略，而非只能从头训练的框架。