无限世界：通过无姿态分层记忆将交互式世界模型扩展至千帧视野 Infinite-World: Scaling Interactive World Models to 1000-Frame Horizons via Pose-Free Hierarchical Memory
提出分层无姿态记忆压缩器，实现1000帧连续世界模拟
前置知识
世界模型（World Model）
世界模型是一类能够模拟环境动态并预测状态转移的生成式模型。在交互式场景中，世界模型根据用户输入的动作（如键盘控制）生成对应的下一帧视频，实现类似游戏引擎的实时环境模拟。核心思想是通过学习视频中的物理规律和空间一致性，使模型能够响应动作指令并维持长期记忆。这类模型在自动驾驶、具身AI和空间智能等领域有广泛应用前景。
本文的核心目标是构建一个能够在1000帧以上保持视觉一致性的交互式世界模型，理解世界模型的基本概念是理解本文贡献的基础。
扩散变换器（Diffusion Transformer, DiT）
DiT是一种结合了扩散模型和Transformer架构的生成模型。它将图像或视频表示为潜在向量序列，通过逐步去噪的方式生成目标内容。DiT使用注意力机制处理序列间的依赖关系，相比传统U-Net架构具有更好的可扩展性。本文基于Wanx-2.1-1.3B构建，该模型就是一个DiT架构的视频生成模型。
Infinite-World的骨干网络采用DiT架构，理解DiT的工作原理对于理解模型如何处理长序列历史信息至关重要。
记忆压缩（Memory Compression）
在长视频生成中，随着序列长度增加，注意力机制的计算复杂度呈平方增长（$O(L^2)$），导致内存和计算成本急剧上升。记忆压缩通过将历史帧的潜在表示压缩为固定长度的上下文向量，在保持关键信息的同时控制计算开销。常见的方法包括均匀时间下采样、基于相机位姿的帧检索等。
本文提出分层无姿态记忆压缩器（HPMC）是核心创新点，理解记忆压缩的概念和挑战对于理解本文的技术贡献至关重要。
环路闭合（Loop Closure）
环路闭合是指智能体在探索环境后返回到之前访问过的位置时，能够正确识别并重建相同场景的能力。这是空间记忆的核心能力，也是长时世界模型的关键挑战。在视频生成中，环路闭合意味着模型需要记住数百帧之前看到过的场景细节，并在返回时生成一致的视觉内容。
本文通过1000帧模拟展示了强大的环路闭合能力，理解这一概念有助于理解本文的核心贡献和评估指标。
VAE潜在空间（VAE Latent Space）
变分自编码器（VAE）将高维图像或视频压缩为低维潜在表示，这种压缩表示保留了关键的视觉信息但大幅降低了计算复杂度。在视频生成中，原始视频帧首先被编码到VAE潜在空间，然后在潜在空间中进行扩散过程生成新帧，最后解码回像素空间。本文中，HPMC在VAE潜在空间上进行历史信息的压缩和融合。
理解VAE潜在空间是理解本文记忆压缩器工作原理的前提，因为HPMC操作的对象就是VAE编码后的潜在向量。
ELO评分系统（ELO Rating System）
ELO评分系统是一种用于评估相对能力的排名方法，最初用于国际象棋等竞技项目。在用户研究中，ELO系统通过比较不同方法的成对评估结果来计算全局排名，能够处理稀疏的成对比较数据并提供稳健的整体偏好度量。本文使用ELO系统综合评估不同世界模型的交互性能。
本文的核心评估指标之一是用户研究中的ELO评分，理解ELO系统有助于理解评估结果的含义和可靠性。
研究动机
当前世界模型在从合成数据（如Unreal Engine 5）过渡到真实世界视频时面临严重的“现实鸿沟”问题。现有框架依赖模拟器提供的完美相机外参和配对视频数据进行训练，但真实世界数据存在三个核心挑战：第一，位姿估计不准确导致动作响应映射困难，合成数据中的完美动作标签在真实视频中无法获得，估计误差会严重降低可控性；第二，视角重访数据稀缺，自然视频流主要是“线性”的，相机很少返回到之前访问过的位置，这使得模型难以从标准数据集中学习全局几何结构；第三，缺乏高效的无姿态记忆机制，标准注意力机制的$O(L^2)$复杂度成为长视频生成的计算瓶颈，而现有解决方案要么依赖不准确的相机位姿进行帧检索，要么使用简单的下采样导致严重的信息丢失。
本文的目标是本文的目标是构建一个能够在真实世界视频上实现1000帧以上稳定模拟的交互式世界模型，同时保持动作可控性、视觉一致性和长期空间记忆。具体而言，作者希望解决三个关键问题：（1）设计一种无需显式相机位姿的高效记忆压缩机制，实现常数计算开销；（2）提出能够处理噪声位姿估计的动作标注策略，确保动作响应的鲁棒性；（3）开发一种高效的数据策略，通过少量高质量数据激活模型的长程环路闭合能力。
与已有工作不同的是，本文的独特切入角度在于三个方面：首先，作者观察到记忆能力的获取具有“高样本效率”——仅需约100个视频序列就能激活环路闭合能力，而扩大数据量到1000个序列带来的收益微乎其微，这表明瓶颈在于轨迹的持续时间和拓扑密度而非数据总量；其次，作者发现模型存在“上下文边界外推”问题——在最大上下文长度4个chunk上训练的模型在推理时遇到更长序列会发生灾难性记忆崩溃；最后，作者提出了一种分层压缩的思路，将记忆机制分为局部压缩和全局压缩两个阶段，通过递归蒸馏将无限增长的历史信息压缩为固定预算的表示，这是与现有均匀下采样方法的本质区别。
核心方法
Infinite-World的整体架构如图2所示，由三个核心组件构成：分层无姿态记忆压缩器（HPMC）、不确定性感知动作标注模块和重访密集微调策略。直观地说，当智能体在环境中探索时，历史帧的潜在表示会不断积累，如果直接用于注意力计算会导致计算成本爆炸。HPMC通过递归压缩机制将这些历史信息压缩为固定长度的上下文向量，就像一个具有固定容量的“记忆胶囊”。同时，不确定性感知动作标注将连续的动作信号离散化为三态逻辑（无操作、离散动作、不确定），有效过滤噪声位姿。最后，通过重访密集数据集微调激活模型的长程记忆能力。
本文的核心创新在于HPMC的设计，它与现有方法的本质区别体现在三个方面。第一，与基于位姿的帧检索方法（如HY-World-1.5使用的FOV重叠检索）不同，HPMC完全无需相机位姿信息，通过端到端学习自动识别和保留对环路闭合最关键的视觉线索。第二，与均匀时间下采样（如FramePack）不同，HPMC采用分层结构，先进行局部压缩捕捉细粒度动态，再进行全局压缩融合长程信息，避免了简单下采样导致的严重信息丢失。第三，与PFP等方法不同，HPMC的记忆占用不是随序列长度线性增长，而是通过递归结构压缩为固定预算$T_{max}$，实现了次线性甚至常数级的内存开销。这种设计使得模型能够在保持计算效率的同时维护超过1000帧的空间一致性。
方法步骤详情
HPMC的工作流程分为两个操作模式。当上下文长度在阈值内（$L \leq k \cdot T_{max}$）时，采用短视野直接压缩模式：原始潜在表示$z_{1:L}$通过时间编码器$f_\phi$进行4倍时间降采样，生成压缩tokens $z_{com} \in \mathbb{R}^{\frac{L}{4} \times d}$。当探索视野超过记忆预算时，启动长视野分层压缩模式：原始潜在表示被分割为$N=5$个重叠chunk（窗口大小$W=64$帧，动态步长$S$），每个chunk先进行第一阶段局部压缩，然后中间tokens被拼接并进行第二阶段全局压缩，最终生成统一的全局表示$z_{com} = f_\phi(\text{Concat}\{f_\phi(\text{Chunk}_i)\}_{i=1}^N)$。压缩后的历史$z_{com}$、最后一帧潜在表示$z_{loc}$和加噪的目标潜在表示$z_t$在时间维度上拼接，并附加二进制掩码$m$区分上下文和去噪目标。同时，动作编码器将原始运动序列转换为嵌入$e_{act}$，通过步长为2的1D卷积层实现4倍降采样，确保与视觉历史的时间对齐。最终输入为$x = \text{Patch}(z_{com}, z_{loc}, z_t, m) + e_{act}$。
技术新颖性
本文的技术新颖性主要体现在四个方面。第一，HPMC的联合优化机制是独创的：压缩器$f_\phi$与DiT骨干网络端到端联合训练，这使得模型能够自主学习什么历史信息对生成最重要，而不需要依赖显式的几何先验或位姿元数据。这种“压缩即学习”的范式在世界模型领域是首次提出。第二，三态动作标注策略是新颖的：通过引入“不确定”状态来处理低信噪比的运动，而不是简单地丢弃这些数据或将其错误分类为“无操作”，这最大限度地利用了原始视频数据同时保持了动作空间的纯净性。第三，重访密集微调策略基于一个深刻的洞察：环路闭合能力可以通过少量数据高效“激活”，而超过训练时遇到的时间窗口会导致灾难性崩溃。这个发现指导了一个极其高效的数据策略——仅需30分钟的高质量视频就能激活1000帧的一致性。第四，分层压缩结构中局部压缩和全局压缩的递归组合，实现了从有限预算到无限视野的无缝扩展。
实验结果
本文在自建的1000帧交互基准上进行了全面的实验评估。在客观指标方面，Infinite-World在VBench的所有维度上都达到了最优或次优表现：运动平滑度0.9876、动态程度1.0000、美学质量0.5440、图像质量0.7159，平均得分0.8119。虽然Yume 1.5在平均得分上略有领先（0.8141），但这主要归因于其5B参数规模带来的美学优势，且其动作控制能力较弱。在用户研究中，Infinite-World展现出决定性的优势，ELO评分达到1719，比次优的HY-World-1.5（1542）高出177分。细粒度排名显示，Infinite-World在记忆一致性（1.92）和视觉保真度（1.67）上均排名第一，显著优于Matrix-Game 2.0和HY-World-1.5。在动作响应性方面，Infinite-World达到了1.54的最优水平，与依赖完美标注合成数据训练的HY-World-1.5（1.50）相当。消融实验表明，RDD微调是激活长程记忆的主要驱动力，将记忆一致性排名从2.40提升到1.83，动作控制从2.95提升到1.61。不确定性感知动作标注在不同训练阶段都能稳定提升动作响应性。效率分析显示，无压缩方法在180帧时就会触发内存溢出，直接压缩仍呈线性增长，而HPMC在约45GB处达到稳定，即使扩展到1300帧以上也能保持次线性增长。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 千帧交互式世界模拟 | ELO Rating（用户研究） | 1719 | HY-World-1.5: 1542, Yume 1.5: 1495, Matrix-Game 2.0: 1432, Hunyuan-GameCraft: 1311 | 比次优方法提升177分（+11.5%） |
| 视觉质量评估 | VBench平均得分 | 0.8119 | Yume 1.5: 0.8141, Matrix-Game 2.0: 0.8068, HY-World-1.5: 0.7949, Hunyuan-GameCraft: 0.7785 | 与最优方法相当（差距0.0022） |
| 记忆一致性 | 用户评分（1-5，越低越好） | 1.92 | Yume 1.5: 2.43, HY-World-1.5: 2.59, Hunyuan-GameCraft: 2.67, Matrix-Game 2.0: 2.98 | 比次优方法提升0.51分（-21.0%） |
| 视觉保真度 | 用户评分（1-5，越低越好） | 1.67 | Yume 1.5: 1.91, Hunyuan-GameCraft: 2.49, HY-World-1.5: 2.78, Matrix-Game 2.0: 2.91 | 比次优方法提升0.24分（-12.6%） |
| 动作响应性 | 用户评分（1-5，越低越好） | 1.54 | HY-World-1.5: 1.50, Hunyuan-GameCraft: 2.56, Yume 1.5: 2.47, Matrix-Game 2.0: 1.78 | 与HY-World-1.5相当（使用噪声真实数据达到合成数据水平） |
| GPU内存效率 | 1300帧时内存占用 | 约45GB（稳定） | 无压缩: 180帧溢出, 直接压缩: 线性增长 | 实现次线性增长，支持超长序列 |
局限与改进
作者在论文中承认了几个局限性。第一，虽然本文建立了长程记忆的基础，但仍存在累积漂移和视觉退化问题，可能需要自强制（self-forcing）或改进的噪声调度来进一步缓解。第二，模型规模较小（1.3B参数），视觉保真度受限于模型容量，Yume 1.5（5B）在美学质量上的优势说明了这一点。第三，推理速度可能需要通过模型蒸馏或扩展到更大骨干网络来提升。从独立分析的角度来看，本文的评估基准是自建的，缺乏与现有标准基准的直接对比，这可能影响结果的可比性。用户研究的规模相对较小（30名志愿者，300次比较），统计显著性可能需要进一步验证。此外，RDD数据集仅包含30分钟的自采集视频，其多样性和泛化能力有待在更广泛场景中验证。论文中提到的1000帧主要是在特定的室内场景中验证，在更复杂或动态变化更大的环境中的表现尚不清楚。
独立分析的弱点
本文存在几个值得深入分析的弱点。第一，HPMC的压缩效率与信息保留之间存在权衡：当压缩因子$k=4$时，4倍的时间降采样可能丢失重要的快速运动细节，特别是在需要精确时间同步的动作响应场景中。改进方向包括设计自适应压缩率或引入多尺度压缩机制。第二，不确定性感知动作标注的阈值$\tau_1$和$\tau_2$需要手动设定，缺乏自适应机制，在不同场景或相机抖动程度下可能需要调整。改进方向是设计基于数据分布的自适应阈值选择策略。第三，RDD数据集的规模极其有限（30分钟），虽然实验表明样本效率很高，但这种激活能力是否能在更广泛的场景类型（如室外、动态物体密集场景）中泛化仍存疑。改进方向包括自动化地从大规模视频数据中筛选和构建RDD。第四，模型在训练时最大上下文为4个chunk，推理时扩展到更长序列的能力受限，论文中也提到了上下文边界外推问题，这限制了实际应用中的灵活性。第五，本文的评估主要关注空间一致性，对物理规律的遵循（如重力、碰撞）评估不足。
未来方向
作者提出了几个未来研究方向。第一，可以采用自强制（self-forcing）技术或改进的噪声调度来进一步缓解累积漂移和视觉退化问题。第二，模型蒸馏和扩展到更大骨干网络（如5B或更大规模）是提升推理速度和视觉保真度的重要途径。基于本文的成果，还可以延伸到以下方向：（1）将HPMC应用于多智能体交互场景，探索分布式记忆压缩机制；（2）结合3D重建技术（如NeRF或3D Gaussian Splatting）增强空间理解能力；（3）开发在线学习机制，使模型能够在推理过程中持续更新记忆；（4）将不确定性感知标注策略扩展到更丰富的动作空间（如连续控制信号）；（5）探索RDD的自动化构建方法，实现从大规模网络视频中高效提取重访密集片段。
复现评估
从复现角度来看，本文提供了相对完整的复现信息。模型基于开源的Wanx-2.1-1.3B构建，训练细节（优化器、学习率、分辨率等）都有明确说明。然而，完全复现仍面临几个挑战：第一，RDD数据集仅包含30分钟的自采集视频，但论文未公开该数据集，其他研究者需要自行采集或构建类似数据；第二，预训练数据集描述为从互联网收集的超过30小时的第一人称探索视频，但未提供具体的数据源或筛选标准；第三，实验在16块NVIDIA H800 GPU上进行，计算资源需求较高；第四，HPMC的具体实现（3D-ResNet结构）描述相对简略，可能需要参考代码实现才能完全复现；第五，用户研究的协议在附录中有详细说明，但志愿者招募标准和具体评估界面的实现细节可能影响结果的可比性。总体而言，复现难度中等偏高，主要障碍在于数据获取和计算资源。
论文图表