循环世界模型 Looped World Models
用参数共享的循环迭代构建高效稳定的世界模型
前置知识
世界模型（World Model）
世界模型是一种学习环境动力学机制的模型，它能够预测环境状态如何随动作而演变。在强化学习中，世界模型充当内部模拟器，允许智能体在真实环境交互之前进行规划和策略优化。典型架构包括观测编码器、潜在动力学模型和解码器三部分，其中潜在动力学模型是核心，负责学习状态转移规律。
本文的核心就是改进世界模型的动力学建模部分，理解世界模型的基本架构和学习目标对于理解 LoopWM 的创新点至关重要。
循环架构（Looped Architecture）
循环架构是指在深度神经网络中复用同一组参数多次的架构设计。与传统的固定深度网络不同，循环架构通过迭代应用相同的参数块来实现任意深度的计算。这种设计解耦了有效计算深度和参数数量，使得模型可以用较少的参数实现更深层次的特征提取。循环架构在语言模型中已有成功应用，如 Universal Transformer。
LoopWM 的核心创新就是将循环架构首次应用到世界建模中，理解循环架构的工作原理是理解本文方法的基础。
谱范数约束（Spectral Norm Constraint）
谱范数是指矩阵的最大奇异值，谱范数约束就是限制矩阵的谱范数小于某个阈值。在循环递归系统中，状态转移矩阵的谱范数决定了隐状态是否会随迭代次数增加而发散。通过确保状态转移矩阵的谱范数小于 1，可以保证隐状态在无限次迭代后仍然保持有界。论文中通过对角矩阵参数化，其中 A 为对角矩阵，确保所有特征值都在 (0, 1) 区间内。
谱范数约束是 LoopWM 实现长时序稳定性的关键技术，没有这个约束，循环迭代可能导致隐状态爆炸，使长时序预测失效。
累积误差（Compounding Error）
累积误差是指模型在多步预测中，每一步的预测误差在后续步骤中被放大和累积的现象。在世界模型中，由于每个时间步的预测依赖于上一步的预测输出，任何小的预测误差都会在长时序推演中被放大，最终导致轨迹质量严重退化。这是所有基于模型的方法面临的根本挑战。
解决累积误差问题是本文的主要动机之一，LoopWM 通过谱约束和自适应计算来缓解这个问题。理解累积误差机制有助于理解本文方法的设计思路。
自适应计算（Adaptive Computation）
自适应计算是指根据输入复杂度动态调整计算资源分配的机制。在 LoopWM 中，自适应计算表现为模型可以根据每个状态转移的复杂度动态调整内部循环次数。对于简单的状态转移（如自由飞行），模型可能只需一次循环迭代；对于复杂事件（如碰撞），模型会自动增加迭代次数进行深度推理。这种机制通过轻量级的退出门实现，当退出概率超过阈值时终止循环。
自适应计算是 LoopWM 实现高效推理的关键特性，理解这个机制有助于理解为什么 LoopWM 能在保持性能的同时显著降低计算成本。
研究动机
现有的世界模型面临一个根本矛盾：忠实的长时序模拟需要深度计算，但更深的模型部署成本高昂且容易产生累积误差。具体来说，物理动力学通过重复应用物理定律展开，而传统的固定深度架构为每个转移分配相同数量的计算，无论其复杂度如何。这导致两个典型失败模式：第一，预测误差导致轨迹质量在长时序推演过程中迅速退化，例如在 100 步的轨迹推演中，每步 1% 的误差会累积导致性能几乎完全崩溃；第二，通过扩展模型深度来对抗这种退化通常会成比例增加参数数量和推理成本，使得在资源受限平台上进行实时部署变得极其昂贵。例如，一个 100 层的固定深度 transformer 在每次状态转移时都需要完整的前向传播，即使对于简单的状态变化也是如此。
本文的目标是本文的具体目标是构建一个既能实现长时序稳定模拟，又具有高参数效率的世界模型架构。具体来说，作者希望：第一，在不增加参数数量的前提下实现足够的计算深度来捕获复杂动力学；第二，确保隐状态在任意长度的推演中保持数值稳定，避免累积误差导致的发散；第三，能够根据状态转移的复杂度自适应地分配计算资源，对简单转移使用较少迭代，对复杂事件使用更多迭代。最终目标是在 ScienceWorld 和 AlfWorld 等文本环境建模任务上，用约 1B 参数的模型超越参数规模大 100 倍以上的基线模型（如 Claude Opus 4.6 max）。
与已有工作不同的是，本文的独特切入点在于将循环架构（Looped Architecture）从语言建模领域引入世界建模领域。虽然在语言模型中已经证明了循环架构可以实现 2-3 倍的参数效率，但之前没有任何工作将循环架构应用到环境模拟和动力学预测任务中。作者观察到环境动力学本身就是迭代过程：状态 s_t 通过重复应用（近似）平稳物理定律演化到 s_{t+1}。这种结构上的对齐使得循环 transformer 特别适合世界建模：内部的循环不直接表示物理时间，而是执行对隐状态转移估计的迭代精炼。此外，本文还引入了延迟解码（Deferred Decoding）机制，这在世界模型中是首次应用，它允许模型在多步推演中只进行一次终端解码，而不是在每个中间步骤都解码，这进一步提高了计算效率。
核心方法
LoopWM 的整体思路是结合循环架构的迭代计算能力和世界建模的动作条件状态预测需求。架构包含四个模块：观测编码器 E_phi 将原始观测编码到潜在空间；动作嵌入器 A_psi 将动作投影到相同空间；循环动力学核心 L_theta 是核心贡献，通过参数共享的 transformer 块的 T 次迭代来更新隐状态；预测头 D_xi 从隐状态解码观测、奖励和继续信号。直观上，环境动力学可以看作重复应用共享转移定律，因此建模单步转移可以通过重复应用共享隐更新算子来实现。每个环境时间步 k 的前向传播为：e_k = E_phi(o_k)，u_k = A_psi(a_k)，h_k = L_theta(h_{k-1}, e_k, u_k)，(o_{k+1}^hat, r_k^hat, c_k^hat) = D_xi(h_k)。
核心创新点在于将谱约束的循环递归动力学架构首次应用到世界建模中。与传统的 RSSM 或固定深度 transformer 不同，LoopWM 的动力学核心由三部分组成：Prelude（前奏）处理输入；Recurrent Block（循环块）T 次迭代应用共享参数的 transformer；Coda（尾声）输出最终状态。状态更新规则为 h^{(t+1)} = A_bar * h^{(t)} + B_bar * e + R_bar(h^{(t)}, e)，其中 A_bar 控制状态保持，B_bar 控制输入注入，R_bar 包含 transformer 非线性操作。关键区别在于 R 的参数在所有 T 次迭代中共享，使计算深度独立于参数数量。为了保证长时序稳定性，A_bar 通过指数矩阵参数化，确保所有特征值在 (0, 1) 区间，保证谱半径小于 1。这种约束在训练中自动满足，无需梯度裁剪或后验归一化。
方法步骤详情
方法步骤的完整描述：第一，观测编码阶段，卷积或基于 vision transformer 的编码器将原始观测 o_k 映射到潜在嵌入 e_k = E_phi(o_k) 属于 R^d；第二，动作嵌入阶段，动作 a_k 通过学习到的嵌入投影到相同空间 u_k = A_psi(a_k) 属于 R^d；第三，前奏处理阶段，小的 L_P 层 transformer 栈处理前一步隐状态、观测嵌入和动作嵌入的拼接，产生条件信号 e = LN(P([h_{k-1}; e_k; u_k]))；第四，循环迭代阶段，堆叠的 L_R 层共享参数的 transformer 应用 T 次循环迭代，每次迭代 t 的更新规则为 h^{(t+1)} = A_bar * h^{(t)} + B_bar * e + R_bar(h^{(t)}, e)；第五，尾声处理阶段，最终的 L_C 层 transformer 处理终端隐状态 h^{(T)}，通过学习投影得到 h_k = C(C * h^{(T)})；第六，预测解码阶段，轻量级 MLP 从 h_k 解码重构观测、预测奖励和继续信号。训练时循环深度 T 从泊松分布采样，均值 mu_rec 可学习，每个序列内独立采样而非每个微批采样，减少训练目标方差。反向传播在 mu_bwd = ceil(mu_rec/2) 步截断以限制内存成本。
技术新颖性
技术新颖性体现在四个方面：第一，首次将循环架构从语言建模扩展到世界建模领域，建立了迭代潜在深度作为世界模拟的新缩放轴，正交于模型大小和训练数据；第二，引入谱约束的状态保持参数化，保证隐状态在任意循环迭代次数下保持有界，通过指数矩阵参数化实现，约束所有特征值在 (0, 1) 区间，提供形式稳定性保证；第三，提出延迟解码机制，在多步推演中跳过中间观测解码，只在终端步骤解码，通过终端预测损失和潜在轨迹正则化训练，显著减少计算开销；第四，双层循环结构设计：内循环（R 的迭代）精炼单个转移内的隐状态，外循环（连续环境步）传播时间信息，谱约束确保两个循环都保持有界。
实验结果
核心发现包括：在 ScienceWorld 数据集上，LoopWM（约 1B 参数）在所有四个指标上都显著超越 Claude Opus 4.6 max（超过 100B 参数），总体上实现 45.2% 的 EM 提升（从 47.2% 到 68.4%），17.2% 的 F1 提升（从 72.8% 到 85.3%），25.4% 的 BLEU 提升（从 64.4% 到 80.7%），16.1% 的 Entity 提升（从 72.3% 到 83.9%）。最极端的改进出现在 Lifespan 任务上，从 0% 提升到 100%。在 AlfWorld 数据集上，LoopWM 在 BLEU 指标上达到最佳（71.6%），在 EM 和 Token F1 上排名第二，考虑到模型规模较小（约 1B 参数），这个结果非常有竞争力。延迟解码的效果分析显示，随着推演步数增加（从 Step 1 到 Step 5），LoopWM 相对于基线（gemini-3-flash-preview-thinking）的相对优势持续扩大，例如在 Boil 任务上，Step 1 到 Step 5 的 EM 相对提升分别为 +100.0%、+50.2%、+250.5%、+700.9%、+500.9%，证明延迟解码在累积推演中特别有效。与 Qwen3.5-flash 相比，LoopWM 的优势更加明显，平均 EM 相对提升超过 100%，在 Chemistry 任务的某些步骤上甚至达到 +600.9%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ScienceWorld 整体任务 | EM (Exact Match) | 68.4% | 47.2% (Claude Opus 4.6 max) | +45.2% |
| ScienceWorld 整体任务 | Token F1 | 85.3% | 72.8% (Claude Opus 4.6 max) | +17.2% |
| ScienceWorld 整体任务 | BLEU-4 | 80.7% | 64.4% (Claude Opus 4.6 max) | +25.4% |
| ScienceWorld 整体任务 | Entity F1 | 83.9% | 72.3% (Claude Opus 4.6 max) | +16.1% |
| AlfWorld 整体任务 | BLEU-4 | 71.6% | 66.8% (Claude Opus 4.6 max) | +7.2% |
| ScienceWorld - Lifespan 任务 | EM | 100% | 0% (Claude Opus 4.6 max) | +100% |
| ScienceWorld - Chemistry 任务（Step 3） | EM 相对提升 | +110.3% | gemini-3-flash-preview-thinking | vs 基线 |
局限与改进
局限性分析包括：第一，本文主要在文本环境（ScienceWorld、AlfWorld、Danmaku Chan）中验证了 LoopWM，没有在连续视觉环境（如 Atari、Crafter）中进行实验，这意味着方法在像素级世界建模中的有效性尚不确定；第二，作者承认论文的选择性披露范围，当前目标是建立循环潜在精炼、延迟解码和稳定动力学共同定义世界建模的可行设计空间，而非详尽展示所有已获得的支持结果；第三，缺少对不同循环深度参数（L_P、L_R、L_C）的消融实验，不清楚每个部分的具体贡献；第四，训练稳定性可能需要特定的课程学习策略（如延迟解码中的渐进式地平线课程），作者将其视为实践配方而非方法弱点；第五，论文缺少完整的缩放定律分析，虽然 Step 1 到 Step 5 的实验表明迭代潜在深度是有意义的缩放维度，但没有在更广泛任务和计算范围内进行完整表征；第六，延迟解码机制需要额外的潜在轨迹正则化，引入了新的超参数（alpha、beta、C_max），调优可能需要经验。
独立分析的弱点
独立分析的弱点包括：第一，文本世界建模的有效性不一定能迁移到连续视觉环境，因为视觉环境的动力学通常更加复杂，且像素级重建对隐状态的要求更高，延迟解码在视觉环境中的效果需要验证；第二，训练复杂性增加，LoopWM 需要处理两个层次的循环（内循环和外循环），训练时需要采样循环深度、设计延迟解码的课程学习、平衡多个损失项，这些都增加了训练的工程复杂度和调优难度；第三，自适应退出门可能引入新的失败模式，如果退出阈值设置不当，可能导致模型在复杂转移上过早退出，或在简单转移上浪费计算；第四，谱约束虽然保证稳定性，但可能限制模型的表达能力，因为强制所有特征值在 (0, 1) 区间意味着隐状态的衰减特性，某些需要长期记忆的动力学可能受影响；第五，延迟解码的潜在轨迹正则化依赖于冻结的编码器，这可能限制编码器的学习能力，或者需要在编码器和正则化之间进行权衡。改进方向包括：在连续视觉环境中验证方法有效性，设计更灵活的谱约束机制，简化训练超参数，开发更鲁棒的退出规则。
未来方向
未来研究方向包括：第一，将 LoopWM 扩展到连续视觉环境，验证在 Atari、Crafter 等经典世界模型基准上的性能，这需要处理像素级重建和更复杂的动力学；第二，更完整的缩放定律分析，系统研究迭代潜在深度在不同任务和计算预算下的缩放行为，建立类似于模型大小和训练数据的缩放关系；第三，更明确的跨家族定位分析，将 LoopWM 与 RSSM 风格的潜在动力学模型、自回归视频 token 世界模型、基于扩散的世界模型进行更直接的比较，澄清迭代潜在深度最适合的领域；第四，优化策略研究，开发更稳定的训练方法，如课程学习策略的正则化方法、自适应循环深度采样策略、延迟解码的地平线调度策略；第五，扩展到多模态世界建模，结合文本、图像、动作等多种模态，构建更通用的世界模拟器；第六，理论分析，深入理解循环架构在世界建模中的计算优势，如能模拟的动力学类别、收敛性质、表达能力等；第七，实时应用探索，在自动驾驶、机器人控制、游戏 AI 等需要长时序规划的场景中部署 LoopWM，验证其在实际应用中的有效性。
复现评估
复现评估：论文未开源代码，只提供了架构描述和实验结果。数据集使用公开的 ScienceWorld 和 AlfWorld，易于获取。模型规模约 1B 参数，相比于闭源基线模型（Claude Opus 4.6 max 超过 100B 参数），训练和推理的算力要求相对较低。复现难度中等：架构描述清晰，但缺少超参数细节（如 L_P、L_R、L_C 的具体层数、mu_rec 的初始值、alpha、beta、C_max 等正则化系数），需要根据经验调优。训练稳定性可能需要特定的策略（如延迟解码的渐进式地平线课程），作者提到这是实践配方的一部分，可能需要多次实验才能稳定训练。整体而言，有经验的团队可以在合理时间内复现主要结果，但要达到论文报告的性能可能需要仔细的超参数调优和训练策略优化。
论文图表
