WorldStream：具备层次化规划与持久状态的流式交互三维世界模型 WorldStream: Streaming Interactive 3D Worlds with Hierarchical Planning and Persistent State
分层规划+确定性编译+持久记录，让3D世界边探索边生成、可交互且可重访
前置知识
世界模型（World Model）
对环境动态建模、支持预测与交互的生成模型。早期以潜在动力学为主（如 Dreamer 类，在潜空间预测转移用于控制），近期发展为可进入、可操作的交互式视觉环境（如 Genie 系列）。其状态通常保存在帧序列或潜变量中，评估标准是下一帧预测/生成质量。
本文正是针对学习型世界模型「状态不持久、无稳定地点标识」的痛点，把世界生成为运行时系统而非预测器，理解这一背景才能看出它的差异化定位。
程序化内容生成（PCG）
用确定性算法加随机种子批量生成地形、道路、建筑、植被等内容的技术：同一种子与参数可精确复现同一结果。被 Minecraft、《无人深空》等广泛使用。优点是可无限扩展、每个对象可检查可编辑；缺点是通常要在游玩前一次性生成固定场景。
WorldStream 的「确定性本地代码」就是 PCG，理解种子、参数与确定性复现机制是理解重访一致性和修订提交的前提。
瓦片与流式加载（Tiling / Streaming）
把世界切成固定大小的网格单元，随玩家移动动态加载前方、卸载后方的引擎技术，使内存与每帧成本不随已探索范围增长。关键难点有二：相邻瓦片在边界处内容要无缝衔接；卸载后重进同一瓦片要恢复原貌。
本文的规划、编译、调度、驻留与驱逐全部以瓦片为基本单位，「边界承诺」和「驱逐后重建」这两个瓦片流式的经典难题正是论文着力解决的。
约束满足与联合求解
当多个决策变量相互耦合时（住宅必须建在可建平地、水边必须留退让带、土地利用要延续邻居），独立为每个变量选最优值会违反约束，需要在可行集合 $F$ 中搜索同时满足全部硬约束的联合赋值，属于经典 CSP 求解思想。
论文证明独立最大概率选择会让 63% 的计划违约，改用联合求解把可执行率从 37% 提到 100%，这是方法成立的关键一环。
乐观并发控制（Optimistic Concurrency）
一种并发提交策略：操作基于读取时的版本号进行，提交时若当前版本仍等于读取版本则生效，否则拒绝该更新。无需加锁即可支持异步流水线，是数据库与分布式系统的经典机制。
WorldStream 用单调递增修订号 $\rho_i$ 给后台规划/编译任务盖戳，过期结果直接丢弃，保证异步编辑与流式工作互不覆盖。
研究动机
现有两条技术路线各持一半能力。学习型生成世界模型（如 Genie 类潜在动力学模型）能根据用户动作生成响应视图，一致性视野不断延长，但状态只存在于帧和潜变量中：没有持久的地点标识，一段区域一旦被驱逐出记忆就只能重新合成，单个对象也无法被引用以供后续修改。程序化与代码驱动的3D系统则相反：显式场景系统从语义规格在资产库上编译几何，每个对象可检查可编辑，但必须在开玩前一次性付出全部生成成本，场景固定不变——它既不决定无限世界里接下来该准备哪一块，也不决定已准备区域卸载后什么应该留存。开放探索要求三个条件同时满足：世界在用户身处其中时持续扩展且每帧成本不随已探索范围增长；开放语言能针对当前存在的实体和地形被解释并作用于运行中的世界；已访问地点在其几何被驱逐后连同接受的编辑一起被复现。没有任何单一生成阶段能同时供给这三者——扩展是调度属性，落地修改是表示属性，可复现是存储属性。
本文的目标是WorldStream 的目标是构建一个可长期游玩的开放式3D世界运行时，同时具备三项能力：一是在任何预定地图之外持续扩展可游玩地形，且单帧成本受有限预算约束，不随已探索面积增长；二是对运行中的世界执行开放式语言指令，既覆盖用户当前所在区域，也覆盖尚未生成的区域；三是在渲染内存受限（几何会被驱逐）的前提下，重访地点时连同用户接受的编辑一起忠实还原。论文把这一目标分解为具体的运行时行为：语义规划沿预测移动走廊先行，几何编译只在移动即将需要处进行，玩家身后几何释放而持久记录保留。理想结果是一个在有限预算下持续扩张、跨独立规划的瓦片保持连通、并且完全可交互的世界。
与已有工作不同的是，本文的独特切入是把世界生成从「预测问题」重新定义为「持续运行时问题」。作者观察到扩展（extent）是调度属性、落地修改（grounded change）是表示属性、可复现（reproducibility）是存储属性，因此用一个单一持久世界记录统一三者：规划写入意图，确定性代码实现意图，渲染器派生瞬态视图，持久记录在三个阶段之间传递身份。相比学习型世界模型把状态藏进网络激活，本文把状态显式化为类型化决策记录；相比传统 PCG 在游玩前编译固定场景，本文把编译搬进运行时并按移动方向预算化。这种「决策模型负责规划、确定性代码负责落地」的分工还带来一个被忽视的好处：编译器可在模型之外独立演进，规划器、生成器与渲染器通过共享世界状态解耦。
核心方法
直觉上，WorldStream 像一支协作的城市建设队伍：区域总规划师（Macro）看着地形与水系图纸，决定这片区域里城镇放哪、森林覆盖哪里、交通走廊怎么走；地块建筑师（Micro）拿到区域合同后，结合脚下实测地形和邻居已经承诺的边界，把合同细化成每块瓦片的可执行图纸；施工队（确定性本地代码）按图纸无偏差地把图纸编译成地形、道路、建筑、植被与实体。技术上，系统以瓦片为通用单位：每块瓦片持有持久记录 $R_i = (G_i, M_i, B_i, O_i, U_i, \rho_i, V_i)$，包含地理证据、已接受语义计划、边界承诺、对象状态、用户编辑、单调递增修订号和兼容生成器版本；渲染几何只是 $X_i = \mathrm{Compile}(R_i)$ 这一记录的可复现实现。流式运行时把规划与编译的触达范围分离：规划沿运动预测走廊先行（语义前沿），编译只覆盖即将需要的窄窗口（实现前沿），玩家身后几何释放而记录保留，从而实现有界驻留下的双向前沿扩展。
核心创新是「持久语义记录 vs 瞬态几何」的分离，以及同一个状态模型的三重复用。已有学习型世界模型中，区域被驱逐即意味着遗忘——只能重新合成、无法引用；已有 PCG 系统则在游玩前一次性编译，不回答「卸载后留什么」。WorldStream 让每块瓦片的权威状态是记录 $R_i$ 而非几何：驱逐只删除实现 $X_i = \mathrm{Compile}(R_i)$，重访时从记录确定性重编译。同一记录同时支撑三件事：规划（新瓦片把邻居的边界承诺 $B_i$ 作为硬输入，保证跨独立处理瓦片的一致性）、交互（语言操作以实体状态 $O_i$ 与编辑 $U_i$ 为落点，提交时用修订号 $\rho_i$ 校验、拒绝过期更新）、重建（编辑产生新修订，被后续编译消费）。此外，类型化决策模型为每个字段返回首选值加许可替代项上的概率分布，联合求解器在地形、区域合同与邻居约束下搜索 $z^\star = \arg\max_{z \in F} [\sum_q \log p_q(z_q) + R(z, N_i)]$，使计划在动工前即被证明可执行。
方法步骤详情
完整流水线分六步。① 采样地理证据：从既有地图或确定性种子地表读取坐标对齐的高度、坡度与水体样本写入 $G_i$，保证相邻瓦片共享边界处地表连续。② Macro 区域规划：输入区域证据 $G_r$ 与近邻状态 $N_r$，输出区域合同 $M_r = P_M(G_r, N_r)$，确定定居点梯度、生态结构、交通走廊与水系组织。③ Micro 瓦片规划：输入细粒度地表 $g_i$、覆盖合同与邻接承诺 $N_i$，输出 $m_i = (Z_i, C_i, A_i, \Theta_i)$（语义角色、边界连接、设施锚点、生成器参数）；决策模型对每个类型化字段给出首选值与替代分布，联合求解器在可行集合 $F$ 中最大化 $\sum_q \log p_q(z_q) + R(z, N_i)$，剔除违反地形、合同或邻居约束的组合，产出可执行计划。④ 确定性编译：按地形水体、道路、建筑、植被的依赖顺序展开几何，道路从承诺端口接线，植被按 $\pi_c(x) = \mathrm{clamp}(\alpha\, s(x)\, h_c(\phi(x)), 0, 1)$ 生成空间相关群落。⑤ 方向感知调度：必需 3×3 邻域 $L$、偏好集 $P$ 与运动预测候选 $A(H_p) = \bigcup_{0 \le \tau \le H_p} P(p + \tau v, b)$ 构成候选池，在预算 $K_p$、$K_c$ 下取 $Q = \mathrm{Top}_{K_p}(L \cup G)$ 与 $C = \mathrm{Top}_{K_c}(Q \cap [L \cup \{i : \eta(i) \le H_c\}])$。⑥ 交互提交：请求经 $(a, \theta) = P_a(u, W_{local}, K)$ 解析为动作与参数，本地函数 $\Phi_a$ 产生候选更新 $\Delta_i$，仅当 $\rho_i = \rho_i^s$ 且目标仍有效时原子提交为新修订。
技术新颖性
技术新颖性体现在四个层面。其一，决策模型与确定性代码的分工：大模型只输出类型化语义决策（带概率分布），坐标与几何约束完全由确定性代码解析，一次模型决策可控制大量具体对象，使编译器可独立演进且结果可复现。其二，类型化分布输出加联合求解：与常见的结构化输出（如 JSON 约束解码）不同，本文保留每个字段的替代分布并跨瓦片联合求解——实验证明独立最大概率选择会让 63% 的计划违反至少一个硬约束，联合求解在不改变概率的前提下把可执行率从 37% 提到 100%。其三，双向前沿流式调度：语义前沿沿运动预测走廊延伸，实现前沿更窄，预测进入时间 $\eta(i)$ 决定预算沿走廊的延伸距离，这与游戏引擎按距离环形加载的传统做法不同。其四，修订感知的持久化：计划键由瓦片身份、地理证据、合同、邻居承诺与版本号共同决定，使前瞻请求与重访共享同一语义结果；后台任务携带源修订号，过期结果被丢弃，实现乐观并发的世界编辑。
实验结果
论文沿四个机制逐一消融验证。(1) 层次化规划：同一城市到乡村请求下，完整层次结构编译出 47 条道路、250 栋建筑、13 处设施，边界跳变仅 0.089；去掉 Macro 上下文（Micro only 与 Flat Micro）完全无法形成请求的定居点（道路/建筑/设施均为 0）；去掉 Micro 邻居上下文则严重过建（686 条道路、2,686 栋建筑）且边界跳变升至 0.361，约为完整版的 4 倍。(2) 联合求解：在决策模型产生的 100 组概率分布上，逐字段独立取最大概率只有 37% 的计划满足全部硬约束，联合求解器在完全相同的概率下达到 100%，总增益 ×2.70；分约束看，生物群系从 55%、地形从 69%、Macro 角色从 74% 提升到 100%。(3) 流式就绪：100 条路线回放、4 km 基准路线上，无预取时到达覆盖率低且总等待长；Plan ahead 只缩短恢复时间、不改变到达覆盖率（建设仍开始太晚）；方向性预取使 3×3 邻域几乎全部在到达前就绪，总等待降到 3.52 s；自适应视界进一步削减剩余尾部。(4) 语言交互：80 条双语请求整体准确率 95.0%（76/80），否定（10/10）与不可用目标（10/10）两类全对，错误集中在「未来区域意图 vs 当前编辑」的时态/空间范围区分。(5) 编译效率：优化后密林编译从 10.780 s 降到 3.323 s（×3.24），森林湿地 ×1.89，12 块新发布瓦片平均 2.134 s、峰值 3.318 s；两个常驻编译工作进程替代线程使热吞吐从 0.234 提升到 0.464 tiles/s（×1.99）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 层次化规划消融（同一城市到乡村请求） | 编译实例数与边界跳变（越低越平滑） | Full hierarchy：47 条道路、250 栋建筑、13 处设施，边界跳变 0.089 | No Micro-neighbor：686 条道路、2,686 栋建筑，边界跳变 0.361；Micro only / Flat Micro 无任何本地内容（0/0/0） | 边界跳变降低约 4 倍（0.361→0.089），且形成连通有界的城—乡梯度 |
| 类型化分布的联合约束求解（100 组模型分布） | 全部硬约束满足率 | 100% | 独立逐字段最大概率选择：37%（生物群系 55%、地形 69%、Macro 74%、郊区 82%、景观 84%、水体 88%） | ×2.70，且不改变模型概率、不改下游实现 |
| 流式预取消融（100 条路线回放，4 km 路线） | 到达时 3×3 邻域就绪率与累计等待时间 | Directional：几乎全部邻域瓦片到达前就绪，总等待 3.52 s；Adaptive 进一步削减尾部等待 | No prefetch（规划与建设均在进入需求窗口后才开始） | 方向性预取消除绝大多数到达卡顿；Plan ahead 只缩短恢复时间、不提升到达覆盖率 |
| 开放语言请求到世界操作映射（80 条双语请求） | 意图操作识别准确率（含安全不执行） | 95.0%（76/80）；无动作 10/10、不可用 10/10、澄清 19/20 | 论文自建基准，无外部基线可比 | 错误集中于未来/当前范围的时态区分，而非内容识别本身 |
| 局部编译优化（七类瓦片内容） | 墙钟编译时间（发布对象逐位一致） | 密林 3.323 s（×3.24）、森林湿地 2.699 s（×1.89）、轻量村庄 ×1.67；12 块新瓦片平均 2.134 s、峰值 3.318 s | 优化前密林 10.780 s | 最高 ×3.24；另以两个常驻工作进程获得 ×1.99 热吞吐（0.234→0.464 tiles/s） |
局限与改进
作者承认的限制包括：当前原型使用有界的生成词汇表、本地控制器与关系式编辑几何，视觉保真度受限于低多边形资产；地形与生态合理性依赖人工策划的地理规则；重建依赖保留记录与兼容的生成器/资产版本，版本漂移可能破坏复现；长期运行世界还需为累积记录设计存储策略、为活跃邻域之外的动态角色设计模拟策略。实验限制方面，作者明示规划消融每个变体只跑一次完整运行、不估计模型采样方差；预取回放只测后端瓦片就绪、不含浏览器端安装；交互基准在世界事实固定的条件下测解释能力，未覆盖完整的「编辑—驱逐—重访」闭环。我的补充观察是：所有基准（路线、80 条请求、约束集）均为自建，缺少与学习型世界模型在感知质量上的对比，也未报告更换决策模型（文中称为 Jev）后的鲁棒性。
独立分析的弱点
独立分析四个弱点。第一，视觉保真度低：渲染基于 Three.js WebGL 与低多边形资产，与学习型世界模型（视频生成类）的视觉质量差距明显，对追求画面真实感的应用吸引力有限；改进方向即作者自己提出的流式视觉解码器，把低多边形实现、相机状态与编辑记录作为条件做神经细化。第二，评估生态单薄：规划消融单次运行、交互基准仅 80 条请求、路线为自建 4 km 路线，结论对模型随机性与任务多样性的覆盖不足；建议多随机种子重复实验、公开基准并补充人类评估。第三，规划质量完全依赖上游决策模型：论文未报告更换或弱化决策模型的影响，63% 违约率也是在该模型自身分布上测得，换用其他模型后联合求解器的收益是否保持未知；可在不同规模与家族的模型上复测。第四，动态世界语义薄弱：活跃邻域外的有状态 NPC 如何模拟、长期累积记录如何裁剪均未解决，扩展到数百瓦片、数小时游玩后存储与一致性维护可能成为瓶颈；可引入分层存储与离屏低频模拟策略。
未来方向
作者提出两条保真度升级路径：一是流式视觉解码器，消费低多边形实现、相机状态、对象身份与编辑记录，把显式控制与长视野神经合成结合（引用 WorldPlay 与可编程/代码引导渲染器），其评估指标应为新增延迟与重访后编辑地点的视觉一致性；二是更丰富的显式生成器，在保持规划合同不变的前提下替换现有资产与实现流程，并借鉴代理式开放世界构造、递归场景程序与统一城市上下文，在现有流式预算内做预取与缓存。基于本文成果可延伸的方向包括：把修订化记录协议推广到多用户共享世界（冲突合并可类比 CRDT）；用学习型组件替换植被/定居点编译器中的部分启发式但保持种子确定性；为活跃区外动态实体设计「记录冻结—回归激活」的模拟策略；把语言交互基准扩展到多步、跨瓦片的复合指令与协作建造。
复现评估
论文提供了项目主页与演示（krennic999.github.io/WorldStream），含博客与运行示例，但正文未声明开源代码或权重。复现门槛中等偏高，但不需要大规模 GPU 集群：渲染是 Three.js WebGL 运行时（1920×1080），执行器为三个常驻编译工作进程；核心依赖是论文引用的类型化决策模型（文中称 Jev [33]，每个字段返回首选值与替代分布）——若无法获得该模型，可用任意支持约束解码的 LLM 替代，但需自建 schema 与求解器。此外还需地形与资产库、道路与植被生成器、空间索引等工程组件，总计是数月量级的系统工程。论文给出了足够细节的公式（记录结构、TopK 调度、提交规则、植被概率），关键算法可独立验证；但资产库与策划的地理规则需自行构建，交互基准 80 条请求与路线数据未随文发布，严格复现具体数字（如 3.52 s 等待、0.089 边界跳变）难度较大。
论文图表
上半部分展示运行时生成的多种区域：密集城市街区、乡村聚落、流式森林、沙漠与海岸地形；下半部分展示用户通过共享保留状态界面在运行世界中问路、指挥附近角色、编辑眼前地形、召唤远处角色等语言交互。
一张图给出系统全貌：既能无限扩展多种地形，又能基于持久状态做接地语言交互，是理解论文三大能力的最佳入口。