基于真实世界的城市场景世界模拟模型：首尔世界模型 Grounding World Simulation Models in a Real-World Metropolis

SWM的方法分为以下几个步骤：（1）数据构建阶段：收集1.2M首尔全景图像，通过跨时序配对选择参考-目标对，使用视图插值流水线从稀疏关键帧合成连续视频，用Qwen2.5-VL-72B生成文本描述，用Depth Anything V3估计深度图和相机位姿。同时从CARLA模拟器生成12.7K合成视频，覆盖行人、车辆和自由相机轨迹。（2）检索阶段：对于每个目标块，给定目标相机轨迹 $C^{(i)}$，通过最近邻搜索找到候选街景位置，再通过深度重投影过滤保留重投影像素覆盖率超过阈值的参考，得到最多K个针孔参考 $X^{(i)}_{ref}$ 及其相机位姿 $C^{(i)}_{ref}$ 和深度估计 $D^{(i)}_{ref}$。（3）条件注入阶段：几何参照——对每个目标帧，将空间最近的参考通过深度前向投影重投影到目标视角，得到扭曲视频 $X^{(i)}_{warp}$，经3D VAE编码后通道拼接到噪声潜表示；语义参照——将原始参考图像编码为潜表示，沿时间轴拼接到目标潜表示，允许每个目标潜表示关注所有K个参考。（4）虚拟前瞻槽：给定目标轨迹终点，检索最近的街景图像作为虚拟未来目的地，编码为单个潜表示 $z^{(i)}_{VL}$，分配到超出当前生成窗口的RoPE时间位置，时间偏移为 $\Delta_{VL}$。（5）生成阶段：模型自回归地生成视频，每个块条件化于文本提示 $P^{(i)}$、目标相机轨迹 $C^{(i)}$、噪声潜表示 $Z^{(i)}$、历史潜表示 $Z^{(i)}_{hist}$、几何参照 $X^{(i)}_{warp}$、语义参照 $X^{(i)}_{ref}$ 和虚拟前瞻槽 $z^{(i)}_{VL}$。

SWM的技术新颖性体现在多个层面：（1）任务定义层面——首次提出真实世界接地的世界模拟任务，将世界模型从想象环境扩展到真实城市，这是一个全新的研究方向，现有工作都没有直接探索过。（2）数据构建层面——跨时序配对策略是解决街景图像与生成视频时序不对齐的关键创新。与现有方法（使用同时间参考或忽略时序问题）不同，跨时序配对从训练数据层面强制模型学习区分持久结构和瞬态内容。视图插值流水线中的间歇性冻帧策略解决了3D VAE时间压缩与关键帧条件注入的技术不匹配，这在现有工作中没有被讨论过。（3）模型架构层面——几何参照和语义参照的双路径条件注入设计是新的，将空间布局信息和外观细节信息分别处理，实现互补的条件效果。（4）生成策略层面——虚拟前瞻槽是针对检索增强长距离生成的新机制，与传统注意力槽（使用第一帧作为固定锚点）有本质区别：VL Sink动态更新，使用未来位置的参考，且在训练时通过随机时间偏移让模型学习锚点接近度的影响。（5）评估层面——构建了两个新的城市级评估基准（Busan-City-Bench和Ann-Arbor-City-Bench），并引入了包含跨城市泛化评估的实验设计，这些都是新的评估维度。

基于独立分析，SWM存在以下几个值得关注的弱点：（1）视图插值质量瓶颈——虽然间歇性冻帧策略解决了3D VAE压缩的关键帧对齐问题，但插值视频的质量仍然低于真实视频。特别是在动态物体密集的场景中，插值可能导致物体运动不自然。改进方向包括：开发更先进的视频插值模型，或结合光流引导的插值策略来改善动态区域的过渡。（2）跨时序配对的数据效率——跨时序配对要求参考图像和目标序列来自不同时间戳，这可能减少可用的训练数据对数量。改进方向包括：开发更精细的时序过滤策略，或设计半监督学习方法来利用同时间戳的数据。（3）参考数量与质量的权衡——消融实验显示K=1时FID最佳但mPSNR下降，说明参考数量和质量之间存在权衡。改进方向包括：设计自适应参考选择策略，根据场景复杂度动态调整参考数量；或开发参考质量评估机制，优先选择高质量的参考图像。（4）相机轨迹多样性——尽管合成数据覆盖了行人、车辆和自由相机轨迹，但真实街景数据主要是驾驶视角。改进方向包括：收集更多样化的街景数据（如行人视角、无人机视角），或开发更好的域适应技术来弥合不同视角之间的差距。（5）文本控制精度——作者承认涉及全局风格变化的文本提示（如昼夜转换）在微调后效果下降。改进方向包括：设计分层文本控制机制，分别控制局部场景变化和全局风格变化；或采用更精细的微调策略来保持预训练模型的风格控制能力。

作者提出的未来研究方向和基于本文成果可延伸的方向包括：（1）扩展到更多城市——当前SWM仅在首尔训练，但展示了跨城市泛化能力。未来工作可以构建覆盖全球主要城市的世界模型，或开发零样本/少样本的城市适应方法。（2）引入更多模态——当前SWM使用文本提示和相机轨迹作为条件，未来可以引入更多模态如3D场景图、语义分割图、深度图等，提供更丰富的场景控制。（3）实时交互式生成——当前自强迫模式的速度为15.2 fps，未来可以通过模型压缩、量化或蒸馏技术提高推理速度，实现真正的实时交互式城市探索。（4）结合大语言模型——将SWM与LLM结合，实现更智能的场景理解和生成控制，例如根据用户的自然语言描述自动规划相机轨迹和生成场景。（5）多智能体模拟——扩展SWM支持多智能体交互模拟，如模拟多个自动驾驶车辆在城市中的交互，或模拟行人群体的行为。（6）物理一致性增强——引入物理引擎或物理约束，确保生成的视频遵守物理规律，如车辆运动的物理约束、行人步态的生物力学约束等。（7）长期记忆与导航——结合空间记忆机制，实现长距离导航任务，如从A点到B点的自主探索和视频生成。（8）应用开发——基于SWM开发实际应用，如城市规划可视化工具、自动驾驶场景生成平台、沉浸式城市探索体验等。

从复现角度来看，SWM的复现面临以下挑战：（1）开源情况——论文提供了项目页面（https://seoul-world-model.github.io），但未明确说明代码和模型权重是否开源。数据集方面，真实街景数据来自NAVER Map，需要相应的数据访问权限；合成数据使用CARLA模拟器生成，可以公开获取；Waymo数据集是公开可用的。（2）数据准备——SWM的训练数据构建流程复杂，包括1.2M全景图像的收集和处理、跨时序配对的选择、视图插值视频的合成、文本描述的生成（使用Qwen2.5-VL-72B）、深度和相机位姿估计（使用Depth Anything V3）等多个步骤。这些步骤需要大量的计算资源和数据处理能力。（3）算力需求——模型在24块H100 GPU上训练10K迭代，这是非常高的算力需求。对于大多数研究机构来说，这可能是复现的主要障碍。（4）环境依赖——SWM依赖多个预训练模型（Cosmos-Predict2.5-2B、Depth Anything V3、Qwen2.5-VL-72B），这些模型的版本和配置可能影响复现结果。（5）评估基准——作者构建了两个新的评估基准（Busan-City-Bench和Ann-Arbor-City-Bench），但这些基准的构建细节和数据是否公开尚不明确。总体而言，SWM的复现难度较高，主要障碍在于算力需求和数据准备的复杂性。如果作者能够开源代码、模型权重和评估基准，将大大降低复现难度。