OpenWorldLib：高级世界模型的统一代码库与定义 OpenWorldLib: A Unified Codebase and Definition of Advanced World Models

OpenWorldLib 的方法可拆解为六大步骤。第一步是定义 Operator：通过 BaseOperator 模板封装 process_interaction 与 process_perception 两个抽象方法，承担输入合法性校验与张量化预处理（如图像 resize、文本 tokenize、动作归一化），并通过 interaction_template 与 get_interaction 进行动作空间白名单管理；第二步是装配 Synthesis 模块：基于 BaseSynthesis 模板提供 from_pretrained、api_init、@torch.no_grad() 的 predict() 三大入口，在视觉合成子模块中堆叠文本编码器、潜空间解码器与扩散/流匹配核心，在音频合成子模块中提供波形生成，在 Other Signal Synthesis 子模块中专门承载 VLA 策略（如 π0、π0.5、LingBot-VA）的动作生成；第三步是构建 Reasoning 模块：基于 BaseReasoning 模板，通过 from_pretrained/api_init/inference() 三件套分别加载本地权重或云端服务，覆盖 General Reasoning（MLLM）、Spatial Reasoning（3D空间理解）、Audio Reasoning（音频理解）三类子能力；第四步是构建 Representation 模块：基于 BaseRepresentation 模板提供 get_representation(data) 入口，负责把图像输入转换为点云、深度图、相机位姿、mask 等显式3D输出（对应 VGGT、InfiniteVGGT、FlashWorld 等），并支持导出到外部物理引擎；第五步是装配 Memory 模块：基于 BaseMemory 模板提供 record(data, metadata)、select(context_query)、compress(memory_items)、manage(**kwargs) 四大接口，分别承担存储、检索、压缩、生命周期管理，使多轮交互能够保持上下文一致；第六步是 Pipeline 编排：BasePipeline 通过 from_pretrained() 统一初始化所有子模块，提供 __call__() 用于单轮前向推理，提供 stream() 用于多轮交互式生成（带自动记忆读写），并按任务类型动态调度 Reasoning/Synthesis/Representation。

OpenWorldLib 的技术新颖性体现在四个层面。第一，它首次系统地把显式3D表征与隐式生成表征作为两条独立的世界模型路线分别封装，并在图3中给出清晰的对比图示，强调 Representation 模块是可验证沙盒而 Synthesis 模块是感官预测，这种二元结构在现有世界模型综述中都未被工程化地实现过。第二，OpenWorldLib 是首个真正提供开箱即用代码骨架的开源世界模型框架，6 个 Listing 完整定义了抽象基类与典型方法签名（from_pretrained/api_init/predict/inference/get_representation/record/stream 等），使得新方法只要继承对应基类就能即插即用地嵌入流水线。第三，作者对哪些任务算世界模型进行了非常具体的边界判定，列举文本到视频生成、avatar 视频生成、代码生成、网页搜索等典型反例，并把依据明确归结到是否使用多模态感知输入理解物理世界，这种规范化的工作在领域内尚属首次。第四，Discussion 部分提出 VLM/LLM 本身可作为世界模型基础架构（如 Bagel 同时具备多模态推理与生成）的观点，并指出下一代世界模型需要硬件层面的迭代（突破 byte-level next-token 限制以支持 next-frame 预测），这一判断为后续硬件-算法协同演进提供了清晰方向。

从独立审视角度，本文有四点可改进的弱点。第一，评测缺乏统一量化指标。论文虽然演示了10余种方法的视觉结果，但既没有给出 FID、VBench 等视频生成标准分数，也没有给出3D生成的 Chamfer Distance、Normal Consistency 等指标，导致框架相对各方法独立部署的增益难以量化，改进方向是引入统一基准数据集与跨任务评测协议。第二，硬件覆盖面过窄。仅在 A800 与 H200 两款 GPU 上测试，无法判断框架在边缘设备、消费级 GPU 或国产加速卡上的可用性，改进方向是补充低端硬件（如 RTX 4090、消费级 NPU）上的吞吐与显存数据。第三，代码示例停留在模板层面。Listing 1-6 只给出抽象基类骨架，没有展示端到端可运行的具体任务样例（如一个完整的 LIBERO VLA 流水线），新用户上手成本可能较高，改进方向是补充完整的端到端 tutorial 与标准 benchmark pipeline。第四，Operator 的交互模板（interaction_template）是基于白名单的硬编码机制，扩展新动作类型需要修改模板，未来可改为可学习的软约束或基于自然语言描述的开放动作空间。

作者在 Discussion 与 Conclusion 部分给出了几项明确的研究方向。一是基础架构层面：探索以 VLM/LLM（如 Qwen 架构的 Bagel）作为世界模型基础的可能性，因为它们已经具备多模态推理与生成能力，可能比专门设计的视频生成模型更适合作为世界模型的根基；并配合数据合成 [74, 90]、领域数据增强 [15, 164]、动态训练 [80] 等数据为中心的方法加强基础模型。二是硬件-算法协同：现有 byte-level 计算机架构天然偏向 next-token prediction，要充分发挥 next-frame prediction 的信息保留优势，需要硬件迭代（如面向像素张量的内存结构）以及基础模型结构革新（token-based Transformer 可能需要演进）。三是评测标准化：构建统一的长期、多任务世界模型基准，纳入 LIBERO、AI2-THOR、自动驾驶等场景，并补充物理一致性、因果推理等更细粒度的指标。基于本文成果还可延伸的方向包括：把 Memory 模块从纯存储抽象升级为可学习的检索增强记忆（类似 RAG）以支持更长上下文；把 Simulation 沙盒与真实机器人硬件闭环对接，实现从 OpenWorldLib 仿真到真实部署的迁移学习；以及把 Reasoning 与 Synthesis 通过统一表征空间桥接，避免隐式-显式之间的语义鸿沟。

OpenWorldLib 在可复现性方面整体表现良好，但仍存在改进空间。开源方面，作者明确给出源代码仓库 https://github.com/OpenDCAI/OpenWorldLib 和文档地址 https://wcny4qa9krto.feishu.cn/wiki/XtPJwf5XQipP7RkeVv0ckyWlnNd，并标注了对应作者邮箱 wentao.zhang@pku.edu.cn。代码基于 PyTorch 框架，使用常见的 @torch.no_grad() 装饰器与 from_pretrained 工厂方法，与主流开源生态（HuggingFace、Diffusers）兼容。数据方面，论文没有重新构建数据集，而是直接复用 LIBERO [87]、AI2-THOR [57]、VGGT/InfiniteVGGT/FlashWorld 等公开资源，并引用了大量对比方法（如 WoW [20]、Cosmos [1]、π0 [13]、π0.5 [53]、LingBot-VA [67] 等），可复现性较高。算力方面，需要 NVIDIA A800（80GB）或 H200（141GB），门槛较高，普通研究者难以本地完整复现，主要因为集成的多个扩散模型与 VLA 模型本身就非常重，改进方向是提供轻量级 demo 配置或云端 API 模式（框架已预留 api_init 接口）。复现难度整体中等偏上：模板代码易于理解，但端到端流水线需要部署多个大模型，工程量大。