Code2Worlds：赋能编码大语言模型实现4D世界生成 Code2Worlds: Empowering Coding LLMs for 4D World Generation

Code2Worlds的执行流程分为三个阶段。阶段一：对象流（Object Stream）。首先，ObjSelect Agent解析用户指令I，通过最大化动态必要性概率 $P_{dyn}(e|I)$ 识别需要动态交互的目标实体 $e_{target}$。然后系统从程序化参数库 $L_{param}$ 检索该实体的参数定义 $S_{ref}$，从参考代码库 $L_{code}$ 检索参考实现 $C_{ref}$。ObjParam Agent基于检索结果和VLM反馈 $F_{obj}$ 生成参数S，ObjGenerate Agent将参数与参考代码结合生成可执行代码 $C_{obj}$。系统渲染2D快照 $V_{img}$，由VLM-Critic评估语义对齐度，若不通过则反馈 $F_{obj}$ 触发重新生成。阶段二：场景流（Scene Stream）。Environment Planner将指令I分解为环境规格M，涵盖大气背景、地形形态、植被密度三个维度。Parameter Resolver将M转化为场景参数字典D，解决尺度模糊并确保逻辑一致性（如热带雨林场景自动排除雪层）。Scene Realization将D转化为可执行代码 $C_{env}$，调用Infinigen程序实例化3D场景。阶段三：4D场景合成。PostProcess Agent整合对象 $C_{obj}$ 与场景 $C_{env}$ 形成静态场景 $W_{static}$，然后通过InferPhysics函数将用户指令和VLM反馈 $F_{dyn}$ 映射为物理参数 $P_{phys}$，Actuate函数将物理约束应用到静态几何体生成动态场景 $W_{dyn}$。系统渲染视频 $V_{video}$，由VLM-Motion Critic评估物理合理性，若不通过则反馈 $F_{dyn}$ 触发物理参数重新校准。

Code2Worlds的技术新颖性体现在三个层面。第一，双流架构的解耦设计：与现有单一流程方法不同，本文将复杂场景生成分解为对象流和场景流两个并行通道，分别优化局部物体细节和全局环境布局。这种解耦使得目标物体能够获得独立的、不受环境干扰的高保真生成过程，解决了多尺度上下文纠缠问题。第二，检索增强的参数化生成范式：系统构建了结构化的程序化参数库 $L_{param}$ 和参考代码库 $L_{code}$，将Infinigen复杂的参数空间总结为语义化的模式文档，并提供语义-参数映射的示例。这使得LLM能够通过上下文类比推理，将定性描述转化为精确的定量参数，而非从零生成。第三，VLM驱动的双重自我反思机制：这是首次在代码生成领域引入视觉反馈的闭环优化。空间域的VLM-Critic确保物体结构与语义描述对齐，时间域的VLM-Motion Critic确保动态效果符合物理定律。两个反思机制分别解决了静态结构保真度和动态物理一致性问题，形成了完整的4D场景质量保障体系。

基于对论文的深入分析，我认为Code2Worlds存在以下几个需要改进的弱点。首先，计算效率问题是最大的实际障碍。当前系统需要多次渲染和VLM评估迭代，每个场景的生成可能需要数分钟甚至更长时间，这严重限制了其在交互式应用中的实用性。改进方向包括：（1）探索神经物理蒸馏技术，用学习的近似模型替代精确但缓慢的物理引擎；（2）实现增量渲染，仅重新评估变化的部分而非整个场景；（3）将VLM评估替换为更轻量的专用判别器。其次，参数库的覆盖范围有限。当前系统仅包含叶子、水母、杯子等少量物体类型的参数定义，扩展到更复杂的物体（如人物、车辆）需要大量人工构建工作。可以考虑开发自动化的参数库构建工具，从现有的3D资产数据集中提取参数模式。第三，闭环机制的收敛性未得到充分验证。论文没有讨论VLM反馈可能导致的振荡或发散情况，以及如何设置迭代上限和质量阈值。第四，系统的模块化程度可以进一步提高，目前各智能体之间的接口定义不够明确，不利于独立替换和升级。

作者提出未来将探索神经物理蒸馏技术来加速模拟，通过学习的近似模型替代计算密集型的物理引擎。基于Code2Worlds的成果，我认为还有几个值得延伸的方向。第一，多模态输入扩展：当前系统仅接受文本指令，未来可以支持图像、视频、草图等多种输入形式，使用户能够更直观地指定场景意图。第二，交互式编辑能力：在生成的4D场景基础上，允许用户通过自然语言进行局部修改（如让风更大一些），而无需重新生成整个场景。第三，物理参数的自动校准：开发基于强化学习的参数优化方法，使系统能够从少量示例中学习物理参数的合理范围。第四，跨场景迁移：研究如何将一个场景中学到的物理知识迁移到新场景，减少每个场景的迭代次数。第五，真实感增强：结合神经辐射场（NeRF）或高斯溅射（Gaussian Splatting）技术，提升渲染的真实感和效率。第六，标准化评估框架：扩展Code4D基准测试，包含更多场景类型和物理现象，建立4D生成领域的标准评估协议。

从复现评估来看，Code2Worlds具有较好的可复现性基础。作者承诺在论文被接受后发布完整的Code4D基准测试，包括所有提示文本和评估脚本。代码库已在GitHub开源（https://github.com/AIGeeksGroup/Code2Worlds），项目网站也已上线。系统的实现细节较为完整：核心推理引擎使用Gemini 3，3D资产和4D模拟使用Blender 4.3的bpy Python API，渲染使用Cycles路径追踪引擎。然而，复现仍面临一些挑战：（1）需要访问Gemini 3 API，这可能涉及一定的成本和访问限制；（2）Blender 4.3的安装和配置需要一定的技术背景；（3）程序化参数库和参考代码库的构建需要对Infinigen有深入了解；（4）VLM评估的主观性可能导致复现结果与论文报告存在差异。总体而言，对于具备3D图形和LLM应用经验的研究团队，复现该工作的技术门槛中等，但需要投入相当的时间进行参数调优和系统集成。