WorldAgents：基础图像模型能否作为3D世界模型的智能体？ WorldAgents: Can Foundation Image Models be Agents for 3D World Models?
用多智能体框架从2D模型提取隐式3D知识生成连贯3D场景
前置知识
2D基础图像模型（Foundation Image Models）
在海量互联网图像数据上预训练的大规模图像生成模型，如Flux.2、Stable Diffusion等。这些模型通过学习数十亿张2D图像的分布，获得了强大的文本-图像对齐能力和高保真图像生成能力。它们通常基于扩散模型架构，通过迭代去噪过程从噪声中生成图像。本文的核心假设是，这些模型虽然只在2D投影上训练，但可能隐式地学习了3D空间结构。
本文的核心研究问题就是探究这些2D模型是否真正理解3D世界。理解这些模型的能力边界是本文研究的基础。
视觉语言模型（VLM）
能够同时处理视觉和语言输入的多模态模型，如GPT-4V、Qwen3-VL等。VLM可以理解图像内容并生成自然语言描述，也能根据视觉输入进行推理和决策。在本文中，VLM被用作Director（场景规划器）和Verifier（质量检查器），通过分析已生成的图像来指导新视角的生成和验证。
VLM是本文多智能体架构的核心组件，分别承担场景语义规划和生成质量验证的关键任务。
3D高斯溅射（3DGS）
一种基于高斯基元的3D场景表示方法，使用大量带有颜色、不透明度和协方差参数的3D高斯椭球来表示场景。通过可微分光栅化渲染，3DGS能够实现高质量的实时新视角合成。本文使用AnySplat模型将多视角图像提升为3DGS表示，用于3D重建验证。
3DGS是本文最终3D场景表示的核心技术，也是3D验证阶段评估生成质量的关键工具。
顺序修复（Sequential Inpainting）
一种迭代图像生成策略，每一步先将已有3D场景从新视角渲染得到部分可见的图像（包含缺失区域），然后用图像生成模型填充缺失部分。这种方法通过将新视角生成锚定到已有的几何结构上，强制保持多视角一致性。本文将3D场景生成重新定义为顺序修复过程，而非独立的图像生成。
这是本文Generator Agent的核心机制，通过3D感知的修复策略解决了2D模型缺乏多视角一致性的问题。
CLIP Score / Inception Score / CLIP-IQA
三个用于评估生成质量的指标：CLIP Score衡量生成图像与文本提示的语义对齐程度，分数越高表示文本-图像匹配越好；Inception Score评估生成图像的质量和多样性，分数越高表示图像既清晰又多样；CLIP-IQA基于CLIP的图像质量评估，分数越高表示整体视觉质量越好。这些指标用于对比不同方法的3D场景生成效果。
这是本文实验评估的主要定量指标，理解这些指标才能解读实验结果的含义。
研究动机
当前3D世界生成面临两个根本性瓶颈。首先，现有的3D生成方法严重依赖稀缺的高质量3D训练数据，这类数据的规模比2D图像数据低几个数量级，严重限制了模型的泛化能力。其次，基于Score Distillation Sampling（SDS）的方法在维持多视角一致性时面临巨大的计算复杂度。与此同时，2D基础图像模型已经展现出惊人的生成能力——Flux.2和NanoBanana等模型能在几秒内生成高保真度图像，并展现出对视觉场景的深度语义理解。这些模型在数十亿张2D图像上训练，每张图像都是3D空间的2D投影。然而，单次提示生成的2D图像无法保证像素级的跨视角一致性，这使得直接将2D模型用于3D重建变得不可行。现有的替代方案如Text2Room和WorldExplorer虽然能生成3D环境，但产生的是稀疏场景，缺乏结构真实性，在物体边界处存在严重的结构伪影和模糊。
本文的目标是本文的核心目标是系统性地探究一个根本性问题：2D基础图像模型是否内在地拥有3D世界模型的能力？如果这些模型确实学习了鲁棒的3D世界先验，理论上可以绕过对显式3D数据集的依赖，将它们作为3D场景合成的强大引擎。具体而言，作者希望通过设计一个精心策划的多智能体框架，从2D模型中提取并基准测试其隐式的3D能力，最终实现能够生成可导航、可探索的连贯3D世界。
与已有工作不同的是，本文的独特切入角度在于将3D场景生成重新框架化为多智能体协作过程。与现有方法的本质区别是：本文不依赖相机控制模型的微调（如Stable Virtual Camera），不使用手工编写的提示（如WonderWorld和Text2Room），不依赖代理代码表示（如VIGA使用Blender代码），也不需要预生成全景图（如LayerPano3D）。相反，本文让VLM智能体主动编排整个生成流程，通过Director动态生成上下文感知的提示、Generator执行3D感知的顺序修复、Verifier在2D和3D空间进行双重验证，形成了一个闭环的质量控制系统。这种方法的独特价值在于能够利用现有2D模型的全部能力，无需额外训练即可生成连贯的3D场景。
核心方法
本文提出WorldAgents，一个将2D基础图像模型转化为3D世界生成智能体的多智能体框架。直觉上，如果2D模型在数十亿张图像上训练时隐式学习了3D空间结构，那么通过精心设计的智能体协作机制可以提取这种隐式知识。技术路线是将3D场景生成分解为三个专门智能体的协作过程：Director（VLM）作为高级规划器，分析已验证的视角历史来生成语义丰富的提示；Generator（2D图像模型）通过顺序修复机制合成新的几何对齐视角；Verifier（VLM）执行两阶段验证——先在2D图像空间检查语义一致性，再在3D重建空间检查几何一致性。整个流程从初始文本提示生成第一帧开始，然后迭代地向右探索28次尝试，再向左探索，直到生成14个验证通过的视角，最终用AnySplat重建3D高斯溅射场景。
本文的核心创新在于引入VLM作为主动的质量控制门控机制，而非被动的验证器。与已有方法的本质区别有三点：第一，传统方法使用固定阈值进行质量检查，本文将定量指标（PSNR、SSIM、LPIPS）和图像对一起传递给VLM进行整体评估，实现了灵活的质量判断；第二，本文提出两阶段验证——2D验证检查语义连贯性，3D验证检查几何一致性，这种分解使得系统能捕获仅在单一空间中不可见的问题；第三，本文将3D场景生成重新定义为顺序修复任务，通过将新视角生成锚定到已有3D重建上，强制保持多视角一致性，而不是让模型自由生成再试图保持一致。这些创新的结合使得系统能够从2D模型中提取出可靠的3D世界知识。
方法步骤详情
方法包含以下具体步骤：(1) 初始化：给定文本描述 $y_1$，使用文本到图像生成模型生成初始帧 $I_1$，这是一个标准的文本到图像任务，不涉及Director。(2) 视角计算：在时间步 $t$，计算下一个相机位姿 $P_{t+1} = T_{random} imes R_{fixed} imes P_t$，其中 $R_{fixed}$ 是绕上轴旋转固定角度的旋转矩阵，$T_{random}$ 是随机扰动变换以增加覆盖多样性。当生成过程完成2次尝试后，系统从向右探索切换到向左探索。(3) Director规划：VLM分析当前世界状态 $W_t = \{(I_i, P_i, y_i)\}_{i=1}^{t}$ 和全局文本提示，生成特定于视角的文本提示 $y_{t+1} = D(W_t)$，包含语义丰富的场景描述。(4) Generator生成：首先用AnySplat将 $W_t$ 重建为3DGS场景 $\Theta_t = F_{AnySplat}(W_t)$，然后从新视角 $P_{t+1}$ 渲染得到部分可见图像，最后用2D基础模型填充缺失区域。(5) 2D验证：VLM评估候选视角与世界状态 $W_t$ 的语义一致性，输出二值决策 $v_{2D} \in \{0,1\}$。(6) 3D验证：将候选视角加入临时状态，重建3DGS并从所有历史相机位姿渲染，计算PSNR、SSIM、LPIPS指标，VLM综合评估 $v_{3D} \in \{0,1\}$。(7) 决策：最终接受为 $V = v_{2D} \\wedge v_{3D}$，接受则加入世界状态，否则重新采样。若在2次重试后仍失败，则重新计算Director输出和相机位姿。(8) 终止：当达到28次最大尝试数或Director判断场景已完整覆盖时，使用最终的验证视角集合重建3DGS场景。
技术新颖性
本文的技术新颖性体现在多个层面。首先，首次将2D基础图像模型系统性地框架化为3D世界生成智能体，提出了一种全新的研究范式——不是改进3D模型，而是从2D模型中提取3D知识。其次，引入VLM作为主动的质量控制门控机制，将定量指标和视觉信息融合进行整体评估，避免了刚性阈值的局限性。第三，提出两阶段验证机制，在2D和3D空间分别进行验证，这种分解式验证是前所未有的。第四，将3D场景生成重新定义为顺序修复任务，通过3D感知的修复策略解决了2D模型缺乏多视角一致性的问题。第五，引入随机扰动变换增加覆盖多样性，同时通过Director动态生成上下文感知的提示避免语义漂移。这些创新的结合形成了一套完整的智能体协作机制，使得无需任何额外训练即可从现有2D模型中提取可靠的3D世界知识。
实验结果
本文通过大量实验得出以下核心发现。首先，在定量比较中（Table 1），WorldAgents显著优于现有方法：使用Flux.2 [Pro] + GPT 4.1的配置达到CLIP Score 26.79、Inception Score 2.26、CLIP-IQA 0.89，分别比Text2Room（CS=22.27, IS=2.79, IQA=0.27）提升20.3%、-19.0%（IS下降但质量指标大幅提升）、229.6%。与WorldExplorer（CS=24.49, IS=2.12, IQA=0.58）相比，CS提升9.4%、IS提升6.6%、IQA提升53.4%。其次，不同模型组合的比较表明，闭源模型通常表现更好：Flux.2 [Pro] + GPT 4.1的IQA达到0.89，而Flux.2 [Klein 9B] + Qwen3-VL 8B仅为0.75。NanoBanana 1 + GPT 4.1的CS为25.89、IQA为0.70，表明不同图像模型的修复能力存在差异。第三，消融实验（Table 2）证明了各组件的贡献：仅Generator时CS=19.07、IQA=0.60；添加Verifier后CS提升至20.24、IQA至0.62；添加Director后CS进一步提升至21.80、IQA至0.69；完整系统（含修复）达到CS=26.79、IQA=0.89，比基线提升40.5%和48.3%。第四，定性分析（Figure 4-6）显示Flux.2 [Klein]偶尔产生几何不一致的交叉物体，NanoBanana在修复任务中效果较差，Qwen3-VL偶尔发出不准确的指令。第五，场景生成耗时约25分钟（使用Flux.2 [Pro] + GPT 4.1），这是一个实际可用的时间范围。
![Quantitative ablation results with Flux.2 [Pro] + GPT 4.1](/papers/2603.19708/images/table_2.jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 3D世界场景生成 | CLIP Score (CS) | 26.79 (Flux.2 [Pro] + GPT 4.1) | Text2Room: 22.27; WorldExplorer: 24.49 | 比Text2Room提升20.3%，比WorldExplorer提升9.4% |
| 3D世界场景生成 | CLIP-IQA | 0.89 (Flux.2 [Pro] + GPT 4.1) | Text2Room: 0.27; WorldExplorer: 0.58 | 比Text2Room提升229.6%，比WorldExplorer提升53.4% |
| 3D世界场景生成 | Inception Score (IS) | 2.26 (Flux.2 [Pro] + GPT 4.1) | Text2Room: 2.79; WorldExplorer: 2.12 | 比WorldExplorer提升6.6% |
| 消融实验-各组件贡献 | CLIP Score (CS) | 26.79 (完整系统) | 仅Generator: 19.07; +Verifier: 20.24; +Director: 21.80 | 完整系统比仅Generator提升40.5% |
| 消融实验-各组件贡献 | CLIP-IQA | 0.89 (完整系统) | 仅Generator: 0.60; +Verifier: 0.62; +Director: 0.69 | 完整系统比仅Generator提升48.3% |
局限与改进
本文存在以下局限性。首先，当前方法仅支持静态场景生成，无法处理动态场景或4D内容。其次，虽然验证机制有效，但仍可能漏掉一些微妙的几何不一致，特别是当这些不一致在局部视角中不明显时。第三，顺序修复策略依赖于初始视角的质量，如果第一帧生成不佳，后续视角可能继承其缺陷。第四，生成过程耗时约25分钟，对于实时应用而言仍然较慢。第五，方法依赖于闭源API（GPT-4.1、Flux.2 [Pro]），可能影响可复现性和成本。第六，本文使用的评估指标（CLIP Score、IS、CLIP-IQA）主要衡量语义对齐和图像质量，但不能完全反映3D几何一致性。第七，随机扰动变换虽然增加覆盖多样性，但也可能引入不可预测的行为。最后，作者承认当前方法使用的是2D基础模型，而视频扩散模型天然具有时间连贯性，但积累几何漂移，未来可扩展到视频生成模型。
独立分析的弱点
本文存在以下可改进的弱点。首先，顺序修复策略对初始视角高度敏感——如果第一帧生成质量不佳或视角选择不当，后续视角会继承其缺陷，导致误差累积。改进方向可以是引入多初始视角策略或视角优化机制。其次，当前的随机扰动变换虽然增加覆盖多样性，但缺乏对场景几何的理解，可能导致视角选择不优。可以引入基于场景理解的自适应视角规划。第三，两阶段验证虽然有效，但将2D和3D验证分离可能丢失跨空间的关联信息。改进方向是设计联合验证机制，同时在2D和3D空间进行评估。第四，当前方法仅使用固定旋转角度，缺乏对场景复杂度的自适应调整。可以根据场景内容动态调整旋转角度和探索策略。第五，方法缺乏对失败案例的系统性分析——当验证失败时，系统仅简单重试，而不分析失败原因。改进方向是引入失败诊断机制，根据失败类型调整生成策略。
未来方向
作者和本文成果可延伸的未来研究方向包括：第一，将VLM引导的多智能体框架扩展到视频扩散模型，利用视频模型的时间连贯性同时通过VLM代理来正则化几何漂移，这是作者明确提出的高度有前景的方向。第二，扩展到动态4D场景生成，通过引入时序维度来创建可交互的世界模型。第三，探索更大规模的3D世界生成——当前系统生成14个视角，但通过改进探索策略和验证机制，可能支持更大范围的场景覆盖。第四，研究不同2D模型的隐式3D能力差异，建立更系统的基准测试框架。第五，将方法应用于特定领域（如室内设计、游戏场景、虚拟现实），利用领域特定的先验知识提升生成质量。第六，探索更高效的验证机制，减少3D重建的计算开销。第七，研究如何将显式3D控制（如深度图、法线图）与隐式3D知识相结合。
复现评估
本文的可复现性评估如下。开源情况：论文提供了项目主页（https://ziyaerkoc.com/worldagents），但未明确说明代码是否开源。数据方面：方法不依赖特定的3D训练数据集，而是使用预训练的2D模型和VLM，这降低了数据获取的门槛。算力要求：本地部署需要RTX A6000 GPU（用于运行Flux.2 [Klein] 9B和Qwen3-VL 8B），闭源模型通过API访问。生成一个场景约25分钟，这对大多数研究者是可接受的。主要的复现难点在于：（1）闭源模型API的可用性和成本（GPT-4.1、Flux.2 [Pro]）；（2）AnySplat模型的可用性；（3）VLM的输出可能具有随机性，不同运行可能产生不同结果。总体而言，如果使用开源模型组合（Flux.2 [Klein] 9B + Qwen3-VL 8B），方法的复现难度中等，但性能可能略低于闭源组合。
论文图表
