← 返回 2026-04-01

WorldFlow3D：通过3D分布流实现无边界世界生成 WorldFlow3D: Flowing Through 3D Distributions for Unbounded World Generation

Amogh Joshi, Julian Ost, Felix Heide 📅 2026-03-31 👍 9 2026-07-13 08:36
3D生成 体素表示 可控生成 无边界场景 流匹配
arXiv HuggingFace PDF

基于流匹配的无边界3D世界生成方法，支持高质量几何结构和纹理生成

前置知识

流匹配（Flow Matching）

流匹配是一种生成建模方法，它定义了一个连续时间路径来连接两个数据分布（例如高斯噪声分布和目标数据分布）。与扩散模型不同，流匹配通过学习一个速度场向量场 $v_t(x)$ 来描述样本从源分布到目标分布的传输轨迹，然后使用常微分方程（ODE）求解器来生成新样本。条件流匹配（CFM）使用线性路径，使得训练更高效且可以直接使用线性求解器。

WorldFlow3D的核心创新在于将流匹配推广到3D生成领域，理解流匹配的数学原理（速度场学习、ODE积分、最优传输）是理解本文方法的基础。论文中使用 rectified flow objective 和条件流匹配公式，需要对这些概念有深入理解。

截断无符号距离场（TUDF）

截断无符号距离场是一种3D几何表示方法，它在离散化的体素网格上存储每个体素到最近表面的无符号距离，距离值被截断到最大值 $\tau$。与有符号距离场（SDF）不同，TUDF不区分内外，只关心到表面的距离。每个体素存储的值是 $\min(\text{distance}, \tau)$，其中距离大于 $\tau$ 的体素都存储 $\tau$。这种表示可以在固定内存开销下表示任意范围的3D场景。

WorldFlow3D选择TUDF作为3D场景表示，这使得方法能够在没有自动编码器压缩的情况下直接在体素空间工作。理解TUDF的特性（分辨率独立性、内存效率、对细节的表示能力）对理解本文的'无潜在空间生成'创新至关重要。

常微分方程（ODE）求解器

常微分方程求解器是用于数值求解微分方程 $\frac{dx}{dt} = v_t(x)$ 的算法。在生成模型中，ODE求解器沿着学习到的速度场 $v_t(x)$ 从初始状态 $x_0$ 积分到最终状态 $x_T$。常用的求解器包括Euler方法（$x_{t+1} = x_t - \Delta t \cdot v_t(x_t)$）和高阶Runge-Kutta方法。求解器的步长 $\Delta t$ 影响生成质量和计算效率。

WorldFlow3D在推理时使用Euler积分步骤 $x_{t+1} = x_t - \Delta t \cdot \bar{v}$ 来推进场景生成。理解ODE求解器的工作原理对于理解本文如何在分块无边界生成中使用速度场平均和实时积分是必要的。

研究动机

现有3D场景生成方法在生成无边界、大规模3D世界时面临多重限制。具体来说，面向物体的3D生成方法（如Hunyuan3D、LION）虽然能生成高质量的3D物体，但无法处理包含多个实体、空间布局和环境背景的场景级合成。面向场景的方法中，XCube采用层次体素潜在扩散，设置了3D生成质量的基准，但空间范围受限；SCube和InfiniCube引入了可控性和纹理建模，但同样受限于空间范围或几何保真度；BlockFusion使用潜在三平面表示进行空间外推，LT3SD引入了潜在树结构表示，但LT3SD明确限制在密集室内场景且无法建模外观；在户外领域，LidarDM通过底层3D场景建模生成LiDAR，但保真度和范围都有限；WoVoGen和XScene探索联合体素占用和图像生成，但在大规模上难以实现几何-纹理对齐。总的来说，现有方法在保真度、纹理合成、空间范围或可控性的某些组合上存在不足。

本文的目标是本文的目标是提出一种能够生成无边界3D世界的新方法，该方法应具备以下能力：无限制的空间范围（理论上只受计算资源限制）、高质量的几何结构和逼真的视觉纹理、完全的可控性（包括场景布局和视觉属性控制），以及跨领域的泛化能力（既适用于真实世界的户外驾驶场景，也适用于合成室内场景）。此外，方法还应该在训练和推理效率上优于现有的潜在空间方法。

与已有工作不同的是，本文的独特切入角度在于重新思考3D生成问题的本质。传统方法将3D生成表述为渐进式层次条件去噪问题，依赖于自动编码器生成潜在表示，然后在这些潜在空间中进行生成。本文基于流匹配的基础性质——定义任意两个数据分布之间的传输路径——将3D生成更一般地表述为通过3D数据分布流的问题，不限于条件去噪。这种表述使得方法可以直接在原始体素空间工作，避免了潜在空间的瓶颈，并且可以利用中间分布来指导更复杂结构和高质量纹理的生成。此外，本文还提出了一种新的推理时间速度场对齐机制，通过分块感知的速度平均来实现真正的无边界场景生成，而没有可见的边界伪影。

核心方法

WorldFlow3D的整体思路是将3D生成问题重新表述为流匹配问题，通过在层次化的3D数据分布之间学习传输路径来生成场景。方法分为三个主要层次：从噪声到粗略几何结构、从粗略几何到精细几何、从精细几何到完整外观。每个层次对应一个独立的流模型，学习在两个相邻分布之间的最优传输。与传统的自动编码器→生成范式不同，WorldFlow3D直接在原始体素空间工作，使用截断无符号距离场（TUDF）表示场景表面。为了实现无边界生成，方法将场景分割为重叠的分块，同时在所有分块上积分流匹配ODE，并通过羽毛加权平均组合局部速度场。为了实现可控生成，方法通过向量化的场景布局（如折线定义的结构边界和边界框定义的对象范围）和离散场景属性（如环境类型和光照条件）来条件化生成过程。

WorldFlow3D的核心创新点在于将流匹配推广到3D生成领域，并提出层次化流序列生成框架。与传统方法的本质区别在于：传统方法（如XCube、LT3SD）使用层次潜在扩散，需要训练自动编码器将3D场景压缩到潜在空间，然后在潜在空间进行去噪；而WorldFlow3D直接在体素空间工作，避免了自动编码器的表示瓶颈和重建误差。另一个核心创新是'通过分布流'而不是'条件去噪'，即在细粒度分布之间传输而不是每次都从噪声开始，这使得模型能够专注于生成细节而不是结构。此外，本文提出的分块感知速度平均机制是实现真正的无边界生成而无需可见边界伪影的关键技术。

方法步骤详情

WorldFlow3D的生成过程包含以下步骤：首先，定义层次化的场景表示序列。每个场景样本 $x_i \in \mathbb{R}^{l_i \times c_i}$ 是原始体素张量，形状为 $l_i = X \times Y \times Z$ 和属性通道数 $c_i$。较粗层次操作在每个个体素的较大度量尺寸 $s_i \leq s_{i-1}$ 上，允许捕获广泛的几何结构。较细层次在较低 $s_i$ 处细化细节，并可能引入额外的体素属性。每个层次 $i$ 分配一个数据分布 $p_i$，其中相邻层次在保真度和属性组成上不同，因此具有不同的维度 $d_i \geq d_{i-1}$。在每个层次 $i$ 训练一个独立的速度场 $f_{\theta,i}$ 来建模样本的最优传输，使用 rectified flow 目标函数：$\mathcal{L}_{\text{CFM}}(\theta_i) = \mathbb{E}_{t \sim \mathcal{U}[i-1,i], x \sim p_{i-1}, x_i \sim p_i} \|f_{\theta,i}(x_t, t) - (x_i - x_{i-1})\|^2$。对于引入额外属性的较细层次，通过假设未知源维度的高斯分布来适应它们，即 $x_{i-1} = \hat{x}_{i-1} \oplus \tilde{x}_{i-1}$，其中 $\tilde{x}_{i-1} \sim \mathcal{N}(0,I) \in \mathbb{R}^{(d_i - d_{i-1})}$。在推理时，对于无边界生成，将场景分割为重叠分块 $\{\Omega_k\}$，并在每个时间步 $t$ 提取所有分块的局部体积 $x|_{\Omega_k}$，通过流模型 $f_\theta$ 获得分块速度 $v(x|_{\Omega_k}, t, c_k)$。然后将所有分块在时间 $t$ 组合成全局速度场 $\bar{v}(t)$，通过空间变化的羽毛加权平均：$\bar{v}(s,t) = \frac{\sum_{k: s \in \Omega_k} \gamma_k(s) f_\theta(x|_{\Omega_k}(t), t, c_k)[s]}{\sum_{k: s \in \Omega_k} \gamma_k(s)}$。最后使用标准Euler积分步骤推进场景：$x_{t+1} = x_t - \Delta t \cdot \bar{v}$。

技术新颖性

WorldFlow3D的技术新颖性体现在多个方面。首先，它是首个将流匹配应用于3D场景生成的工作，提出了层次化流序列生成框架，将生成问题重新表述为在3D数据分布之间流的问题。其次，它是首个完全无潜在空间的3D场景生成方法，直接在体素空间工作，避免了自动编码器的瓶颈和重建误差。第三，它提出了分块感知的速度平均机制，实现了真正的无边界场景生成而没有可见的边界伪影，这是通过羽毛权重函数在分块边界处平滑过渡实现的。第四，它引入了场景布局和场景属性的双层可控性机制，使得用户可以精确控制几何结构和视觉纹理。此外，本文还展示了流匹配方法在训练效率上的优势，比传统潜在扩散方法快至少2倍，因为不需要自动编码器训练，并且能够在12小时内达到高质量。

WorldFlow3D decomposes generation into a sequence of independent flows over progressively richer representations — transporting from noise, through coarse geometry into fine geometry, and visual appearance (Sec. 3.1) . All flows operate directly in raw volumetric space (Sec. 3.2), enabling a latent-free, hierarchical scene generation procedure. Generation is controlled by a vectorized geometric layout and discrete scene attributes, giving consistent structural and semantic control at every level (Sec. 3.4).
Figure 2: WorldFlow3D decomposes generation into a sequence of independent flows over progressively richer representations — transporting from noise, through coarse geometry into fine geometry, and visual appearance (Sec. 3.1) . All flows operate directly in raw volumetric space (Sec. 3.2), enabling a latent-free, hierarchical scene generation procedure. Generation is controlled by a vectorized geometric layout and discrete scene attributes, giving consistent structural and semantic control at every level (Sec. 3.4).
Feather weighted velocity averaging in overlapping chunk regions significantly improves the generated geometry for unbounded generations, as shown above.
Figure 3: Feather weighted velocity averaging in overlapping chunk regions significantly improves the generated geometry for unbounded generations, as shown above.

实验结果

WorldFlow3D在多个数据分布和评估指标上显著优于现有方法。在户外场景生成方面，使用Waymo开放数据集，在无条件生成场景中，WorldFlow3D的覆盖率为33.00%（CD度量），比最好的基线XCube（27.50%）高出5.5个百分点；在条件生成场景中，覆盖率进一步提升到39.70%，比LidarDM（12.00%）高出27.7个百分点。在最小匹配距离（MMD）方面，WorldFlow3D在无条件生成中达到16.57（CD），显著优于LidarDM的29.74；在条件生成中达到12.44，比LidarDM的35.46有显著提升。1-最近邻准确率（1-NNA）在无条件生成中为89.15%（CD），表明生成的场景与真实场景难以区分；在条件生成中为88.60%。Jensen-Shannon散度（JSD）在无条件生成中为0.490，在条件生成中为0.483，都优于基线方法。Fréchet距离（FDConcerto）在无条件生成中为74.83，在条件生成中为80.08，表明在特征空间中与真实分布高度相似。在室内场景生成方面，使用3D-FRONT数据集，WorldFlow3D在所有指标上都显著优于BlockFusion、LT3SD和WorldGrow。覆盖率达到38.30%（CD），比最好的基线WorldGrow（34.70%）高出3.6个百分点；MMD为0.039（CD），显著优于基线的0.053-0.056；1-NNA为74.75%（CD），优于基线的88.05-93.00%；JSD为0.164，显著优于基线的0.230-0.380；FDConcerto为36.45，优于基线的44.97-172.58。消融研究验证了核心组件的有效性：传统潜在扩散方法的GPU训练时间为288小时，潜在流方法为288小时，从噪声流方法为144小时，WorldFlow3D（单分布）为72小时，完整的WorldFlow3D为144小时，表明方法在训练效率上的显著优势。用户研究进一步验证了方法的感知质量，WorldFlow3D的Bradley-Terry得分为0.692（95%置信区间[0.569, 0.813]），胜率为88%，显著优于所有基线方法。

Summary of recent 3D scene generation methods. Ours is the only approach satisfying all desirable criteria.
Table 1: Summary of recent 3D scene generation methods. Ours is the only approach satisfying all desirable criteria.
Quantitative Evaluation for Outdoor 3D Scene Generation on the Waymo Open Dataset [37] for WorldFlow3D and existing approaches. We show results for unconditional generation in the first section and conditional in the second. The best results for each metric are in bold; second-best are underlined.
Table 2: Quantitative Evaluation for Outdoor 3D Scene Generation on the Waymo Open Dataset [37] for WorldFlow3D and existing approaches. We show results for unconditional generation in the first section and conditional in the second. The best results for each metric are in bold; second-best are underlined.
Quantitative Evaluation for Indoor 3D Scene Generation on the synthetic 3D-FRONT [12] dataset. The best results for each metric are in bold; second-best are underlined.
Table 3: Quantitative Evaluation for Indoor 3D Scene Generation on the synthetic 3D-FRONT [12] dataset. The best results for each metric are in bold; second-best are underlined.
Ablation Study over the core contributions of our method, comparing distribution coverage (COV), geometric fidelity (MMD and 1-NNA), visual texture quality (FDC), and training efficiency (GPU-hrs). We conduct our evaluation on the Waymo Open Dataset [37], and the best results are bolded.
Table 4: Ablation Study over the core contributions of our method, comparing distribution coverage (COV), geometric fidelity (MMD and 1-NNA), visual texture quality (FDC), and training efficiency (GPU-hrs). We conduct our evaluation on the Waymo Open Dataset [37], and the best results are bolded.
WorldFlow3D is a novel method for the generation of unbounded 3D worlds. We show the capabilities of WorldFlow3D for the generation of large-scale outdoor and indoor scenes, with insets showing learned distributions of fine geometric detail and realistic texture.
Figure 1: WorldFlow3D is a novel method for the generation of unbounded 3D worlds. We show the capabilities of WorldFlow3D for the generation of large-scale outdoor and indoor scenes, with insets showing learned distributions of fine geometric detail and realistic texture.
Qualitative comparison on outdoor scene generation with WorldFlow3D and baseline methods trained on the Waymo [37] dataset. We showcase scenes generated at moderate scales, and closer-up views of specific details including buildings and vehicles.
Figure 4: Qualitative comparison on outdoor scene generation with WorldFlow3D and baseline methods trained on the Waymo [37] dataset. We showcase scenes generated at moderate scales, and closer-up views of specific details including buildings and vehicles.
Qualitative comparison on indoor scene generation with WorldFlow3D and baseline methods trained on the 3D-FRONT [12] dataset. We showcase generations of regions including (potentially multiple) rooms with various objects.
Figure 5: Qualitative comparison on indoor scene generation with WorldFlow3D and baseline methods trained on the 3D-FRONT [12] dataset. We showcase generations of regions including (potentially multiple) rooms with various objects.
Ablation of Core Components. We provide qualitative results obtained by ablating the key components of our method. Latent diffusion and flow approaches produce structurally degenerate, non-realistic results, while flow from noise at finer distributions produces noisy outputs. Examples of this can be seen on the building walls, which are smooth with WorldFlow3D, and on vehicle details such as tires.
Figure 6: Ablation of Core Components. We provide qualitative results obtained by ablating the key components of our method. Latent diffusion and flow approaches produce structurally degenerate, non-realistic results, while flow from noise at finer distributions produces noisy outputs. Examples of this can be seen on the building walls, which are smooth with WorldFlow3D, and on vehicle details such as tires.
查看结构化数据
任务指标本文基线提升
户外3D场景生成（Waymo，无条件） 覆盖率（COV，CD度量） 33.00% XCube: 27.50%, LidarDM: 15.30%, LT3SD: 20.00% 比最好的基线提升20.0%
户外3D场景生成（Waymo，条件） 覆盖率（COV，CD度量） 39.70% LidarDM: 12.00% 提升230.8%
户外3D场景生成（Waymo，无条件） 最小匹配距离（MMD，CD度量） 16.57 XCube: 19.75, LidarDM: 29.74, LT3SD: 34.33 比最好的基线改善16.1%
室内3D场景生成（3D-FRONT，无条件） 覆盖率（COV，CD度量） 38.30% BlockFusion: 29.00%, LT3SD: 23.40%, WorldGrow: 34.70% 比最好的基线提升10.4%
室内3D场景生成（3D-FRONT，无条件） 最小匹配距离（MMD，CD度量） 0.039 BlockFusion: 0.054, LT3SD: 0.056, WorldGrow: 0.053 比最好的基线改善26.4%
训练效率 GPU训练时间（小时） 144（完整方法），72（单分布） 潜在扩散/流: 288 提升50-75%
用户研究 Bradley-Terry得分 0.692 [0.569, 0.813] XCube: 0.212, LT3SD: 0.085, LidarDM: 0.011 显著优于所有基线

局限与改进

作者承认的局限性包括：方法虽然支持无边界生成，但在实际应用中仍然受限于计算资源，生成真正大规模的场景需要大量GPU内存和计算时间。此外，当前的实现使用离散的场景属性（如环境标签），虽然可以扩展到任意场景级描述符，但对更复杂的语义控制（如自然语言描述）的支持尚未充分验证。我观察到的额外局限性包括：方法依赖于体素表示，虽然TUDF在表示细粒度几何结构方面很有效，但与网格或点云相比，体素表示的内存效率仍然较低，特别是在高分辨率时。另外，方法目前主要处理静态场景，对于动态场景（如移动的车辆、行人）的生成能力有限，这限制了其在自动驾驶模拟等动态场景中的应用。方法在几何保真度方面表现出色，但在物理一致性（如重力、碰撞检测）方面没有进行评估，这对于某些应用（如游戏、机器人仿真）可能是重要的。最后，方法虽然在Waymo和3D-FRONT数据集上验证了跨域泛化能力，但在其他类型的场景（如自然景观、城市建筑群）上的泛化能力尚未得到验证。

独立分析的弱点

本文存在几个可以改进的弱点。首先，体素表示的内存效率问题：虽然TUDF避免了有符号距离场的内外区分，但体素网格的内存消耗仍然随分辨率的三次增长，这限制了生成非常高分辨率场景的能力。改进方向可以包括自适应分辨率体素（如八叉树结构）或多分辨率表示，只在需要细节的区域使用高分辨率。其次，动态场景生成能力有限：当前方法主要处理静态场景，对于包含移动对象的动态场景生成能力不足。改进方向可以包括扩展时间维度，在4D（3D+时间）空间中学习流匹配，或者将动态对象作为独立生成组件集成到静态场景框架中。第三，语义控制能力有待提升：虽然方法支持场景布局和属性控制，但对复杂语义指令（如自然语言描述）的支持有限。改进方向可以包括将大型语言模型与场景生成器结合，或者学习更丰富的场景属性嵌入空间。第四，物理一致性未考虑：生成的场景在几何保真度方面表现出色，但未考虑物理约束（如重力、稳定性）。改进方向可以包括在流匹配目标中引入物理一致性损失，或者在生成后添加物理验证和修正步骤。第五，计算资源需求高：虽然训练效率优于潜在空间方法，但推理时仍然需要大量GPU内存和计算时间。改进方向可以包括模型压缩、知识蒸馏或更高效的速度场表示方法。

未来方向

作者提出的未来工作方向包括将流匹配方法扩展到更复杂的分布和场景表示，如动画3D场景和辐射场，这将为3D世界生成开辟新的可能性。基于论文成果可以延伸的future work包括：1）多模态3D世界生成：结合文本、图像、音频等多种模态来控制3D场景生成，实现更丰富的语义控制和更直观的用户交互。2）交互式3D世界编辑：利用流匹配的可逆性质，实现用户可以对生成的3D世界进行实时编辑和修改，如添加、删除或移动对象，改变场景属性等。3）物理感知3D生成：在生成过程中引入物理约束和动力学模拟，使生成的3D世界不仅视觉上逼真，而且在物理上也是合理的和可交互的。4）实时3D世界生成：优化推理效率，实现实时或近实时的3D世界生成，这将使方法能够应用于游戏、虚拟现实、机器人仿真等对实时性要求高的应用。5）跨模态3D世界理解：将生成的3D世界与其他模态（如视频、文本、传感器数据）进行对齐和理解，实现从多模态数据中学习和重建3D世界。6）可解释和可控的3D生成：研究如何更好地控制和解释3D生成过程，使用户能够精确控制生成的各个方面，同时理解模型是如何做出这些决策的。

复现评估

论文的复现评估：论文提供了详细的实现细节，包括网络架构、训练参数、数据处理方法等。具体来说，最粗层次模型训练最多1天，使用2个NVIDIA H100 GPU，后续流模型训练12小时。使用AdamW优化器，学习率为 $2 \times 10^{-6}$。对于户外场景，使用层级 $\{s_1, s_2\} = 0.4\text{m}, 0.2\text{m}$ 和 $\tau = 1\text{m}$；对于室内场景，使用 $\{s_1, s_2\} = 0.044\text{m}, 0.022\text{m}$ 和 $\tau = 0.1\text{m}$。然而，论文没有明确说明代码是否开源，这对于复现性是一个重要因素。论文提到使用公开数据集（Waymo Open Dataset和3D-FRONT），这是有利的。论文提供了详细的消融研究和用户研究设置，这有助于验证结果的可靠性。总体而言，论文提供了足够的实现细节，但代码可用性尚不明确，这可能影响完全复现。从计算资源角度来看，复现需要2个H100 GPU和大约1-2天的训练时间，这对于大多数研究团队来说是可及的。数据方面，Waymo和3D-FRONT都是公开可用的数据集，数据处理方法在论文中有描述。综合评估，论文的复现难度为中等，主要取决于代码的可用性。

论文图表

Figure 7: Visual Texture and Controllability. We report large-scale outdoor scenes with texture control via text attributes and geometry control via vector maps, yielding results conditioned on the same geometry to produce distinct environments.

Figure 7展示了视觉纹理和可控性。图中包含两行，每行展示了一个大型户外场景的生成结果。每个场景都使用相同的几何布局（通过向量地图控制），但使用不同的纹理属性（通过文本属性控制）来产生不同的环境。具体来说，图中展示了相同几何布局在不同时间（DAY vs. NIGHT）、不同地点（PHOENIX,AZ vs.其他城市）下的生成结果。从图中可以清楚地看到，虽然几何结构保持一致，但视觉纹理（如光照、颜色、氛围）发生了显著变化，展示了方法在纹理控制方面的能力。图中的车辆、建筑物等物体在不同环境下表现出不同的外观，但位置和几何结构保持一致。

这张图对理解论文的可控性机制至关重要。它直观地展示了WorldFlow3D在几何控制和纹理控制方面的能力，支撑了论文中关于可控性的技术描述和定量评估。通过展示相同几何布局在不同纹理属性下的生成结果，读者可以清楚地理解方法的可控性机制的实际效果。这张图对于理解论文在实际应用中的可用性至关重要，因为可控性是3D生成方法实用化的关键因素之一。

Table 5: User Study. We report Bradley-Terry (BT) [3] scores with 95% bootstrap confidence intervals and overall win rates.

Table 5展示了用户研究的结果。表格包含四列：Method、Rank、BT Score、95% CI、Win Rate。表格包含四个方法：WorldFlow3D、XCube、LT3SD和LidarDM。从表中可以清楚地看到，WorldFlow3D在所有指标上都排名第一。具体来说，WorldFlow3D的BT Score为0.692，95%置信区间为[0.569, 0.813]，Win Rate为88%；XCube的BT Score为0.212，95%置信区间为[0.118, 0.314]，Win Rate为63%；LT3SD的BT Score为0.085，95%置信区间为[0.047, 0.131]，Win Rate为43%；LidarDM的BT Score为0.011，95%置信区间为[0.004, 0.022]，Win Rate为6%。

这个表格对理解论文的用户感知质量评估至关重要。它提供了人类受试者对生成质量的主观评估数据，补充了论文中的定量指标。Bradley-Terry得分和胜率清楚地展示了WorldFlow3D在感知质量方面的显著优势。这个表格支撑了论文中关于方法质量的定性声明，为论文的技术贡献提供了人类感知层面的证据。这对于理解论文在实际应用中的用户体验至关重要。