← 返回 2026-09-07

WorldSculpt：从带接地观测的视频生成组合式三维世界 WorldSculpt: Generating Compositional Worlds from Grounded Videos

Muyao Niu, Jixuan He, Ruihan Yu, Lian Fu, Yonghao Yu, Zheng-Hui Huang, Yifan Zhan, Fengbo Lan, Yongtao Ge, Yinqiang Zheng, Kaipeng Zhang, Zhixiang Wang 📅 2026-09-04 👍 24 2026-11-03 18:30
3D生成 三维重建 多视角条件化 生成式先验 组合式场景生成
arXiv HuggingFace PDF

把单物体3D生成先验改造为多视角条件化，从杂乱场景生成数百个独立网格物体

前置知识

原生3D生成先验（Native-3D Generative Prior）

直接在三维表示（体素占用、隐式函数、结构化潜变量等）上学习数据分布的生成模型，代表工作有 TRELLIS、Hunyuan3D 与本文使用的 Pixal3D（基于 TRELLIS.2 结构化潜变量骨干）。它们在 Objaverse 等大规模 3D 资产库上训练，通过流匹配（flow matching）多步采样把噪声逐步去噪成完整形状，因此天然具备从部分观测脑补完整几何的能力。

本文的全部能力都建立在 Pixal3D 先验之上：不重训先验本体、只加装多视角条件通路。理解先验的规范化输出空间与补全能力，是理解'零场景级训练也能泛化到大场景'这一主张的前提。

规范坐标系（Canonical Frame）

为每个物体单独定义的归一化局部坐标系，本文取虚拟立方体 $[-\frac{1}{2}, \frac{1}{2}]^3$ 作为生成域，物体形状在此空间生成与评价，再通过相似变换 $T^{ow}_k$（尺度 $s_k$、旋转 $R_k$、平移 $c_k$）映射到世界坐标。生成模型在该空间学到的分布与物体在场景中的位置、朝向无关。

锚点对齐的规范立方体是全文机制的核心枢纽：多视角特征只有对齐到同一批规范体素才能跨视角聚合，生成结果也靠这个变换精确放回场景，不懂它就读不懂方法的几何推导。

DINOv3 特征与 2D→3D 特征提升

DINOv3 是自监督训练的视觉基础模型，可输出密集语义特征图。特征提升（lifting）指把 2D 特征按投影关系反传到 3D 空间：本文对每个规范体素 $x$，用考虑裁剪与 resized 内参的投影函数 $\pi^k_n(x)$ 在各视角特征图上采样，得到逐视角的 3D 特征网格 $g_n(x)$。

多视角条件化的第一步就是把各视角图像信息装进共享的规范体素网格，之后才有跨视角聚合。不懂这个'提升—采样'过程，就看不清 3D 条件网格 $G_k$ 是如何构造出来的。

LoRA 低秩适配与冻结微调

LoRA 冻结预训练权重，只训练旁路的低秩增量矩阵（秩 $r$ 远小于原维度）来微调大模型。本文用 $r=32$、$\alpha=32$ 适配 Pixal3D 的 DiT 注意力与逐块投影层，多视角聚合器和零初始化注入层全参训练，其余全部冻结，两阶段各训 15k 迭代。

论文能在保留单物体先验补全能力的同时学会利用多视角证据，靠的正是这种轻量微调策略；'完全在单物体上微调'与'泛化到数百物体场景'之间的桥梁就是它。

评估指标：Chamfer 距离、EMD 与 F-Score

Chamfer 距离（CD）计算两个点集互为最近邻的平均距离，分 $\ell_1$、$\ell_2$ 两种；EMD（Earth Mover's Distance）要求点一一对应地搬运，更关注结构对应；F-Score 统计阈值 $\tau$ 内成功匹配点的比例（越高越好）。组合场景评测时距离按物体真值包围盒对角线归一化。

读懂 Table 2–6 的所有数字都需要这套指标语言；论文还区分了逐实例 ICP 对齐（单物体规范空间）与世界系无对齐（组合场景）两种协议，后者同时考察几何质量与摆放精度。

3D 高斯泼溅（3DGS）与生成式世界模型

3DGS 用各向异性高斯基元表示场景，支持高质量自由视角渲染；Marble、HY-World 2.0 等生成式世界模型输出的正是这类表示。它外观好、渲染快，但基元之间没有物体边界，整个场景是一团不可分割的'高斯汤'，无法单独选中或编辑某个物体。

论文 4.6 节的应用实验就是把 Marble 生成的 3DGS 世界渲染成带位姿序列后交给 WorldSculpt，零训练转成组合网格场景——这是理解论文应用价值与下游定位的必要背景。

研究动机

要把一个数百个物体相互遮挡的真实杂乱场景变成可编辑的三维资产，现有方法都无法同时满足三项要求：对齐可见证据、为未观测区域补全合理几何、把每个物体保留为可独立使用的资产。以 DUSt3R、MASt3R 等点图基础模型和前馈体素/高斯回归器为代表的几何方法，把场景重建成单一融合表示，遮挡区域直接留空——一把被桌椅挡住大半的花瓶，其背面几何完全缺失，无法作为独立资产导出。以 Marble 和 HY-World 2.0 为代表的场景级世界生成模型虽能合成未观测区域，但输出仍是整体网格或高斯集合，椅子、花瓶不能单独选中、移动或送入物理仿真。MIDI、SceneGen、SceneMaker、SAM3D、RecGen 等组合式方法理念上最接近，但实验主要停留在单张图片可描述的简单场景（桌面小摆件、稀疏室内家具）；而 TRELLIS、Hunyuan3D、Pixal3D 等原生 3D 生成先验只接受单张无位姿的单物体图像，无法利用一组带位姿的一致观测来约束生成。

本文的目标是论文的正式目标是：给定 $N$ 张已知内参 $K_n$ 与相机到世界外参 $T^{cw}_n$ 的图像，以及每个物体的逐视角实例分割 mask 和粗略世界坐标 3D 定位框，输出组合式场景表示 $M = \{(M^c_k, T^{ow}_k)\}_{k=1}^K$，其中 $M^c_k$ 是在物体自身规范坐标系下生成的独立网格，$T^{ow}_k$ 把它放回共享世界坐标系，世界系网格 $M^w_k = T^{ow}_k(M^c_k)$。最终场景是一组彼此独立、可单独拾取、移动和重仿真的网格，可直接接入游戏、AR/VR、仿真与机器人管线。关键的量化目标是把组合式生成推进到此前方法从未触及的规模与遮挡强度：单个场景最多 701 个物体（如 UE-MeshyScene 的 Desert Town 701 个、Office 678 个、Japanese School 511 个），且在物体几何与摆放位置两个维度都逼近精确网格真值。

与已有工作不同的是，本文的独特切入是一个反问：既然强大的单物体生成先验已经学会'一个完整物体应该长什么样'，能否不训练任何场景级模型，仅靠条件化机制把它嫁接到多视角场景观测上？作者以 Pixal3D 为案例证明答案是肯定的——先验完全在规范空间中的单个物体上微调，通过锚点对齐的规范坐标系、逐视角 DINOv3 特征提升与置换不变的 IBR 式聚合，就能在推理时零样本泛化到数百物体、严重互遮挡的大场景。这与两条主流路线形成本质对比：场景级模型靠大量场景数据学整体分布，组合式方法靠联合生成或联合布局估计多个实例；本文则把'补全遮挡'与'多视角对齐'解耦——冻结的生成先验负责补全看不见的几何，多视角证据负责锚定看得见的部分，各物体独立生成后按 $T^{ow}_k$ 精确归位，全程没有跨物体融合或联合形状优化，也无需任何场景级训练数据。

核心方法

方法的直觉是'把每个物体当作独立的单物体生成任务，再用坐标变换把它们缝回场景'，分三步。第一步锚点对齐规范化：输入带位姿的场景图像、实例 mask 和粗 3D 框，为每个物体构造由锚点视角（推理时取观测最完整的视图）定向的虚拟规范立方体 $[-\frac{1}{2}, \frac{1}{2}]^3$，把各视角图像按立方体投影裁剪、抠背景并 resize 到模型输入分辨率（稀疏结构阶段 512px、形状阶段 1024px）。第二步多视角条件生成：每个规范观测经 DINOv3 编码成 $F^k_n$，2D 特征按投影逐体素提升到 3D，用置换不变的 IBR 式模块聚合成条件网格 $G_k$，经零初始化投影层注入冻结的 Pixal3D 两个几何阶段——稀疏结构阶段在 $64^3$ 网格预测粗占用，形状阶段在占用体素上生成高分辨率稀疏结构潜变量，均用流匹配采样，解码即得规范网格。第三步场景组合：用相似变换 $T^{ow}_k$ 把每个网格放回世界系。全程无场景级训练，LoRA（$r=32$）加聚合器每阶段 15k 迭代即收敛，测试时直接泛化到数百物体场景。

核心创新是'锚点对齐的规范框架 + 体素对齐的多视角条件注入'。原版 Pixal3D 只在单张无位姿图像的隐式规范约定下工作；本文不重训先验，而是显式构造由锚点视角决定朝向的规范立方体，使所有视角的 DINOv3 特征都能通过投影函数 $\pi^k_n(x)$ 精确采样到同一批规范体素上，实现跨视角空间对齐。聚合采用 IBRNet 式模块：对每个体素先算跨视角均值 $\mu(x)$ 与方差 $\sigma^2(x)$，再由轻量 MLP 逐体素预测各视角 logit 权重，输出 $g_{out}(x) = \mu(x) + \sum_{n} \alpha_n(x)\, g'_n(x)$，其中 $\alpha_n$ 为 softmax 权重、特征 MLP 末层零初始化——训练起点严格等价于跨视角平均，随训练渐进学出视角依赖的残差修正；注入侧同样零初始化。锚点视角另提取全局 token 走原 cross-attention 通路以保留单图条件约定。这与'联合生成多实例'或'场景级布局回归'有本质区别：物体之间没有任何信息交互，泛化能力全部来自冻结先验本身。

方法步骤详情

第一步，锚点对齐规范立方体：对物体 $k$ 选锚点视角 $a_k$，取粗定位框最长边为初始尺度 $s_k$、框中心为 $c_k$，锚点朝向诱导旋转 $R_k$，构成相似变换 $T^{ow}_k$；若投影未覆盖某视角 mask，则在固定 $c_k$、$R_k$ 下放大 $s_k$ 防止截断。各视角图像按投影裁剪、以 mask 抠除背景并 resize，同时修正内参 $\bar{K}^k_n = A^k_n K_n$。第二步，特征提升与聚合：规范体素 $x$ 按式 $g_n(x) = F^k_n(\pi^k_n(x))$ 从各视角采样，IBR 模块聚合成条件网格 $G_k$，锚点全局 token 走原 cross-attention。第三步，两级生成：稀疏结构阶段预测 $64^3$ 粗占用，形状阶段在其上生成稀疏结构潜变量并解码为规范网格。第四步，训练：TexVerse 单物体数据，每阶段 15k 迭代、bf16、AdamW 学习率 $10^{-4}$、batch 48/12，每次随机采 1–20 视角并随机选锚点；叠加四类条件增强——随机 2D mask 或 3D 一致遮挡体、位姿扰动、mask 边界退化、下采样，强度在前 3k 迭代线性升满。第五步，推理组合：逐物体独立生成后按 $M^w_k = T^{ow}_k(M^c_k)$ 放回世界系。

技术新颖性

技术新颖性集中在四点。其一，'零场景级训练的泛化'这一论证本身：先验只在规范空间单物体上微调，却通过多视角条件化在测试时处理数百物体、严重遮挡的场景，突破了'组合式生成需要场景级联合建模'的默认假设。其二，锚点对齐的规范立方体设计：尺度 $s_k$ 取相似变换保证物体比例不被拉伸，anchor 决定规范朝向使模型能沿用单图训练约定，训练时随机采样锚点配合随机 1–20 视角数，让模型见过多样相机配置。其三，零初始化的双重设计（IBR 聚合器末层与注入投影层）：训练起点严格等于'跨视角均值融合'，之后渐进学习视角依赖的残差与注入强度，消融实验（Table 5、6）证实该设计随视角数和遮挡增加收益扩大。其四，条件视角增强课程：用 3D 一致遮挡体产生跨视角连贯的遮挡模式，弥合干净渲染与杂乱场景部分观测之间的域差。此外，UE-MeshyScene 基准（6 场景、2,299 物体、5,964 帧、精确逐物体网格真值）本身就是对社区的重要贡献。

Overview of WorldSculpt: the anchor-aligned canonicalization stage constructs a virtual canonical cube for each object; per-view DINOv3 features are lifted into the canonical voxel volume and fused with a permutation-invariant aggregator; the resulting 3D condition drives the two geometry stages of a Pixal3D prior through zero-initialized injection layers and LoRA adaptation; generated canonical meshes are placed into the scene via canonical-to-world transformations.
Figure 2: Overview of WorldSculpt: the anchor-aligned canonicalization stage constructs a virtual canonical cube for each object; per-view DINOv3 features are lifted into the canonical voxel volume and fused with a permutation-invariant aggregator; the resulting 3D condition drives the two geometry stages of a Pixal3D prior through zero-initialized injection layers and LoRA adaptation; generated canonical meshes are placed into the scene via canonical-to-world transformations.

实验结果

四组实验一致支持该方法。单物体测试（Toys4k，500 物体，1–16 视角 × 0–75% 遮挡）：单视角干净输入 CD-ℓ2 为 $2.59\times10^{-3}$，与专职单图的官方 Pixal3D（2.17）基本持平，说明多视角改造几乎不损失单图能力；性能随视角数单调提升，16 视角干净时 CD-ℓ2 降至 1.19、F@.05 升至 0.967；75% 遮挡下 16 视角 CD-ℓ2 仅 2.25，而 TRELLIS 多视角版为 34.39、原版 Pixal3D 单视角退化到 63.95。组合场景：真实 HouseCat6D 上 CD-ℓ2 0.28、F-Score 0.995，远超最强基线 ShapeR（1.26、0.973）；合成 Toys4k-Scene 上 CD-ℓ2 0.61 对 ShapeR 的 8.38（约 14 倍），F-Score 0.981 对 0.746。大规模 UE-MeshyScene（6 场景 2,299 物体）：CD-ℓ2 2.48 vs 7.42，逐实例中位数 0.25 vs 2.47（约 10 倍），F-Score 0.951 vs 0.813，中位数差距大于均值，说明优势覆盖典型物体而非少数样本。消融显示 IBR 聚合随视角与遮挡增加收益扩大，UE-MeshyScene 上较均值融合 CD-ℓ2 降 12%；应用实验把 Marble 的 3DGS 世界零训练转成组合网格。

Canonical-space generation on Toys4k under varying numbers of input views (#V) and per-view occlusion levels. We report CD-ℓ2 (×10⁻³, ↓), CD-ℓ1 (×10⁻², ↓), EMD (×10⁻², ↓), and F-Score@{.02, .05} (↑).
Table 2: Canonical-space generation on Toys4k under varying numbers of input views (#V) and per-view occlusion levels. We report CD-ℓ2 (×10⁻³, ↓), CD-ℓ1 (×10⁻², ↓), EMD (×10⁻², ↓), and F-Score@{.02, .05} (↑).
Compositional scene generation on the real-world HouseCat6D dataset and synthetic Toys4k-Scene benchmark. We report CD-ℓ2 (×10⁻³, ↓), CD-ℓ1 (×10⁻², ↓), EMD (×10⁻², ↓), and F-Score (↑).
Table 3: Compositional scene generation on the real-world HouseCat6D dataset and synthetic Toys4k-Scene benchmark. We report CD-ℓ2 (×10⁻³, ↓), CD-ℓ1 (×10⁻², ↓), EMD (×10⁻², ↓), and F-Score (↑).
Fusion ablation on the Toys4k canonical-space setting of Table 2: the learned IBR aggregator vs arithmetic mean fusion (Avg), under varying numbers of input views and per-view occlusion levels.
Table 5: Fusion ablation on the Toys4k canonical-space setting of Table 2: the learned IBR aggregator vs arithmetic mean fusion (Avg), under varying numbers of input views and per-view occlusion levels.
Scene-level fusion ablation: the learned IBR aggregator vs arithmetic mean fusion (Avg) on the compositional benchmarks in Table 3 and UE-MeshyScene in Table 4, evaluated with the same world-frame, no-ICP protocol.
Table 6: Scene-level fusion ablation: the learned IBR aggregator vs arithmetic mean fusion (Avg) on the compositional benchmarks in Table 3 and UE-MeshyScene in Table 4, evaluated with the same world-frame, no-ICP protocol.
Visualization of the UE-MeshyScene dataset. Our benchmark contains six photorealistic environments spanning relatively orderly to extremely cluttered layouts, with up to 701 objects per scene. Each environment is captured along an orbiting camera trajectory and provides exact per-object ground truth.
Figure 3: Visualization of the UE-MeshyScene dataset. Our benchmark contains six photorealistic environments spanning relatively orderly to extremely cluttered layouts, with up to 701 objects per scene. Each environment is captured along an orbiting camera trajectory and provides exact per-object ground truth.
Qualitative comparison on Toys4k-Scene: per-object meshes generated by each method are rendered with surface normals in the shared world frame; enlarged regions show pixelwise discrepancy with the ground truth (blue-to-red encodes normal angle error from 0° to 90°; pink denotes spurious surfaces, gray missing surfaces).
Figure 4: Qualitative comparison on Toys4k-Scene: per-object meshes generated by each method are rendered with surface normals in the shared world frame; enlarged regions show pixelwise discrepancy with the ground truth (blue-to-red encodes normal angle error from 0° to 90°; pink denotes spurious surfaces, gray missing surfaces).
Qualitative comparison on HouseCat6D: our method recovers detailed object geometry accurately placed in the world frame, closely matching the scanned ground truth, while baselines often exhibit incomplete or distorted shapes and inaccurate placement.
Figure 5: Qualitative comparison on HouseCat6D: our method recovers detailed object geometry accurately placed in the world frame, closely matching the scanned ground truth, while baselines often exhibit incomplete or distorted shapes and inaccurate placement.
Qualitative comparison on UE-MeshyScene: per-object meshes generated in densely cluttered and heavily occluded scenes are compared against the multi-view baseline ShapeR; all predicted meshes are placed in the shared world frame and visualized using surface normals.
Figure 6: Qualitative comparison on UE-MeshyScene: per-object meshes generated in densely cluttered and heavily occluded scenes are compared against the multi-view baseline ShapeR; all predicted meshes are placed in the shared world frame and visualized using surface normals.
Application to a Marble-generated 3DGS world: given a generated 3DGS scene, we render a sequence of posed observations and apply WorldSculpt to convert the scene into a compositional representation of individual per-object meshes in a shared world frame.
Figure 7: Application to a Marble-generated 3DGS world: given a generated 3DGS scene, we render a sequence of posed observations and apply WorldSculpt to convert the scene into a compositional representation of individual per-object meshes in a shared world frame.
查看结构化数据
任务指标本文基线提升
单物体规范空间生成（Toys4k，16 视角、75% 遮挡） CD-ℓ2 (×10⁻³, ↓) / F-Score@.05 (↑) 2.25 / 0.929 TRELLIS 多视角版 34.39 / 0.484；官方 Pixal3D 单视角 63.95 / 0.401 距离误差降低约 15–28 倍，F-Score 提升约 0.45–0.53
组合式场景生成（真实数据 HouseCat6D） CD-ℓ2 (×10⁻³, ↓) / F-Score (↑) 0.28 / 0.995 最强基线 ShapeR 1.26 / 0.973 CD-ℓ2 降低约 4.5 倍，F-Score +0.022
组合式场景生成（合成 Toys4k-Scene） CD-ℓ2 (×10⁻³, ↓) / F-Score (↑) 0.61 / 0.981 ShapeR 8.38 / 0.746（其余基线 CD-ℓ2 为 13.2–52.7） CD-ℓ2 降低约 14 倍，F-Score +0.235
大规模组合生成（UE-MeshyScene，6 场景 2,299 物体） CD-ℓ2 (×10⁻³, ↓) / 中位数 CD-ℓ2 / F-Score (↑) 2.48 / 0.25 / 0.951 ShapeR 7.42 / 2.47 / 0.813 均值降约 3 倍、中位数降约 10 倍，F-Score +0.138
多视角融合消融（UE-MeshyScene，IBR vs 均值 Avg） CD-ℓ2 (×10⁻³, ↓) / F-Score (↑) IBR 2.48 / 0.951 均值融合 Avg 2.83 / 0.944 CD-ℓ2 降低 12%，F-Score +0.007；场景越杂乱收益越大

局限与改进

作者承认三点局限：其一，流水线依赖上游的相机位姿、实例 mask 与粗 3D 框估计，增强课程只对中等噪声鲁棒，框严重错位或 mask 大面积出错仍会直接污染生成几何，低光照与运动伪影等未建模的采集退化也会影响性能；其二，目前只生成几何，未触及 Pixal3D/TRELLIS.2 后续的纹理与 PBR 材质阶段，物体没有外观；其三，假设静态场景，把每个物体的多视角观测当作同一固定几何的测量，不支持运动或形变物体。我的补充观察：第一，推理需逐物体跑两级流匹配采样（形状阶段单视角条件截断至 32,768 token），数百物体场景开销线性增长；第二，物体独立生成意味着没有接触或穿透约束，密集堆叠场景中相邻物体可能互相穿插；第三，锚点选择（观测最全视角）和有界条件视角数是启发式，画面占比极小的极端小物体仍受限；第四，UE-MeshyScene 虽照片级但仍是合成渲染，真实大规模杂乱场景的验证只能间接依赖较稀疏的 HouseCat6D。

独立分析的弱点

第一个弱点是上游依赖链长：位姿、mask、3D 框任何一环出错都会传播到生成结果，改进方向是把检测、定位与生成放进迭代精化闭环，例如用生成几何反估框和 mask 再重生成，形成自洽校验。第二个弱点是计算伸缩性：逐物体独立两级采样使千级物体场景成本高，可对相似实例做缓存复用与去重、把流匹配蒸馏到少步采样、或按物体分批并行。第三个弱点是缺乏物体间联合约束：独立生成无法保证堆叠稳定性与无穿透，可在规范生成后加入接触感知的联合微调或可微物理后端做整体松弛。第四个弱点是几何与外观割裂：同一套锚点对齐多视角条件机制可移植到纹理与 PBR 材质阶段，实现几何外观一致的组合场景，这几乎是水到渠成的扩展。第五个弱点是评估偏合成：真实扫描与完整逐物体网格真值兼备的数据集仍然稀缺，值得推动'真实采集 + 精密扫描'基准或半自动标注管线，检验在真实杂乱环境中的稳健性。

未来方向

作者明确提出的方向包括：把多视角条件通路扩展到纹理与材质生成阶段，实现几何与外观一体的组合场景合成；放松静态场景假设，引入光流运动估计与骨骼模型、SMPL-X 等铰接表示以支持运动和形变物体；构建检测—定位—生成一体化的集成系统，降低对上游预测的依赖。在此之上可以自然延伸：其一，把 Marble、HY-World 2.0 等世界模型输出的 3DGS 世界批量'雕塑'成可编辑资产库，论文的 3DGS→组合网格演示已给出雏形，这条'生成世界→可编辑内容'管线有直接产业价值；其二，在组合表示上研究语义级编辑（替换、增删、重排物体）与物理仿真就绪度评测；其三，把范式推广到 4D，逐物体生成带时间轴的动态网格；其四，利用置换不变聚合支持可变视角数的特性做主动视角规划，让系统自己决定下一步拍摄位置以最小化生成不确定性。

复现评估

复现条件总体友好：论文开源了代码仓库（github.com/AlayaLab/WorldSculpt）与项目页，UE-MeshyScene 承诺随附每帧 RGB、相机位姿、逐物体实例 mask、3D 框与深度图，共 5,964 帧、2,299 个物体的完整标注。训练细节披露充分：初始化自 Pixal3D 公开检查点，在 TexVerse 上每阶段训 15k 迭代、bf16、AdamW 学习率 $10^{-4}$（betas 0.9/0.95）、EMA 0.9999，稀疏结构/形状阶段 batch 48/12，LoRA $r=32$、$\alpha=32$，形状阶段半数 transformer 块开梯度检查点且每视角条件截断 32,768 token——推测单节点 8 卡 A100 级即可复现，两阶段合计约 3 万步，属中等算力门槛。真正的难点在上游组件拼装：完整管线需要 SAM3 类分割跟踪、DUSt3R 类位姿估计与逐物体 3D 框估计；评测需区分逐实例 ICP 对齐（单物体）与世界系无对齐（组合场景）两种协议，Toys4k、HouseCat6D 等数据集均公开。

论文图表

WorldSculpt. Given a set of RGB images with instance-level 2D masks and 3D bounding boxes, WorldSculpt produces a compositional mesh representation for very complex scenes consisting of hundreds of individual objects.
Figure 1: WorldSculpt. Given a set of RGB images with instance-level 2D masks and 3D bounding boxes, WorldSculpt produces a compositional mesh representation for very complex scenes consisting of hundreds of individual objects.

论文首页总览图：输入一组带实例级 2D mask 和 3D 包围框的 RGB 图像，输出包含数百个独立物体的组合网格表示，直观呈现'多视角观测进、可编辑资产出'的任务定义与目标场景的规模。

一图定义整个研究问题：它同时展示了输入（带 mask 与框的多视角图像）、输出（共享世界系下逐物体独立网格）以及'数百物体、严重遮挡'的挑战规模，是快速把握论文要解决什么问题的最佳入口。

Table 1: Per-scene statistics of UE-MeshyScene. Every scene is rendered in Unreal Engine 5.8 at 2560 × 1440; '#Views' denotes the number of rendered frames.

六场景统计表：物体数从废弃城市 93 到沙漠小镇 701（合计 2,299），渲染帧数从 265 到 1,758（合计 5,964），分辨率统一 2560×1440，含每帧 RGB、位姿、实例 mask、3D 框与深度图。

给出基准的规模底盘与标注清单，用于论证其物体数量与遮挡强度远超现有组合式生成评测，也是复现者检查数据完整性的清单。

Table 4: Compositional generation on six scenes of the UE-MeshyScene dataset. Protocol and metrics as in Table 3 (F-Score at τ=0.05), additionally reporting per-instance medians (CDmed).

大规模基准结果表：本方法 CD-ℓ2 2.48、中位数 0.25、CD-ℓ1 2.66（中位数 1.69）、EMD 5.0、F-Score 0.951，全面优于 ShapeR（7.42 / 2.47 / 6.37 / 5.07 / 8.8 / 0.813），中位数差距约 10 倍。

论文最困难的评测设置：数百物体、严重互遮挡。中位数指标证明优势覆盖典型物体而非被少数极端值左右，是'越杂乱越占优'结论的直接定量支撑。

相似论文推荐

WorldRecon：面向大规模三维世界的生成式多视角网格重建 🎯 73.9%
GenRecon：通过生成式先验桥接多视角三维场景重建 🎯 69.8%
WorldStereo：通过3D几何记忆桥接相机引导视频生成与场景重建 🎯 69.2%
Gen3R：3D场景生成与前馈重建的融合框架 🎯 68.8%
PixWorld：在像素空间统一3D场景生成与重建 🎯 68.6%