← 返回 2026-04-02

GaussianGPT：迈向自回归3D高斯场景生成 GaussianGPT: Towards Autoregressive 3D Gaussian Scene Generation

Nicolas von Lützow, Barbara Rössle, Katharina Schmid, Matthias Nießner 📅 2026-03-27 👍 25 2026-07-13 08:36
3D生成 Gaussian Splatting Transformer 场景合成 自回归模型
arXiv HuggingFace PDF

基于Transformer的自回归3D高斯场景生成方法，支持无条件生成、补全和大场景合成

前置知识

3D Gaussian Splatting

一种高效的3D场景表示方法，使用一组3D高斯椭球体（每个包含位置、不透明度、尺寸、旋转和颜色属性）来表示场景。通过可微的splatting渲染管线，能够实现实时的高质量渲染。相比NeRF的隐式表示，它更高效且适合优化。

本文的核心表示形式，所有生成目标都是3D Gaussian场景，理解其表示和渲染原理是理解方法的基础。

Vector Quantization (VQ)

将连续特征向量离散化为codebook中的索引。本文使用的Lookup-Free Quantization (LFQ)直接根据特征符号将连续值离散为0或1，避免了传统VQ的codebook collapse问题，提高了codebook利用率。

实现自回归建模的关键步骤，只有将连续的3D表示离散化为token序列，才能应用GPT式的自回归生成。

3D Rotary Positional Embedding (3D RoPE)

将标准1D RoPE扩展到3D空间，在注意力机制中直接注入体素坐标信息，使得注意力分数成为相对空间偏移的函数而非序列偏移。额外增加第4维表示token类型（位置/特征）。

解决3D空间序列化后空间关系丢失的问题，使模型能够理解token之间的真实空间关系，而不是序列顺序。

研究动机

当前最先进的3D生成方法主要依赖扩散或flow-based模型，这些方法将生成定义为全局去噪或优化过程，虽然视觉保真度高，但在增量编辑、结构化补全方面不够自然。在实践中，3D场景是动态构建的，需要逐步扩展、补全和编辑。现有方法缺乏这种灵活性，难以处理部分观测的场景补全任务。此外，扩散模型的迭代采样过程计算成本高，且难以控制生成的具体空间决策过程。

本文的目标是提出一个完全自回归的3D场景生成框架GaussianGPT，通过next-token预测直接生成3D Gaussians，实现无条件场景生成、场景补全和大规模场景合成。目标是利用自回归模型的组合归纳偏差和可扩展性，同时保持与现代神经渲染管线兼容的显式表示，为可控和上下文感知的3D生成提供补充范式。

与已有工作不同的是，现有自回归3D生成工作主要关注离散化几何表示（如网格、体素），而本文探索结构化Gaussian原语上的自回归生成，能够同时建模几何和外观。与依赖预训练2D扩散/视频先验或多阶段管线的方法不同，本文在统一的概率框架内直接建模3D场景，无需外部先验或优化密集过程。

核心方法

GaussianGPT采用两阶段设计：首先通过稀疏3D卷积自编码器将连续的3D Gaussian场景压缩为离散的潜在网格表示；然后将网格序列化为token序列，使用因果Transformer建模其联合分布。压缩阶段包含将Gaussian原语投影到稀疏3D特征网格、通过稀疏3D CNN编码、使用LFQ向量化。自回归阶段采用xyz遍历顺序序列化网格，交替位置和feature token，使用3D RoPE注入空间先验，最终通过解码器重建3D场景。

核心创新是将3D场景建模为结构化token序列的自回归生成问题。与扩散模型整体精细化场景不同，该方法逐个token构建场景，天然支持补全、outpainting、可控采样和灵活生成范围。采用分离的位置和feature词表，通过交替的position head和feature head解耦几何结构和外观建模，防止空间和语义特征竞争共享索引。3D RoPE使注意力计算基于真实空间相对位置而非序列偏移，独立于序列化顺序保留几何局部性。

方法步骤详情

方法包含三个主要步骤：(1)场景压缩：输入3D Gaussian场景（每个Gaussian有位置、不透明度、尺寸、旋转、颜色属性），在世界坐标系定义网格，根据位置将Gaussian分配到对应体素，使用轻量编码头编码每个Gaussian特征并拼接为稀疏输入特征网格；通过稀疏3D CNN编码器E下采样得到紧凑表示，解码器D重建体素级特征；使用LFQ将编码器输出离散为codebook索引。(2)序列化：使用固定的xyz遍历顺序将3D网格线性化为1D序列（z为最不重要维度，按列遍历），为每个体素创建交替的位置token和feature token，位置相对于当前chunk而非绝对位置。(3)自回归生成：使用GPT-2 medium架构的因果Transformer，上下文窗口16,384 tokens，采用3D RoPE（扩展第4维表示token类型）、query-key归一化、每层残差缩放、Muon优化器。训练时使用teacher forcing，推理时从BOS开始，交替预测位置和feature token直到EOS，支持通过prefix实现补全。

技术新颖性

技术新颖性体现在：(1)首次将自回归Transformer应用于结构化3D Gaussian场景的完整生成而非仅物体级别；(2)设计分离的位置和feature词表与预测头，解耦几何-外观建模；(3)将3D RoPE扩展到4维（包括token类型），在混合token流中统一注意力公式；(4)证明简单xyz顺序配合3D RoPE即可达到最优性能，无需复杂空间填充曲线；(5)统一的框架支持无条件生成、补全、大规模outpainting，无需架构修改。

Overview of GaussianGPT. A 3D Gaussian scene is subsampled into a sparse voxel grid and encoded into per-voxel features. A sparse 3D CNN compresses the grid into discrete codebook indices. The resulting latent grid is serialized via xyz ordering and represented as interleaved position tokens pi and feature tokens fi. A causal transformer with 3D RoPE predicts alternating position and feature tokens, which are mapped back to voxel locations and decoded through LFQ to reconstruct the 3D Gaussian scene.
Fig. 2: Overview of GaussianGPT. A 3D Gaussian scene is subsampled into a sparse voxel grid and encoded into per-voxel features. A sparse 3D CNN compresses the grid into discrete codebook indices. The resulting latent grid is serialized via xyz ordering and represented as interleaved position tokens pi and feature tokens fi. A causal transformer with 3D RoPE predicts alternating position and feature tokens, which are mapped back to voxel locations and decoded through LFQ to reconstruct the 3D Gaussian scene.

实验结果

在PhotoShape椅子数据集的无条件生成任务中，GaussianGPT在FID、KID和COV指标上均达到最优，MMD保持竞争力。具体数值为FID 5.68、KID 1.835、COV 67.40%、MMD 4.278，显著优于基线L3DG (FID 8.49, KID 3.147, COV 63.80%, MMD 4.241)和DiffRF (FID 15.95, KID 7.935, COV 58.93%, MMD 4.416)。场景生成在ASE和3D-FRONT数据集上产生连贯的室内布局，通过迭代采样和附加潜在网格列实现12m×12m大规模场景outpainting，保持几何连贯性和风格一致性。场景补全实验中，给定验证集chunk的1/4或1/2作为上下文，模型生成多样且语义合理的补全，与观测上下文对齐良好，保持地面连续性、墙体结构和物体放置。序列化策略消融实验显示，简单xyz顺序在ASE和3D-FRONT上达到最低验证CE (2.444)，优于Z-order (2.448)和Hilbert曲线 (2.497)，说明3D RoPE使序列化顺序对性能影响较小。

Quantitative evaluation on unconditional generation of 1000 shapes after training on the PhotoShape Chairs dataset [48]. MMD and KID scores are multiplied by 10³.
Table 1: Quantitative evaluation on unconditional generation of 1000 shapes after training on the PhotoShape Chairs dataset [48]. MMD and KID scores are multiplied by 10³.
Ablation of 3D-to-1D serialization strategies. Despite weaker locality guarantees, the simple xyz traversal achieves the best training and validation cross-entropy.
Table 2: Ablation of 3D-to-1D serialization strategies. Despite weaker locality guarantees, the simple xyz traversal achieves the best training and validation cross-entropy.
Qualitative results on unconditional chair generation. From left to right: DiffRF [44], L3DG [52], and GaussianGPT (ours). All models generate high-fidelity shapes; our method produces clean Gaussian allocations with consistent geometric structure.
Fig. 3: Qualitative results on unconditional chair generation. From left to right: DiffRF [44], L3DG [52], and GaussianGPT (ours). All models generate high-fidelity shapes; our method produces clean Gaussian allocations with consistent geometric structure.
Qualitative results on unconditional scene generation. We compare L3DG [52] and GaussianGPT (ours). L3DG generates full but normalized scenes; ours generates full-scale scene chunks.
Fig. 4: Qualitative results on unconditional scene generation. We compare L3DG [52] and GaussianGPT (ours). L3DG generates full but normalized scenes; ours generates full-scale scene chunks.
12 m × 12 m scene synthesis via autoregressive outpainting. GaussianGPT sequentially generates and appends latent grid columns, enabling scenes to grow beyond the training horizon.
Fig. 5: 12 m × 12 m scene synthesis via autoregressive outpainting. GaussianGPT sequentially generates and appends latent grid columns, enabling scenes to grow beyond the training horizon.
Qualitative results on scene chunk completion. Given one quarter of a validation chunk as context, GaussianGPT produces plausible and diverse completions.
Fig. 6: Qualitative results on scene chunk completion. Given one quarter of a validation chunk as context, GaussianGPT produces plausible and diverse completions.
查看结构化数据
任务指标本文基线提升
无条件椅子生成 (PhotoShape Chairs) FID (↓) 5.68 L3DG: 8.49, DiffRF: 15.95 相比L3DG提升33.1%，相比DiffRF提升64.4%
无条件椅子生成 (PhotoShape Chairs) KID ×10³ (↓) 1.835 L3DG: 3.147, DiffRF: 7.935 相比L3DG提升41.7%，相比DiffRF提升76.9%
无条件椅子生成 (PhotoShape Chairs) COV (↑) 67.40% L3DG: 63.80%, DiffRF: 58.93% 相比L3DG提升3.8个百分点，相比DiffRF提升14.5个百分点
场景序列化策略 (ASE数据集) 验证CE (↓) 2.444 (xyz) Z-order: 2.448, Hilbert: 2.497 xyz优于Z-order 0.004，优于Hilbert 0.053

局限与改进

作者承认方法目前专注于合成数据（ASE、3D-FRONT），在真实世界数据上的泛化能力尚未验证，这对于实际应用至关重要。chunk-based生成虽然支持大场景合成，但固定chunk大小可能限制长程依赖建模，尽管可以通过滑动窗口扩展。此外，序列化顺序可能影响生成效率，xyz顺序虽然简单但未充分利用空间局部性，尽管3D RoPE缓解了这一问题。最后，自回归生成的逐token特性使得推理速度相对较慢，不如扩散模型的并行采样。

独立分析的弱点

计算效率方面，自回归逐token生成限制了并行性，推理速度较扩散模型慢，可能需要考虑非自回归的加速策略如speculative decoding或并行采样。长程依赖方面，虽然支持滑动窗口outpainting，但chunk内的上下文窗口固定为16,384 tokens，对于超大场景可能无法捕获全局一致性，可考虑层次化建模或全局-局部联合生成。真实世界泛化方面，当前仅在合成数据上验证，真实数据包含噪声、遮挡和复杂光照，需要鲁棒的预处理和不确定性建模，自回归方法天然适合不确定性感知，可进一步探索。表示能力方面，当前不支持视点相关外观（仅物体使用一阶球谐函数），场景采用固定外观，限制了视角变化的表现力，可考虑集成视点相关特征。数据多样性方面，3D-FRONT虽经过旋转和反射增强8倍，但类别和风格仍有限，可能影响生成多样性。

未来方向

作者提出将框架扩展到真实世界数据，强调不确定性感知建模的重要性，自回归方法在此方面特别适合。未来可改进长程稳定性，探索超越固定空间chunk的生成上下文。基于成果可延伸的方向包括：集成视点相关外观以支持多视角一致性更好的渲染；探索更高效的序列化策略和并行解码算法；扩展到动态4D场景生成和编辑；结合条件生成支持文本、图像或草图引导的场景合成；利用自回归的可控性实现精细的空间属性编辑和交互式场景设计工具；探索与其他生成范式（如扩散）的混合方法，结合两者的优势。

复现评估

论文详细描述了实验配置：autoencoder基体素大小0.025m，三级下采样，codebook大小4,096，场景不建模视点相关外观，物体使用一阶球谐函数。损失权重RGB为7.5、感知为0.3（场景，12张图像）、RGB为12.5、感知为0.1（物体，4张图像）、占用为1.0、LFQ为0.1。Transformer使用GPT-2 medium（场景，上下文16,384）和small（物体，上下文8,192），采样温度0.9，Nucleus Sampling p=0.9。优化使用Adam（学习率0.0001）训练autoencoder约4天（场景）和2天（PhotoShape），AdamW+Muon训练transformer约1天（场景）和4.5小时（PhotoShape）。硬件：4 RTX A6000训练autoencoder（有效batch size 8场景/24物体），4 GH200训练transformer（有效batch size 64）。数据集：ASE 25,000场景，3D-FRONT 4,472场景（增强8倍），PhotoShape 15,576椅子各200渲染视角。论文未明确提及代码开源，但技术细节详尽，复现难度中等，主要挑战是数据获取和算力需求（GH200 GPU）。

论文图表

GaussianGPT is a purely autoregressive approach for 3D Gaussian scene generation. Our approach enables unconditional scene generation, scene completion, and large-scale scene synthesis using only a single model.
Fig. 1: GaussianGPT is a purely autoregressive approach for 3D Gaussian scene generation. Our approach enables unconditional scene generation, scene completion, and large-scale scene synthesis using only a single model.

展示了GaussianGPT的三个核心应用场景：无条件生成、场景补全和大场景合成，直观说明了单一自回归模型支持多种生成任务的能力。

这张图对理解论文至关重要，因为它概括了方法的整体优势和适用场景，清晰展示了自回归范式的灵活性，即同一框架无需修改即可支持不同的生成任务。