FLUX3D：基于扩散对齐稀疏表示的高保真 3D 高斯生成

用DA-SLAT、SMDiT、MARoPE解决稀疏体素瓶颈，实现高保真图像到3D生成

前置知识

3D Gaussian Splatting (3DGS)

3D高斯Splatting是一种实时辐射场表示方法，通过一组离散的3D高斯原语来建模3D资产。每个高斯参数化为G集合，包含中心位置、尺度和旋转、不透明度和颜色信息。渲染时，3D高斯首先投影到2D图像平面，然后通过从前到后的alpha混合来合成最终像素值。该方法的核心优势在于支持实时照片级真实渲染，同时保持高质量的几何和纹理表示。

本文采用3DGS作为最终的3D表示形式，理解其工作原理对于掌握论文的核心贡献至关重要，特别是在理解如何从稀疏体素特征解码到3DGS参数的映射过程。

稀疏体素表示

稀疏体素表示将3D资产编码为稀疏体素网格，其中3D占用掩码定义有效空间区域，每个活动体素关联一个潜在特征向量用于存储几何和纹理信息。表示形式为特征-坐标对的集合，其中空间索引是活动体素在立方网格中的位置，关联特征用于存储外观信息。由于活动体素数量通常远小于完整网格大小，这种稀疏表示能够在保持空间局部性的同时实现高效的高分辨率建模，相比密集体素表示大幅降低了计算和内存开销。

本文基于稀疏体素表示构建框架，理解其数据结构和操作方式对于理解论文提出的两个瓶颈以及相应的解决方案（DA-SLAT、SMDiT、MARoPE）至关重要。

条件流匹配 (Conditional Flow Matching, CFM)

条件流匹配是一种连续正态化流框架，将生成问题表述为从噪声到目标分布的渐进变换过程。给定线性插值前向过程，训练模型预测噪声输入相对于直线路径的对应速度场。损失函数衡量预测速度场与实际速度向量之间的差异，其中目标数据是干净的3D潜在表示，噪声是随机采样的。CFM相比标准扩散模型具有更快的采样速度和更稳定的训练特性。

本文采用条件流匹配进行生成建模，理解其训练目标和工作原理有助于理解论文中扩散训练的数学细节和实验配置。

旋转位置嵌入 (Rotary Position Embedding, RoPE)

旋转位置嵌入是一种相对位置编码方法，通过在查询和键向量上应用旋转矩阵来注入位置信息。对于二维位置，RoPE定义对应的旋转角度，然后在注意力计算中通过旋转操作将位置信息编码到向量中。这种方法的核心优势在于能够自然地建模位置间的相对关系，并且随着距离增加，注意力权重会按照距离衰减模式进行调整。在跨模态场景中，RoPE可以帮助建立不同模态token之间的空间对应关系。

本文提出的MARoPE是RoPE的扩展，专门用于图像到3D的跨模态对齐，理解RoPE的基本原理对于掌握MARoPE的创新点和设计动机至关重要。

研究动机

现有的基于稀疏体素表示的图像到3D高斯Splatting生成方法虽然能够捕获几何结构并生成高分辨率形状，但在保留输入图像的细粒度外观细节方面存在显著困难，经常导致纹理模糊和高频视觉模式丢失。作者通过深入分析发现，这些缺陷不仅源于扩散模型的容量限制，更源于2D信息在3D潜在空间内传输和对齐过程中的深层不匹配。具体而言，在表示学习阶段，稀疏体素潜在空间通常使用判别式2D特征（如DINOv2）构建，这些特征为语义抽象而非重建保真度优化，会衰减高频外观线索并创建表示瓶颈；在生成阶段，密集的2D图像token和稀疏的3D体素潜在空间没有有效对齐，标准扩散变换器中注意力机制和位置编码设计的朴素应用没有明确考虑稀疏体素潜在空间固有的空间拓扑和结构稀疏性，导致次优的跨模态交互和影响2D输入与生成的3D资产之间视觉一致性的瓶颈。

本文的目标是本文的目标是提出一个统一的图像到3DGS生成框架，专门解决上述两个结构瓶颈，从而实现高保真的外观重建。具体而言，作者希望：通过重新审视2D特征选择来缓解表示瓶颈，提出更适合外观保留3D建模的潜在基础；通过设计稀疏结构感知的扩散框架来缓解跨模态对齐瓶颈，建立2D输入和3D输出之间更有效的对应关系；最终在标准图像到3D基准测试中生成具有高保真、图像一致外观的3D资产，在关键评估指标上超越所有最先进方法。作者特别关注在高频视觉细节（如文本、标志等）的保真度改进，这是现有方法的主要弱点。

与已有工作不同的是，本文的独特切入角度在于将问题分解为两个独立但相关的瓶颈，并分别为每个瓶颈提出针对性解决方案，而非简单地扩大模型规模或增加训练数据。与现有工作相比，作者首先从特征选择的角度重新审视表示学习阶段，假设预训练的生成式扩散特征，为图像重建和合成优化且富含高频外观细节，比判别式特征更适合外观保留3D建模。其次，在生成阶段，作者受到最先进2D扩散方法的启发，专门为稀疏体素结构设计扩散框架，引入显式考虑稀疏体素拓扑的变换器架构和无需显式几何校准的跨模态位置编码。这种双重视角，在表示学习和生成阶段同时改进，是本文区别于其他工作的核心创新点。

核心方法

FLUX3D框架采用两阶段设计，第一阶段专注于表示学习，第二阶段专注于生成建模。在直觉层面，作者认为现有方法的问题根源在于使用了错误的特征和错误的对齐方式，因此解决方案是：使用生成式扩散特征替代判别式特征，并采用decoder-only架构避免不必要的压缩；设计专门考虑稀疏体素结构的扩散框架，通过特殊的变换器架构和位置编码建立2D-3D对应。在技术路线上，作者首先扩展Trellis-SLAT，用FLUX特征替代DINOv2特征构建扩散对齐结构化潜在空间，并采用稀疏变换器decoder-only架构直接将FLUX特征映射到3DGS输出。在生成阶段，作者提出稀疏结构感知多模态扩散框架，包含两个互补组件：稀疏结构多模态扩散变换器和模态感知旋转位置嵌入。SMDiT通过双流和单流块处理稀疏体素潜在空间和2D图像条件，MARoPE将2D图像token映射到3D虚拟平面同时保留原生体素坐标，实现隐式2D-3D对应学习。

本文的核心创新点在于提出了三个关键技术组件，与已有方法存在本质区别：DA-SLAT使用预训练的FLUX扩散特征替代传统的DINOv2判别式特征来构建稀疏体素特征体积，并采用decoder-only架构直接映射结构化潜在空间到3DGS输出，避免了传统encoder-decoder架构中不必要的信息压缩。这个设计的本质区别在于认为生成式特征比判别式特征更适合重建任务，且预训练扩散特征已经包含丰富的外观统计信息，无需重新编码。SMDiT扩展了多模态扩散变换器设计，专门适应稀疏体素拓扑，通过双流块和单流块的组合来促进跨模态信息交换，这与标准扩散变换器将所有token同质处理的方式形成本质区别。MARoPE将2D图像补丁索引映射到体素体积外的虚拟平面，而3D体素坐标保持不变，这种设计将条件图像概念化为沿着潜在体积的第三维度附加，与依赖准确相机参数的3D感知RoPE形成本质区别。

方法步骤详情

FLUX3D方法的完整流程包含两个主要阶段：表示学习阶段和生成阶段。在表示学习阶段，输入是3D资产和相应的多视角渲染图像。具体步骤如下：从球面采样的相机渲染多视角图像，并将输入3D资产体素化为特征体积；使用FLUX编码器从多视角图像提取特征，并聚合到每个活动体素，构建基于FLUX的特征体积；训练稀疏变换器decoder直接映射特征体积到3DGS参数。在生成阶段，输入是条件图像和稀疏体素布局。具体步骤如下：使用FLUX编码器将条件图像token化，并将结果token存储在稀疏体素数据结构中；潜在token和条件token输入到一系列双流和单流块组成的SMDiT，在双流块中两个模态用模态特定权重并行处理，在单流块中所有token串联并用联合注意力处理；使用MARoPE为所有token提供位置编码，2D图像补丁索引映射到虚拟平面，3D体素坐标保持不变；训练SMDiT用条件流匹配建模条件分布。推理时，给定条件图像和稀疏体素布局，使用SMDiT采样扩散对齐结构化潜在，然后用decoder-only架构解码为3DGS参数。

技术新颖性

本文的技术新颖性体现在多个层面。在特征选择层面，作者首次系统性研究了不同2D特征对稀疏体素表示学习的影响，并实证证明生成式扩散特征在保留高频外观细节方面显著优于判别式特征，这一发现为3D表示学习领域提供了新的见解。在架构设计层面，decoder-only架构避免了传统encoder-decoder架构中的信息压缩瓶颈，直接利用预训练扩散特征的丰富表示，这种设计在3D生成领域是新颖的。在扩散框架层面，SMDiT是首个专门为稀疏体素结构设计的多模态扩散变换器，通过结构化补丁化提高训练效率。在位置编码层面，MARoPE首次提出了无需显式几何校准的2D-3D跨模态位置编码方法，通过虚拟平面的概念为图像到3D任务提供了一致的相对坐标框架，这种方法解决了依赖准确相机参数的现有方法在通用3D生成中的实用性问题。这些组件的协同作用使FLUX3D在保持计算效率的同时实现了显著的外观保真度提升。

**Fig. 2**: Overview of FLUX3D for 3D Gaussian generation. Given the condition image and sparse structure layout, we use SMDiT module to generate diffusion-aligned structured latents. The obtained latents can then be transformed into target 3D Gaussians by a sparse transformer-based decoder.

**Fig. 3**: An illustration of our representation learning pipeline. We extend TRELLIS-SLAT by two modifications: we use FLUX features (as opposed to DINOv2 features) aggregated from multiview renderings to construct diffusion-aligned structured latent space, and use a decoder-only architecture (as opposed to a standard encoder-decoder one) to directly map the structured latent space to 3DGS output.

**Fig. 4**: An illustration of the SMDiT network architecture. SMDiT employs a transformer architecture comprising both double-stream and single-stream blocks. It incorporates the characteristics of sparse-structured latent space and facilitates interactions between modalities.

**Fig. 5**: An illustration of the MARoPE strategy, where 2D images are mapped onto a virtual plane outside the latent volume, and raw 3D voxel coordinates within the volume are retained. This strategy enables better alignment between 3D structures and 2D images.

实验结果

实验结果在多个层面验证了FLUX3D的有效性。在重建实验中，作者在Toys4k数据集上评估了DA-SLAT的重建能力，结果显示本文方法在所有指标上均优于基线方法。具体而言，与TRELLIS相比，Ours (Dec-Only)的SSIM从0.9719提升到0.9783，PSNR从31.54提升到34.12，LPIPS从0.02964降低到0.02668，这证明了使用FLUX特征和decoder-only架构在提升重建保真度方面的有效性。在生成实验中，作者比较了重建基线和生成基线，结果显示Ours (Dec-Only)在所有评估指标上均显著超越最先进方法。具体而言，SSIM从TRELLIS的0.9558提升到0.9653，PSNR从25.48提升到26.26，LPIPS从0.04389降低到0.03509，CLIP分数从97.92提升到98.37，FDincep从11.29降低到8.73，KDincep从0.047降低到0.039，FDdinov2从63.66降低到54.92，KDdinov2从0.62降低到0.42。消融研究进一步验证了每个组件的贡献：输入特征选择实验显示，在encoder-decoder架构下，FLUX特征的SSIM为0.9779，PSNR为33.80，LPIPS为0.02699，显著优于DINOv2的0.9719、31.54、0.02964和SDXL的0.9732、32.54、0.02916；架构对比实验显示，decoder-only架构相比encoder-decoder架构在重建和生成任务上均有所提升；组件添加实验显示，从基线开始，添加DA-SLAT后CLIP从97.92提升到98.09，FDincep从11.29降低到10.12，进一步添加SMDiT后CLIP提升到98.15，FDincep降低到9.62，最后添加MARoPE后CLIP达到98.37，FDincep达到8.73；组件移除实验显示，移除DA-SLAT后CLIP下降到97.94，FDincep上升到10.96，移除SMDiT后CLIP下降到98.10，FDincep上升到10.03，移除MARoPE后CLIP下降到98.15，FDincep上升到9.62。定性比较显示，本文方法在字符、建筑、人工制品等不同物体类别上都能最好地保留输入的颜色准确性和外观细节，特别是在文本和标志等高频细节方面表现突出。

**Table 1**: Quantitative evaluation of 3D reconstruction with other latent representations in terms of appearance fidelity on Toys4k. Bold and underline denote the best and the second-best results.

**Table 2**: Ablation study on input feature selection under reconstruction experiment setting (All results are reported under encoder-decoder architecture).

**Table 3**: Quantitative evaluation of image-conditioned 3DGS generation on Toys4k dataset in terms of appearance fidelity of 2D renderings.

**Table 4**: Ablation studies on the progressive addition of design components under the generation experiment setting.

**Table 5**: Ablation study on the impact of each component under the generation experiment setting. Baseline indicates the setting where all components are included.

**Fig. 6**: Visual comparisons between our method and SOTA 3DGS generation methods, including LGM, DiffusionGS, and TRELLIS. From left to right, the columns show the input 2D image, followed by the 3D reconstructions from each competing method and our approach, rendered from two viewpoints. Our method consistently produces results with high-fidelity appearance modeling across different object categories, such as characters, buildings, and artifacts. Please zoom in for detailed visualization.

**Fig. 7**: Visualization of the influence of input feature selection on sparse voxel representation learning. We provide zoomed-in visualizations of local regions to enable granular evaluation of detail appearance quality. We evaluate six feature extractors: FLUX (in both decoder-only and encoder-decoder configurations), Stable Diffusion 2.1 (SD2.1), DINOv3, DINOv2, and vanilla RGB pixels. Our results confirm that diffusion-aligned features, especially FLUX encodings, excel at retaining fine-grained appearance details, yielding the most visually consistent and accurate 3DGS reconstructions. This superiority is most evident in the rendering of text and logos.

**Fig. 8**: Visualization on the influence of each design component during generation. We disable individual module: the DA-SLAT, the SMDiT architecture, and the MARoPE design, to isolate and understand their respective impact.

查看结构化数据

任务	指标	本文	基线	提升
3D重建（外观保真度）	SSIM	0.9783	TRELLIS: 0.9719	+0.0064 (+0.66%)
3D重建（外观保真度）	PSNR	34.12	TRELLIS: 31.54	+2.58 (+8.18%)
3D重建（外观保真度）	LPIPS	0.02668	TRELLIS: 0.02964	-0.00296 (-9.99%)
图像到3D生成（视觉一致性）	SSIM	0.9653	TRELLIS: 0.9558	+0.0095 (+0.99%)
图像到3D生成（视觉一致性）	PSNR	26.26	TRELLIS: 25.48	+0.78 (+3.06%)
图像到3D生成（视觉一致性）	LPIPS	0.03509	TRELLIS: 0.04389	-0.00880 (-20.05%)
图像到3D生成（生成质量）	CLIP Score	98.37	TRELLIS: 97.92	+0.45 (+0.46%)
图像到3D生成（生成质量）	FDincep	8.73	TRELLIS: 11.29	-2.56 (-22.68%)

局限与改进

作者在论文中承认了一些局限性。首先，本文假设稀疏体素布局是给定的，主要关注生成相应的特征来评估外观建模质量，这意味着在实际应用中需要额外的布局生成模块，增加了系统的复杂性。其次，MARoPE虽然提供了相对坐标框架，但它不能恢复真实的3D姿态，只是让RoPE的距离衰减注意力偏向附近的体素，这种隐式2D-3D对应学习可能在需要精确几何对齐的场景中表现不佳。第三，单视图图像到3D任务存在固有的模糊性，给定一个2D输入，存在多个合理的3D解释，这种不确定性在确定性的重建模型中无法有效建模，而本文的方法虽然基于扩散模型可以建模分布，但在某些情况下可能仍然生成模糊的几何或外观细节。从自己的观察来看，本文方法的计算需求较高，训练需要8个NVIDIA A100 GPU，推理时的采样步骤为50步，这对于实时或资源受限的应用可能构成限制。此外，本文主要关注静态3D资产的生成，对于动态场景或具有时间连贯性的3D内容生成能力尚未探索。最后，虽然本文在Toys4k数据集上表现出色，但在更复杂的真实世界场景中的泛化能力可能需要进一步验证。

独立分析的弱点

从独立分析的角度来看，FLUX3D存在几个可以改进的弱点。首先，依赖给定的稀疏体素布局限制了方法的实用性，改进方向是集成或开发高质量的布局生成模块，可以联合优化布局和特征生成，或者探索端到端的图像到3D生成范式。其次，MARoPE的虚拟平面设计虽然巧妙但缺乏理论保证，改进方向是引入更精确的几何先验，例如从输入图像估计相机姿态或深度信息，并探索结合显式和隐式对齐的混合方法。第三，单视图输入的固有模糊性可能导致生成的3D资产在未见视角下出现不一致，改进方向是支持多视图输入或通过额外的几何约束来减少模糊性。第四，计算资源需求较高，改进方向是探索更高效的架构或模型压缩技术，使方法能够在单GPU或消费级硬件上运行。第五，评估主要依赖于2D渲染的视觉指标，改进方向是引入3D感知的评估指标，如几何准确性、表面质量、光照一致性等，以更全面地评估生成3D资产的质量。最后，方法的泛化能力可能受限于训练数据分布，改进方向是探索跨域适应和少样本学习技术，使方法能够适应新的物体类别或风格。

未来方向

基于本文的成果，有多个有前景的未来研究方向。作者提出的方向包括扩展到更复杂的3D表示和生成任务，例如动态场景生成、交互式3D内容创建、以及支持编辑和控制的生成框架。基于成果可以延伸的方向包括：多模态融合，除了图像条件外，探索结合文本、草图、3D扫描等多种模态的条件输入，提供更灵活的3D内容创建方式；层次化生成，设计层次化的生成框架，先生成粗粒度的3D结构，再逐步细化细节，这样可以更好地控制生成过程和计算复杂度；可控生成，探索在生成过程中引入用户交互和控制，例如指定物体的部件、材质、风格等属性，使生成过程更加可控和个性化；跨域迁移，研究将图像到3D的生成能力迁移到其他领域，如医疗影像、工业设计、文化遗产保护等，发挥方法在不同应用场景中的潜力；理论分析，深入研究稀疏体素表示和跨模态对齐的理论基础，例如分析表示瓶颈和跨模态对应瓶颈的数学本质，为未来的方法设计提供理论指导；评估基准，建立更全面的图像到3D生成评估基准，包括几何准确性、外观保真度、功能性、用户体验等多个维度，推动领域的标准化发展。

复现评估

从复现评估的角度来看，本文的复现性相对较好但存在一些挑战。在开源情况方面，论文提到了使用的预训练模型和公开数据集，但没有明确说明是否发布了代码或模型权重，这增加了复现的难度。在数据准备方面，论文提到从训练集中手动移除低质量纹理的资产并筛选了360K个3D实例，但具体的筛选标准和过程没有详细描述，可能导致复现时数据集不一致。在实现细节方面，论文提供了相对详细的训练配置，但一些关键超参数可能需要进一步实验调整。在算力需求方面，训练需要8个NVIDIA A100 GPU，这对于大多数研究团队来说是昂贵的硬件配置，虽然推理阶段可以在单个GPU上运行，但50步采样仍然需要一定的计算时间。在难度评估方面，复现本文工作的主要挑战在于：获取和处理大规模3D训练数据需要大量存储和计算资源；SMDiT和MARoPE的实现细节需要仔细实现，特别是结构化补丁化和稀疏下采样的逻辑；条件流匹配的训练过程需要精确的实现以确保稳定性；多个组件的联合优化可能需要精细的超参数调整。总体而言，如果作者发布代码和模型权重，复现难度会显著降低，否则需要较强的工程能力和计算资源。

FLUX3D：基于扩散对齐稀疏表示的高保真 3D 高斯生成 FLUX3D: High-Fidelity 3D Gaussian Generation with Diffusion-Aligned Sparse Representation