LoST：面向3D形状的语义层级Token化方法 LoST: Level of Semantics Tokenization for 3D Shapes
按语义显著性排序3D形状token，实现高效自回归生成
前置知识
3D形状Token化
将3D形状转换为离散或连续的token序列，以便使用Transformer等序列模型进行处理。传统方法包括体素化、点云采样、网格顶点序列化等。现代方法通常先将3D形状编码到latent空间（如triplane表示），再通过patch化和编码器压缩为token序列。Token化质量直接影响下游生成任务的效果。
本文的核心贡献就是提出了一种新的token化策略，理解传统token化方法的局限性是理解本文动机的关键。
细节层次（Level-of-Detail, LoD）
一种经典的计算机图形学技术，通过在不同距离或复杂度下使用不同精度的几何表示来优化渲染性能。在3D生成中，LoD层级通常从粗到细组织token，使得早期token对应粗糙几何，后期token补充细节。八叉树（Octree）和渐进网格（Progressive Mesh）是典型的LoD表示。
本文论证了基于几何LoD的token化方法不适用于自回归生成，这是论文的核心论点。
自回归（Autoregressive）3D生成
将3D形状生成建模为逐token预测的过程，类似于GPT生成文本。模型在每一步基于已生成的token预测下一个token。相比扩散模型，AR方法训练更简单、支持单次采样、且易于与多模态大语言模型集成。但token的顺序和组织方式对生成质量至关重要。
本文的LoST正是为AR生成设计的token化方案，优化了token顺序以提升生成效率和质量。
Triplane表示
一种3D形状的latent表示方法，使用三个正交的2D特征平面（XY、XZ、YZ）来编码3D空间信息。每个平面上的特征向量可以通过三线性插值查询任意3D位置的特征。这种表示在3D生成中广泛使用，如EG3D、Direct3D等工作。
LoST基于Direct3D的triplane VAE latent空间工作，理解triplane表示有助于把握方法的技术细节。
DINO特征
DINO（Self-Distillation with No Labels）是一种自监督视觉Transformer模型，学习到的特征具有强大的语义表示能力。DINOv2进一步提升了特征质量。这些特征常用于语义对齐、图像检索等任务。在3D生成中，DINO特征被用作语义监督信号。
RIDA损失的核心就是将3D latent空间与DINO语义空间对齐，DINO提供了语义监督的来源。
扩散Transformer（DiT）
将Transformer架构用于扩散模型的去噪过程。DiT接收带噪声的输入和条件信息，预测添加的噪声。相比U-Net，DiT在处理序列数据时更自然，且易于扩展。本文使用DiT作为解码器，从prefix token重建完整的3D latent。
LoST的解码器采用DiT架构，理解DiT的工作方式有助于理解重建过程。
研究动机
当前最先进的3D自回归生成方法主要依赖几何细节层次（LoD）层级来组织token序列，如OctGPT使用八叉树、VertexRegen使用渐进网格。然而这些层级结构原本是为渲染和压缩设计的，并非为自回归生成优化。具体而言，存在三个系统性问题：第一，token膨胀问题——即使经过几何简化，早期阶段仍需大量空间token来勾勒物体的基本骨架，例如OctGPT在最粗糙层级仍需约219个token，VertexRegen需约2730个token。这将AR模型推入高困惑度（perplexity）regime，损害采样效率。第二，早期解码不可用——由于激进的几何简化，粗糙层级过于粗糙，无法呈现最终形状的几何和语义细节。如Figure 1所示，OctGPT和VertexRegen的早期解码结果是抽象的几何骨架，既不符合语义也缺乏几何完整性。第三，任意前缀生成失效——现有方法无法从短前缀解码出可用的形状中间结果，限制了在AR工作流中的应用。
本文的目标是本文的目标是设计一种新的3D形状token化方案，使得token序列按语义显著性（semantic salience）排序，而非按空间细节层次排序。具体目标包括：早期前缀能够解码为完整、合理的形状，捕捉原始形状的主要语义；后续token逐步细化实例特定的几何和语义细节；使用极少的token（相比现有方法减少90%-99.9%）实现高质量的自回归3D生成；同时支持语义检索等下游任务。
与已有工作不同的是，本文的独特切入角度是将语义优先理念引入3D形状token化。受FlexTok和Semanticist在图像领域的启发，本文认为token的组织应遵循语义重要性而非几何复杂度。这是一个根本性的范式转换：传统方法关注如何从粗到细地表示几何，而本文关注如何从核心语义到细粒度细节地表示形状。为实现这一目标，本文提出了RIDA（Relational Inter-Distance Alignment）损失函数，直接在triplane latent空间中对齐语义关系，避免了昂贵的渲染和解码过程。这种跨模态（3D到2D）的语义对齐方法是本文的关键技术贡献。
核心方法
LoST的核心思想是将3D形状的token序列按语义显著性排序，而非传统的空间细节层次。直觉上，这类似于PCA（主成分分析）的思路——第一个主成分捕获最大方差方向，后续成分逐步补充细节。在LoST中，第一个token应捕获形状最核心的语义特征（如这是一个椅子），后续token逐步补充实例特定的细节（如椅腿的形状、扶手的样式等）。技术路线如下：首先使用Direct3D的VAE将3D形状编码为triplane latent；然后通过一个ViT编码器将triplane压缩为1D token序列，使用register tokens和causal masking确保层级结构；接着通过RIDA损失将3D latent空间与DINO语义空间对齐，确保token的语义层级；最后使用DiT解码器从任意prefix重建完整latent。整个框架由编码器、语义提取器和生成解码器三个核心组件构成。
LoST的核心创新是引入register tokens（寄存器token）和RIDA损失来实现语义层级的token化。传统方法直接操作triplane patch对应的token，这些token与空间位置绑定，难以重组为语义层级。LoST引入了一组可学习的register tokens $T_R$，它们不与特定triplane patch关联，而是通过注意力机制从所有原始token中聚合信息。关键设计包括：（1）因果掩码（causal masking）——register tokens之间使用因果注意力，强制信息从早期token流向后期token；（2）嵌套dropout（nested dropout）——训练时随机截断register tokens的前缀，迫使早期token捕获核心语义。与已有的FlexTok和Semanticist（处理图像）不同，3D形状缺乏直接的语义监督信号。本文的RIDA损失通过对比学习方式对齐3D latent空间和DINO特征空间的相对距离关系，而非直接回归特征值，这避免了跨模态对齐的困难。
方法步骤详情
LoST的完整流程包括以下步骤：（1）Triplane编码：使用Direct3D的VAE将3D点云编码为triplane $X \in \mathbb{R}^{C \times H \times W \times 3}$，其中 $C=16$，得到 $32 \times 32 \times 3 = 3072$ 个特征向量。（2）Patch化与ViT编码：使用 $2 \times 2$ patch化将triplane转为768个patch token，拼接最多512个register tokens $T_R$，通过12层ViT编码器处理。注意力掩码确保register tokens可以attend原始token，但反之不行。（3）Register token投影：编码后的register tokens投影到32维瓶颈空间，形成紧凑的token序列 $T_R \in \mathbb{R}^{32}$。（4）RIDA预训练：训练一个12层Transformer语义提取器 $f_\theta$，将triplane latent映射到与DINO对齐的语义空间。使用全局对比损失 $L_{global}$、实例间秩蒸馏损失 $L_{rank}$ 和空间结构蒸馏损失 $L_{spatial}$ 三个目标联合训练。（5）生成解码器训练：训练24层DiT解码器 $G$，以任意长度的register token前缀为条件，通过扩散过程重建完整triplane latent。损失函数包含去噪损失 $L_{denoise}$ 和语义对齐损失 $L_{semantic}$。（6）AR生成：训练GPT风格的Transformer，使用连续token（非量化），每个位置通过小MLP预测条件向量，再由扩散头映射为最终token。
技术新颖性
LoST的技术新颖性体现在多个层面。首先，语义层级token化的理念在3D领域是首创——虽然FlexTok和Semanticist在图像领域探索了类似思路，但3D形状缺乏直接的语义标签，需要全新的对齐方法。其次，RIDA损失的设计具有独创性：不同于直接回归DINO特征（实验表明这种直接映射效果很差），RIDA只对齐相对距离关系，通过z-score标准化消除模态差异，本质上是最大化Pearson相关系数。这种关系蒸馏而非值回归的思路是核心创新。第三，register tokens的使用方式——不与空间位置绑定，通过因果掩码和嵌套dropout形成语义层级——是ViT中register token概念的创新应用。第四，解码器设计采用生成式（扩散）而非确定性重建，允许从极短前缀生成语义合理但几何多样的结果，这是对重建vs生成问题的巧妙处理。最后，整个框架在token效率上取得突破——仅使用128个token（总维度4096）就超越了使用数万token的基线方法。
实验结果
实验结果表明LoST在token化质量和自回归生成两方面都建立了新的state-of-the-art。在token化评估（Table 1）中，LoST使用仅1个token时的Chamfer Distance为 $2.271 \times 10^{-2}$，已经接近OctGPT使用约219个token的 $16.923 \times 10^{-2}$。使用512个token时，LoST的CD降至 $0.234 \times 10^{-2}$，远优于OctGPT的 $0.470 \times 10^{-2}$（使用约239,004个token）。语义指标上优势更明显：1个token时FID为31.649，而OctGPT的最好结果（约239,004个token）为88.483；DINO相似度0.731也接近OctGPT最好结果0.695。在AR生成评估（Table 2）中，LoST-GPT使用128个token实现FID 34.251和DINO 0.758，大幅超越ShapeLLM-Omni（1024个token，FID 48.702，DINO 0.680）。相比OctGPT（约50,000个token，FID 66.926）和Llama-Mesh（约3,758个token，FID 118.576），优势更为显著。消融实验（Table 4）证实RIDA损失的关键作用：在低token regime，RIDA带来最大的DINO和DINOv2相似度提升。形状检索实验（Table 3）显示RIDA在out-of-distribution数据集上将mAP@3从17.47%提升至28.28%，证明了语义对齐的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Tokenizer重建（语义质量） | FID ↓ | 13.591（512 tokens） | 88.483（OctGPT, ~239K tokens） | 降低84.6%，使用token减少99.8% |
| Tokenizer重建（语义对齐） | DINO相似度 ↑ | 0.921（512 tokens） | 0.791（VertexRegen, ~7530 tokens） | 提升16.4%，使用token减少93.2% |
| Tokenizer重建（几何精度） | CD (×10⁻²) ↓ | 0.234（512 tokens） | 0.034（VertexRegen, ~7530 tokens） | 几何精度接近，但token减少93.2% |
| AR生成（图像条件） | FID ↓ | 34.251 | 48.702（ShapeLLM-Omni, 1024 tokens） | 降低29.7%，token减少87.5% |
| AR生成（语义对齐） | DINO ↑ | 0.758 | 0.680（ShapeLLM-Omni） | 提升11.5% |
| 形状检索（OOD） | mAP@3 | 28.28% | 17.47%（Triplane） | 绝对提升10.81个百分点 |
局限与改进
尽管LoST取得了显著成果，论文也坦诚地指出了几个局限性。首先，tokenizer和损失函数仅在Direct3D的triplane VAE latent空间上实例化，尚未验证对其他3D表示（如高斯Splatting）的适用性，尽管补充材料展示了在TRELLIS latent空间上的初步结果。其次，解码器使用扩散模型（DiT）从AR生成的token重建最终latent，这增加了计算需求，相比纯AR解码（如直接预测下一个token）需要额外的去噪步骤。第三，在极少token regime（如1-4个token）下仍可能出现artifacts，虽然相比2D语义优先tokenizer已有改善，但仍有提升空间。第四，AR生成器目前使用固定目标长度，未引入EOS token和复杂度感知的停止机制——简单形状可能只需几个token，而复杂形状需要更多，目前的固定长度策略不够灵活。从作者观察来看，训练数据的生成过程（使用Gemini生成prompt、Flux生成图像、Direct3D生成3D）可能引入数据分布偏差；此外，RIDA的预训练需要额外的计算开销，虽然论文提到相比不使用RIDA可加速约40%，但仍增加了整体训练复杂度。
独立分析的弱点
基于论文内容和实验结果，可以识别出几个值得改进的方向。第一，token维度瓶颈过窄——register tokens被投影到32维，虽然保证了token效率，但可能损失了部分高频几何信息。可以探索自适应维度分配，让早期token使用较低维（捕获语义），后期token使用较高维（编码细节）。第二，RIDA的正样本/负样本挖掘依赖硬阈值，可能丢失连续的语义关系。可以考虑引入soft weighting或课程学习策略，逐步调整阈值。第三，嵌套dropout的prefix长度采样为2的幂次，这种离散采样可能不是最优的。可以探索更平滑的采样策略，如基于形状复杂度的自适应采样。第四，生成式解码器在高指导强度（classifier-free guidance）下可能过于保守，生成的形状趋于安全但缺乏多样性。可以研究更细粒度的指导策略，或引入多样性增强机制。第五，当前方法对纹理信息的处理有限——Direct3D主要关注几何，虽然TRELLIS支持纹理，但LoST的语义对齐主要针对几何渲染。
未来方向
论文作者和基于本文成果可延伸的未来方向包括：（1）拓扑感知正则化——当前方法不显式建模拓扑结构，可以引入拓扑约束确保早期token保持有效的网格拓扑；（2）部件一致性约束——确保语义部件（如椅子的四条腿）在不同token层级间保持一致性；（3）EOS token和复杂度感知停止——添加结束标记，让AR模型学会根据形状复杂度动态决定生成长度，简单形状用少token，复杂形状用多token；（4）扩展到其他3D表示——将LoST应用于高斯Splatting、NeRF等表示，支持更广泛的3D内容类型；（5）与多模态LLM集成——利用LoST的紧凑token序列，将3D理解能力集成到多模态大语言模型中；（6）交互式3D生成——利用任意前缀解码的特性，实现用户可控的渐进式3D生成；（7）3D场景token化——将语义层级token化扩展到整个3D场景，而非单一物体。
复现评估
论文的可复现性评估如下：代码和模型权重方面，论文主页为 https://lost3d.github.io，但未明确说明是否开源代码。训练数据方面，作者选择自行生成训练集而非使用Objaverse，通过Gemini 2.5 Pro生成prompt、Flux.1生成图像、Direct3D的image-to-3D pipeline生成3D形状，共300k个样本。这种数据生成流程虽然保证了与Direct3D的兼容性，但复现需要访问这些API和计算资源。计算资源方面，训练使用8张A100 GPU，LoST训练250 epochs，RIDA训练100 epochs，AR模型也有相当的计算需求。评估数据集为新生成的1k个形状，使用Step1X-3D（基于不同的3DShape2VecSet表示）生成，确保评估的中立性。总体而言，复现难度中等偏高——需要大量GPU资源和API访问，但技术细节描述清晰，关键超参数和架构配置都有说明。
论文图表