Omni123：统一文本到2D与3D生成的3D原生基础模型 Omni123: Exploring 3D Native Foundation Models with Limited 3D Data by Unifying Text to 2D and 3D Generation
统一2D/3D生成，用跨模态一致性约束缓解3D数据稀缺问题
前置知识
向量量化变分自编码器（VQ-VAE）
VQ-VAE是一种将连续特征离散化为有限codebook索引的编码器-解码器架构。它通过最近邻查找将编码器输出的连续向量映射到预定义的codebook中，然后用解码器从这些离散token重建原始数据。这种方法使得连续数据（如图像、3D形状）可以被表示为离散token序列，从而兼容自回归语言模型的训练范式。
本文的核心架构依赖VQ-VAE将图像和3D几何表示为离散token，只有理解这一概念才能理解如何将不同模态统一到共享的序列空间中。
自回归生成模型
自回归模型通过预测序列中下一个token的方式来生成数据，训练时使用交叉熵损失函数 L = -sum(log p(x_j | x_{<j}, c))，其中 x_j 是第j个目标token，x_{<j} 是所有前序token，c 是条件信息。这种范式使得模型可以在统一的框架下处理多个生成任务，只需改变输入输出token的顺序。
Omni123的核心思想是将文本、图像、3D都表示为token序列，通过自回归方式统一训练。理解这一机制才能明白如何实现跨模态的生成一致性约束。
分类器无关引导（Classifier-Free Guidance, CFG）
CFG是一种在推理时增强生成质量和条件对齐的技术。训练时以概率 p_drop 随机丢弃文本条件，用学习的null embedding替代。推理时，通过公式 log p(x|c) - omega * log p(x|c=empty) 组合有条件和无条件预测，其中 omega 是引导强度。这使得模型可以在保持条件对齐的同时提高生成多样性和质量。
文中所有训练阶段都使用CFG（p_drop=0.1），推理时设置 omega=5.0，理解这一技术有助于明白如何在保持语义对齐的同时提高几何保真度。
双流Transformer架构
双流架构包含一个条件流（携带文本embedding）和一个生成流（携带图像和3D token），两者通过联合注意力层交互。在每层双流块中，两个流独立投影为Q、K、V，拼接后进行单次联合注意力操作，输出再分裂回去更新各自的流。这种设计既允许文本条件影响生成，又保持了生成流内部的token共享，促进跨模态知识迁移。
Omni123采用24层双流块加6层单流块的设计，理解这一架构才能明白如何实现文本条件控制和跨模态参数共享，从而让2D生成知识迁移到3D任务。
研究动机
当前3D生成面临严重的数据稀缺问题。与互联网上近乎无限的2D图像数据相比，高质量3D资产的稀缺程度高出数个数量级，这使得3D合成在稀疏监督下严重欠约束。现有方法通常通过间接流程来规避这一限制：在2D图像空间进行编辑，然后通过迭代优化将结果提升到3D。虽然有效，但这些间接方法经常牺牲几何一致性，并且缺乏原生2D工作流的直接性。更根本的问题是，不同生成任务根植于不同的统计先验：文本到图像任务专注于建模外观分布，而文本到3D任务需要一致的几何推理。如果缺乏精细协调，联合训练可能既引入有益的迁移又引入有害的任务干扰，竞争梯度可能最终降低学习的3D表示质量。文中数据显示，预训练数据集包含63.7M文本-图像对，但只有9M文本-3D对，这种数据规模的不平衡直接加剧了3D学习的困难。
本文的目标是本文的目标是构建一个3D原生基础模型，通过统一文本到2D和文本到3D生成来解决3D数据稀缺问题。具体而言，通过将文本、图像和3D几何表示为共享序列空间中的离散token，模型可以利用丰富的2D观测作为丰富的几何先验来强化3D表示。核心假设是图像和3D之间的跨模态生成一致性可以作为隐式结构约束：通过强制模型遍历语义-视觉-几何循环（例如文本→图像→3D→图像），得到的表示可以同时满足高层语义意图、外观保真度和多视图几何一致性，同时减轻外观和几何目标之间的有害干扰。
与已有工作不同的是，本文的独特切入角度是提出交错X-to-X训练范式，而不是简单聚合多个跨模态任务。关键创新在于认识到跨模态生成一致性可以作为隐式结构约束，这与其他工作的本质区别在于：不是简单地混合2D和3D数据，而是通过设计特定的生成路径，使模型在训练中必须保持2D和3D之间的几何对应关系。这种设计允许利用异构配对数据集（不需要完全对齐的文本-图像-3D三元组）来协调多样化的跨模态任务，在缓解3D数据稀缺的同时实现有效的跨模态知识迁移。
核心方法
Omni123的整体思路是构建一个统一的自回归生成框架，将文本、图像和3D几何都表示为共享序列空间中的离散token。直觉上，不同模态提供对同一底层对象的互补观测：文本描述高层语义意图，图像捕捉丰富的外观线索和部分几何提示，而3D表示提供明确的空间结构和多视图一致性。通过训练模型遍历语义-视觉-几何循环，可以强制这些表示之间保持一致，从而用丰富的2D观测约束3D学习。技术路线包括：1）使用1D离散tokenizer将图像和3D几何压缩为紧凑token序列；2）采用双流自回归Transformer处理条件流和生成流；3）通过三阶段训练（预训练、持续训练、监督微调）逐步建立跨模态对齐、视角感知和生成一致性。
核心创新点是提出交错X-to-X训练范式，利用跨模态生成一致性作为隐式结构约束。与现有方法的本质区别在于：1）将所有跨模态任务统一为自回归下一个token预测，共享离散词表和损失函数；2）通过设计特定的生成路径（如文本→图像→3D→图像）强制模型保持2D-3D几何对应；3）引入视角token机制实现多视图一致性；4）使用交错SFT序列将图像生成、3D重建和新视角渲染链入单个自回归序列，自然强制跨模态一致性。这种设计使得大规模文本→图像训练（63.7M样本）可以强化文本→3D任务（仅9M样本）所需的共享文本条件路径，而3D→图像任务作为图像→3D的逆过程，迫使模型保持显式的3D到2D几何对应，从而受益前向的图像→3D重建。
方法步骤详情
方法分为四个主要步骤。第一步是数据预处理：构建包含文本-图像对（63.7M）、图像-3D对（120M）、文本-3D对（9M）的多模态数据集，以及用于SFT的交错三元组（22M）。文本-3D对通过多粒度描述管道构建，包括视觉思维链分析、描述和分类、人类描述模仿三个阶段。第二步是tokenizer训练：3D形状tokenizer采用Cube3D，基于Perceiver编码器将点云压缩为1024个连续潜在向量，通过最优传输向量量化离散化；图像tokenizer采用两阶段策略，先训练连续VAE（DINOv3-L编码器+832维潜在空间），再冻结VAE训练1D Q-Former（1024查询token，64K codebook，64维）。第三步是模型预训练：在四个核心任务上训练（文本→图像、文本→3D、图像→3D、3D→图像），使用温度加权采样平衡数据池（T控制重平衡程度），分为两个阶段（256×256分辨率400K步，512×512分辨率250K步），总计约1.16T token。第四步是持续训练和监督微调：持续训练引入6个视角token实现视角感知（120K步），SFT引入交错序列（Text→Image→3D、Text→3D→Image、Img×N→3D等）强制跨模态一致性（115K步）。最后，指令式3D编辑通过在3DEditVerse数据集（116,309训练对）上微调实现，将源3D token作为非因果前缀，编辑指令通过交叉注意力注入。
技术新颖性
技术新颖性体现在多个方面。首先，这是首个将文本、图像、3D几何统一到共享序列空间的自回归框架，通过1D离散token实现无缝拼接，避免了模态特定的位置编码和注意力模式。其次，提出的交错训练范式通过遍历语义-视觉-几何循环，将跨模态生成一致性作为隐式结构约束，这是一个全新的训练目标设计。第三，图像tokenizer的两阶段训练策略（先训练连续VAE再训练1D Q-Former）是创新的，有效缓解了离散tokenizer的量化损失问题。第四，视角token机制引入了显式的视角条件，使得模型可以学习到多视图一致性，填补了预训练阶段缺乏视角感知的空白。最后，交错SFT序列设计将多个生成任务链入单个自回归序列，通过依赖关系自然强制跨模态一致性，这是相对于独立任务训练的重要创新。
实验结果
实验结果验证了统一2D和3D生成的有效性。在文本到3D形状生成任务中，Omni123的2.2B模型在语义-几何对齐上显著超越基线：ULIP-T达到0.1832，超过7B参数的ShapeLLM-Omni（0.1649）和1.6B参数的Cube3D（0.1726）；Uni3D-T达到0.2855，同样超越基线。这证明交错跨模态训练是比盲目扩展孤立单模态生成器更参数高效、可扩展的路径。定性结果显示，两阶段流水线（文本→图像→3D）生成的中间图像质量高，但图像到3D转换经常坍缩成有伪影的网格（几何扁平、肢体断裂、细粒度结构丢失），而原生3D基线受限于3D数据稀缺，组合泛化能力弱（复杂提示导致特征纠缠、语义不忠的几何）。Omni123在单个自回归序列中生成高保真2D图像和结构健全的网格，成功表达细粒度解剖特征和精确的多对象空间关系。在指令式3D编辑任务中，Omni123在Edit3D-Bench上的添加和删除操作中实现最低的平均Chamfer Distance（0.0684），显著优于ShapeLLM-Omni（0.2392）、Steer3D（0.1190）等基线。这证明交错训练学到的跨模态表示可以有效迁移到编辑任务，即使在相对有限的微调数据（116K对）下也能实现忠实的指令跟随。图像tokenizer评估显示，连续VAE在ImageNet-1K 512×512测试集上超越Flux.1（FID 0.017 vs 0.017，PSNR 39.15 vs 37.69，SSIM 0.966 vs 0.963），离散管道大幅超越最近的最先进tokenizer（FID 0.432 vs LlamaGen的0.839和Show-o的1.183，PSNR 24.61 vs 23.96和24.20）。定性结果显示，Omni123在物体中心图像、场景级细节、人像细节和文本渲染方面都保持优越的重建质量，特别是高保真文本渲染和logo重建。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本到3D形状生成 | ULIP-T | 0.1832 | ShapeLLM-Omni (0.1649), Cube3D (0.1726) | 相比ShapeLLM-Omni提升11.1%，相比Cube3D提升6.1% |
| 文本到3D形状生成 | Uni3D-T | 0.2855 | ShapeLLM-Omni (0.2666), Cube3D (0.2768) | 相比ShapeLLM-Omni提升7.1%，相比Cube3D提升3.1% |
| 3D编辑（添加） | Chamfer Distance | 0.0736 | ShapeLLM-Omni (0.2546), Steer3D (0.1404) | 相比ShapeLLM-Omni降低71.1%，相比Steer3D降低47.6% |
| 3D编辑（删除） | Chamfer Distance | 0.0632 | ShapeLLM-Omni (0.2237), Steer3D (0.0976) | 相比ShapeLLM-Omni降低71.7%，相比Steer3D降低35.2% |
| 图像tokenizer重建 | FID | 0.432 (离散) | LlamaGen (0.839), Show-o (1.183) | 相比LlamaGen降低48.5%，相比Show-o降低63.5% |
| 图像tokenizer重建 | PSNR | 24.61 (离散) | LlamaGen (23.96), Show-o (24.20) | 相比LlamaGen提升2.7%，相比Show-o提升1.7% |
| 图像tokenizer重建 | SSIM | 0.759 (离散) | LlamaGen (0.664), Show-o (0.680) | 相比LlamaGen提升14.3%，相比Show-o提升11.6% |
局限与改进
作者在结论中承认了几个局限性。首先，3D tokenizer使用固定网格分辨率，这限制了表示复杂几何和细粒度细节的能力，未来工作将探索自适应分辨率tokenization。其次，当前依赖固定规范视角（前、后、左、右、顶、底共6个），限制了表示任意相机配置和动态视角变化的能力。第三，当前方法专注于物体级别的生成，扩展到场景级别的生成需要处理复杂的空间关系和遮挡，是一个重要的开放挑战。第四，当前对材料和物理建模的支持有限，这对于逼真的3D内容创建至关重要。此外，从自己的观察来看，数据构建管道非常复杂，包括多个阶段的渲染、过滤、描述生成、质量评估等，这可能会限制其他研究者的使用和复现。训练成本也很高，需要256×H100 GPU，看到了约1.16T token，这对大多数研究实验室来说是一个显著的门槛。
独立分析的弱点
独立分析的弱点包括：1）视角token机制虽然引入了多视图一致性，但仍然依赖固定规范视角，这在处理复杂场景和非标准相机配置时可能不足。改进方向可以是学习连续的视角表示或引入相机参数嵌入。2）3D tokenizer的固定分辨率限制了表示细粒度几何细节的能力，特别是对于需要高频纹理和复杂拓扑的对象。改进方向可以是引入自适应或多分辨率tokenization，类似于图像处理中的金字塔结构。3）当前方法主要专注于单对象生成，对于场景级生成和多对象交互建模的支持有限。改进方向可以是扩展到场景图表示或引入空间关系建模机制。4）材料和物理属性建模不足，限制了对真实世界物体的完整表示。改进方向可以是将材料属性编码到token序列中，或引入物理感知的生成目标。5）数据构建管道的复杂性降低了方法的可访问性，改进方向可以是简化数据流程或提供自动化工具链。
未来方向
作者提出的未来研究方向包括：自适应分辨率tokenization，以更好地表示复杂几何和细粒度细节；场景级生成，扩展从单对象到完整场景的生成能力；材料和物理建模，引入更完整的3D表示。基于当前成果的可延伸方向包括：动态视角生成，从固定规范视角扩展到连续相机运动和交互式视角控制；跨模态编辑统一，将2D图像编辑和3D编辑整合到统一的指令系统中；物理感知生成，引入物理约束确保生成3D物体的真实性和交互性；多对象关系建模，扩展到场景图表示和复杂空间关系推理；低资源部署，探索模型压缩和蒸馏技术以降低部署门槛；增量学习，支持在预训练模型上快速适应新领域和新任务。
复现评估
根据论文信息，模型训练使用了大规模数据集（214.7M总样本，475B token）和大量计算资源（256×H100 GPU，总计约1.16T token）。预训练阶段包括两个阶段：第一阶段400K步（256×256，峰值学习率5e-4），第二阶段250K步（512×512，峰值学习率1e-4）。持续训练120K步（学习率1e-5），监督微调115K步（学习率1e-6，有效batch size 256）。3D编辑微调10K步（学习率1e-5，有效batch size 128，32×H100 GPU）。论文提到了使用公开数据集（DiffusionDB、Objaverse、ImageNet-1K）和私有/合成数据，但未明确说明代码和模型权重是否开源。考虑到训练规模和算力需求，完全复现整个训练流程对大多数研究实验室来说具有挑战性。然而，论文提供了详细的架构配置、训练超参数和数据构建流程，这为部分复现或在此基础上进行后续研究提供了基础。图像tokenizer的评估在标准基准（ImageNet-1K）上进行，结果具有可比性。文本到3D和3D编辑任务使用自定义评估协议和提示集，可能影响与其他工作的直接比较。
论文图表
