HY3D-Bench：面向3D资产生成的统一开源生态系统 HY3D-Bench: Generation of 3D Assets
腾讯混元开源25万高质量3D资产库，推动3D生成研究。
前置知识
3D VAE（变分自编码器）
3D VAE是一种将三维几何数据（如点云）压缩为低维潜在表示的生成模型。在本文中，VAE编码器将输入点云 $P \in \mathbb{R}^{N \times (3+C)}$（其中 $C$ 为法向量维度）编码为潜在向量集 $Z \in \mathbb{R}^{L \times d}$，解码器则从潜在表示重建有符号距离函数（SDF）场 $F_{sdf}$，最终通过等值面提取获得显式网格输出。这一过程可形式化为 $Z = E(P), F_{sdf} = D(Z)$。
本文提供的25万训练数据正是为了直接支持3D VAE和扩散模型的训练，理解这一概念是理解数据用途的关键。
扩散模型（Diffusion Model）与流匹配（Flow Matching）
扩散模型通过逐步向数据添加噪声并学习逆向去噪过程来生成数据。在3D生成中，给定图像条件 $c_i$（如DINO-v2提取的特征），DiT网络预测噪声或速度场。流匹配的训练目标是将简单噪声分布 $x_0 \sim \mathcal{N}(0, I)$ 变换为复杂数据分布 $x_1 \sim \mathcal{D}$，损失函数为 $\mathcal{L} = \mathbb{E}_{t,x_0,x_1,c} \| v_\theta(x, t, c) - (x_1 - x_0) \|_2^2$。
Hunyuan3D 2.1使用DiT架构的扩散模型进行图像到3D的生成，本文的标准化数据直接用于训练这类模型。
水密网格（Watertight Mesh）
水密网格是指没有孔洞、边界完全封闭的网格模型，形成一个拓扑上封闭的表面，可以定义明确的内部和外部区域。本文通过计算无符号距离场（UDF）在 $512^3$ 分辨率均匀网格上，使用Marching Cubes提取薄壳网格，再通过Delaunay三角剖分构建体积四面体网格，最后用图割优化确定内外标签，提取边界表面得到最终水密网格。
水密网格是训练3D生成模型的必要前提——只有水密网格才能可靠地采样SDF场和点云，直接关系到训练数据的质量。
Score Distillation Sampling (SDS)
SDS是由DreamFusion提出的优化方法，利用预训练的2D文本-图像扩散模型作为先验来优化3D表示（如NeRF或高斯），使得渲染视图在扩散模型下具有高似然。该方法将扩散去噪损失替换为基于梯度的分数匹配目标，从而将2D基础模型的语义知识蒸馏到3D结构中，无需3D标注数据。但SDS方法常受"Janus问题"（多面伪影）困扰。
论文在相关工作中系统梳理了包括SDS在内的3D生成四大范式，HY3D-Bench的数据旨在支持从SDS到原生生成等多种方法的研究。
VecSet表示与3DShape2Vecset
3DShape2Vecset借鉴2D Stable Diffusion的处理范式，构建3D VAE将3D形状压缩为紧凑的VecSet（向量集）表示。这种表示将3D几何编码为固定长度的向量序列，使得可以像处理2D图像一样构建扩散模型进行条件和无条件3D生成。相比隐式方法如NeRF，VecSet保留了空间结构信息，且可扩展性更强。
Hunyuan3D 2.1采用VecSet作为核心3D表示，本文的训练数据直接以适合VecSet VAE训练的格式提供（点云+SDF）。
部件级分解（Part-level Decomposition）
部件级分解是将整体3D网格拆分为语义一致的部件集合的过程。本文采用基于拓扑连通性的分裂策略，首先利用连通分量分析进行初始分裂，然后通过面积阈值合并过小的碎片部件。最终大部分资产的部件数控制在10-40个之间，同时提供每个部件的独立水密网格、多视角RGB渲染和部件ID掩码。
24万部件级数据是本文的核心贡献之一，支持部件感知生成、细粒度理解和可编辑3D生成等下游任务。
研究动机
当前3D生成领域面临严重的数据处理瓶颈。虽然Objaverse和Objaverse-XL等大规模3D数据集提供了海量原始资产，但这些原始数据存在多重关键问题：从技术规格层面，不同3D建模软件（如Blender、Maya、3ds Max）产出的资产在坐标系定义上不一致（左手系vs右手系、Y-up vs Z-up），导致在不同环境中加载时出现方向错误或镜像翻转；许多资产采用多层节点层次结构并包含隐藏变换矩阵，极大增加了数据处理复杂度。从数据质量层面，大量资产存在严重的几何缺陷——非流形边、自相交面和孤立顶点等拓扑问题使其无法用于需要水密网格的任务（如物理仿真、3D打印）；部分资产存在UV展开错误和纹理分辨率过低的问题。从数据生态层面，类别分布严重失衡（长尾分布），常见类别（如椅子、桌子）资产过剩，而许多对实际应用重要的稀有类别极度匮乏；绝大多数资产是整体式网格，缺乏层次化的部件分解信息。这些问题意味着研究人员需要耗费巨大的GPU和CPU计算资源来进行预处理，且需要掌握专业的数据处理技术，这成为了3D生成研究的显著瓶颈。
本文的目标是本文旨在建立一个统一的、高质量的、开源的3D内容生态系统——HY3D-Bench，具体包含三个核心目标。第一，从Objaverse和Objaverse-XL大规模3D仓库中筛选并处理出25.2万个高质量3D资产，提供训练就绪的水密网格和多视角渲染图像，覆盖19个顶级类别、74个中级子类别和389个细粒度分类。第二，提供24万结构化部件级分解数据，每个样本平均包含14.13个部件（中位数11），支持部件感知生成和细粒度感知任务。第三，构建可扩展的AIGC合成流水线，利用LLM和扩散模型的生成能力合成12.5万个长尾类别资产，覆盖20个顶级类别、130个中级子类别和1252个细粒度分类。通过训练Hunyuan3D-2.1-Small模型（832M参数）验证数据有效性，建立标准化的评估框架。
与已有工作不同的是，本文的独特切入角度在于提供"训练就绪"的端到端数据产品，而非仅提供数据过滤脚本或部分处理结果。与Objaverse++（仅从质量维度过滤50万样本）、Objaverse-OA（仅解决方向归一化问题，标注1.4万样本）、Canonical Objaverse Dataset（自动化标注3.2万样本）和Objaverse-MIX（提供90万样本的多模态表示但渲染视角固定、点云采样策略单一）等先前工作不同，HY3D-Bench采用完整的处理流水线覆盖格式标准化、拓扑修复、高质量渲染和多样化采样等全流程。更重要的是，本文同时提供了全级别数据（25万）、部件级数据（24万）和合成数据（12.5万）三个层次的数据，以及标准化的评估框架——包含400个高质量测试对象、统一的评估指标（ULIP和Uni3D）、固定实验设置和预训练模型检查点，使社区能够进行公平比较。这种"数据+基准+模型"的三位一体开源策略在3D生成领域尚属首次。
核心方法
HY3D-Bench的方法论可以分为三个层次，整体思路是先解决数据质量，再提供结构化信息，最后补充数据多样性。第一个层次是全级别数据处理，从Objaverse和Objaverse-XL的原始3D资产出发，通过数据渲染与格式转换（统一转为静态网格、多视角渲染）、资产过滤（排除几何质量差、纹理质量差、薄结构过多的数据）和后处理（水密化和点云采样）三个核心步骤，生成25.2万个训练就绪的资产包。第二个层次是部件级数据处理，对通过质量筛选的整体网格进行拓扑连通性分析的初始分裂，再通过面积阈值合并策略获得合理的部件粒度（最终部件数控制在10-40之间），然后对每个部件分别进行多视角渲染（RGB+部件ID掩码）和水密化处理。第三个层次是合成数据生成，采用"文本扩展→图像生成→3D生成"三步范式：利用LLM基于电商产品类别体系生成详细产品描述，通过LoRA微调的文生图模型（Qwen-Image）生成干净背景、合适视角的产品图像，最后使用HY3D-3.0模型生成高质量3D资产。这种自底向上的数据工程方法论确保了数据在质量、结构和多样性三个维度上的全面性。
本文的核心创新点在于构建了一个"数据驱动的基础设施"而非仅仅提出一个新算法。与现有工作专注于模型架构创新（如Treills的结构化体素表示、Craftsman的高效重建）不同，HY3D-Bench认识到3D生成领域的根本瓶颈不在于模型设计，而在于高质量训练数据的稀缺和数据处理流程的碎片化。其关键洞察是：高质量、结构化、多样化的数据本身就能显著提升模型性能——实验表明，仅832M参数的轻量模型在本文数据上训练后，性能接近1238M参数的Hunyuan3D 2.1和1156M参数的Treills。此外，本文创新性地将部件级分解信息（每个部件的独立水密网格、多视角渲染和2D掩码）与全级别数据整合在同一框架中，为部件感知生成提供了前所未有的数据支持。合成数据流水线则通过系统化的类别扩展（从1252个电商产品类别出发）和质量控制（LoRA微调确保生成图像适合3D重建），有效填补了真实数据在长尾类别上的空白。
方法步骤详情
全级别数据处理包含三个核心步骤。第一步数据渲染与格式转换：将来自不同3D建模软件的原始资产统一转换为单帧静态网格表示并校准方向，然后使用Blender进行多视角渲染（包含正交投影和透视投影两种相机模式），最终统一导出为PLY格式。第二步资产过滤：建立多维度筛选标准，排除三类不合格数据——几何质量差的数据（多边形数量过少、缺乏必要几何细节）、纹理质量差的数据（UV映射严重错误、纹理分辨率过低）、大面积薄结构数据（SDF场在薄结构处发生突变导致学习困难）。第三步后处理：水密化处理使用 $512^3$ 分辨率均匀网格计算无符号距离场UDF，以 $\epsilon = 1/512$ 参数使用Marching Cubes提取薄壳网格 $M$，在 $M$ 上采样点并应用Delaunay三角剖分构建体积四面体网格，通过图割优化确定四面体单元标签（0为内部，1为外部），提取边界表面作为最终水密网格。点云采样采用混合策略——表面均匀采样与边缘重要性采样相结合，确保采样点云既能充分表示整体几何形状又能准确捕捉局部细节特征。部件级处理在此基础上增加部件分裂步骤：首先进行连通分量分析获得初始分裂，排除部件数过少（<2）或过多（>888）的极端情况，然后计算每个部件的表面积并设置面积阈值，将远低于阈值的小碎片部件合并到相邻大部件中，最终对每个部件分别进行水密化和多视角渲染。合成数据生成采用三步范式：文本扩展阶段从电商平台收集1252个实物产品类别，利用LLM生成包含形状、材质、颜色、尺寸比例等视觉细节的多样化描述；图像生成阶段对Qwen-Image进行LoRA微调，使其生成干净背景、合适视角、信息丰富的物体图像；3D生成阶段使用HY3D-3.0模型从图像生成高质量3D资产。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在数据工程范式上，本文开创性地将3D数据处理提升为一个系统工程问题，而非简单的数据过滤或格式转换。从原始资产到训练就绪的完整流水线覆盖了格式标准化、方向校准、拓扑修复、高质量渲染、多策略采样等全部环节，这在3D生成领域尚属首次系统化实践。其次，在数据结构化方面，本文提供的部件级数据具有独特的信息密度：每个样本不仅包含整体水密网格，还包含每个部件的独立水密网格、多视角RGB渲染和部件ID掩码，形成了完整的"整体-部件-渲染-掩码"四元组数据结构，为部件感知生成和可控编辑提供了前所未有的数据基础。第三，在合成数据方面，本文的三步范式（LLM文本扩展→LoRA微调图像生成→HY3D-3.0 3D重建）形成了一个可控、可扩展的数据合成流水线，特别是通过LoRA微调控制生成图像的质量标准（干净背景、完整物体、合适位置、合理视角、信息丰富），确保了合成数据的3D重建质量。最后，在评估框架方面，本文提供了400个高质量测试对象、固定实验设置和预训练模型检查点，建立了可复现的标准化评估基准，这在碎片化的3D研究社区中具有重要的基础性价值。
实验结果
本文的核心实验发现令人信服地证明了高质量数据对3D生成的关键作用。在图像到3D生成任务上，作者使用缩减版的Hunyuan3D-2.1-Small模型（832M参数，相比原始模型减少了通道维度从2048到1536并移除了MoE结构）在本文提供的数据集上训练。采用渐进式token分辨率训练策略：从512个token开始逐步增加到4096个token，对应的批量大小从512降至128，学习率从 $1 \times 10^{-4}$ 降至 $1 \times 10^{-5}$，图像分辨率从224提升到518。最终在测试集上的评估显示，该轻量模型在Uni3D-I指标上达到0.3606，在ULIP-I指标上达到0.2424。与参数量大得多的基线模型相比：Trellis（1156M参数）的Uni3D-I为0.3641、ULIP-I为0.2454，Hunyuan3D 2.1（1238M参数）的对应指标为0.3636和0.2446，本文模型仅用67%的参数量就达到了接近的性能。而相比同等规模的Craftsman（852M参数），本文模型在两个指标上均有显著提升（Uni3D-I提升7.6%，ULIP-I提升7.1%）。在数据统计方面，全级别数据包含252676个资产（252000训练、276验证、400测试），覆盖19个顶级类别、74个中级子类别和389个细粒度分类；部件级数据包含240524个样本，平均部件数14.13、中位数11，24.63%的样本含2-5个部件、24.83%含6-10个、27.00%含11-20个；合成数据包含12.5万以上样本，覆盖20个顶级类别、130个中级子类别和1252个细粒度分类。这些结果表明，数据质量在3D生成中扮演着比模型规模更关键的角色。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图像到3D生成 | Uni3D-I（图像-网格一致性） | 0.3606 | Trellis 0.3641 / Hunyuan3D 2.1 0.3636 / CraftsMan 0.3351 | 接近SOTA（-1.0% vs Trellis），超过同规模CraftsMan +7.6% |
| 图像到3D生成 | ULIP-I（图像-网格一致性） | 0.2424 | Trellis 0.2454 / Hunyuan3D 2.1 0.2446 / CraftsMan 0.2264 | 接近SOTA（-1.2% vs Trellis），超过同规模CraftsMan +7.1% |
局限与改进
本文存在若干值得讨论的局限性。首先，评估指标的全面性不足——论文仅使用ULIP-I和Uni3D-I两个指标衡量图像-网格一致性，缺少对几何精度（如Chamfer Distance）、拓扑正确性（如水密性验证）和纹理质量的系统评估，这使得难以全面判断生成质量。其次，合成数据的质量验证不充分——论文声称合成数据具有"精细几何和清晰纹理"，但未提供合成数据与真实数据在下游任务上的对比实验，无法量化AIGC合成数据的实际贡献。第三，部件级数据缺乏下游任务验证——尽管提供了24万部件级数据，但论文未展示任何部件感知生成或可控编辑的实验结果，数据的实际应用价值有待证明。第四，数据的长尾分布问题虽然通过合成数据得到部分缓解，但1252个细粒度分类的合成数据是否真正覆盖了实际应用中的长尾需求，缺乏系统性分析。此外，Hunyuan3D-2.1-Small模型的渐进训练策略虽然有效，但训练总步数达到180万步（512 tokens 800k + 2048 tokens 600k + 4096 tokens 400k），计算成本仍然可观，论文未提供训练所需的GPU小时数和硬件配置信息。
独立分析的弱点
从独立分析的角度，本文存在以下可改进的弱点。第一，数据过滤标准缺乏可复现性——论文提到使用"多边形数量阈值和几何复杂度指标"进行过滤，但未给出具体的阈值数值和计算方法，这使得其他研究者难以复现相同质量的数据筛选结果。建议未来公开详细的过滤参数和自动化评估脚本。第二，合成数据流水线的可控性有限——当前使用LLM生成文本描述后再生成图像和3D模型，但生成过程缺乏对类别内多样性的精确控制。例如，对于"椅子"类别，可能生成大量外观相似的变体而非真正多样化的结构变体。建议引入结构化条件（如风格参数、复杂度等级）来增强生成多样性。第三，部件级数据的语义标注缺失——虽然提供了基于拓扑连通性的自动分裂结果，但缺少语义级别的部件标注（如"椅腿"、"椅背"），这限制了数据在需要语义理解的任务中的应用。建议结合现有的3D语义分割模型或引入人工标注来补充语义信息。第四，评估框架的测试集规模偏小——400个测试样本对于覆盖389个细粒度分类来说分布可能过于稀疏，某些类别可能仅有个位数样本，评估结果的统计显著性有待验证。建议扩大测试集规模或采用分层采样策略确保每个类别有足够的评估样本。
未来方向
论文在结论中提到了两个明确的未来方向：将框架扩展到包含动态资产（如可变形物体、铰接物体）和支持更广泛的下游任务。基于本文成果，还可以延伸出多个有价值的研究方向。首先，可以构建部件级别的大规模预训练数据集——目前24万部件级数据已提供了丰富的结构信息，但缺乏语义标注，结合本文的部件掩码数据可以训练部件级别的3D理解模型。其次，可以探索数据质量与模型性能的精确量化关系——本文已初步证明高质量数据可以让轻量模型达到大模型的性能，但缺少系统性的消融实验来量化每个数据处理步骤的具体贡献。第三，可以开发端到端的自动化数据处理流水线——将本文的多步处理流程封装为可一键运行的工具，降低社区使用门槛。第四，可以探索合成数据的主动学习策略——根据下游任务的需求动态调整合成数据的类别分布和复杂度，实现更高效的数据补充。第五，可以将数据生态系统扩展到4D（时空）领域，支持动态3D内容的生成和理解。
复现评估
在复现性方面，本文做出了积极的开源承诺。论文提供了三个代码仓库和数据集链接：GitHub仓库（https://github.com/Tencent-Hunyuan/HY3D-Bench）、HuggingFace数据集（https://huggingface.co/datasets/tencent/HY3D-Bench）和项目主页（https://3d.hunyuan.tencent.com）。数据方面，论文承诺开源25万全级别数据、24万部件级数据和12.5万合成数据，以及标准化的训练配置和预训练模型检查点，这在3D生成领域的开源力度是前所未有的。模型方面，Hunyuan3D-2.1-Small的架构细节已公开（基础通道维度1536、全Dense架构、832M参数），训练配置也以表格形式详细列出。然而，完整的复现仍面临一些挑战：水密化处理的计算成本较高（$512^3$ 网格分辨率的UDF计算和图割优化需要大量计算资源）；Blender多视角渲染需要配置特定的相机参数和渲染设置；LoRA微调Qwen-Image需要额外的训练数据和计算资源。此外，论文未提供完整的依赖环境说明和一键运行脚本，社区用户可能需要一定的调试工作。总体而言，开源数据和模型的可用性较高，但从原始Objaverse数据完全复现整个处理流水线仍需要相当的工程投入。
论文图表
该图展示了HY3D-Bench的整体架构概览。左侧展示了三种数据来源：手工制作数据、合成数据和分解数据。中间展示了核心处理流程——点云采样和多视角渲染生成训练就绪的数据。右侧展示了三大应用领域：感知、机器人学和3D生成。图中还标注了Text-to-Text、Text-to-Image和Image-to-3D的合成流程。
这张图是理解论文整体贡献的入口，清晰地展示了数据生态系统从数据源到应用的完整链路。