Muses：无需训练设计、组合和生成不存在的幻想 3D 生物 Muses: Designing, Composing, Generating Nonexistent Fantasy 3D Creatures without Training

Muses 的方法步骤如下：第一阶段，骨架引导的概念设计。首先，对于提示文本 C 中提到的 M 个生物，使用 Trellis 生成相应的 3D 资产集合，并使用自动绑定解决方案生成对应的骨架集合。然后，进行图基骨架分类：通过连通分量分析、冗余节点移除和路径优化对骨架进行清理，得到清理后的骨架。估计占主导方向 delta，使用启发式规则将骨架语义分解为身体、翅膀、腿、头、尾等部分。接着，使用 LLM（Qwen-Plus）引导的装配推理：给定离散骨架和相应的方向集合 Delta，LLM 将自然语言装配请求和每个候选骨架的结构化属性作为输入，推断连接关系并将请求分解为原始操作序列 Rot、Trans、Scale，生成几何一致的布局。第二阶段，基于 SLAT 的内容组成。首先，预测蒙皮权重矩阵 W 属于 R 的 Q 乘 J 维，将骨架段映射到几何支撑。然后，进行骨架到 SLAT 区域映射：将关节级权重聚合并归一化为区域级权重，对于每个 SLAT 位置 p_i，找到 k 个最近网格顶点并计算归一化反距离权重，将区域级权重转移到 SLAT 级权重 W_SLAT。接着，进行基于体素的几何和纹理插值：考虑到在显式的 64 的立方 SLAT 空间直接插值由于活动体素的稀疏性仍然留下大的组合缝隙，转而在更紧凑的 16 的立方体素空间 S 中进行插值，利用线性插值在体素 S、权重 W_SLAT 和特征集合上进行，确保平滑连贯的几何以及跨区域的相对和谐的纹理。当多个区域占据同一个体素时，合并相应的权重和特征。最后，解码得到的表示 z 生成粗略的生物 X。第三阶段，风格一致的纹理生成。首先，进行几何不变纹理编辑：给定粗略生物 X，渲染最优帧作为参考图像 I，使用 FLUX.1 Kontext 模型引导纹理生成。C_pos 和 C_neg 主要强调保留输入 I 的几何结构，同时生成与特定艺术风格（如神话风格、吉卜力风格、蒸汽朋克风格）对齐的纹理。然后，进行风格意识的创意生成：给定编辑后的图像 I 和粗略几何集合，使用第二阶段的 T_L 获得 SLAT 集合。最后，解码潜在 z 获得精细生物 X。

Muses 的技术新颖性体现在多个方面。首先，这是首个无训练的幻想 3D 生物生成框架，通过骨架驱动的设计-组合-生成范式实现了高度创意的组合生成。其次，提出了图基骨架分类方法，使用启发式规则将骨架语义分解为身体、翅膀、腿、头、尾等部分，实现了自动化的骨架理解。第三，提出了 LLM 引导的装配推理方法，将自然语言描述映射到原始操作序列，实现了语义感知的骨架布局生成。第四，提出了基于蒙皮权重的骨架到 SLAT 区域映射方法，建立了骨架结构与潜在表示之间的显式对应关系。第五，提出了在紧凑潜在空间（16 的立方）进行几何和纹理插值的方法，相比直接在显式 SLAT 空间（64 的立方）插值，能够更好地弥合组合缝隙，产生平滑连贯的几何和纹理。第六，提出了几何不变纹理编辑方法，通过 FLUX.1 Kontext 模型生成风格一致且结构对齐的纹理。最后，整个方法是无训练的、前馈的，且在单个 NVIDIA RTX A6000 GPU 上可以在一分钟内生成一个实例，相比需要大量优化的 SDS 方法具有显著的效率优势。

从独立分析的角度来看，Muses 存在一些潜在弱点。首先，方法的鲁棒性严重依赖基础模型的质量，包括 3D 生成模型（Trellis）、骨架生成模型（Puppeteer）和图像编辑模型（FLUX.1 Kontext）。如果这些模型在特定输入上失败，整个管道就会失败。例如，如果 Trellis 无法生成高质量的 3D 资产，骨架提取和后续组装都会受影响。改进方向可以是集成多个基础模型，设计模型选择或集成机制来提高鲁棒性。其次，LLM 推理可能会产生不合理的骨架布局，特别是在处理高度复杂或语义模糊的描述时。改进方向可以是设计更精细的提示工程，引入物理约束验证，或者使用强化学习来学习更优的布局策略。第三，方法假设输入对象可以被骨架化，这限制了其在抽象物体上的应用。改进方向可以是探索更适合非骨架化对象的表示方法，如基于 3D 边界框或部件层次的表示。第四，在紧凑潜在空间（16 的立方）进行插值可能会丢失一些高频细节，影响最终质量。改进方向可以是设计多尺度插值策略，在粗尺度进行平滑插值，在细尺度保留原始细节。第五，纹理生成依赖于 FLUX.1 Kontext 模型的质量，如果生成的纹理图像与几何不对齐，会影响最终效果。改进方向可以是设计几何约束的纹理生成方法，或者使用 3D 感知的纹理扩散模型。

未来研究方向包括作者提出的和基于成果可延伸的。作者提出未来将 Muses 扩展为灵活的 3D 对象编辑工具，进一步释放游戏、虚拟现实和动画中交互式应用的新可能性。基于成果可以延伸的方向包括：（1）扩展到更广泛的类别：目前 Muses 专注于可骨架化的生物，未来可以探索适用于更广泛 3D 对象类别的方法，如家具、建筑、机械零件等，可能需要设计不同的结构表示和组装策略。（2）支持动态内容生成：目前的 Muses 生成静态 3D 生物，未来可以扩展到生成可动画的生物，包括合理的运动学和动力学约束。（3）交互式创作系统：将 Muses 集成为交互式创作工具，允许用户通过 GUI 实时调整骨架布局、编辑纹理、预览生成结果，降低创作门槛。（4）多模态输入支持：除了文本描述，支持图像、草图、语音等多种输入方式，提供更直观的创作接口。（5）大规模数据集构建：构建幻想 3D 生物的大规模数据集，包括多样的组合描述和高质量生成结果，用于训练端到端的生成模型。（6）质量评估和自动优化：设计更好的自动评估指标来衡量生成质量，并开发自动优化策略来改进失败情况。（7）风格迁移和艺术增强：探索将不同的艺术风格自动应用到生成的生物上，增强视觉表现力和创意多样性。

复现评估方面，论文提供了详细的实现细节。框架基于 Trellis 主干，使用无分类器引导尺度 5.0 和采样步骤 25，所有实验都在单个 NVIDIA RTX A6000 GPU 上进行。骨架生成和蒙皮权重预测遵循 Puppeteer，使用块深度 1。使用 Qwen-Plus 进行 LLM 引导的装配推理，使用 FLUX.1 Kontext 进行风格图像编辑。在此设置下，单个实例可以在一分钟内生成。评估协议方面，从自动和人类两个角度评估 Muses。为了评估文本-图像对齐，随机选择 30 个样本并评估 CLIP-Score。为了弥补 CLIP-Score 在文本输入包含高度组合或组合描述时不太可靠的限制，进一步使用 VQAScore。此外，进行用户研究以捕获人类偏好，随机采样 10 个示例并展示给 60 名志愿者，参与者被要求评估每个结果的生成质量和文本-图像一致性，并在竞争方法中选择他们偏好的方法。关于开源情况，论文提到项目页面，但没有明确说明代码是否开源。基础模型包括 Trellis、Puppeteer、Qwen-Plus 和 FLUX.1 Kontext，其中 Trellis 是开源的，Puppeteer 有论文和实现，Qwen-Plus 和 FLUX.1 Kontext 是可访问的商业 API。复现难度中等，主要挑战在于集成多个基础模型和处理它们之间的数据流，但论文提供了详细的实现细节和参数设置。数据方面，论文没有使用特定的幻想 3D 生物数据集，而是基于文本描述使用 Trellis 生成 3D 资产，然后进行组装。算力要求方面，需要单个 NVIDIA RTX A6000 GPU，这是一个相对高端的 GPU，但相比需要大量优化的 SDS 方法，Muses 的计算开销相对较小。