SK-Adapter：基于骨架的原生3D生成结构控制 SK-Adapter: Skeleton-Based Structural Control for Native 3D Generation

方法步骤分为四个主要部分。首先，拓扑感知编码阶段，将输入骨架表示为图 $G = (V, E)$，其中 $V$ 表示关节坐标集合 $J \in \mathbb{R}^{N \times 3}$，$E$ 表示层次连通性。使用图相对位置编码（GRPE）捕获骨架中的复杂空间和结构关系，对每对关节 $i, j$，学习拓扑距离嵌入 $E_q^D, E_k^D \in \mathbb{R}^{(d_{max}+1) \times F}$ 和关系嵌入 $E_q^R, E_k^R \in \mathbb{R}^{6 \times F}$，形成结构注意力偏置 $a_{ij}^D = q_i \cdot E_q^D[D_{ij}] k_j \cdot E_k^D[D_{ij}]$ 和 $a_{ij}^R = q_i \cdot E_q^R[R_{ij}] k_j \cdot E_k^R[R_{ij}]$，最终注意力分数为 $a_{ij} = \frac{q_i \cdot k_j a_{ij}^D a_{ij}^R}{\sqrt{F}}$，节点特征通过 $z_i = \sum_{j=1}^J \hat{a}_{ij} (v_j E_v^D[D_{ij}] E_v^R[R_{ij}])$ 进一步丰富，得到骨骼嵌入 $f_{skel} \in \mathbb{R}^{J \times F}$。其次，骨架交叉注意力机制阶段，在每个流变换器块中，使用来自预训练骨干的中间体素特征图 $h_{base}$ 作为查询，编码后的骨骼特征 $f_{skel}$ 作为键和值，通过标准注意力操作 $f_{attn} = \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$，允许每个空间体素动态关注最相关的骨骼关节。第三，集成策略阶段，将 $f_{attn}$ 通过零初始化线性层 $W_o$ 得到 $\hat{h}_{attn} = W_o f_{attn}$，通过残差连接更新最终隐藏状态 $h' = h + \hat{h}_{attn}$，这种设计确保训练初期SK-Adapter贡献零信号，允许模型保留原始Trellis流水线的高质量生成先验。最后，训练阶段，采用潜在流匹配（LFM）范式，在预训练3D体素自动编码器的紧凑潜在空间中进行监督，训练SK-Adapter增强的模型 $v_\theta$ 预测将噪声变换为骨架条件目标的速度场，损失函数为 $\mathcal{L}_{FM} = \mathbb{E}_{t, \mathbf{z}_0, \mathbf{z}_t} \|v_\theta(\mathbf{z}_t, t, \mathbf{c}_{text}, \mathbf{f}_{skel}) - \mathbf{u}_t(\mathbf{z}_0)\|$，训练期间整个变换器骨干保持冻结，只优化GRPE编码器、交叉注意力层和零初始化投影层。

技术新颖性体现在多个方面。首次实现原生3D空间中的骨架控制，避免了2D投影的空间歧义性和多阶段重建的质量损失。提出轻量级适配器参数高效微调策略，完全冻结骨干网络参数，避免灾难性遗忘，保持基础模型的强大生成先验。设计拓扑感知编码（GRPE）机制，显式建模骨架的层次连通性和运动学约束，使模型能够理解父子、兄弟、末端效应器等结构关系。引入专用骨架交叉注意力层，在骨干网络的每个块中注入骨骼条件，实现体素特征与骨架信息的动态交互。支持基于骨架的无调优区域编辑，通过修改骨架和边界框实现添加、重新定位等灵活操作。构建大规模Objaverse-TMS数据集，包含24k高质量文本-网格-骨架三元组，解决了结构引导3D生成的数据稀缺瓶颈。消融实验验证了交叉注意力层和拓扑编码的关键作用，删除交叉注意力导致结构性能下降127%，去掉拓扑编码导致结构性能下降13.4%。

独立分析的弱点包括在处理复杂拓扑结构时性能下降，如手部、多分支结构等，这可能是由于GRPE编码对复杂拓扑的表达能力有限，缺乏显式的自遮挡处理机制，导致模型在生成具有自遮挡的复杂姿态时可能产生不一致的几何。面部生成不准确，这是基础模型的共同问题，但SK-Adapter没有针对面部区域引入特殊先验，导致面部特征经常出现扭曲。多模态对齐能力有限，虽然CLIP得分有所提升，但文本提示和生成3D资产之间的语义对齐仍受基础模型和文本编码器的限制，复杂或高度特定的属性无法完美转化为3D几何和纹理。缺乏物理约束，生成的3D资产可能不符合物理现实，如碰撞检测、运动学可行性等，这些在动画和游戏应用中非常重要。对骨架质量敏感，方法假设输入骨架是合理的和可行的，但对于不合理或不可行的骨架（如不可能的关节角度、违反解剖学的拓扑等），模型可能生成不合理的3D资产。改进方向包括开发更先进的拓扑编码机制，如基于图的神经网络（GNN）或层级注意力机制，以更好地处理复杂拓扑结构；引入自遮挡处理机制，通过显式的深度排序或可见性预测来解决自遮挡问题；引入面部特定的先验，如面部landmarks或表情参数，以改善面部生成质量；探索多模态条件方法，如结合文本、图像、骨架等多种条件信号，以增强生成能力和语义对齐；引入物理约束，如碰撞检测、运动学可行性检查等，以提高生成资产的物理合理性。

作者提出的未来工作方向包括集成更先进的3D基础模型，如更高分辨率、更强泛化能力的模型，以提升生成质量和保真度；利用更强大的文本编码器，以增强文本到3D的对齐能力，使复杂或高度特定的属性能够更好地转化为3D几何和纹理；在更大规模的数据集上训练，以提升模型的泛化能力和鲁棒性。基于成果可延伸的研究方向包括探索更复杂的骨架控制和编辑场景，如多骨架条件生成（如双手交互、多角色交互）、骨架驱动的一致性生成（给定骨架序列生成一致性动画）、骨架引导的3D重建（从单张或多张图像重建带骨架的3D资产）；开发更高效的编码器和解码器，如基于稀疏表示的编码器、基于体素化的解码器等，以提升生成效率；探索更丰富的编辑操作，如骨架引导的纹理编辑、材质编辑、部件替换等，以增强编辑能力和灵活性；研究骨架控制与其他控制信号的协同工作，如文本、图像、形状先验等，以实现更精确和可控的3D生成；开发用户友好的交互界面，使用户能够方便地设计和编辑骨架，实时预览生成结果，降低使用门槛；探索在其他3D任务中的应用，如3D重建、3D动画、3D扫描等，以扩展应用范围和实用价值。

复现评估方面，论文提供了详细的实现细节，包括训练配置（200个epoch、批量大小16、学习率 $1 \times 10^{-5}$）、评估协议（TMS-eval测试集包含140个测试实例，包括54个人形、63个动物和23个对象）、评估指标（ReRigging Score、CLIP Score、PickScore、KD-DINO）和消融实验设置（在8k子集上训练200个epoch）。论文还构建了Objaverse-TMS数据集，包含24k高质量文本-网格-骨架三元组，基于Anymate和CAP3D数据集，经过过滤不完整绑定后得到。然而，论文没有明确说明代码和模型是否会开源，也没有提供数据集的下载链接或访问方式。算力需求方面，训练SK-Adapter需要大量GPU资源，论文没有明确说明硬件配置，但考虑到Trellis-text-large骨干网络（L=24个块）和151M可训练参数的规模，可能需要多张高端GPU（如A100或H100）才能在合理时间内完成训练。推理阶段相对高效，可以在15秒内生成一个3D资产，但对GPU内存仍有较高要求。复现难度方面，需要熟悉3D生成模型、流匹配、图神经网络等相关技术，需要实现GRPE编码器、交叉注意力层等组件，需要处理3D体素数据和拓扑结构，需要实现ReRigging Score等自定义评估指标。总体来说，复现难度中等偏高，需要有一定的深度学习和3D计算机视觉基础，以及足够的计算资源。