← 返回 2026-01-05

MorphAny3D：释放结构化隐空间在3D变形中的潜力 MorphAny3D: Unleashing the Power of Structured Latent in 3D Morphing

Xiaokun Sun, Zeyu Cai, Hao Tang, Ying Tai, Jian Yang, Zhenyu Zhang 📅 2026-01-01 👍 7 2026-07-13 08:35
3D生成 变形 注意力机制 结构化隐空间 训练无关
arXiv HuggingFace PDF

首个基于SLAT的训练无关3D变形框架，实现跨类别平滑变形

前置知识

结构化隐空间(SLAT)

SLAT是Trellis提出的3D表示方法，将3D模型编码为一组锚定在物体表面稀疏体素上的局部隐向量{(zi, pi)}Li=1。每个zi∈RC捕获精细几何和外观细节。SLAT具有规则且显式的结构，相比NeRF或3DGS等隐式表示更易于操作和理解，在无需训练的情况下可用于3D编辑、风格化等下游任务。

本文方法完全基于SLAT表示，理解SLAT的显式结构和双阶段生成流水线（SS阶段生成稀疏结构，SLAT阶段生成局部细节）是理解MCA和TFSA设计的前提。

注意力机制

注意力机制Attn(Q, K, V) = Softmax(QK^T/√dk)V是现代生成模型的核心组件。其中Q是查询特征，K和V是键值对特征。交叉注意力中K和V来自外部条件，自注意力中K和V来自隐特征本身。通过调整Q、K、V的融合方式，可以控制生成模型关注的信息来源和融合比例。

本文的核心创新MCA和TFSA都是对注意力机制的修改，在交叉注意力和自注意力层分别实现源目标和帧间特征的智能融合，这是理解方法技术细节的关键。

球形插值

球形插值(SLERP)是在高维球面上进行插值的方法，比线性插值更能保持隐空间的几何结构。给定两个向量a和b，插值权重α，SLERP计算为：sin((1-α)θ)/sin(θ)·a + sin(αθ)/sin(θ)·b，其中θ = arccos(a·b/(||a||·||b||))。本文用它计算帧n的初始特征finit,n，确保从源到目标的平滑过渡。

球形插值是生成初始变形特征的数学基础，理解这个插值过程有助于理解MCA和TFSA在什么基础上进行特征融合优化。

研究动机

现有3D变形方法面临三大核心问题。首先，匹配基方法（如DenseMatcher、最优传输、函数映射）依赖3D对应关系，但在跨类别变形时（如椅子到汽车）难以准确建立对应，导致结构不合理的变形结果（图2a）。其次，2D优先方法（DiffMorpher、FreeMorph）先生成2D变形序列再逐帧提升到3D，帧间独立生成导致时间不一致（图2b）。最后，直接插值Trellis的初始噪声和条件特征的方法缺乏结构合理性和时间连续性的显式约束，产生次优变形质量（图2c）。这些方法要么忽略纹理同时演化，要么跨类别泛化能力有限，难以生成语义连贯、时间平滑的3D变形序列。

本文的目标是本文目标是构建一个训练无关的3D变形框架，能够在不重新训练生成模型的情况下，实现跨类别3D对象之间的平滑、语义连贯且视觉美观的变形序列。具体包括：生成在几何结构上合理的中间形状，保持外观纹理的平滑演化，确保时间轴上的连贯性，并支持如解耦变形、3D风格传递等高级应用。

与已有工作不同的是，本文的独特切入角度是深入分析SLAT特征在注意力机制中的融合规律，发现与其在噪声或条件层面插值，不如直接在注意力机制内部融合SLAT特征更能产生合理的3D变形。基于这一洞察，本文提出Morphing Cross-Attention在交叉注意力层融合源目标2D条件，以及Temporal-Fused Self-Attention在自注意力层融合前一帧3D隐特征，这是首次系统性地利用SLAT的注意力融合模式来解决3D变形问题。

核心方法

MorphAny3D是一个基于Trellis的SLAT表示的训练无关3D变形框架。给定源对象xsrc和目标对象xtgt，首先通过3D反演获取初始噪声隐特征finitsrc、finittgt和图像条件csrc、ctgt。然后用球形插值计算帧n的初始特征finit,n（αn线性分布，N=49）。核心是两个注意力修改组件：Morphing Cross-Attention(MCA)在交叉注意力层分别计算源和目标的注意力输出后按(1-αn)和αn加权融合，确保结构连贯；Temporal-Fused Self-Attention(TFSA)在自注意力层融合当前帧和前一帧的KV特征，增强时间一致性。最后提出方向校正策略，通过旋转稀疏结构Pn并计算与前帧Pn-1的Chamfer Distance来选择最优方向，抑制方向跳跃。

核心创新点在于对SLAT融合模式的深入分析和利用。作者发现简单插值源目标的键值(KV)在交叉注意力会导致语义歧义（因为空间对齐的patch往往缺乏语义对应），而先分别计算注意力再融合能保持语义一致性。同时，KV-Fused Self-Attention虽提升平滑度但牺牲了合理性，因此TFSA改为融合当前帧和前帧的KV而非源目标，这样能在保持语义保真度的同时增强时间连贯性。这体现了与已有方法的本质区别：不是简单插值特征，而是精心设计注意力层面的信息融合策略。

方法步骤详情

方法步骤完整描述如下：步骤1：初始化——对于真实资产，通过3D反演在SS和SLAT两个阶段获取源和目标的初始噪声隐特征finitsrc、finittgt和图像条件；对于Trellis生成的资产，直接复用缓存的初始特征。步骤2：初始特征插值——用球形插值计算帧n的SS和SLAT初始特征finit,n，αn = n/N线性分布，N=49确保x0=xsrc(α0=0)和xN=xtgt(αN=1)。步骤3：SS阶段变形——在Sparse Structure Stage，用MCA替换标准交叉注意力，在TFSA替换标准自注意力，生成稀疏结构Pn。步骤4：方向校正——生成Pn的四个y朝向旋转候选Pn、P90°n、P180°n、P270°n，计算与Pn-1的Chamfer Distance，选择距离最小的作为校正结构P^n。步骤5：SLAT阶段变形——在Structured Latent Stage，同样用MCA和TFSA生成局部隐向量Zn。步骤6：解码——将SLAT {(zi, pi)}Li=1解码为3DGS或Mesh表示，输出最终3D资产xn。所有模块无需训练，可灵活应用于其他SLAT基模型。

技术新颖性

技术新颖性体现在三个层面。首先是系统性地分析了SLAT特征在注意力中的融合规律，通过实验发现KV-Fused Cross-Attention导致注意力关注错误区域（图5橙色框），而MCA保持正确的语义一致性注意力（图5绿色轨迹）。其次是设计了针对性的注意力修改模块，MCA通过分别计算源目标注意力再融合避免语义歧义，TFSA通过融合前后帧KV而非源目标KV保持时间连贯性。最后是基于Trellis方向统计分布的方向校正策略，分析发现方向跳跃集中在中期α≈0.5且主要是90°、180°、270°的y朝向变化（图7），验证了Trellis存在内部姿态先验，进而通过旋转候选和Chamfer Distance校正解决。

(a) Overview of our method. MorphAny3D generates a smooth and high-quality morphing sequence between diverse object categories by leveraging the SLAT representation without any training. (b) Morphing Cross-Attention (MCA) fuses information from the source and target objects in the cross-attention layers to ensure the structural coherence and aesthetics of the deformation. (c) Temporal-Fused Self-Attention (TFSA) enhances temporal smoothness by incorporating SLAT features from the previous morphing frame into the self-attention mechanism, enabling smooth transitions over time. (d) An orientation correction strategy inspired by statistical orientation distribution patterns in Trellis-generated assets is proposed to resolve abrupt orientation shifts.
Figure 3: (a) Overview of our method. MorphAny3D generates a smooth and high-quality morphing sequence between diverse object categories by leveraging the SLAT representation without any training. (b) Morphing Cross-Attention (MCA) fuses information from the source and target objects in the cross-attention layers to ensure the structural coherence and aesthetics of the deformation. (c) Temporal-Fused Self-Attention (TFSA) enhances temporal smoothness by incorporating SLAT features from the previous morphing frame into the self-attention mechanism, enabling smooth transitions over time. (d) An orientation correction strategy inspired by statistical orientation distribution patterns in Trellis-generated assets is proposed to resolve abrupt orientation shifts.
Analysis of SLAT fusion patterns in attention for 3D morphing. (a) FID (plausibility) and PPL (smoothness) comparison. (b, c, d) Qualitative results of different fusion strategies (same case as Fig. 2).
Figure 4: Analysis of SLAT fusion patterns in attention for 3D morphing. (a) FID (plausibility) and PPL (smoothness) comparison. (b, c, d) Qualitative results of different fusion strategies (same case as Fig. 2).
Attention maps visualization for different attention mechanisms. Red stars denote head SLAT features; pink stars mark their corresponding input regions. Orange boxes highlight KV-Fused CA's incorrect attention focus. MCA preserves correct, semantically consistent attention and avoids KV-Fused CA's artifacts shown in Fig. 4-(b).
Figure 5: Attention maps visualization for different attention mechanisms. Red stars denote head SLAT features; pink stars mark their corresponding input regions. Orange boxes highlight KV-Fused CA's incorrect attention focus. MCA preserves correct, semantically consistent attention and avoids KV-Fused CA's artifacts shown in Fig. 4-(b).
t-SNE visualization of attention features for different attention mechanisms in the SS Stage (left) and SLAT Stage (right). Obviously, MCA exhibits a stable, smooth feature trajectory, whereas KV-Fused CA's is erratic and interrupted.
Figure 6: t-SNE visualization of attention features for different attention mechanisms in the SS Stage (left) and SLAT Stage (right). Obviously, MCA exhibits a stable, smooth feature trajectory, whereas KV-Fused CA's is erratic and interrupted.
(a) Example of abrupt orientation change during morphing. (b) Distribution of α at orientation jumps, peaking near intermediate stages. (c) Adjacent-frame orientation changes ∆E at orientation jumps, dominated by 90°, 180°, and 270° yaw shifts. (d) Orientation distribution of Trellis-generated objects, showing non-canonical poses clustered at the same yaw angles.
Figure 7: (a) Example of abrupt orientation change during morphing. (b) Distribution of α at orientation jumps, peaking near intermediate stages. (c) Adjacent-frame orientation changes ∆E at orientation jumps, dominated by 90°, 180°, and 270° yaw shifts. (d) Orientation distribution of Trellis-generated objects, showing non-canonical poses clustered at the same yaw angles.

实验结果

在50个多样化源目标对上的实验表明，MorphAny3D在所有主要指标上达到最佳或第二佳性能。FID（视觉合理性）达到111.95，显著优于基线方法（最佳基线MorphFlow的150.94）；PPL（感知路径长度）为2.47，仅次于3DInterp的2.41，但3DInterp的FID高达409.14，表明其变形结果不合理；美学评分(AS)达到81%，用户偏好(UP)达到86.73%，大幅领先其他方法。消融实验显示MCA将FID从125.47降至112.18，TFSA将PPL从3.66降至2.87、PDV从0.0010降至0.0007，方向校正进一步将PPL降至2.47、PDV降至0.0006，验证了各组件有效性。定性结果（图8）显示MorphAny3D能生成语义连贯的变形，如大象到挖掘机中象鼻与吊斗对齐形成合理混合。

Quantitative comparison. Best and second-best in bold and underlined.
Table 1: Quantitative comparison. Best and second-best in bold and underlined.
Ablation study on key components of MorphAny3D.
Table 2: Ablation study on key components of MorphAny3D.
Qualitative comparisons. MorphAny3D generates smooth, high-quality 3D morphing sequences across diverse object categories. More results are provided in our Supp. Mat.
Figure 8: Qualitative comparisons. MorphAny3D generates smooth, high-quality 3D morphing sequences across diverse object categories. More results are provided in our Supp. Mat.
Ablation study on (a) MCA, (b) TFSA, and (c) OC.
Figure 9: Ablation study on (a) MCA, (b) TFSA, and (c) OC.
Applications: (a) Disentangled 3D morphing, (b) Dual-Target 3D Morphing and (c) 3D Style Transfer.
Figure 10: Applications: (a) Disentangled 3D morphing, (b) Dual-Target 3D Morphing and (c) 3D Style Transfer.
Generalization experiments on (a) Hi3DGen and (b) Text-to-3D Trellis.
Figure 11: Generalization experiments on (a) Hi3DGen and (b) Text-to-3D Trellis.
查看结构化数据
任务指标本文基线提升
3D跨类别变形 FID（视觉合理性，越低越好） 111.95 MorphFlow 150.94 降低25.8%
3D跨类别变形 PPL（感知路径长度，越低越好） 2.47 3DInterp 2.41 差距0.06，最佳基线但FID高达409.14
3D跨类别变形 美学评分AS（越高越好） 81% FreeMorph 11% 提升636%
3D跨类别变形 用户偏好UP（越高越好） 86.73% MorphFlow 5.51% 提升1474%

局限与改进

作者承认的局限性包括：MorphAny3D继承Trellis的限制，在极细结构上可能产生伪影（图12案例1红框）；方向校正策略对y轴对称对象的旋转可能失效（图12案例2）；高运行时限制应用，单帧生成需30秒，未来计划研究KV cache等加速方法。自己的观察是：本文方法主要基于图像条件，Text-to-3D版本因文本条件更抽象导致变形质量下降；方法依赖Trellis的内部姿态先验，对不符合其先验的对象方向校正可能效果有限；消融实验显示MCA+TFSA在FID上比单独MCA略差(113.22 vs 112.18)，表明两个模块组合时存在权衡。

独立分析的弱点

独立分析的弱点包括：首先，对极细几何结构的处理能力有限，如图12案例1展示的细节模糊，改进方向是采用更强的3D生成骨干网络或增强SLAT表示以捕获更细的几何细节。其次，方向校正策略依赖Trellis的内部姿态先验，对于y轴对称或非标准姿态的对象可能失效，改进方向是结合更鲁棒的方向估计方法如OrientAnything或学习姿态校正模块。再次，运行时效率低（单帧30秒），限制了实时应用，改进方向是采用KV cache、模型量化或并行化技术。最后，Text-to-3D版本质量下降，改进方向是增强文本-图像对齐或引入跨模态语义对齐模块。

未来方向

未来研究方向包括：作者提出的（1）采用更强的3D生成骨干网络如Sparseflex或增强SLAT表示以捕获更细的几何细节；（2）研究KV cache等加速方法以提高运行时效率。基于成果可延伸的方向：（1）扩展到视频生成，将3D变形序列与相机运动结合生成高质量视频；（2）探索音频驱动的3D变形，如根据音乐节奏生成变形动画；（3）研究交互式3D变形，允许用户通过手势或语音控制变形过程；（4）结合物理仿真，使变形过程符合物理规律；（5）探索多对象场景的变形，如场景级别的平滑过渡。

复现评估

复现评估：论文承诺开源，提供了详细的实现细节和补充材料。实验使用Image-to-3D Trellis无需重新训练或超参数调整，在单个A6000 GPU上运行，生成每帧需要30秒和24GB内存。代码基于Trellis框架，只需替换交叉注意力和自注意力模块，增加了方向校正后处理，模块化设计便于复现。基线方法使用了公开代码（DenseMatcher、DiffMorpher、FreeMorph、MorphFlow），评估指标（FID、PPL、PDV、AS、UP）有明确定义。用户研究有49名参与者，评估协议清晰。总体来看，复现难度中等，主要依赖Trellis模型和GPU资源，但无需额外训练数据或标注。

论文图表

MorphAny3D enables smooth, semantically coherent, and aesthetically pleasing transitions from source objects (first column) to target objects (last column), even when they share no semantic or visual relationship (e.g., bee to biplane in the second row).
Figure 1: MorphAny3D enables smooth, semantically coherent, and aesthetically pleasing transitions from source objects (first column) to target objects (last column), even when they share no semantic or visual relationship (e.g., bee to biplane in the second row).

这张图展示了MorphAny3D方法生成的多样化3D变形序列结果，包括从动物到车辆的跨类别变形（如蜜蜂到双翼飞机），每个序列从左到右显示不同变形权重α下的中间状态，展示了方法在语义连贯性和视觉美感方面的优势。

这张图对理解论文至关重要，因为它直观地展示了本文解决的核心问题和达到的效果——即使在没有语义关系的跨类别对象间也能生成合理的变形序列，这是匹配基方法难以实现的。

Comparison of different 3D morphing strategies. (a) Matching-Based 3D Morphing; (b) 2D Morphing + 3D Generation; (c) Direct Interpolation; (d) MorphAny3D. Our method leverages the powerful SLAT to achieve semantically plausible and temporally smooth 3D morphing without any training. α ∈[0, 1] is the deformation weight controlling the morphing progress.
Figure 2: Comparison of different 3D morphing strategies. (a) Matching-Based 3D Morphing; (b) 2D Morphing + 3D Generation; (c) Direct Interpolation; (d) MorphAny3D. Our method leverages the powerful SLAT to achieve semantically plausible and temporally smooth 3D morphing without any training. α ∈[0, 1] is the deformation weight controlling the morphing progress.

这张图对比了四种3D变形策略的可视化结果，展示同一源目标对在不同方法下的变形质量。匹配基方法（a）产生结构不合理的变形，2D优先方法（b）时间不一致，直接插值（c）质量次优，而MorphAny3D（d）生成语义合理且时间平滑的序列。

这张图清晰展示了现有方法的缺陷和本文方法的优势，是motivation章节的关键证据，帮助读者理解为什么需要新的3D变形方法以及MorphAny3D的独特价值。

Failure cases.
Figure 12: Failure cases.

这张图展示了MorphAny3D的两个失败案例。案例1（红框）展示在极细结构上产生的伪影，表明方法继承Trellis的细结构处理限制；案例2展示方向校正策略对y轴对称对象旋转的失效。

这张图展示了方法的局限性，体现了作者对研究诚实客观的态度，也为未来改进指明了方向。