Interp3D：面向生成式纹理3D形变的对应感知插值方法 Interp3D: Correspondence-aware Interpolation for Generative Textured 3D Morphing
通过渐进式对应感知对齐实现免训练的纹理3D形变生成
前置知识
3D形变（3D Morphing）
3D形变是指在两个三维资产之间生成平滑、连贯的过渡序列，要求在变形过程中同时保持结构一致性和细节纹理质量。传统方法基于几何变形（如点云或网格上的显式插值），但只能处理形状变化而忽略纹理。生成式方法借助扩散模型等先验，可以同时处理几何和纹理，但面临语义模糊和结构错位的挑战。
这是论文解决的核心任务，理解3D形变的定义和挑战是理解全部技术动机的基础。
TRELLIS 结构化隐空间（Structured Latent Space）
TRELLIS 是一个3D基础模型，将3D数据编码到统一的结构化隐空间（SLAT）中。它采用两阶段扩散过程：第一阶段预测活跃体素位置来生成结构，第二阶段在几何基础上恢复纹理感知的SLAT特征，每个隐变量编码对应体素处的精细外观，网格分辨率 $N=64$，SLAT维度 $C=8$。SLAT解码器最终将隐变量映射为3D高斯表示。
TRELLIS 是本文采用的3D生成先验和架构骨干，其SLAT特征被用于构建结构对应关系，是方法各阶段的技术基础。
注意力插值（Attention Interpolation）
在生成式Transformer中，隐变量token被投影到查询Q、键K、值V空间来计算注意力。在形变任务中，注意力插值通过线性组合源和目标的KV来实现过渡。给定插值比 $\alpha_i$，插值注意力定义为将键K和值V替换为源和目标的加权组合。这种简单线性组合忽略了源和目标之间的语义对应关系，容易产生混合伪影。
注意力插值是现有2D和3D形变方法的核心机制，理解其局限性是理解本文创新设计的前提。
DINOv2 语义特征
DINOv2 是一个自监督视觉基础模型，能够提取具有强大语义信息的patch级视觉特征表示。每个输入图像被编码为M个patch token的嵌入向量，这些嵌入在语义层面具有良好的对应能力——语义相似的区域会产生相似的嵌入向量，可用于估计源和目标图像之间的patch级语义对应关系。
论文使用DINOv2提取条件嵌入来建立源和目标之间的语义对齐，是方法第一阶段的核心组件。
评估指标：FID、PPL、LPIPS
FID（Frechet Inception Distance）通过Inception网络提取特征分布来衡量生成样本与真实数据的分布距离，值越低表示质量越好。PPL（Perceptual Path Length）通过累积路径上的归一化感知距离来衡量过渡轨迹的平滑度，值越低表示过渡越连贯。LPIPS（Learned Perceptual Image Patch Similarity）使用预训练VGG网络衡量相邻帧之间的感知相似度，值越低表示帧间一致性越好。
这三个指标是论文定量评估的三大核心维度，分别对应保真度、过渡平滑度和感知一致性。
研究动机
纹理3D形变（Textured 3D Morphing）是生成3D资产之间平滑过渡的核心能力，在动画、编辑和数字内容创作中有广泛应用。然而现有方法面临严重的局限性：传统基于几何变形的方法（如点云或网格上的显式插值）严格依赖顶点对应和一致拓扑，只能进行形状插值而完全忽略纹理。生成式方法中，MorphFlow基于神经辐射场的最优运输插值获得104.88 FID，反映出体积生成质量较差；DiffMorpher和FreeMorph将2D形变结果输入3D模型时产生严重不一致，PPL分别高达4.42和5.61；即使将AID注意力插值扩展到3D，AID-I和AID-O仍无法保持纹理保真度，LPIPS分别为0.112和0.102。核心问题在于：直接在2D图像空间插值会产生视图不一致和误差累积，将2D策略直接应用到3D则忽略结构对应关系，导致在缩放或拓扑变化时产生扭曲或不真实的过渡。
本文的目标是本文的具体目标是设计一个免训练（training-free）的纹理3D形变框架，能够在两个3D资产之间生成连续、逼真的过渡序列。框架需要同时满足三方面要求：（1）几何保真度——过渡过程中保持结构完整性，避免结构坍塌；（2）纹理一致性——精细外观细节在源和目标之间合理迁移，避免纹理模糊；（3）过渡平滑度——中间帧之间保持连贯的视觉过渡，没有突变或伪影。最终生成的7帧形变序列应在定量指标和用户感知评估上全面超越现有基线方法。
与已有工作不同的是，本文的独特切入角度是将生成先验与可靠的3D对应关系耦合（couple），提出渐进式三阶段对齐原则。这一洞察来自对现有方法失败模式的分析：语义错位导致头部与腹部匹配（如Mario到Bread的例子），结构对应缺失导致尺度不一致和坍塌，纹理混合产生模糊或跳跃。本文的创新在于认识到单一对齐维度不足以解决3D形变问题，必须从语义对齐、结构对齐到纹理对齐逐级推进，每一阶段为下一阶段提供更可靠的对应基础。这种从粗到细的渐进设计与TRELLIS扩散过程的粗到细去噪特性天然契合，实现了'在生成过程中逐步增强对齐'的核心理念。
核心方法
Interp3D的整体思路可以用一个直觉来理解：要让Mario变成面包，首先要确保Mario的头对应面包的头而非腹部（语义对齐），然后确保过渡过程中匹配部分的几何形状平滑变形而非坍塌（结构对齐），最后确保材质和纹理细节从正确的位置迁移而非简单混合（纹理对齐）。技术上，框架以TRELLIS 3D生成模型为骨干，输入源和目标图像后，首先通过DINOv2提取patch级语义嵌入并建立最优匹配排列，生成语义对齐的条件插值序列；然后在SLAT隐空间中构建动态patch对应关系，在去噪过程中对KV映射进行排列对齐和融合注意力插值；最后在纹理生成阶段对每个token找到源和目标中最相似的对应特征进行双向加权聚合，完成精细纹理迁移。整个过程无需任何训练或微调。
Interp3D的核心创新是渐进式对应感知对齐（progressive correspondence-aware alignment），这与现有方法有本质区别。传统注意力插值方法（如AID）直接线性组合源和目标的KV特征，完全忽略它们之间的对应关系，导致语义不匹配的token被混合。2D形变方法（如FreeMorph、DiffMorpher）虽然在2D空间建立了某种对应，但无法处理3D结构差异。Interp3D的关键区别在于：它不是简单地插值，而是先建立对应再插值，且对应关系在三个层次逐步细化。语义层通过DINOv2的patch排列建立全局语义匹配；结构层通过SLAT特征的动态patch对应建立几何对齐，且对应粒度随去噪进程从粗到细自适应变化；纹理层通过相似度搜索在token级别建立精确匹配。这种分层对应设计使得每一层的插值都是在对应元素之间进行，而非盲目混合。
方法步骤详情
方法分为三个阶段，输入为源图像 $I_s$ 和目标图像 $I_t$，输出为L帧形变序列。 第一阶段：语义对齐条件插值（Section 4.1）。使用DINOv2提取源和目标的patch级嵌入，通过计算patch间的余弦相似度，求解最优一分配问题，得到最优排列。将目标嵌入按最优排列重新排列后，对每个插值比进行token级凸组合，确保语义一致的token对之间的平滑过渡。 第二阶段：SLAT引导的结构插值（Section 4.2）。将源和目标的SLAT特征投影到与KV映射相同的网格分辨率上，按边长分为patch块。去噪初期使用较大的patch尺寸（最大 $4^3$）进行粗粒度对齐，随着去噪推进逐步缩小patch尺寸以实现精细对齐。通过余弦相似度计算patch级对应关系，将相似度高于阈值的配对保留为对应关系，构建排列矩阵应用到目标KV映射上。然后设计融合注意力插值，将当前状态的KV与排列对齐后的源/目标KV拼接，分别计算加权自注意力后按插值比组合。 第三阶段：精细纹理融合（Section 4.3）。对于插值过程中的每个token，通过相似度搜索找到源和目标中最相似token的索引。然后进行三路加权聚合（源、目标和自身特征），最后进行L2归一化以保持数值稳定。同样方案应用于值token。
技术新颖性
Interp3D的技术新颖性体现在以下几个方面。首先，这是首个将对应感知设计系统性地引入3D纹理形变的方法，不同于以往直接在隐空间进行盲目插值的做法。其次，动态patch对应机制的自适应粒度设计是独特的——在去噪初期使用大patch进行全局粗对齐，后期逐步缩小patch以实现精细匹配，这与扩散模型从粗到细的去噪特性天然耦合，是对2D方法中固定粒度对应的重要改进。第三，SLAT引导的排列矩阵设计巧妙地将稀疏3D隐特征的对应关系转化为对Transformer注意力KV映射的排列操作，无需修改模型架构即可实现结构对齐。第四，精细纹理融合中的三路加权聚合（源+目标+自身）设计避免了简单的二元混合导致的向某一端点坍塌问题，通过保留中间状态自身的特征来维持渐变过程中的身份连续性。最后，采用Beta(5,5)分布采样非均匀插值系数，将更多权重分配到中间状态，实现更平衡的过渡。
实验结果
论文在自建的Interp3DData数据集上进行了全面评估，该数据集包含57个源-目标对，分为简单、中等、困难三个难度级别（各19对），生成7帧形变序列。定量评估方面：Interp3D在平均FID上达到78.97，较AID-O（81.03）提升2.5%，较AID-I（87.88）提升10.1%，较FreeMorph（124.57）提升36.6%，较MorphFlow（104.88）提升24.7%。在PPL过渡平滑度上，Interp3D达到2.47，较AID-O（2.92）提升15.4%，较FreeMorph（5.61）提升55.9%。在LPIPS感知一致性上，Interp3D达到0.086，较AID-O（0.102）提升15.7%。特别值得注意的是在困难案例上，Interp3D的PPL（2.62）和LPIPS（0.119）均大幅领先其他方法。用户研究方面：30名志愿者评估15个形变案例，Interp3D获得54.12%的整体偏好率，其中保真度54.12%、平滑度50.20%、合理度58.04%。消融实验显示每个渐进组件都带来一致提升：语义对齐使平均FID从85.55降至83.51（提升2.4%），结构插值进一步降至81.62（提升2.3%），纹理融合最终降至78.97（提升3.2%）。P-KID几何保真度指标（0.3961）和CLIP-Sim语义连续性指标（0.9471）也均优于所有基线。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 纹理3D形变 - 平均保真度 | FID（越低越好） | 78.97 | AID-O: 81.03 / AID-I: 87.88 / FreeMorph: 124.57 / MorphFlow: 104.88 / DiffMorpher: 169.54 | 较最优基线AID-O提升2.5% |
| 纹理3D形变 - 平均过渡平滑度 | PPL（越低越好） | 2.47 | AID-O: 2.92 / AID-I: 3.20 / FreeMorph: 5.61 / MorphFlow: 2.89 / DiffMorpher: 4.42 | 较最优基线MorphFlow提升14.5% |
| 纹理3D形变 - 平均感知一致性 | LPIPS（越低越好） | 0.086 | AID-O: 0.102 / AID-I: 0.112 / FreeMorph: 0.166 / MorphFlow: 0.151 / DiffMorpher: 0.128 | 较最优基线AID-O提升15.7% |
| 几何保真度 | P-KID（越低越好） | 0.3961 | AID-I: 0.4857 / AID-O: 0.5060 / FreeMorph: 0.5352 / DiffMorpher: 0.6796 | 较最优基线AID-I提升18.4% |
| 语义连续性 | CLIP-Sim（越高越好） | 0.9471 | AID-O: 0.9397 / AID-I: 0.9349 / FreeMorph: 0.8966 / DiffMorpher: 0.8747 | 较最优基线AID-O提升0.8% |
局限与改进
作者在论文中坦诚承认了两类主要的失败案例。第一类是源和目标在语义和结构上距离极远的情况（如Failure Case 1），此时无法建立可靠的对应关系，形变会坍缩向某一端点，产生突变而非平滑过渡。第二类是分布外（OOD）数据，如草图风格或平面2D类物体（Failure Case 2），TRELLIS本身无法重建有意义的3D几何，导致形变退化为坍塌的几何或严重模糊。此外，从作者的实验数据中可以观察到：Interp3D在简单案例上的优势最为明显（FID: 70.79 vs AID-O的77.65），但在困难案例上的FID（82.54）反而略高于AID-O（81.81），说明在最具挑战性的场景下，纯注意力机制的插值可能在保真度上仍有优势。方法依赖TRELLIS作为3D生成先验，其自身的生成能力和SLAT表示的表达力构成了上限约束。所有实验在单张RTX A5000上进行，但未报告推理时间，生成7帧序列的计算开销未被讨论。数据集Interp3DData仅有57对，规模较小，可能无法充分反映真实应用中的多样性。
独立分析的弱点
Interp3D存在几个值得深入分析的弱点。首先，语义对齐阶段依赖DINOv2的patch级匹配，当源和目标属于不同类别（如动物到物体）时，DINOv2的语义空间可能无法建立有意义的对应，建议引入CLIP等跨模态特征或多尺度特征融合来增强跨类别语义匹配能力。其次，动态patch对应机制的阈值和patch尺寸衰减策略是固定的超参数，缺乏自适应调节机制，可以考虑根据去噪过程中的特征置信度动态调整这些参数。第三，精细纹理融合中三路聚合的权重（源、目标、自身特征的相对比例）是固定的，未考虑不同区域的纹理复杂度差异，可以设计自适应权重机制，对纹理丰富的区域给予更高的源/目标权重，对结构主导区域保留更多自身特征。第四，Beta(5,5)分布的参数选择缺乏理论分析，不同场景可能需要不同的采样策略。最后，方法完全依赖2D条件图像作为输入，未探索直接利用文本描述或多视角信息来增强3D形变质量。
未来方向
论文提出的几个未来方向值得重视。作者指出当前方法在语义相关性极低的源-目标对上表现不佳，建立可靠对应来实现平滑过渡仍是重大挑战。可以从以下方向延伸：（1）引入更强的语义理解能力，如大型视觉语言模型的特征来建立跨域对应；（2）探索交互式对应编辑，允许用户手动指定关键对应点来引导形变；（3）将框架扩展到4D动态形变，结合时间维度实现更丰富的过渡效果；（4）研究如何利用多个中间参考帧来约束长距离形变轨迹，避免对端点的过度依赖；（5）将对应感知设计应用于其他3D生成任务，如3D风格迁移、3D超分辨率等。
复现评估
论文的复现条件相对友好。代码已在GitHub开源（https://github.com/xiaolul2/Interp3D），采用公开可用的TRELLIS作为3D生成先验，无需训练新模型。所有基线方法也都有公开实现（MorphFlow、DiffMorpher、FreeMorph、AID均提供了GitHub链接）。自建数据集Interp3DData基于Objaverse-XL、TRELLIS仓库和Sketchfab构建，57对数据规模较小但作者声明已处理版权和许可问题。算力要求方面，实验在单张NVIDIA RTX A5000上完成，无需大规模集群。但需要注意：TRELLIS模型本身需要相当的GPU显存；论文未提供Interp3DData的完整数据集下载链接，可能需要按论文描述自行构建；部分超参数（如Beta分布参数、patch尺寸、相似度阈值）的具体设置需要从实现细节中查找。总体而言，复现难度中等偏低。
论文图表
该图以Mario到Bread的形变为例子，展示了三个阶段的对齐问题：（1）语义错位（Semantic Misalignment）导致错误的部分匹配；（2）不稳定结构（Unstable Structure）导致中间状态的几何坍塌；（3）纹理模糊（Texture Blurring）导致细节丢失。右侧展示了Interp3D通过三阶段对齐后的改善结果。
这张图直观解释了论文的核心动机——为什么需要渐进式对应对齐，以及缺少对齐会导致什么问题，是理解方法设计动机的关键。
展示了两类失败案例：(1)源和目标在语义和结构上距离极远的情况，形变坍缩向一端产生突变；(2)分布外数据（如草图风格或平面2D物体），TRELLIS无法重建有意义的3D几何。
坦诚展示了方法的局限性边界，帮助读者理解方法的适用范围和失败模式。
该图提供了更多场景下Interp3D与各基线方法（MorphFlow、DiffMorpher、FreeMorph、AID-I、AID-O）的形变序列对比，涵盖更多种类的3D资产对。
扩展了Figure 4的定性评估范围，提供更多场景下的证据支持方法的有效性。