TAPESTRY：通过一致的旋转视频从几何到外观 TAPESTRY: From Geometry to Appearance via Consistent Turntable Videos
基于几何约束的视频扩散模型生成360度一致旋转视频，实现自动3D纹理化
前置知识
视频扩散模型
视频扩散模型是一种通过逐步去噪过程生成高质量视频的生成模型，它在潜在空间中逐步从随机噪声恢复出清晰的视频内容。与图像扩散模型相比，视频扩散模型需要在时间维度上保持帧间的一致性和连贯性，通常采用3D UNet或Diffusion Transformer (DiT)作为骨干网络，通过时间注意力或卷积机制捕捉temporal依赖关系。
本文核心是利用视频扩散模型生成360度旋转视频，理解视频扩散模型的去噪过程和时间一致性约束对于理解TAPESTRY如何实现几何一致性至关重要。
3D Gaussian Splatting (3DGS)
3D Gaussian Splatting是一种基于高斯点云的神经渲染技术，它将3D场景表示为一系列各向异性的3D高斯椭球，每个高斯具有位置、旋转、缩放、不透明度和颜色等属性。渲染时通过tile-based rasterization将高斯投影到2D屏幕空间，通过alpha blending合成最终图像。
本文不仅生成旋转视频作为预览，还将其作为训练信号用于3DGS重建，理解3DGS的工作原理有助于理解为什么需要严格的几何一致性以及如何评估重建质量。
多模态条件注入
多模态条件注入是指在生成模型中同时引入多种不同类型的条件信号来控制生成过程的技术。这些条件可以包括文本描述、图像参考、深度图、法线图、位置图等。在潜在空间中，这些条件通过编码器映射为latent向量，然后通过通道拼接、交叉注意力或自适应归一化等机制与生成模型融合。
TAPESTRY的核心创新是多模态几何条件（Normal + Position）的注入机制，理解多模态条件注入的技术细节对于理解本文如何实现像素级的几何约束至关重要。
研究动机
为未纹理化的3D模型自动生成逼真且自一致的外观是数字内容创建中的核心挑战，传统工作流程严重依赖艺术家手动绘制纹理，既耗时又需要高级艺术技能和对光照、材料物理的深入理解，难以扩展到大型资产库。虽然大规模视频生成模型的进展提供了通过生成式AI创建360度旋转视频的新可能性，但现有的通用视频扩散模型难以在整个360度视角范围内保持严格的几何一致性和外观稳定性。在产品可视化场景中，叙事或风格化视频中可能可以容忍的内容漂移或抖动在旋转序列中会成为致命缺陷，破坏3D幻觉并违反产品可视化所需的严格视觉稳定性。
本文的目标是本文的具体目标是开发一个能够生成具有严格几何一致性的高保真度旋转视频的框架，该视频不仅能够作为直接可观看的数字资产，更重要的是能够作为可靠的高保真度数据源，用于后续生成神经表示或无缝UV纹理贴图，最终从初始的无纹理模型产生完整的、高质量的3D资产。为了实现完整表面覆盖，本文还设计了一个包含3D感知修复机制的多阶段生成管线，通过旋转模型并使用已生成内容作为上下文进行二次生成，有效填充初始视图中自遮挡的区域。
与已有工作不同的是，本文的独特切入角度是将3D外观生成任务重新表述为几何条件视频扩散问题，而不是传统的多视图图像生成或基于SDS的隐式表示优化。与现有方法的关键区别在于，TAPESTRY采用强几何约束范式：给定一个3D网格，首先渲染和编码多模态几何特征（法线视频和位置图视频），并将其作为像素级指导输入到现代视频扩散模型中。这种设计将生成任务从通用视频合成转变为在固定几何支架上执行精确的视觉纹理化，从根本上稳定了跨视图的结构和外观。
核心方法
TAPESTRY方法整体思路分为两个核心部分：几何引导的3D一致视频生成和从视频生成高保真度纹理。直觉上，如果把3D模型的几何特征（法线、位置）理解为指导视频生成的骨架，那么视频扩散模型就负责在这个骨架上填充血肉（外观）。技术路线上，首先构建多模态几何条件，包括提供细粒度局部表面细节的法线视频和提供全局绝对空间参考的位置图视频，这两种条件分别解决局部细节质量和全局结构稳定性问题。
核心创新点是将3D外观生成任务重新表述为几何条件视频扩散问题，通过显式的3D网格几何特征（法线和位置图）以像素级精度约束视频扩散模型的生成过程。与现有方法的本质区别在于，TAPESTRY通过强几何约束生成密集、连续、高度一致的旋转视频，这不仅作为直接可观看的资产，更重要的是作为可靠的3D感知中间表示。另一个关键创新是3D感知修复机制，它通过在后续生成阶段显式conditioning在已生成纹理上，确保新内容与现有外观无缝匹配。
方法步骤详情
方法步骤完整描述如下：第一步是多模态条件准备，给定一个归一化到单位球内的3D网格，定义绕原点的圆形相机轨迹，在每个相机位置渲染严格对齐的几何特征视频，最重要的是编码表面方向的法线视频和提供世界坐标信息的位置图视频。第二步是几何引导的潜在空间注入，使用预训练视频VAE的冻结编码器将所有视频形式的条件映射到潜在空间，然后沿通道维度拼接并输入到几何融合模块。第三步是DiT去噪过程增强，将标准噪声潜在与几何条件潜在沿通道维度拼接，同时将单帧初始帧编码并填充。第四步是交叉注意力上下文注入，将文本提示和初始帧转换为嵌入并输入到DiT块的交叉注意力层。第五步是多视图纹理投影，通过光线追踪确认映射关系和可见性。第六步是3D感知修复和渐进精化，通过算法确定最优的基础旋转以最大化无纹理区域的可见性。第七步是多阶段纹理融合，通过加权融合实现无缝纹理。
技术新颖性
技术新颖性分析体现在三个方面。首先，多模态几何条件融合机制首次将法线视频（局部细节）和位置图视频（全局结构）结合用于旋转视频生成，消融实验证明两者缺一不可。其次，上下文感知的3D修复机制不同于传统的独立修复或简单融合，它通过显式conditioning在已生成纹理上确保全局一致性，用户研究显示在参考对齐、几何一致性、视频质量三个维度上分别获得79.8%、80.9%、76.1%的偏好率。最后，双用途资产设计理念将旋转视频同时作为可视化预览和重建数据源。
实验结果
核心发现分为旋转视频生成和纹理生成两个方面。在旋转视频生成方面，在从GSO基准和Objaverse测试集随机采样的200个网格上进行评估，使用PSNR、SSIM、LPIPS和FVD四个标准指标与ground-truth视频比较，TAPESTRY在所有指标上都显著优于基线方法。与Wan2.1-Fun (Depth)相比，PSNR从23.48提升到25.79，SSIM从0.904提升到0.924，LPIPS从0.084降低到0.066，FVD从277.9降低到189.9。在纹理生成方面，TAPESTRY达到FID 26.90，KID 16.21，CLIP-S 0.9488，显著优于所有基线。消融研究证明几何条件中每个模态的贡献，完整模型同时使用Normal和Position map达到最佳性能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Turntable Video Generation | PSNR | 25.79 | Wan2.1-Fun (Depth): 23.48 | +2.31 |
| Turntable Video Generation | SSIM | 0.924 | Wan2.1-Fun (Depth): 0.904 | +0.020 |
| Turntable Video Generation | LPIPS | 0.066 | Wan2.1-Fun (Depth): 0.084 | -0.018 |
| Turntable Video Generation | FVD | 189.9 | Wan2.1-Fun (Depth): 277.9 | -88.0 |
| Texture Generation | FID | 26.90 | MV-Adapter: 30.68 | -3.78 |
| Texture Generation | KID | 16.21 | MV-Adapter: 25.73 | -9.52 |
| Texture Generation | CLIP-S | 0.9488 | MV-Adapter: 0.9291 | +0.0197 |
局限与改进
局限性分析包括作者承认的和我观察到的几点。首先，TAPESTRY的性能高度依赖于输入3D网格的质量，一个具有明确定义拓扑结构的干净网格是实现高保真结果的先决条件。虽然方法在次优输入上仍能保持全局一致性，但最终输出质量必然受限于输入几何。其次，生成的外观包含来自视频模型的光照，而不是来自可控源如环境贴图，这阻碍了重新照明能力。此外，计算成本相对较高，训练在单个DGX Spark超级计算机上进行需要约10天。
独立分析的弱点
独立分析的弱点包括：网格质量敏感性是主要弱点，对于从扫描或重建获得的含有噪声、孔洞或拓扑错误的网格，生成的纹理质量会显著下降。一个改进方向是集成网格预处理模块，包括网格去噪、补洞、重拓扑和简化。光照不可控性限制了在产品可视化等需要可控光照的场景中的应用，改进方向可以是解耦光照和材质，或在生成过程中引入可控制的环境贴图条件。计算成本相对较高，改进方向包括模型蒸馏、量化或剪枝。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的几个方向。作者提到的一个方向是进一步提高方法的鲁棒性，包括处理更复杂的几何形状和材料特性，如高光泽或半透明表面。另一个方向是集成先进的文本到3D生成模型，从文本提示直接生成完整的3D资产。基于成果可延伸的方向包括开发可控的重新照明能力，扩展到动态和可变形对象，探索自适应相机轨迹规划，集成物理约束和材料属性预测。
复现评估
复现评估如下：作者计划发布代码和模型权重，这是复现性的重要保证。训练在单个DGX Spark超级计算机上进行，使用约30K来自Objaverse的各种类别的高质量纹理化3D资产构建大规模多样化合成旋转视频数据集。实现基于VideoX-Fun框架，使用开源Wan2.1-Fun-V1.1-Control模型作为微调基础。采用LoRA进行参数高效适应，rank设置为128。虽然需要一定的计算资源和数据准备，但作者提供了足够详细的实现细节，计划开源，复现难度属于中等水平。
论文图表
这张图展示了TAPESTRY的整体工作流程，从左到右依次显示输入的3D网格、通过强几何条件生成的可重建旋转视频、以及从旋转视频创建的最终高质量纹理化资产。图中的旋转视频展示了高度的一致性，没有明显的内容漂移或结构扭曲。
这张图对理解论文非常重要，因为它在一张图中总结了整个TAPESTRY框架的核心思想和输出，帮助读者快速理解从输入网格到最终资产的完整流程。
这张图展示了在纹理化网格上的定性比较。前两行显示了自遮挡区域的不一致性问题，现有方法由于视图间平滑度不足产生明显接缝。相比之下，TAPESTRY在所有挑战区域生成一致、无缝、清晰的结果。
这张图对理解论文非常重要，因为它展示了TAPESTRY在纹理生成任务上的优越性，特别是在处理复杂UV布局、自遮挡区域和高频纹理等挑战性情况时的表现。