Vanast:基于合成三元组监督的虚拟试穿与人体图像动画 Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision
统一框架直接生成人体试穿动画视频,解决身份漂移和服装失真问题
前置知识
虚拟试穿
虚拟试穿是将目标服装转移到人物图像上的技术。传统方法分几何变形和对应关系两类。几何方法通过解析人体和服装实现对齐融合,但在大姿态变化或遮挡时效果差。扩散模型方法用学习先验替代手工变形,无需掩码监督,利用自注意力隐式推断服装-身体对应,在多样姿态上表现更好。
本文将虚拟试穿扩展到视频领域,需要理解传统虚拟试穿技术的原理和局限,才能理解为什么需要统一的端到端框架。
扩散模型
扩散模型通过逐步添加噪声转换数据分布,然后学习逆向去噪过程生成新数据。视频扩散模型在图像模型基础上引入时间注意力层,利用大规模图像先验知识生成时间一致的视频。Diffusion Transformer(DiT)用transformer架构替代UNet,通过自注意力处理序列输入,在视频生成中表现出色。
本文的核心模型基于视频扩散transformer,理解扩散模型的工作原理对于掌握本文的架构设计和训练策略至关重要。
身份保持
身份保持是指在不同图像或视频帧中保持人物身份特征的连续性,包括面部特征、身体形态、肤色等关键属性。在视频生成任务中,模型需要在复杂动态变化中确保视觉身份的稳定性。现有方法通过条件编码、特征注入或模块化设计来实现身份保持,本文通过三元组监督数据集让模型学习服装转移的同时保持身份。
本文针对传统两阶段流程中的身份漂移问题提出解决方案,理解身份保持的概念有助于评估本文方法的有效性。
研究动机
传统方法采用两阶段流水线:首先应用基于图像的虚拟试穿模型将服装转移到人体图像上,然后使用姿态驱动视频生成模型对合成结果进行动画化。这种两阶段流程存在几个固有局限性。首先,图像试穿和视频动画模型的训练分布差异导致推理时出现身份漂移、服装失真和复合伪影。其次,分解为两个独立模型在计算上效率低下。第三,服装具有明显的前后几何结构,但标准视频动画模型仅从单张静态图像操作,因此丢失了在多样化视点间合成一致外观所需的信息。例如,在在线购物视频场景中,服装图像和真人穿着的服装在光照、褶皱、遮挡等方面存在显著差异,导致两阶段方法难以生成高质量结果。作者实验表明,两阶段方法在L1距离、PSNR、SSIM等指标上明显落后于本文方法,在Internet数据集上L1=0.1143,而本文方法仅为0.0719。
本文的目标是本文的目标是构建一个端到端的统一框架Vanast,直接从单张人体图像、一个或多个服装图像和姿态引导视频合成服装转移后的人体动画视频。该框架需要解决三个核心问题:如何在单个统一步骤中完成整个过程以实现连贯合成;如何构建大规模三元组监督数据集;如何设计能够稳定训练并保持预训练生成质量的模型架构。具体而言,输入包括目标服装图像集G={G1, ..., Gn}、显示人物穿着任意服装G'≠G的目标人体图像I_G'、运动引导视频K,输出是F帧动画序列V={I_Gt}_{t=1}^F,其中每帧I_Gt代表人物穿着目标服装物品G的时间连贯合成。此外,模型还需要支持多服装转移、零样本服装插值和野外服装转移等高级功能。
与已有工作不同的是,本文的独特切入角度在于认识到高质量虚拟试穿动画需要统一的单阶段生成框架,而非将虚拟试穿和动画视为独立过程。与现有工作的关键区别在于:首先,作者构建了前所未有的三元组监督数据集,解决了现有公开数据集不提供这种结构的问题。其次,提出了双模块架构,将姿态和服装条件分离到独立网络模块中联合训练,解决了单辅助模块难以平衡多种条件的问题。第三,开发了可扩展的数据生成流水线,从在线购物视频、野外视频和工作室捕获数据构建高质量三元组,克服了在线数据源仅包含单个服装的限制。这种从数据构建到模型设计的端到端创新视角,使得本文方法能够在Identity preservation、garment fidelity和pose adherence方面全面超越两阶段baseline。
核心方法
Vanast方法的核心思想是将虚拟试穿和人体动画统一到一个端到端的框架中,通过构建大规模合成三元组监督数据来训练。整个流程可以分为三个层面:数据层构建三元组监督数据集,架构层设计双模块DiT模型,训练层采用特定的优化策略。从直觉上看,该系统像一个智能服装设计师:它观察一个人的照片(穿不同服装)、目标服装的图片和一段参考动作视频,然后生成这个人穿着目标服装按照参考动作运动的视频。技术路线上,首先利用预训练的扩散模型生成穿着不同服装但保持身份的人体图像I_G',构建从(I_G', G, V_G)三元组。然后设计包含人体动画模块(HAM)和服装转移模块(GTM)的双模块架构,在冻结backbone DiT的情况下仅训练这两个模块,使模型能够快速收敛并保持预训练生成质量。最后通过token化将三元组转换为潜在表示,利用3D卷积投影层映射为适合下游处理的token嵌入。
核心创新点在于双模块架构和合成三元组数据构建。双模块架构的本质区别在于它将姿态和服装条件分离到两个专门的网络模块中,而不是通过单点注入或简单拼接来处理所有条件。这种方法使得模型能够渐进地整合多层次表示空间的上下文信息,产生比单点注入更丰富的条件效果。具体实现上,采用分布式和级联结构从backbone T2V DiT模型,公式为h_{l+1} = B_{T2V}^l(h_l) + α·B_{HAM}^l(h_l) + β·B_{GTM}^l(h_l),其中α=0.5, β=0.5控制HAM和GTM的相对强度。这种设计在训练时冻结backbone DiT,仅优化HAM和GTM模块,使得模型能够快速收敛并保持预训练生成质量,显著改善服装准确性、姿态遵循和身份保持,同时支持零样本服装插值。与VACE等使用单辅助模块的方法相比,双模块设计解决了难以平衡多种条件控制的问题,使得模型能够在保持身份的同时准确传递服装细节和合成姿态运动。
方法步骤详情
方法步骤包括数据生成、模型架构和训练推理三个阶段。数据生成阶段分为两个主要流水线:一是从(G, V_G)对合成I_G',利用FLUX扩散修复模型修改IG的服装或物体区域。首先从V_G中随机采样n帧,使用VLM选择满足面部未遮挡、双眼睁开、面部接近正面等条件的代表性帧。然后构建目标修复区域M_inpaint,避免简单跟随原始服装轮廓G,而是使用文本到图像模型生成保持相同姿态但具有任意服装和身份的辅助图像,从中提取服装掩码。最后使用基于性别一致服装描述的文本提示,通过扩散修复模型生成穿着不同服装的同一人物图像I_G'。二是从野外视频V_G直接构建(I_G', G)对,使用VLM根据全身可见性、清晰度、最小遮挡等标准选择最佳帧,提取上装掩码并生成服装高亮图像,随机平移以防止位置偏差,最后用VLM过滤不稳定的分割。模型架构阶段,采用冻结backbone DiT + 双模块设计。Token化使用预训练VAE编码器E_VAE将I_G'、G和K编码为潜在表示z_H、z_P、z_G。对于HAM模块,通过帧方向拼接z_H和z_P构建运动条件的外观上下文;对于GTM模块,单独使用z_G作为输入,通过拼接零张量匹配HAM的时间维度。训练阶段,在9,135个视频上训练,每个视频长度3-10秒,仅优化HAM和GTM模块。推理时支持服装插值:对两件服装G_A、G_B,计算γ权重求和h_{l+1} = B_{T2V}^l(h_l) + α·B_{HAM}^l(h_l) + γ·B_{GTM}^l(h_l; G_A) + (1-γ)·B_{GTM}^l(h_l; G_B),其中γ∈[0,1]。
技术新颖性
技术新颖性体现在三个方面。首先,构建了前所未有的可扩展三元组监督,包括(1)生成保持身份的人体穿着替代服装图像,解决了在线购物平台很少包含同一人物穿着多套服装图像的问题;(2)捕获完整的上下装三元组,克服在线源的单服装限制;(3)构建多样化的野外三元组而无需服装目录图像,显著扩展了视觉多样性和服装可变性。其次,双模块架构采用分布式和级联设计,使得模型能够在保持预训练文本到视频骨干网络的同时,引入服装转移和姿态引导的专用路径,并在偶数层2k处集成这两个模块的输出。这种设计比单模块收敛更快,比LoRA微调backbone更稳定,比直接token拼接能更有效地传播约束条件。第三,支持零样本服装插值,通过计算GTM对两件服装的输出并进行γ权重求和,能够在不额外优化的情况下实现服装间的平滑过渡。这些技术组合使得Vanast成为首个直接合成人体图像动画视频与虚拟试穿的统一框架。
实验结果
本文在两个评估数据集上进行了全面实验:Internet数据集(来自公开购物网站,80个样本)和ViViD数据集(官方测试集,50个样本)。实验结果表明Vanast在所有指标上显著优于16种baseline组合。与主题到图像生成模型组合的baseline相比,本文方法在Internet数据集上L1=0.0719(VisualCloze+StableAnimator为0.2266,MOSAIC+StableAnimator为0.1875,UNO+StableAnimator为0.2025,VACE两阶段为0.1708),PSNR=17.95(baseline最高为12.44),LPIPS=0.2370(baseline最低为0.4052),FID=91.05(baseline最低为115.40)。与图像虚拟试穿模型组合的baseline相比,本文方法同样表现最佳,L1=0.0719(OOTDiffusion+StableAnimator为0.1305,CatVTON+StableAnimator为0.1242,OmniTry+StableAnimator为0.1227,Any2AnyTryon+StableAnimator为0.1250),PSNR=17.95(baseline最高为15.87),FID=91.05(baseline最低为111.08)。消融实验验证了各组件的有效性:单模块baseline L1=0.1162,Backbone-LoRA L1=0.1359,无合成人类I_G' L1=0.1163,而完整模型L1=0.1069。应用展示方面,模型成功实现了单服装转移(如图6所示logo和细节保留良好)、多服装转移(上下装同时转移)、野外服装转移(TikTokDress数据集)和零样本服装插值(γ权重从0.0到1.0平滑过渡)。视觉比较显示本文结果在姿态跟随准确性、服装转移保真度和身份保持方面最接近ground truth。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 虚拟试穿人体动画生成 | L1距离(越低越好) | 0.0719 (Internet), 0.1077 (ViViD) | 0.1305 (OOTDiffusion+StableAnimator), 0.1708 (VACE两阶段) | 分别提升45%和58% |
| 虚拟试穿人体动画生成 | PSNR(越高越好) | 17.95 (Internet), 14.67 (ViViD) | 14.86 (OOTDiffusion+DisPose), 12.44 (VACE两阶段) | 分别提升21%和44% |
| 虚拟试穿人体动画生成 | LPIPS(越低越好) | 0.2370 (Internet), 0.3649 (ViViD) | 0.3325 (OOTDiffusion+DisPose), 0.4052 (VACE两阶段) | 分别提升29%和41% |
| 虚拟试穿人体动画生成 | FID(越低越好) | 91.05 (Internet), 105.89 (ViViD) | 111.08 (OmniTry+DisPose), 115.40 (VACE两阶段) | 分别提升18%和21% |
局限与改进
作者承认的局限性包括:首先,模型依赖姿态估计的质量,如果输入姿态视频的关键点估计不准确,会影响生成结果。其次,在极端姿态变化(如大幅旋转、复杂动作)时,服装转移的准确性可能会下降。第三,数据集主要集中在常见的服装类型(上装、下装、连衣裙),对于非常规服装(如配饰、鞋类)的支持有限。作者自己的观察补充:首先,野外服装转移时,当服装图像的姿态与人体姿态差异较大时,模型仍然能够保持较强的时间一致性,但在细粒度服装细节(如复杂图案、纹理)上可能不如图像级虚拟试穿模型精细。其次,零样本服装插值虽然能够实现平滑过渡,但在服装类型差异较大的情况下(如夹克到T恤),插值中间结果可能不够自然。第三,计算成本方面,虽然比两阶段pipeline更高效,但视频扩散模型的推理成本仍然较高,实时应用受限。最后,身份保持虽然显著改善,但在极长时间序列(超过10秒)中仍可能出现轻微的身份漂移。
独立分析的弱点
本文方法存在几个可以改进的弱点。首先是数据多样性限制:虽然作者构建了大规模三元组数据集,但场景多样性仍然有限,主要来自在线购物环境和有限的野外视频。在复杂背景、极端光照、多人交互等场景下,模型的泛化能力可能不足。改进方向是收集更多样化的野外视频数据,特别是包含复杂交互和极端条件的场景。其次是细节保真度:虽然整体指标优秀,但在复杂服装图案、细小logo、纹理细节等方面,视频级生成仍然不如图像级虚拟试穿模型精细。可以通过引入额外的细节损失函数或多阶段细化来改进。第三是姿态估计依赖:模型依赖DWPose等关键点估计器的输出,姿态估计误差会传播到生成结果。可以设计对姿态噪声更鲁棒的架构或引入姿态优化模块。第四是计算效率:虽然比两阶段pipeline更高效,但视频扩散模型的推理成本仍然较高,难以满足实时应用需求。可以通过模型蒸馏、量化或高效注意力机制来降低计算开销。第五是极端姿态处理:在大幅姿态变化(如360度旋转、复杂体操动作)时,服装转移的准确性和身份保持可能会下降。可以引入3D服装先验或姿态自适应机制来改善极端情况下的表现。
未来方向
作者提出的未来工作方向包括:引入3D服装信息来改善前后一致性和复杂姿态下的服装转移;探索更高效的训练策略以减少数据需求;扩展到更多服装类型(如配饰、鞋类)和更复杂的交互场景。基于本文成果,可以延伸以下研究方向:首先,音频驱动动画:将姿态视频替换为音频信号,生成说话时穿着目标服装的人物动画,扩展到虚拟主播、电影配音等应用。其次,可控编辑:在已生成的视频中,允许用户交互式地修改服装、姿态、表情等属性,实现更灵活的内容创作。第三,时序一致性增强:引入更强的时序约束机制(如时序对比学习、循环一致性损失)来改善长时间序列的身份保持和服装一致性。第四,跨域迁移:将方法扩展到其他领域(如虚拟试妆、发型转移),构建统一的身份保持图像/视频编辑框架。第五,实时推理优化:研究模型压缩、知识蒸馏、高效注意力等技术,使方法能够在实时或准实时场景下应用。第六,多模态条件:除了姿态视频,引入文本描述、音频、风格参考等多种条件,实现更丰富和可控的生成效果。第七,评估指标:开发更全面的评估指标,特别是针对身份保持、服装细节保留、时序一致性等方面的专门指标,以更准确地衡量模型性能。
复现评估
复现评估方面,作者已将项目代码开源,提供了数据集构建流水线、模型训练和推理的完整代码。数据集包括三个来源:公开的在线购物网站数据、作者自己捕获的高质量工作室数据、以及公开的野外视频数据集。具体数据规模为9,135个训练视频,每个视频长度3-10秒,总计约25-50小时的视频数据。评估数据集包含Internet数据集80个样本和ViViD数据集50个样本。模型基于预训练的视频扩散transformer(可能是WAN或类似的大型T2V DiT模型),backbone参数量估计在1-3B范围。训练采用冻结backbone、仅优化HAM和GTM模块的策略,显著降低了训练成本。计算资源方面,论文未明确说明,但类似规模的DiT模型训练通常需要8-16块A100 GPU,训练时间约1-2周。推理方面,单个视频生成需要几秒到几十秒(取决于长度和分辨率),在单块A100上可以实现准实时推理。复现难度中等:虽然代码开源,但需要大量计算资源和数据预处理工作。数据构建流水线相对复杂,需要依赖多个外部模型(DWPose、Qwen2.5-VL、FLUX、SegFormer等),增加了环境配置难度。但作者在补充材料中提供了详细的实现细节和超参数设置,降低了复现门槛。整体而言,具备足够计算资源的研究团队应该能够成功复现本文结果。
论文图表
该图展示了Vanast方法的整体概念和输入输出关系。图左侧从上到下依次显示:输入的人体图像(穿着与目标不同的服装)、输入的服装图像(可以是一个或多个)、输入的姿态引导视频。图中间显示了Vanast生成的结果:虚拟试穿与人体动画,即人物穿着目标服装并按照姿态视频运动。图右侧再次展示了输入的人体图像和服装图像,以及生成的虚拟试穿与动画结果。通过对比左右两侧,可以直观地看出模型成功地完成了两个任务:将目标服装转移到人物身上,并使人物按照姿态视频产生运动,同时保持了人物的身份特征。图中展示了两种不同的示例,分别针对单服装和多服装的情况,体现了模型的通用性。
这张图对理解论文至关重要,因为它直观地展示了Vanast方法的核心任务和输入输出关系,帮助读者快速把握研究问题的本质和方法的整体思路。通过对比输入和输出,可以清晰地看到模型需要在单一框架中同时解决服装转移和人体动画两个子任务,以及保持身份一致性的挑战。这张图为后续的技术细节和实验结果提供了直观的上下文。
该图展示了Vanast在野外服装转移任务上的结果。图中分为多行,每行对应一个野外服装样本。每行包含以下内容:最左侧显示输入的人类图像和姿态视频,中间显示来自TikTokDress数据集的野外服装图像,右侧显示生成的动画视频关键帧。野外服装图像的特点是背景复杂、光照不均匀、服装姿态与标准姿态不同、可能存在遮挡等挑战。通过对比生成结果,可以清楚地看到Vanast成功实现了野外服装转移:尽管服装图像的背景、光照、姿态与人类图像存在显著差异,模型仍然能够准确提取服装特征并将其转移到人类身上。生成的视频中,服装图案和细节被良好保留,姿态自然流畅,时间一致性强。图中特别强调了模型对野外服装图像的强大适应性,即使在服装图像姿态与人体动画姿态不匹配的情况下,也能保持强时间一致性。
这张图对理解Vanast的泛化能力至关重要。它展示了模型在野外场景下的表现,这是实际应用中最重要的场景之一。通过野外服装转移的结果,可以清楚地看到Vanast在处理复杂背景、光照变化、姿态差异等挑战时的鲁棒性。这张图为理解模型的实际应用潜力和局限性提供了重要证据。
该图展示了Vanast在服装插值任务上的零样本结果。图中分为多行,每行对应一个服装插值示例。每行包含以下内容:最左侧显示输入的人类图像和姿态视频,中间显示两件服装A和B(标注为Garment A和Garment B),右侧显示不同插值权重γ下的生成结果。γ值从0.0到1.0,步长为0.25,分别对应0.0、0.25、0.50、0.75、1.0。当γ=0.0时,结果完全对应服装A;当γ=1.0时,结果完全对应服装B;中间值则产生两件服装的插值结果。通过对比不同γ值的结果,可以清楚地看到Vanast成功实现了零样本服装插值:随着γ值的增加,生成的服装逐渐从服装A过渡到服装B,过渡平滑自然,没有明显的伪影或不连续。服装的图案、颜色、纹理等特征都按照γ权重进行混合,姿态流畅自然,身份保持一致。图中标注了Upper和Lower,表明插值适用于上下装。
这张图对理解Vanast的高级功能——零样本服装插值至关重要。它展示了模型处理服装插值的能力,这是虚拟试穿应用中非常有价值的功能(如展示服装渐变效果、用户自定义服装风格等)。通过不同插值权重的结果,可以清楚地看到Vanast在服装特征混合和过渡平滑性方面的优势。零样本性质进一步证明了模型的强大泛化能力。这张图为理解模型的应用潜力和技术创新提供了重要证据。