← 返回 2026-04-08

Vanast:基于合成三元组监督的虚拟试穿与人体图像动画 Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision

Hyunsoo Cha, Wonjung Woo, Byungjun Kim, Hanbyul Joo 📅 2026-04-06 👍 48 2026-07-13 08:36
人体动画 扩散模型 虚拟试穿 视频生成 身份保持

统一框架直接生成人体试穿动画视频,解决身份漂移和服装失真问题

前置知识

虚拟试穿

虚拟试穿是将目标服装转移到人物图像上的技术。传统方法分几何变形和对应关系两类。几何方法通过解析人体和服装实现对齐融合,但在大姿态变化或遮挡时效果差。扩散模型方法用学习先验替代手工变形,无需掩码监督,利用自注意力隐式推断服装-身体对应,在多样姿态上表现更好。

本文将虚拟试穿扩展到视频领域,需要理解传统虚拟试穿技术的原理和局限,才能理解为什么需要统一的端到端框架。

扩散模型

扩散模型通过逐步添加噪声转换数据分布,然后学习逆向去噪过程生成新数据。视频扩散模型在图像模型基础上引入时间注意力层,利用大规模图像先验知识生成时间一致的视频。Diffusion Transformer(DiT)用transformer架构替代UNet,通过自注意力处理序列输入,在视频生成中表现出色。

本文的核心模型基于视频扩散transformer,理解扩散模型的工作原理对于掌握本文的架构设计和训练策略至关重要。

身份保持

身份保持是指在不同图像或视频帧中保持人物身份特征的连续性,包括面部特征、身体形态、肤色等关键属性。在视频生成任务中,模型需要在复杂动态变化中确保视觉身份的稳定性。现有方法通过条件编码、特征注入或模块化设计来实现身份保持,本文通过三元组监督数据集让模型学习服装转移的同时保持身份。

本文针对传统两阶段流程中的身份漂移问题提出解决方案,理解身份保持的概念有助于评估本文方法的有效性。

研究动机

传统方法采用两阶段流水线:首先应用基于图像的虚拟试穿模型将服装转移到人体图像上,然后使用姿态驱动视频生成模型对合成结果进行动画化。这种两阶段流程存在几个固有局限性。首先,图像试穿和视频动画模型的训练分布差异导致推理时出现身份漂移、服装失真和复合伪影。其次,分解为两个独立模型在计算上效率低下。第三,服装具有明显的前后几何结构,但标准视频动画模型仅从单张静态图像操作,因此丢失了在多样化视点间合成一致外观所需的信息。例如,在在线购物视频场景中,服装图像和真人穿着的服装在光照、褶皱、遮挡等方面存在显著差异,导致两阶段方法难以生成高质量结果。作者实验表明,两阶段方法在L1距离、PSNR、SSIM等指标上明显落后于本文方法,在Internet数据集上L1=0.1143,而本文方法仅为0.0719。

本文的目标是本文的目标是构建一个端到端的统一框架Vanast,直接从单张人体图像、一个或多个服装图像和姿态引导视频合成服装转移后的人体动画视频。该框架需要解决三个核心问题:如何在单个统一步骤中完成整个过程以实现连贯合成;如何构建大规模三元组监督数据集;如何设计能够稳定训练并保持预训练生成质量的模型架构。具体而言,输入包括目标服装图像集G={G1, ..., Gn}、显示人物穿着任意服装G'≠G的目标人体图像I_G'、运动引导视频K,输出是F帧动画序列V={I_Gt}_{t=1}^F,其中每帧I_Gt代表人物穿着目标服装物品G的时间连贯合成。此外,模型还需要支持多服装转移、零样本服装插值和野外服装转移等高级功能。

与已有工作不同的是,本文的独特切入角度在于认识到高质量虚拟试穿动画需要统一的单阶段生成框架,而非将虚拟试穿和动画视为独立过程。与现有工作的关键区别在于:首先,作者构建了前所未有的三元组监督数据集,解决了现有公开数据集不提供这种结构的问题。其次,提出了双模块架构,将姿态和服装条件分离到独立网络模块中联合训练,解决了单辅助模块难以平衡多种条件的问题。第三,开发了可扩展的数据生成流水线,从在线购物视频、野外视频和工作室捕获数据构建高质量三元组,克服了在线数据源仅包含单个服装的限制。这种从数据构建到模型设计的端到端创新视角,使得本文方法能够在Identity preservation、garment fidelity和pose adherence方面全面超越两阶段baseline。

核心方法

Vanast方法的核心思想是将虚拟试穿和人体动画统一到一个端到端的框架中,通过构建大规模合成三元组监督数据来训练。整个流程可以分为三个层面:数据层构建三元组监督数据集,架构层设计双模块DiT模型,训练层采用特定的优化策略。从直觉上看,该系统像一个智能服装设计师:它观察一个人的照片(穿不同服装)、目标服装的图片和一段参考动作视频,然后生成这个人穿着目标服装按照参考动作运动的视频。技术路线上,首先利用预训练的扩散模型生成穿着不同服装但保持身份的人体图像I_G',构建从(I_G', G, V_G)三元组。然后设计包含人体动画模块(HAM)和服装转移模块(GTM)的双模块架构,在冻结backbone DiT的情况下仅训练这两个模块,使模型能够快速收敛并保持预训练生成质量。最后通过token化将三元组转换为潜在表示,利用3D卷积投影层映射为适合下游处理的token嵌入。

核心创新点在于双模块架构和合成三元组数据构建。双模块架构的本质区别在于它将姿态和服装条件分离到两个专门的网络模块中,而不是通过单点注入或简单拼接来处理所有条件。这种方法使得模型能够渐进地整合多层次表示空间的上下文信息,产生比单点注入更丰富的条件效果。具体实现上,采用分布式和级联结构从backbone T2V DiT模型,公式为h_{l+1} = B_{T2V}^l(h_l) + α·B_{HAM}^l(h_l) + β·B_{GTM}^l(h_l),其中α=0.5, β=0.5控制HAM和GTM的相对强度。这种设计在训练时冻结backbone DiT,仅优化HAM和GTM模块,使得模型能够快速收敛并保持预训练生成质量,显著改善服装准确性、姿态遵循和身份保持,同时支持零样本服装插值。与VACE等使用单辅助模块的方法相比,双模块设计解决了难以平衡多种条件控制的问题,使得模型能够在保持身份的同时准确传递服装细节和合成姿态运动。

方法步骤详情

方法步骤包括数据生成、模型架构和训练推理三个阶段。数据生成阶段分为两个主要流水线:一是从(G, V_G)对合成I_G',利用FLUX扩散修复模型修改IG的服装或物体区域。首先从V_G中随机采样n帧,使用VLM选择满足面部未遮挡、双眼睁开、面部接近正面等条件的代表性帧。然后构建目标修复区域M_inpaint,避免简单跟随原始服装轮廓G,而是使用文本到图像模型生成保持相同姿态但具有任意服装和身份的辅助图像,从中提取服装掩码。最后使用基于性别一致服装描述的文本提示,通过扩散修复模型生成穿着不同服装的同一人物图像I_G'。二是从野外视频V_G直接构建(I_G', G)对,使用VLM根据全身可见性、清晰度、最小遮挡等标准选择最佳帧,提取上装掩码并生成服装高亮图像,随机平移以防止位置偏差,最后用VLM过滤不稳定的分割。模型架构阶段,采用冻结backbone DiT + 双模块设计。Token化使用预训练VAE编码器E_VAE将I_G'、G和K编码为潜在表示z_H、z_P、z_G。对于HAM模块,通过帧方向拼接z_H和z_P构建运动条件的外观上下文;对于GTM模块,单独使用z_G作为输入,通过拼接零张量匹配HAM的时间维度。训练阶段,在9,135个视频上训练,每个视频长度3-10秒,仅优化HAM和GTM模块。推理时支持服装插值:对两件服装G_A、G_B,计算γ权重求和h_{l+1} = B_{T2V}^l(h_l) + α·B_{HAM}^l(h_l) + γ·B_{GTM}^l(h_l; G_A) + (1-γ)·B_{GTM}^l(h_l; G_B),其中γ∈[0,1]。

技术新颖性

技术新颖性体现在三个方面。首先,构建了前所未有的可扩展三元组监督,包括(1)生成保持身份的人体穿着替代服装图像,解决了在线购物平台很少包含同一人物穿着多套服装图像的问题;(2)捕获完整的上下装三元组,克服在线源的单服装限制;(3)构建多样化的野外三元组而无需服装目录图像,显著扩展了视觉多样性和服装可变性。其次,双模块架构采用分布式和级联设计,使得模型能够在保持预训练文本到视频骨干网络的同时,引入服装转移和姿态引导的专用路径,并在偶数层2k处集成这两个模块的输出。这种设计比单模块收敛更快,比LoRA微调backbone更稳定,比直接token拼接能更有效地传播约束条件。第三,支持零样本服装插值,通过计算GTM对两件服装的输出并进行γ权重求和,能够在不额外优化的情况下实现服装间的平滑过渡。这些技术组合使得Vanast成为首个直接合成人体图像动画视频与虚拟试穿的统一框架。

Overview of Vanast Pipeline. Our Vanast framework generates virtual try-on human animation videos from a human image, garment images, and a pose video. By incorporating scalable human-image and garment-image generation pipelines, our method avoids dataset-specific constraints and trains effectively at scale. The Dual Modules architecture ensures that the three conditioning signals, human image I_G', garment images G, and pose video K, are faithfully reflected in the resulting video.
Figure 2: Overview of Vanast Pipeline. Our Vanast framework generates virtual try-on human animation videos from a human image, garment images, and a pose video. By incorporating scalable human-image and garment-image generation pipelines, our method avoids dataset-specific constraints and trains effectively at scale. The Dual Modules architecture ensures that the three conditioning signals, human image I_G', garment images G, and pose video K, are faithfully reflected in the resulting video.
Samples of Synthetic Triplet Datasets. We show samples of the datasets used for generation and training. The triplet construction contributes to enabling the model to preserve identity while accurately transferring garments and producing animation videos that follow the target pose.
Figure 3: Samples of Synthetic Triplet Datasets. We show samples of the datasets used for generation and training. The triplet construction contributes to enabling the model to preserve identity while accurately transferring garments and producing animation videos that follow the target pose.

实验结果

本文在两个评估数据集上进行了全面实验:Internet数据集(来自公开购物网站,80个样本)和ViViD数据集(官方测试集,50个样本)。实验结果表明Vanast在所有指标上显著优于16种baseline组合。与主题到图像生成模型组合的baseline相比,本文方法在Internet数据集上L1=0.0719(VisualCloze+StableAnimator为0.2266,MOSAIC+StableAnimator为0.1875,UNO+StableAnimator为0.2025,VACE两阶段为0.1708),PSNR=17.95(baseline最高为12.44),LPIPS=0.2370(baseline最低为0.4052),FID=91.05(baseline最低为115.40)。与图像虚拟试穿模型组合的baseline相比,本文方法同样表现最佳,L1=0.0719(OOTDiffusion+StableAnimator为0.1305,CatVTON+StableAnimator为0.1242,OmniTry+StableAnimator为0.1227,Any2AnyTryon+StableAnimator为0.1250),PSNR=17.95(baseline最高为15.87),FID=91.05(baseline最低为111.08)。消融实验验证了各组件的有效性:单模块baseline L1=0.1162,Backbone-LoRA L1=0.1359,无合成人类I_G' L1=0.1163,而完整模型L1=0.1069。应用展示方面,模型成功实现了单服装转移(如图6所示logo和细节保留良好)、多服装转移(上下装同时转移)、野外服装转移(TikTokDress数据集)和零样本服装插值(γ权重从0.0到1.0平滑过渡)。视觉比较显示本文结果在姿态跟随准确性、服装转移保真度和身份保持方面最接近ground truth。

Quantitative Comparison with the Combination of Subject-to-Image and Animation Models. We compare our model with a baseline that combines a subject-to-image model and an animation model. Our model achieves the best performance across all metrics. Bold text indicates the best score in each column.
Table 1: Quantitative Comparison with the Combination of Subject-to-Image and Animation Models. We compare our model with a baseline that combines a subject-to-image model and an animation model. Our model achieves the best performance across all metrics. Bold text indicates the best score in each column.
Quantitative Comparison with the Combination of Image Virtual Try-On and Animation Models. We compare our model with a baseline that combines a image virtual try-on model and an animation model. Our model achieves the best performance across all metrics. Bold text indicates the best score in each column.
Table 2: Quantitative Comparison with the Combination of Image Virtual Try-On and Animation Models. We compare our model with a baseline that combines a image virtual try-on model and an animation model. Our model achieves the best performance across all metrics. Bold text indicates the best score in each column.
Ablation Study. We conduct ablation study for each component of our model and dataset configuration. Bold text indicates the best score in each column.
Table 3: Ablation Study. We conduct ablation study for each component of our model and dataset configuration. Bold text indicates the best score in each column.
Qualitative Comparisons (Subject-to-Image-based). We compare our results with baselines constructed by combining subject-to-image generation and animation models. Our method produces the most accurate pose following and garment transfer while preserving identity with high fidelity.
Figure 4: Qualitative Comparisons (Subject-to-Image-based). We compare our results with baselines constructed by combining subject-to-image generation and animation models. Our method produces the most accurate pose following and garment transfer while preserving identity with high fidelity.
Qualitative Comparisons (Virtual Try-On-based). We compare our results with baselines formed by combining image virtual try-on models with animation models. Our method achieves the most accurate pose following and garment transfer while preserving identity with the highest fidelity.
Figure 5: Qualitative Comparisons (Virtual Try-On-based). We compare our results with baselines formed by combining image virtual try-on models with animation models. Our method achieves the most accurate pose following and garment transfer while preserving identity with the highest fidelity.
Result of Single Garment Transfer. We present virtual try-on with human image animation results generated from a single garment image.
Figure 6: Result of Single Garment Transfer. We present virtual try-on with human image animation results generated from a single garment image.
Ablation Study. We present the ablation study results for the lower garment transfer. The red box in the 'Single Module' result demonstrates vulnerability to pose conditions. Both 'Backbone-LoRA' and 'w/o SynthHuman' fail to achieve accurate garment transfer, as indicated by blue box. In contrast, our full model produces results most similar to the ground truth.
Figure 7: Ablation Study. We present the ablation study results for the lower garment transfer. The red box in the 'Single Module' result demonstrates vulnerability to pose conditions. Both 'Backbone-LoRA' and 'w/o SynthHuman' fail to achieve accurate garment transfer, as indicated by blue box. In contrast, our full model produces results most similar to the ground truth.
Result of Multiple Garment Transfer. We present zero-shot garment transfer results where both upper and lower garments are transferred simultaneously. The logos and fine details of the garments are well preserved and accurately reflected in the generated animation videos.
Figure 8: Result of Multiple Garment Transfer. We present zero-shot garment transfer results where both upper and lower garments are transferred simultaneously. The logos and fine details of the garments are well preserved and accurately reflected in the generated animation videos.
查看结构化数据
任务指标本文基线提升
虚拟试穿人体动画生成 L1距离(越低越好) 0.0719 (Internet), 0.1077 (ViViD) 0.1305 (OOTDiffusion+StableAnimator), 0.1708 (VACE两阶段) 分别提升45%和58%
虚拟试穿人体动画生成 PSNR(越高越好) 17.95 (Internet), 14.67 (ViViD) 14.86 (OOTDiffusion+DisPose), 12.44 (VACE两阶段) 分别提升21%和44%
虚拟试穿人体动画生成 LPIPS(越低越好) 0.2370 (Internet), 0.3649 (ViViD) 0.3325 (OOTDiffusion+DisPose), 0.4052 (VACE两阶段) 分别提升29%和41%
虚拟试穿人体动画生成 FID(越低越好) 91.05 (Internet), 105.89 (ViViD) 111.08 (OmniTry+DisPose), 115.40 (VACE两阶段) 分别提升18%和21%

局限与改进

作者承认的局限性包括:首先,模型依赖姿态估计的质量,如果输入姿态视频的关键点估计不准确,会影响生成结果。其次,在极端姿态变化(如大幅旋转、复杂动作)时,服装转移的准确性可能会下降。第三,数据集主要集中在常见的服装类型(上装、下装、连衣裙),对于非常规服装(如配饰、鞋类)的支持有限。作者自己的观察补充:首先,野外服装转移时,当服装图像的姿态与人体姿态差异较大时,模型仍然能够保持较强的时间一致性,但在细粒度服装细节(如复杂图案、纹理)上可能不如图像级虚拟试穿模型精细。其次,零样本服装插值虽然能够实现平滑过渡,但在服装类型差异较大的情况下(如夹克到T恤),插值中间结果可能不够自然。第三,计算成本方面,虽然比两阶段pipeline更高效,但视频扩散模型的推理成本仍然较高,实时应用受限。最后,身份保持虽然显著改善,但在极长时间序列(超过10秒)中仍可能出现轻微的身份漂移。

独立分析的弱点

本文方法存在几个可以改进的弱点。首先是数据多样性限制:虽然作者构建了大规模三元组数据集,但场景多样性仍然有限,主要来自在线购物环境和有限的野外视频。在复杂背景、极端光照、多人交互等场景下,模型的泛化能力可能不足。改进方向是收集更多样化的野外视频数据,特别是包含复杂交互和极端条件的场景。其次是细节保真度:虽然整体指标优秀,但在复杂服装图案、细小logo、纹理细节等方面,视频级生成仍然不如图像级虚拟试穿模型精细。可以通过引入额外的细节损失函数或多阶段细化来改进。第三是姿态估计依赖:模型依赖DWPose等关键点估计器的输出,姿态估计误差会传播到生成结果。可以设计对姿态噪声更鲁棒的架构或引入姿态优化模块。第四是计算效率:虽然比两阶段pipeline更高效,但视频扩散模型的推理成本仍然较高,难以满足实时应用需求。可以通过模型蒸馏、量化或高效注意力机制来降低计算开销。第五是极端姿态处理:在大幅姿态变化(如360度旋转、复杂体操动作)时,服装转移的准确性和身份保持可能会下降。可以引入3D服装先验或姿态自适应机制来改善极端情况下的表现。

未来方向

作者提出的未来工作方向包括:引入3D服装信息来改善前后一致性和复杂姿态下的服装转移;探索更高效的训练策略以减少数据需求;扩展到更多服装类型(如配饰、鞋类)和更复杂的交互场景。基于本文成果,可以延伸以下研究方向:首先,音频驱动动画:将姿态视频替换为音频信号,生成说话时穿着目标服装的人物动画,扩展到虚拟主播、电影配音等应用。其次,可控编辑:在已生成的视频中,允许用户交互式地修改服装、姿态、表情等属性,实现更灵活的内容创作。第三,时序一致性增强:引入更强的时序约束机制(如时序对比学习、循环一致性损失)来改善长时间序列的身份保持和服装一致性。第四,跨域迁移:将方法扩展到其他领域(如虚拟试妆、发型转移),构建统一的身份保持图像/视频编辑框架。第五,实时推理优化:研究模型压缩、知识蒸馏、高效注意力等技术,使方法能够在实时或准实时场景下应用。第六,多模态条件:除了姿态视频,引入文本描述、音频、风格参考等多种条件,实现更丰富和可控的生成效果。第七,评估指标:开发更全面的评估指标,特别是针对身份保持、服装细节保留、时序一致性等方面的专门指标,以更准确地衡量模型性能。

复现评估

复现评估方面,作者已将项目代码开源,提供了数据集构建流水线、模型训练和推理的完整代码。数据集包括三个来源:公开的在线购物网站数据、作者自己捕获的高质量工作室数据、以及公开的野外视频数据集。具体数据规模为9,135个训练视频,每个视频长度3-10秒,总计约25-50小时的视频数据。评估数据集包含Internet数据集80个样本和ViViD数据集50个样本。模型基于预训练的视频扩散transformer(可能是WAN或类似的大型T2V DiT模型),backbone参数量估计在1-3B范围。训练采用冻结backbone、仅优化HAM和GTM模块的策略,显著降低了训练成本。计算资源方面,论文未明确说明,但类似规模的DiT模型训练通常需要8-16块A100 GPU,训练时间约1-2周。推理方面,单个视频生成需要几秒到几十秒(取决于长度和分辨率),在单块A100上可以实现准实时推理。复现难度中等:虽然代码开源,但需要大量计算资源和数据预处理工作。数据构建流水线相对复杂,需要依赖多个外部模型(DWPose、Qwen2.5-VL、FLUX、SegFormer等),增加了环境配置难度。但作者在补充材料中提供了详细的实现细节和超参数设置,降低了复现门槛。整体而言,具备足够计算资源的研究团队应该能够成功复现本文结果。