TryOnCrafter：通过可渲染4D试衣代理实现逼真的视频虚拟试衣相机轨迹控制

首个相机可控视频虚拟试衣框架，用4D代理实现任意轨迹合成

前置知识

扩散模型

扩散模型是一类生成模型，通过逐步添加噪声破坏数据，然后学习逆向过程从噪声中重建数据。在视频生成中，扩散模型通过时序注意力机制保持帧间一致性。本文基于Wan2.1-I2V-14B基础模型，使用20步去噪和CFG scale 6.0进行推理。

本文的核心生成组件是Proxy-Anchored Video Diffusion Transformer，理解扩散模型的去噪过程、CFG（Classifier-Free Guidance）和交叉注意力机制对于掌握本文如何利用渲染先验约束生成过程至关重要。

3D高斯泼溅(3DGS)

3D高斯泼溅是一种显式场景表示方法，将场景建模为一系列3D高斯原语集合，每个原语包含位置、各向异性尺度、四元数旋转、不透明度和视相关外观。通过可微光栅化器实时渲染，支持高效编辑和变形。

本文的核心创新是构建Canonical 3DGS-based Avatar作为4D Try-on Proxy的人体表示，理解3DGS的变形机制（通过LBS驱动）对于掌握本文如何实现服装细节保持和姿态对齐至关重要。

SMPL-X

SMPL-X是一个参数化人体模型，通过姿态参数控制关节角度，通过形状参数控制体型。它提供从姿态到3D网格顶点的可微映射，支持精确的姿态估计和运动分析。本文使用GVHMR从单目视频中估计时序一致的SMPL-X序列。

本文的关键步骤是通过Anchor-based Alignment将SMPL-X序列从相机空间对齐到世界空间，然后驱动3DGS avatar的变形。理解SMPL-X的运动表示和坐标变换对于掌握本文如何实现人体与背景的严格空间对齐至关重要。

线性混合蒙皮(LBS)

线性混合蒙皮是一种骨架驱动的变形技术，将网格顶点或高斯原素绑定到骨骼上，通过骨骼的刚性变换和蒙皮权重计算变形后的位置。公式中通过骨骼的旋转矩阵和蒙皮权重实现顶点位置的变换。

本文通过LBS驱动的变形将canonical 3DGS avatar动态翘曲到SMPL-X姿态序列，理解LBS的权重分配和变换级联对于掌握本文如何在保持服装细节的同时实现姿态对齐至关重要。

多视角立体(MVS)

多视角立体通过从多个视角的图像估计深度图、置信度和相机参数来重建3D场景。本文使用feed-forward MVS框架从源视频估计密集深度、置信度和相机参数，然后反投影得到全局点云。

本文通过MVS重建动态点云作为几何锚点，实现SMPL-X序列到世界空间的相似变换。理解MVS的深度估计和坐标系统对于掌握本文如何解决单目重建的尺度模糊性至关重要。

研究动机

现有的视频虚拟试衣方法存在根本性限制：它们被约束在输入单目视频的固定相机轨迹上。这种限制与真实试衣需求冲突，用户期望能够自由旋转和检查服装的新视角以评估侧面轮廓和背面外观等细节。一个直接的解决方案是两阶段流水线：先进行视频虚拟试衣，然后应用视频到视频(V2V)相机控制模型。然而，这种顺序设计在数字时尚应用中仍然次优，因为存在三个基本障碍：级联误差累积。初始视频虚拟试衣阶段的纹理不一致性经常被后续的V2V相机控制模型放大，因为控制模型可能无法处理分布外的试衣结果。有限的服装建模。现有的V2V相机控制方法缺乏对人体几何和服装变形的显式建模，因此直接将它们应用于试衣视频经常无法保持服装结构的时空连贯性。严重的计算负担。当前的视频虚拟试衣和V2V相机控制模型都很重且推理缓慢，朴素地将它们级联使得端到端推理不切实际，运行时间几乎翻倍。

本文的目标是本文的目标是提出TryOnCrafter，一个统一的端到端扩散变换器框架，用于相机可控视频虚拟试衣。具体而言，TryOnCrafter旨在合成高保真虚拟试衣视频，跨越任意相机轨迹，确保保存复杂的服装纹理和鲁棒的时序一致性。框架通过引入可渲染的4D试衣代理和基于代理的视频DiT，建立了一个开创性的重新渲染范式，提供了鲁棒的结构基础和运动完整性。这使得用户能够实现交互式、3D感知的虚拟试衣，超越被动的视频回放，支持包括人体重新定位、子弹时间效果和360度轨道观看在内的多样化下游应用。

与已有工作不同的是，本文的独特切入角度是首次将视频虚拟试衣扩展到相机可控视频虚拟试衣任务，将合成与输入相机轨迹的约束解耦。与以往依赖于动态点云表示整个4D场景的相机控制工作不同，我们的代理明确地将人体主体与环境解耦。通过将高质量的2D图像试衣先验提炼为基于3DGS的着装avatar，并将其与SMPL-X运动序列同步，我们实现了人体几何及其铰接动力学的完整重建。与稀疏且不稳定的点云相比，这个4D试衣代理提供了更鲁棒和全面的服装纹理和运动线索，即使在剧烈的视角转换下也能确保结构完整性。这种明确的4D表示使TryOnCrafter能够在保持物理合理的变形和目标相机轨迹的同时，合成逼真的试衣视频，填补了现有方法在交互式数字时尚体验方面的空白。

核心方法

TryOnCrafter的整体思路是通过构建一个可渲染的4D试衣代理作为几何锚点来引导视频扩散变换器，从而实现任意相机轨迹的逼真视频虚拟试衣。框架包含两个主要阶段：4D试衣代理构建和基于代理的视频生成。第一阶段通过场景重建和基于锚点的对齐，将SMPL-X序列从相机空间映射到世界空间，然后通过图像试衣和图像到avatar基础模型生成canonical 3DGS-based avatar，最后通过LBS驱动的变形实现动画并渲染。第二阶段采用三层条件层次：渲染先验提供基础时空基础，跨视角参考适配器(CRA)和多模态语义条件提供辅助外观和语义线索。这种明确4D引导的重新渲染范式确保了合成的视频不仅在视觉上令人惊叹，而且严格受到物理合理的变形和目标相机轨迹的约束。

本文的核心创新点在于引入Renderable 4D Try-on Proxy明确解耦人体主体与环境，通过将高质量的2D图像试衣先验提炼为基于3DGS的着装avatar并将其与SMPL-X运动序列同步，实现了人体几何及其铰接动力学的完整重建。与以往依赖于动态点云表示整个4D场景的相机控制工作不同，我们的4D代理提供了更鲁棒和全面的服装纹理和运动线索。Proxy-Anchored Video DiT利用渲染的代理序列作为主要结构锚点来合成逼真的试衣视频，通过明确4D引导确保生成过程受到物理合理的变形和目标相机轨迹的严格约束。这种重新渲染范式与以往隐式像素空间操作的方法有本质区别，在保持细粒度服装细节的同时实现了严格的背景对齐。此外，CRA模块通过权重共享注意力机制在DiT特征和参考特征之间架起桥梁，确保跨视角身份和背景一致性。这种设计使TryOnCrafter能够在不依赖额外辅助网络的情况下实现多模态注意力交互，消除了级联误差累积。

方法步骤详情

TryOnCrafter的方法步骤分为两个主要阶段。第一阶段4D试衣代理构建：场景重建和基于锚点的对齐：给定源视频，首先通过feed-forward MVS框架从源视频重建动态场景，估计密集深度、置信度和相机参数。反投影得到的全局点云使用SAM 2分割为人体组件和背景组件。人体组件捕获穿着源服装的人体几何，随后被我们高保真的、基于3DGS的穿着目标试衣服装的avatar替换。同时，背景组件被保留为背景上下文，在统一的、度量对齐的世界空间中实现无缝渲染。然后使用GVHMR估计时序一致的SMPL-X序列以从源视频解耦人体运动。利用人体点云作为几何锚点，我们制定鲁棒的相似变换将SMPL-X顶点映射到世界空间。为了考虑单目重建固有的噪声和不完整性，我们提出置信度感知的点-面对齐目标，最小化世界空间观测和变换后的参数化模型之间的加权残差。Canonical 3DGS-based Avatar生成：通过识别最优关键帧最大化正面可见性并最小化自遮挡，利用图像试衣框架合成高保真参考图像。通过将参考图像和其对应的SMPL-X姿态输入avatar基础模型，提炼捕获个性化身份和新服装复杂几何的canonical 3DGS avatar。高斯原素定义为位置、协方差、不透明度和颜色组成的集合，每个原素锚定在canonical A-pose的上采样SMPL-X模型表面上。变形和渲染：通过LBS驱动的aligned SMPL-X序列动画化canonical avatar。对于每个高斯原素，通过查询canonical空间中上采样SMPL-X网格的最近顶点分配蒙皮权重。每个原素的位置和协方差首先变换到posed空间，然后通过相似变换映射到世界空间。变形流水线产生posed avatar，在保持细粒度服装细节的同时与背景上下文保持严格结构对齐。第二阶段基于代理的视频生成：渲染先验和参考帧注入：利用从4D试衣代理派生的渲染视频作为基本结构先验，通过Wan Encoder处理并与下采样二进制掩码集成以突出有效几何区域。在patchify阶段，这些编码特征沿通道维度与潜在噪声连接。为了稳定全局外观并防止早期去噪阶段的轮廓漂移，我们将高保真参考帧作为渲染视频的第一帧注入。跨视角参考适配器(CRA)：CRA在主DiT块和参考分支之间实现协同交互。对于给定DiT特征和其对应参考特征，CRA采用权重共享注意力机制。为了确保特征对齐同时保持预训练生成先验，CRA与DiT backbone共享键和值投影权重，但使用独立查询和输出权重。参考残差通过停止梯度算子应用于DiT特征以保持训练稳定性。这个参考信号通过加性残差连接集成到主分支。多模态语义条件：利用CLIP图像编码器提取服装特征(纹理和材料线索)和UmT5文本编码器提取高级属性。这些tokens连接并通过交叉注意力注入DiT块，防止在未观察视角中的漂移并将合成服装与场景上下文协调。

技术新颖性

本文的技术新颖性体现在多个方面。首先，这是首个将视频虚拟试衣扩展到相机可控视频虚拟试衣任务的框架，将合成与输入相机轨迹的约束解耦。其次，引入Renderable 4D Try-on Proxy明确解耦人体主体与环境，与以往依赖于动态点云表示整个4D场景的相机控制工作有本质区别。通过将高质量的2D图像试衣先验提炼为基于3DGS的着装avatar，我们实现了比稀疏且不稳定的点云更鲁棒和全面的服装纹理和运动线索表示。第三，Proxy-Anchored Video DiT采用三层条件层次：渲染先验提供基础时空基础，CRA模块通过权重共享注意力机制在保持预训练生成先验的同时实现特征对齐，多模态语义条件补充显式几何先验。这种设计使TryOnCrafter能够在不依赖额外辅助网络的情况下实现多模态注意力交互，与CatV2TON直接连接服装和视频潜在特征进行多模态注意力交互的方法不同。第四，Anchor-based Alignment通过置信度感知的点-面对齐目标解决单目重建固有的尺度模糊性，使用多模态置信度权重确保优化优先考虑可靠几何区域而非噪声外围。第五，通过可微3DGS光栅化器渲染着装人体avatar而背景使用基于点云的渲染器的混合渲染策略，在保证效率的同时实现高质量渲染。这种明确的4D表示使TryOnCrafter能够支持包括人体重新定位、子弹时间效果和360度轨道观看在内的多样化下游应用，这在以往的工作中是难以实现的。

**Fig. 1**: Examples synthesized by TryOnCrafter. We introduce a Renderable 4D Try-on Proxy (middle) as a geometric anchor to guide the Video Diffusion Transformer. This explicit 4D representation enables photorealistic try-on across unconstrained, novel camera trajectories (bottom) not present in the source video (top).

Fig. 2: Overview of TryOnCrafter. Top: 4D Try-on Proxy Construction. A metric-aligned scene in world space is established via anchor-based alignment of dynamic point clouds and SMPL-X sequences. Integrating a canonical 3DGS-based avatar distilled from reference image, the resulting 4D Try-on Proxy supports interactive editing and rendering across arbitrary camera trajectories. Bottom: Proxy-Anchored Try-on Video Generation. The try-on video is synthesized by the DiT under the integrated guidance of rendered priors, cross-view source features, and multimodal semantic conditions.

Fig. 3: Details of 4D Try-on Proxy Construction and CRA Module. (a) A similarity transformation {Rt, tt, st} maps the SMPL-X sequence from camera space to the world space, utilizing the human point cloud as a geometric anchor. (b) The canonical 3DGS-based avatar is dynamically warped via LBS driven by the aligned SMPL-X sequence, preserving structural integrity across the motion. (c) The CRA module facilitates interaction between DiT features Fi and reference features Fl. By sharing K-V projections and utilizing independent Q′-O′ weights, it integrates a reference residual O′l into the backbone to ensure cross-view identity and background consistency.

实验结果

TryOnCrafter在两个基准上进行了广泛实验，展示了其优越性。在ViViD基准上，我们的方法在paired和unpaired设置下都建立了新的SOTA。在具有挑战性的unpaired场景中，我们的方法显著优于所有基线，VFIDuI从DreamVVT的16.9468降低到10.7563，VFIDuR从0.4285降低到0.2088。在paired VFIDpI和VFIDpR中的顶级性能反映了增强的时空一致性和服装感知对齐，VFIDpI从11.0180降低到9.6085，VFIDpR从0.2549降低到0.1817。虽然一些方法在paired情况下产生略高的SSIM，但我们的框架在保持竞争力的结构相似性的同时提供卓越的感知质量(LPIPS 0.0567)。定性结果表明，TryOnCrafter在纹理传输和颜色保存方面比CatV2TON和Magic-Tryon具有更高保真度，精确维持复杂图案和原始鲜艳度。通过利用几何感知渲染先验，TryOnCrafter准确重建复杂轮廓(如全长裤子)，而Magic-Tryon无法解决结构几何，错误地将长服装坍缩成短裤。在CaM-VVTBench上，TryOnCrafter建立了新的SOTA，显著优于两阶段基线。Overall Score从Magic-Tryon+TrajectoryCrafter的71.64提升到75.47，Subject Consistency从87.76提升到92.71，Imaging Quality从68.27提升到74.28。定性结果显示，当相机运动强度和透视复杂性增加时，两阶段基线性能显著下降。TrajectoryCrafter在剧烈旋转期间频繁表现结构崩溃和肢体扭曲(如主体手臂)，由于缺乏显式人体先验和其依赖碎片化的3D点云。相反，我们的统一框架提供Renderable 4D Try-on Proxy中的人体avatar作为连续几何基础，在保存肢体完整性和背景连贯性方面显著优于点云基线。ReCaMaster遭受深刻的结构理解缺陷；缺乏显式几何约束导致在人体主体和复杂背景流形(如扭曲的灌木和长椅)上严重变形。最重要的是，虽然基线在暴力机动下无法保持纹理一致性或生成物理合理的服装运动，我们的TryOnCrafter有效地实现从未观察角度的视角无关细粒度纹理合成。通过合成逼真的、轨迹对齐的服装变形，我们的Proxy-Anchored Video DiT在无约束轨迹下展示了卓越的结构鲁棒性和高保真外观。消融研究确认4D Try-on Proxy的三个核心组件(着装avatar、背景点云和Anchor-based Alignment)以及DiT条件技术(渲染先验、CRA模块和多模态语义线索)的必要性。特别是，w/o Rendered Video设置中的显著性能下降强调显式几何锚点对于维持结构完整性和视觉保真度是不可或缺的。

**Table 1**: Quantitative comparison with state-of-the-art methods on the ViViD [6] dataset. The bold represent the best results. p and u denote the paired setting and unpaired setting, respectively.

**Table 2**: Ablation study of different try-on components in TryOnCrafter on the ViViD dataset. The bold and underlined entries represent the best and second-best results, respectively.

**Table 3**: Quantitative comparison with two-stage methods on the CaM-VVTBench. The bold represent the best results. † denotes restricted to input trajectories.

**Fig. 4**: Qualitative comparison on the video try-on benchmark. The left two columns show results on ViViD-S [6], and the right column shows results on the in-the-wild test set.

**Fig. 5**: Qualitative comparison results on CaM-VVTBench. Left trajectory: orbit right and zoom in, Right trajectory: orbit left. † denotes restricted to input trajectories.

**Fig. 6**: Versatile Applications of TryOnCrafter. Leveraging the decoupled 4D proxy, our model enables controllable synthesis: (a) Human Relocalization: Translating the motion sequence within Sw while maintaining scene-geometry consistency. (b) 360-degree Orbital Viewing: Synthesizing full orbital trajectories with robust structural integrity in unobserved viewpoints. (c) Bullet Time: Rendering a frozen temporal moment from a moving camera by anchoring the generation to a single pose.

**Fig. 7**: Left: Ablation studies of main component of TryOnCrafter. Right: Failure case caused by perspective-induced parallax and inaccuracies of SMPL-X estimation.

查看结构化数据

任务	指标	本文	基线	提升
视频虚拟试衣	VFIDuI (unpaired)	10.7563	DreamVVT: 16.9468	降低36.5%
视频虚拟试衣	VFIDuR (unpaired)	0.2088	DreamVVT: 0.4285	降低51.3%
视频虚拟试衣	VFIDpI (paired)	9.6085	DreamVVT: 11.0180	降低12.8%
视频虚拟试衣	VFIDpR (paired)	0.1817	DreamVVT: 0.2549	降低28.7%
视频虚拟试衣	LPIPS (paired)	0.0567	DreamVVT: 0.0619	降低8.4%
相机可控视频虚拟试衣	Overall Score	75.47	Magic-Tryon+TrajectoryCrafter: 71.64	提升5.3%
相机可控视频虚拟试衣	Subject Consistency	92.71	Magic-Tryon+TrajectoryCrafter: 87.76	提升5.6%
相机可控视频虚拟试衣	Imaging Quality	74.28	Magic-Tryon+TrajectoryCrafter: 68.27	提升8.8%
相机可控视频虚拟试衣	Background Consistency	92.05	Magic-Tryon+TrajectoryCrafter: 90.76	提升1.4%

局限与改进

作者承认TryOnCrafter存在一定局限性。具体而言，我们的框架依赖参数化4D Try-on Proxy进行几何指导；然而，极端视角转换经常引入显著视差和模糊性，挑战主体与背景之间的结构对齐。这种空间偏移会加剧SMPL-X模型中的估计不准确性，在剧烈铰接运动期间偶尔表现为错位的手部姿势或微妙的几何不一致性。此外，我们的基于DiT框架的迭代去噪过程产生高推理成本，阻碍轨迹编辑的实时交互。从我们的观察来看，另一个潜在局限性是anchor-based alignment对点云质量的依赖。当源视频存在严重自遮挡或运动模糊时，MVS重建的点云可能不完整或充满噪声，影响相似变换的估计精度。此外，canonical 3DGS avatar生成依赖于图像试衣和图像到avatar基础模型的质量，如果这些模型在处理复杂服装纹理或极端姿态时表现不佳，可能会影响最终视频的保真度。LBS变形虽然高效，但无法处理复杂的 cloth physics 效果，如褶皱和滑落，在某些剧烈姿态转换下可能导致服装变形不够自然。最后，虽然CRA模块通过权重共享注意力机制提高了效率，但在长视频序列中仍可能面临计算负担，限制了在资源受限设备上的部署。

独立分析的弱点

TryOnCrafter在特定场景下存在几个可以改进的弱点。首先，anchor-based alignment对点云质量的依赖使得在低光照、高反射或快速运动场景中表现下降。改进方向可以引入更鲁棒的深度估计方法，如结合多帧一致性约束或使用预训练的单目深度估计器作为初始化。其次，SMPL-X模型的手部姿态估计在剧烈铰接运动时可能出现错位，改进方向可以集成专门的手部姿态估计模型或在置信度感知对齐中对手部区域给予更高权重。第三，LBS变形无法处理复杂的 cloth physics，改进方向可以引入物理模拟器或学习服装变形模型来增强褶皱和滑落效果的真实性。第四，迭代去噪过程的高推理成本阻碍实时交互，改进方向可以探索知识蒸馏或量化技术来加速模型，或者开发单步扩散模型来减少推理步骤。第五，CRA模块在长视频序列中的计算负担可以通过引入稀疏注意力或层级注意力机制来缓解。第六，canonical 3DGS avatar生成对图像试衣质量的依赖可能导致服装细节丢失，改进方向可以开发端到端的从源视频和目标服装直接生成4D avatar的模型，避免级联误差。最后，对于极端视角转换引起的视差问题，可以探索更灵活的对齐策略，如非刚性对齐或基于学习的变形场。

未来方向

作者提出的未来研究方向包括改进极端视角转换下的结构对齐和降低推理成本以支持实时交互。基于TryOnCrafter的成果，可以延伸多个研究方向：实时交互式虚拟试衣：通过模型蒸馏、量化或开发更高效的架构，将推理时间降低到实时水平，支持用户在试衣过程中实时调整相机轨迹和服装参数。多服装组合试衣：扩展4D试衣代理以支持多件服装的组合试衣，如上衣和裤子，同时保持服装之间的物理合理交互。用户个性化avatar生成：开发从用户自拍或扫描快速生成个性化avatar的方法，提高虚拟试衣的真实感和用户接受度。跨领域应用：将TryOnCrafter的方法扩展到其他领域，如虚拟角色换装、动画制作和游戏开发，提供更灵活的角色外观控制。物理增强变形：集成物理模拟器或学习服装变形模型，增强褶皱、滑落和风动效果的真实性，特别是在剧烈姿态转换下。多模态交互：结合语音、手势和文本输入，提供更自然的虚拟试衣交互体验，如通过语音指令调整服装或通过手势选择相机视角。分布式渲染和计算：探索分布式渲染和计算架构，将渲染和生成任务分配到多个设备，支持更高分辨率和更长视频的实时生成。评估基准扩展：建立更全面的评估基准，包括更多服装类别、更复杂的相机轨迹和更多样化的背景场景，推动相机可控虚拟试衣领域的发展。

复现评估

TryOnCrafter的复现需要考虑多个方面。开源情况方面，论文提到建立了CaM-VVTBench评估协议，但未明确说明代码和模型的公开情况。数据方面，ViViD基准是公开的，包含7759训练样本和180测试样本。CaM-VVTBench训练集包含约60K从在线来源收集的视频片段，涵盖多样化主体、服装类别和相机轨迹；测试集包含96个精心策划的样本，有六个预定义相机运动模式，包括tilt up、tilt down、zoom in、zoom out、orbit left和orbit right。算力方面，所有实验在16张NVIDIA A100 (80GB) GPU上进行，这表明模型和训练过程需要大量计算资源。推理设置使用20步去噪和CFG scale 6.0，这为复现提供了具体参数。难度方面，复现TryOnCrafter面临多个挑战：需要实现feed-forward MVS框架进行场景重建、使用GVHMR估计SMPL-X序列、集成图像试衣和图像到avatar基础模型、训练Proxy-Anchored Video DiT等。这些组件的依赖关系和复杂的流水线增加了复现难度。此外，论文未提供详细的超参数设置、训练策略和损失函数的具体实现细节，这可能进一步增加复现难度。总体而言，TryOnCrafter的复现需要较强的技术背景和充足的计算资源，难度评级为中等偏高。

TryOnCrafter：通过可渲染4D试衣代理实现逼真的视频虚拟试衣相机轨迹控制 TryOnCrafter: Unleashing Camera Trajectories for Realistic Video Virtual Try-on via a Renderable 4D Try-on Proxy