iTryOn：以空间-语义引导攻克交互式视频虚拟试衣

面向人主动交互服装的试衣，用3D手部先验、A-RoPE与约束损失合成视频。

前置知识

视频虚拟试衣 (Video Virtual Try-On, VVT)

给定一段人物视频和一张目标服装图，生成该人物穿着目标服装的连贯视频，需保证服装纹理、结构与人物动作的时空一致性。区别于图像虚拟试衣，VVT要解决逐帧套用图像方法导致的闪烁与不连续，通常通过给扩散模型注入时间维模块实现。

本文在传统VVT基础上提出'交互式VVT'新任务，必须先理解传统VVT的输入输出、条件信号(姿态、服装无关表征)与时空一致性挑战，才能理解交互场景引入的新难点。

扩散Transformer (DiT) 与 Wan2.1-VACE

扩散Transformer用Transformer替代U-Net做扩散去噪，视频版用全时空注意力建模跨帧关系。Wan2.1-VACE是可控视频生成的强骨干，iTryOn把它作为底座，将试衣建模为以服装图为参考、以人体姿态为结构控制的条件视频修复任务，利用其强大先验加速收敛。

iTryOn所有创新(3D手部先验注入、A-RoPE、AC loss)都构建在Wan2.1-VACE的DiT骨架之上，理解DiT的cross-attention接口是读懂指导机制如何注入去噪过程的前提。

旋转位置编码 (RoPE) 与 A-RoPE

RoPE通过对查询/键向量施加旋转矩阵编码相对位置。A-RoPE(Action-aware RoPE)在此基础上对交互段与非交互段按段索引i施加缩放1D-RoPE，公式 $\hat{Q}_i=\text{1D-RoPE}(Q_i,i\cdot k)$，使动作描述与对应视频段在时间注意力上精确对齐。

A-RoPE是iTryOn解决'动作描述何时生效'的核心机制，不懂RoPE就无法理解它如何避免语义指导'渗透'到非交互帧。

3D手部先验 (HaMeR)

HaMeR从单张图像重建手的3D网格(含形状与朝向的MANO参数)，输出与服装无关的纯几何手部先验$V_{hand}$。相比2D关键点或手部深度图，3D手重建保留了沿Z轴的深度与手型信息，能区分'捏拉'与'按压'等不同交互手势。

iTryOn用3D手部先验解决'交互的空间歧义'，必须理解2D姿态为何不足以描述交互，以及为何作者拒绝使用手部深度图(信息泄漏)而选择3D手网格。

动作感知约束损失与v-prediction

v-prediction指扩散模型预测速度场$v$的训练目标。动作感知约束损失(AC loss)在其基础上对交互帧额外加一项二值掩码加权损失$\lambda\mathbb{E}\|M_{action}\odot(v_\theta-v)\|_2^2$，放大稀疏交互事件的梯度信号。

AC loss是iTryOn解决'稀疏交互事件学习不稳定'的关键，不懂v-prediction与掩码加权机制就无法理解它如何迫使模型聚焦于罕见但关键的交互帧。

研究动机

视频虚拟试衣(VVT)近年借助扩散模型取得长足进展，ViViD、CatV2TON、MagicTryOn、DreamVVT等方法通过给图像扩散模型插入时间模块或采用DiT架构，已能在非交互场景下生成时空一致、纹理清晰的试衣视频。然而这些方法存在根本盲区：它们假设被试者只是被动展示服装，仅在画面中走动或摆姿势。但直播电商催生了全新范式——主播会主动与服装交互，例如拉伸布料展示弹性、撩起下摆展示图案、拉拉链或解扣子。这些交互为潜在买家提供关键信息却完全未被现有VVT方法解决。iTryOn把这一空白正式定义为交互式视频虚拟试衣(Interactive VVT)任务，并指出三大独特挑战：(1)交互的语义歧义——标准2D关键点缺乏深度与手型，无法区分'塞衣角'与'轻拍'；(2)从稀疏事件学习物理合理性——交互瞬间短暂罕见，梯度信号被大量静态帧淹没；(3)数据与评测稀缺——现有VVT数据集几乎全是非交互序列，标准指标只看视觉保真度无法验证交互是否语义成功。

本文的目标是本文目标是在新定义的交互式视频虚拟试衣(Interactive VVT)任务上同时解决歧义性与稀疏性两大核心难题。具体而言，作者希望构建一个能准确合成人物主动与服装进行复杂物理交互(如拉拉链、扯下摆)的视频生成框架，并要求生成的动作在语义(做什么)与时机(何时发生)上都正确可控。形式化地，给定源视频$V_{src}\in\mathbb{R}^{T\times3\times H\times W}$、目标服装图$G$与条件集$C$(含姿态、服装无关表征及交互指导)，需学习映射$\hat{V}=F(V_{src},G,C)$使输出保留人物身份与运动，同时逼真渲染目标服装随交互的动态形变。为支撑研究，作者构建了首个大规模数据集VVT-Interact(5292对视频-服装、6类交互)并提出Interaction Success Rate(ISR)评测指标，最终在传统ViViD与新基准上同时取得SOTA。

与已有工作不同的是，现有VVT工作的共同盲点是'只展示不交互'。作者的核心切入角度是把人-衣交互分解为三个正交可控维度——'how(手如何接触)'、'what(做什么动作)'、'when(何时发生)'，并分别用三条独立机制注入扩散模型，而非像已有方法那样仅依赖姿态骨架与全局描述。具体差异化体现在：空间维度首次引入服装无关的3D手部先验(HaMeR)，论证并实验证明手部深度图因信息泄漏(残留源服装袖口几何)会引入伪影，而纯3D手网格提供干净信号；语义维度用全局描述+时间戳动作描述配合自创的A-RoPE做时间对齐；训练维度用AC loss对稀疏交互帧加权。这种'三维解耦的交互注入'路线与CatV2TON/MagicTryOn/DreamVVT只做被动运动一致性的工作形成本质区别。

核心方法

iTryOn的设计哲学是'多层级交互注入'。直觉上，要生成可信的拉拉链动作，模型需同时知道手在哪里(空间)、在做什么(语义)、何时做(时机)，并在学习这种罕见事件时不能被静态帧淹没(训练)。技术上，iTryOn以Wan2.1-VACE这一可控视频扩散Transformer为骨干，将试衣建模为以服装图为参考、以人体姿态为结构控制的条件视频修复任务。所有输入经冻结的Wan编码器编码到隐空间，在DiT迭代去噪过程中通过并行可训练模块注入指导：Context Blocks(仅2个)处理姿态与服装无关表征提供整体服装对齐，Interaction Guider处理精细手-衣接触。核心创新三条：3D手部先验的精细空间指导(Sec 3.4)、动作感知语义指导含A-RoPE(Sec 3.5)、动作感知约束损失AC loss(Sec 3.6)，最终去噪隐变量解码为输出视频。

核心创新是把'人-衣交互'分解为空间(How)、语义(What)、时机(When)三维度并分别注入扩散模型，再用一个针对稀疏事件的约束损失保证可学性，与已有方法的本质区别在于'显式解耦'。具体三点：(1)空间维度首次用服装无关的3D手部先验(HaMeR提取的MANO网格$V_{hand}$)替代易泄漏信息的手部深度图，由轻量Interaction Guider融合后加性注入DiT每个block的视频token，解决2D姿态丢失Z轴深度与手型的问题；(2)语义维度提出A-RoPE——对所有段查询施加缩放1D-RoPE $\hat{Q}_i=\text{1D-RoPE}(Q_i,i\cdot k)$，但仅在动作描述键上激活，使交互描述与对应视频段时间精确对齐、避免渗透到非交互帧；(3)训练维度用AC loss对交互帧加权，把稀疏但关键的梯度放大。三者协同是高性能根因，消融实验证明缺一不可。

方法步骤详情

完整流程分七步。第一步数据采集：从电商直播与社交媒体采集视频-服装对，经五重过滤(低分辨率、低码率、人物占比小、遮挡、场景切换)得到干净数据。第二步标注：用Qwen-VL生成全局描述，并逐帧二分类交互/非交互，形态学平滑后结合预定义类别生成(动作描述,[起帧,止帧])的时间戳标注，共5292对6类。第三步输入编码：源视频、姿态、服装无关表征、3D手先验经冻结Wan编码器到隐空间。第四步指导注入：Context Blocks(2个)处理姿态+服装无关表征，Interaction Guider融合3D手特征与全局/动作描述文本嵌入。第五步A-RoPE对齐：时间交叉注意力中对查询与动作描述键施加段索引缩放1D-RoPE($k=4$)，非交互段用空描述且不施加编码。第六步训练：两阶段，先在ViViD上10k步用空描述微调，再在VVT-Interact上10k步，81帧576×768，AdamW lr=1e-5，8卡A100，AC loss权重$\lambda=0.5$。第七步推理：50步去噪CFG=3，ISR评测用Qwen-VL对交互段做二值核验。

技术新颖性

技术新颖性四点。第一，首次正式定义交互式VVT任务并构建首个大规模数据集VVT-Interact(5292对、6类交互、带时间戳动作标注)与ISR评测指标——后者用VLM对生成动作做语义二值核验，填补了'标准指标对交互语义盲'的空白，$\text{ISR}=X/N$。第二，空间维度选用3D手网格而非手部深度图，并用图3实验论证深度图因信息泄漏(残留源服装袖口)直接导致伪影，而3D手提供干净信号，这是经实验验证的几何先验选择。第三，A-RoPE把'段级'相对位置编码引入时间交叉注意力，区别于标准RoPE的帧级编码，专门为'动作描述仅在某段生效'这一约束设计，且仅在交互段键上激活。第四，AC loss通过二值掩码$M_{action}$对交互帧额外加权($\lambda=0.5$)，解决长视频中交互帧占比极小导致梯度被淹没的问题。整体是'任务-数据-指标-方法'四位一体的开创性工作。

**Figure 3**: Visual justification for our garment-agnostic 3D hand prior.

实验结果

实验在VVT-Interact(132测试视频、10692帧)与ViViD两基准展开，核心发现三层。第一，交互保真度决定性领先(Table 2)：iTryOn的ISR达0.6100(paired)/0.6147(unpaired)，最强基线MagicTryOn仅0.4348/0.4474，ViViD 0.4838，CatV2TON 0.3968——交互成功率比次优高约12-17个百分点；FVD^p 380.56也远低于ViViD 533.22、CatV2TON 468.48、MagicTryOn 431.79。第二，视觉保真度同样领先(Table 1)：SSIM 0.7849、LPIPS 0.1217、VFID^p_I 22.46均最优，优于ViViD(0.7761/0.1434)与MagicTryOn(LPIPS 0.1702)。第三，消融(Table 3/4)证明创新缺一不可：仅加数据ISR^p仅0.4779，加空间指导升至0.5174，加语义指导跳至0.5987，加AC loss达0.6100——印证仅靠数据无法学会复杂动力学。传统ViViD基准上也达SOTA。

**Table 1**: Quantitative comparison of Visual Fidelity on the VVT-Interact dataset.

**Table 2**: Quantitative comparison of Interaction Fidelity on the VVT-Interact dataset.

**Table 3**: Ablation study of Visual Fidelity on the VVT-Interact dataset.

**Table 4**: Ablation study of Interaction Fidelity on the VVT-Interact dataset.

**Figure 4**: Qualitative comparison on the VVT-Interact dataset.

**Figure 5**: Visual comparison of different variants on the VVT-Interact dataset.

查看结构化数据

任务	指标	本文	基线	提升
VVT-Interact 交互保真度(paired)	ISR (Interaction Success Rate)	0.6100	MagicTryOn 0.4348, ViViD 0.4838, CatV2TON 0.3968	比次优MagicTryOn高+0.1752(约+40%相对提升)，确立交互场景下的压倒性领先
VVT-Interact 时序一致性(paired)	FVD (Fréchet Video Distance, 越低越好)	380.5578	MagicTryOn 431.7865, ViViD 533.2168, CatV2TON 468.4750	比次优MagicTryOn低51.23(-11.9%)，运动动力学更平滑自然
VVT-Interact 视觉保真度	SSIM / LPIPS	SSIM 0.7849, LPIPS 0.1217	ViViD SSIM 0.7761/LPIPS 0.1434, MagicTryOn LPIPS 0.1702	SSIM +0.0088，LPIPS较ViViD改善0.0217，纹理细节与抗闪烁更优
消融-交互保真度逐步提升	ISR^p	全模型(Data+Spatial+Semantic+AC loss) 0.6100	Baseline 0.4766 → +Data 0.4779 → +Spatial 0.5174 → +Semantic 0.5987	语义指导贡献最大(+0.0808)，AC loss再+0.0113；仅加数据几乎无效，证明架构创新是关键
传统ViViD非交互基准	视觉保真度(附录A.6)	达到SOTA(详细数值见附录)	ViViD / CatV2TON / MagicTryOn	在非交互基准上同样领先，证明模型具备通用性而非仅擅长交互

局限与改进

作者明确承认两点局限。第一，模型缺乏对服装语义的显式推理，例如不知道拉链是何物，当被要求执行不可行交互(如'拉开无缝T恤')时会产生'哑剧式'动作，即手部做出拉扯动作但服装无相应结构变化。第二，量化精细物理准确性仍是开放难题——ISR只能判断'动作是否语义成功'但无法度量手-衣接触的几何精确度、布料褶皱的真实程度。补充观察：(1)评测高度依赖Qwen-VL，ISR的可靠性受VLM自身能力限制，存在'生成看起来对但实际物理错误仍被判成功'的风险，且判官模型与标注模型同源可能引入偏置；(2)数据集仅5292对、6类交互，交互类型有限且采集自电商场景，泛化到日常户外、极端动作(剧烈运动、多人交互)未验证；(3)6类交互类别是否覆盖真实主播的全部交互类型存疑；(4)两阶段训练需先在ViViD上预训练，依赖该数据集可用性。

独立分析的弱点

独立分析后五点弱点。第一，交互类别仅6类且由预定义集合决定，A-RoPE与AC loss都依赖时间戳动作描述，若交互不在预定义集合内则机制失效，改进方向是引入开放词汇动作描述或从视频中自动发现交互类别。第二，ISR评测与标注共用Qwen-VL，存在循环验证嫌疑——判官模型可能对自身标注风格有偏好，改进方向是用多个不同VLM交叉评测或引入人工标注子集做校准。第三，3D手部先验依赖HaMeR在源视频上的重建质量，若源视频手部被严重遮挡或快速运动导致HaMeR失败，空间指导会失效，改进方向是加入手部重建置信度并在低置信时回退或用视频时序平滑。第四，AC loss的掩码$M_{action}$依赖标注的交互段边界，标注噪声(形态学平滑可能漏掉短交互)会直接传到损失权重，改进方向是让模型自学习软掩码(soft mask)。第五，未报告推理延迟与显存，81帧576×768的DiT在A100上的实际部署成本不明，对实时直播试衣场景的可用性存疑。

未来方向

作者隐含方向是把交互试衣从'动作正确'推进到'物理精确'。基于此可延伸五条。第一，引入服装物理先验：结合布料仿真或可微物理引擎，让模型理解拉链、纽扣等可动结构，解决作者承认的'哑剧式动作'问题，使模型对服装语义显式推理。第二，扩展交互类别到开放集：用视频-语言大模型在线发现新交互类型，摆脱6类预定义限制，并支持多交互叠加(边走边拉拉链)。第三，完善物理评测：在ISR之外引入手-衣接触精度(如接触IoU)、布料应变张量、物理合理性分类等细粒度指标，建立物理试衣评测基准。第四，多视角与3D试衣：从单目视频扩展到多视角或直接生成3D服装形变，配合神经辐射场或3D高斯，让交互在任意视角下一致。第五，实时交互编辑：把A-RoPE的'段级对齐'扩展为用户在线标注动作的实时编辑，支持'指定第3秒拉下摆'的交互式生成，对接直播电商的实际产品需求。

复现评估

复现评估四方面。开源情况：论文正文未声明代码与权重开源，仅给出作者机构(中山大学、阿里淘天)，截至论文时间无公开仓库，需自行实现Wan2.1-VACE适配与三大创新模块。数据可获得性：VVT-Interact由作者自建、从电商直播采集，是否公开、授权条款未明确；标注用Qwen-VL可复现流程但原始视频可能受版权限制；ViViD数据集公开。依赖模型可获：Wan2.1-VACE、HaMeR、DWPose、DensePose、Qwen-VL均开源，外部依赖充分。算力需求：8张NVIDIA A100(80GB)训练两阶段共20k步，per-GPU batch=1，81帧576×768，单次完整训练成本高昂，中小团队难独立复现全量训练。复现难度：核心创新A-RoPE需修改DiT的时间交叉注意力实现，AC loss需构造帧级二值掩码，Interaction Guider需融合3D手特征与文本嵌入——每项都有工程门槛，但概念清晰，若骨干与数据可用可逐步复现ISR 0.61附近的数字，属中等偏难复现。

iTryOn：以空间-语义引导攻克交互式视频虚拟试衣 iTryOn: Mastering Interactive Video Virtual Try-On with Spatial-Semantic Guidance