基于视觉实例提示分割的可控虚拟试衣 CtrlVTON: Controllable Virtual Try-On via Visual-Instance-Prompt Segmentation
把虚拟试衣转为图像编辑任务，用手绘掩码精确控制衣物尺寸、款式与摆放
前置知识
虚拟试衣（Virtual Try-On, VTO）
虚拟试衣旨在合成一张穿着指定服装的目标人物照片，让用户无需实际穿戴即可预览效果。早期方法通过对服装特征做几何形变再用 GAN 渲染，但对复杂姿态、精细纹理和遮挡表现不佳。基于扩散模型的方法显著提升了真实感与细节保真度，主流分为两条技术路线：基于图像修复（inpainting）的方法先擦除人物身上的服装区域再重新填充，以及基于图像编辑（editing）的方法对整张图进行条件化生成。
本文的核心目标是构建可控的虚拟试衣系统，理解 VTO 的任务定义、主流范式及其各自的失败模式，是理解本文为什么要重新定义任务、为什么需要分割掩码的前提。
扩散变换器与流匹配（DiT & Flow Matching）
扩散变换器（Diffusion Transformer, DiT）用 Transformer 替代传统 U-Net 作为扩散模型的骨干网络，借助大规模预训练带来的更强生成先验。流匹配（flow matching）是扩散模型的一种变体，把生成过程建模为从噪声分布到数据分布的连续流，模型学习预测该流的速度场 $v_\theta(x_t, t \mid c)$，其中 $x_t = (1-t)x_0 + t x_1$ 是数据样本 $x_1$ 与噪声样本 $x_0$ 的线性插值，$c$ 为条件。相比标准 DDPM，流匹配目标更简洁、训练更稳定。
CtrlVTON 的底座是一个预训练的图像编辑 DiT，并用流匹配目标进行微调，其损失函数 $\mathcal{L}_{ctrl}$ 直接基于速度场预测。理解流匹配才能看懂训练目标与掩码注入方式。
分割一切模型（SAM / SAM2）
SAM（Segment Anything Model）是交互式分割的基础模型，能根据空间提示（点、框、粗掩码）产生类别无关的分割掩码；SAM2 把这一范式扩展到视频，通过记忆模块跨帧传播物体身份。二者都只接受空间提示，无法通过一张单独的参考图指定要分割的目标实例。后续工作如 VRP-SAM、PerSAM 引入“视觉参考提示”：给定查询图与带标注的支持图，分割查询图中被参考的对象，但多在类别级别评估。
本文的第一贡献 VIP-SAM 正是建立在 SAM/SAM2 之上，通过引入视觉参考并改进注入位置实现实例级分割。理解 SAM 的提示机制才能理解本文提出的实例级分割任务与已有类别级任务的差异。
LoRA 低秩适配（Low-Rank Adaptation）
LoRA 是一种参数高效微调方法：冻结预训练大模型的全部权重，只在指定线性层旁注入可训练的低秩矩阵 $\Delta\theta = BA$（其中 $B$、$A$ 为低秩因子），从而用极少量参数适配下游任务。本文在冻结的 CtrlVTON-base 之上训练一个 LoRA 适配器，专门用于接收三个分割掩码，实现像素级空间控制，而无需改动底座。
CtrlVTON 的可控性扩展正是以 LoRA 适配器形式实现，理解 LoRA 才能理解作者为何强调该扩展轻量、不增加注意力开销，以及为何能在冻结底座上叠加掩码控制。
图像修复与图像编辑（Inpainting vs Image Editing）
图像修复指先擦除图像某个区域再用模型填充该区域；图像编辑则对整张图进行条件化生成，可自由修改全图但在合适训练下学会选择性保留身份、姿态、背景。在 VTO 中，修复方法需在掩码松紧与身份保持之间做脆弱权衡：掩码过小会泄漏残留服装像素污染输出，掩码过大则擦除了模型必须重新幻觉的身份线索，且输出还会被掩码形状和掩码外的上下文偏差（如阴影）所影响。编辑方法规避了这些缺陷，却也丧失了像素级空间控制。
本文的动机正是要兼得两者的长处——从编辑模型继承全图条件化，从修复模型继承掩码级空间控制。理解这对权衡是理解本文方法设计的核心。
研究动机
尽管基于扩散的虚拟试衣（VTO）在真实感和服装保真度上取得长足进步，现有系统存在一个根本局限：用户几乎无法控制衣物“怎么穿”——包括尺寸（宽松或合身）、款式（塞进或外放、拉链拉上或拉开），以及空间摆放（位置、层次）。基于图像修复的方法（如 IDM-VTON、CatVTON、Leffa）存在脆弱的权衡：掩码过小会泄漏残留服装像素污染输出，掩码过大则擦除模型必须重新幻觉的身份线索；输出还被掩码形状与掩码外上下文偏差（如阴影）所影响。而最强的专有图像编辑模型（Nano Banana Pro、GPT Image 1.5、Seedream 4.5、FLUX.2）虽然规避了修复的失败模式，却也一并丢掉了空间控制——用户无从指定衣物如何穿。M&M VTO 和 PromptDresser 虽能提供粗粒度的文本布局，但无法表达精确空间摆放，也不支持分层衣物。此外，训练可控 VTO 需要自动、可扩展地分割人物图中对应的参考服装实例，而现有分割方法做不到。
本文的目标是本文的目标是构建一个可控虚拟试衣框架，把“可控性”作为首要目标。具体而言，作者希望兼得两类范式的长处：从编辑模型继承全图条件化（避开修复的失败模式），从修复模型继承像素级空间控制（通过掩码精确指定新衣物应出现的位置）。同时，作者需要解决一个前置难题——自动、可扩展地分割人物图里那件与参考图对应的具体服装实例，从而为训练提供精确的实例级掩码。最终系统需统一支持单件/多件换装、分层、选择性替换等场景，并在空间控制上大幅超过最强专有编辑模型。
与已有工作不同的是，本文的独特切入角度有三点。其一，把 VTO 从修复问题 $(p_{masked}, g_{ref}) \to p$ 重新表述为图像编辑问题 $(p_{ref}, g_{ref}) \to p$，其中 $p_{ref}$ 是与 $p$ 同人同姿态同背景但穿不同衣物的参考图，模型因此可自由修改全图却在数据制备约束下学会选择性保留身份/姿态/背景。其二，把分割掩码作为编辑框架内的“像素级接口”而非修复掩码，从而绕开掩码松紧权衡又恢复空间控制。其三，形式化一个全新的实例级分割任务 VIP-Seg（与既有类别级 VRP-Seg 区分），并设计 VIP-SAM 通过早期特征注入实现同实例跨场景识别。这种“编辑 + 掩码作为输入”的组合，是与已有方法最本质的不同。
核心方法
方法由两个互补贡献组成。第一是定义并求解视觉实例提示分割任务 VIP-Seg，并给出模型 VIP-SAM：给定一张支持图（如服装平铺图），在查询图（如穿着它的人物照）中分割出完全相同的那个实例，即便存在同类干扰物、严重遮挡和非刚性形变。VIP-SAM 用 SAM（ViT）或 SAM2（Hiera）骨干处理查询图，用 ResNet-50、DINOv2 或 DINOv3 处理支持图，并通过骨干中间层的交叉注意力适配器把支持图特征注入查询图编码器。第二是可控试衣框架 CtrlVTON，它把试衣重定义为编辑问题，在一个预训练图像编辑 DiT 上微调得到 CtrlVTON-base（输入三元组 $(p, p_{ref}, g_{ref})$ 加两个语义令牌），再在其上训练轻量 LoRA 适配器吸收三个掩码 $(M_p, M_{pref}, M_{gref})$ 得到 CtrlVTON。整体思路是：先用直觉——掩码是空间控制的天然接口；再走技术路线——把掩码经 VAE 编码后与图像潜在做通道级拼接 $\tilde{z}_X = [z_X \| z_{M_X}]$。
核心创新点是把分割掩码重新定位为编辑框架内的“像素级控制接口”，而非传统修复框架里的“待填充区域”。这与已有方法的本质区别有三：第一，相对 VRP-SAM 这类只在解码器/提示层做特征匹配的方法，VIP-SAM 在骨干的较早阶段（中间各 block 后）通过交叉注意力适配器注入支持图特征，使查询编码器从一开始就受支持图条件化，从而能区分同类别下的具体实例（如颜色相近的内外两件衬衫）；第二，相对 token 级拼接掩码的替代方案（如 CORAL），本文采用潜空间通道级拼接 $\tilde{z}_X = [z_X \| z_{M_X}]$，通道维翻倍但 $H\times W$ token 网格不变，注意力开销与条件令牌数都不增长；第三，将换装/分层/多件统一到同一框架，仅靠离散任务令牌 $\tau_{task} \in \{full\_swap, partial\_swap, add\}$ 切换行为。
方法步骤详情
流程分九步。① 收集源对 $(p, g_{ref})$：来自公开 VTO 数据集、商业授权零售数据与内部数据，覆盖上装/下装/连体/鞋/包及平铺、上人、野外格式。② 抽掩码：$M_p$ 用 VIP-SAM 以 $g_{ref}$ 为视觉提示在 $p$ 中查询得到；$M_{gref}$ 对平铺图用二分分割 BEN2、对人穿图用 VIP-SAM。③ 合成 $p_{ref}$：给定 $(p, M_p, g_{unpaired})$，用现成生成模型对 $p$ 的掩码区修复填充，生成保留姿态/身份/背景的参考人物图。④ 以 $g_{unpaired}$ 提示 VIP-SAM 得到 $M_{pref}$。⑤ 质量把控：每对合成4-5个候选，经 VLM 筛查、基于 VIP-SAM 掩码的轮廓过滤与三名标注员终审选出最优。⑥ 训练 CtrlVTON-base：在三元组 $(p, p_{ref}, g_{ref})$ 上微调图像编辑 DiT，条件为类别令牌 $\tau_{cls}\in\{upper,lower,full,shoes,bag\}$ 与任务令牌 $\tau_{task}$。⑦ 训练 CtrlVTON：冻结底座 $\theta$，在 MM-DiT/Single-DiT 线性块上训练 LoRA 参数 $\Delta\theta$，掩码与图像潜在通道级拼接 $\tilde{z}_X=[z_X\|z_{M_X}]$，以流匹配目标 $\mathcal{L}_{ctrl}=\mathbb{E}\|v_{\theta+\Delta\theta}(x_t,t\mid\tilde c)-(x_1-x_0)\|_2^2$ 优化，$x_t=(1-t)x_0+tx_1$。⑧ 多件扩展：一次摄入 $\{g_{ref}^{(1)},\dots,g_{ref}^{(K)}\}$，按件分配不同 RGB 的颜色编码掩码，单阶段在单/多件混合数据训练。⑨ 推理：先跑 base 得初始结果，用 VIP-SAM 抽其服装掩码，用户编辑该掩码后再跑 CtrlVTON，使推理掩码与训练分布对齐。
技术新颖性
技术新颖性体现在四个层面。任务层面，首次形式化实例级视觉提示分割 VIP-Seg，明确区分于既有类别级 VRP-Seg，并构造了约1万张人工标注掩码的时尚分割数据集与 VITON-HD-edit（2032张）公开基准。架构层面，VIP-SAM 的早期特征注入（骨干各 block 后的交叉注意力适配器）是相对 VRP-SAM 晚期匹配的关键改进，实验证明在同类干扰、严重遮挡、非刚性形变下能正确锁定被查询实例。建模层面，首次在编辑框架内通过潜空间通道级拼接 $\tilde{z}_X = [z_X \| z_{M_X}]$ 引入掩码，既不增加注意力成本也不增加条件令牌数，并以 LoRA 形式叠加在冻结底座上，实现轻量可控扩展。统一性层面，靠离散任务令牌将全换、选择性换、分层与多件试衣统一进一个框架与一个检查点（实验中多件模型同时用于单件/多件/令牌控制三类评估）。
实验结果
核心发现四块。① 分割（Table 1）：最强 VIP-SAM（Hiera-L+DINOv3-H）在 Fashion-val/test 达 mIoU 97.2/96.6，超 VRP-SAM（ViT-H）的 94.4/94.3 与 ProSAM 的 94.6/93.8；在 COCO-20i 达 74.0、PASCAL-5i 达 79.1，远高于 VRP-SAM 的 59.4/68.7，证明早期特征注入有利于实例识别。② 单件试衣（Table 2）：CtrlVTON-base 在 VITON-HD 上 M-DINO 0.8054、GTC 4.2057、PBC 4.7301、PR 4.3753，全面超过 inpainting 基线（IDM-VTON 0.7198、Leffa 0.6687）并多数指标领先最强 editing 基线 OmniTry（M-DINO 0.7421、GTC 4.0876）。③ 多件试衣（Table 3）：DressCode-MR 上 M-DINO 0.6712、GTC 3.8987、PBC 4.6856，优于为多件设计的 FastFit（0.6512）、顺序单件的 OmniTry（0.5987）与重生成人物的 BootComp（0.5412）。④ 掩码可控（Table 4，头条结果）：CtrlVTON 空间控制 IoU 0.961、$d_{Hu}$ 0.0022、$d_H$ 26.05，巨大领先四个专有模型（Nano Banana Pro 0.871、GPT Image 1.5 0.811、Seedream 4.5 0.865、FLUX.2 0.873），保真度仍具竞争力（M-DINO 0.8212、GTC 4.2773、PBC 4.8352 最高）。任务令牌实验（Fig. 8）显示仅切 $\tau_{task}$ 即可在全换/选择换/分层间产生质的不同输出。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 实例级视觉提示分割（Fashion-val/test） | mIoU（越高越好） | 97.2 / 96.6（VIP-SAM, Hiera-L + DINOv3-H） | 94.4 / 94.3（VRP-SAM, ViT-H + ResNet-50）；ProSAM 94.6 / 93.8 | 约 +2.8 / +2.3 mIoU，在同类干扰与遮挡下显著领先 |
| 实例级分割（标准基准 COCO-20i / PASCAL-5i） | mIoU（越高越好） | 74.0 / 79.1（VIP-SAM, Hiera-L + DINOv3-H） | 59.4 / 68.7（VRP-SAM, ViT-H + ResNet-50） | COCO +14.6、PASCAL +10.4 mIoU |
| 单件虚拟试衣（VITON-HD） | M-DINO / GTC / PBC / PR（越高越好） | 0.8054 / 4.2057 / 4.7301 / 4.3753 | OmniTry 0.7421 / 4.0876 / 4.5876 / 4.0187；IDM-VTON 0.7198 / 3.6798 | M-DINO +0.063、GTC +0.12、PBC +0.14 相对最强编辑基线 |
| 掩码可控单件试衣（VITON-HD-edit） | IoU / $d_{Hu}$ / $d_H$（空间控制） | 0.961 / 0.0022 / 26.05 | Nano Banana Pro 0.871；GPT Image 1.5 0.811；Seedream 4.5 0.865；FLUX.2 0.873 | IoU +0.088 以上、$d_H$ 降低约 9-27，空间遵循大幅领先且保真度具竞争力 |
局限与改进
局限如下。其一，多件掩码控制尚无公开基准，作者仅给出定性结果（Fig. 9、Fig. 10），缺乏多件设置下的 IoU/$d_{Hu}$/$d_H$ 量化。其二，所有 VTO 评估遵循非配对协议，舍弃了 SSIM、LPIPS 等需真值的指标，而 FID 等分布级分数已知与试衣质量相关性差；作者转而依赖 VLM-as-judge（Gemini 3.0 Flash）与实例级余弦相似度，存在评测主观性与模型偏差风险。其三，推理需两阶段流程（先跑 base 再抽掩码编辑再跑 CtrlVTON），带来额外延迟与工程复杂度。其四，最优效果依赖人工手绘掩码（Fig. 9、Fig. 10 的控制掩码由作者手绘），普通用户绘制高质量空间掩码仍有门槛。其五，掩码遵循度高度依赖 VIP-SAM 抽取掩码的准确性，若 VIP-SAM 在极端遮挡下失误会传导至训练与评测。此外，专有基线在保真度（如 M-DINO）上偶有更高者（Nano Banana Pro 0.8256 > CtrlVTON 0.8212），说明纯保真上并非全面占优。
独立分析的弱点
独立分析有三处弱点。第一，保真度指标并非全面最优：在掩码可控评测中，Nano Banana Pro 的 M-DINO 0.8256、M-CLIP-I 0.9087 略高于 CtrlVTON 的 0.8212/0.9052，说明在极高保真要求场景下仍有提升空间，改进方向可考虑更强的服装保真损失或更大底座。第二，多件掩码控制缺乏量化基准，且多件设置需颜色编码掩码，件数增多时颜色区分与掩码重叠可能带来歧义，改进方向是构建多件掩码基准并研究更鲁棒的多件掩码表示（如按件通道或类别嵌入）。第三，两阶段推理与对人工掩码的依赖限制了实用性与实时交互，改进方向是把掩码编辑集成进单阶段、提供交互式辅助绘制（如 VIP-SAM 引导的草图），并探索从粗文本/示例到精细掩码的自动桥接。
未来方向
作者明确提出发布 VITON-HD-edit 以推动编辑式与空间可控试衣研究。基于成果可延伸的方向包括：把掩码控制量化基准扩展到多件设置（当前仅定性）；将 VIP-Seg 推广到时尚以外需实例级跨场景识别的领域（如安防、零售盘点）；研究视频试衣——用 SAM2 的跨帧记忆保证掩码与服装在时序上一致；把掩码接口升级为真正的交互式造型工具，结合草图/拖拽实时调节衣摆塞入度、拉链止点、袖口卷折等难用文本表达的细节；以及探索更轻量的单阶段可控生成以降低推理延迟。
复现评估
复现评估如下。有利因素：作者公开了代码仓库（github.com/nxnai/CtrlVTON）并发布 VITON-HD-edit 公开基准（2032张），VIP-Seg 任务定义、VIP-SAM 架构（两种骨干变体、三种支持编码器）、CtrlVTON 的掩码通道拼接与 LoRA 方案、损失函数 $\mathcal{L}_{ctrl}$ 均描述清晰，Table 1-4 给出详尽数值便于对照。不利因素：训练数据混合了商业授权零售数据与内部数据，并使用现成专有图像生成模型（Nano Banana、GPT Image 等）合成 $p_{ref}$，这些难以完全复现；DiT 底座微调加 LoRA 训练算力需求高但论文未详列算力；最优效果依赖约1万张人工标注掩码与三名标注员终审的质量把控流程；基线中含多个专有模型（Nano Banana Pro、GPT Image 1.5、Seedream 4.5、FLUX.2）需付费 API。综合判断：方法与基准可复现度较高，但完全训练级复现中等偏低。
论文图表
图分两部分：(a) CtrlVTON-base 作为基线图像编辑模型，通过任务令牌（full_swap / partial_swap / add）对多类服装实现语义控制；(b) CtrlVTON 通过手绘掩码（黄色）实现细粒度空间控制，支持单件与多件试衣。
一张图同时讲清本文的两条主线（语义级 vs 像素级）和核心价值主张，是理解论文动机与贡献的最佳入口。