Garments2Look：面向高保真全装虚拟试穿的多参考数据集 Garments2Look: A Multi-Reference Dataset for High-Fidelity Outfit-Level Virtual Try-On with Clothing and Accessories

数据构建流程分为四个步骤：（1）数据收集：从四条互补数据流收集数据：搭配兼容性学习的基础工作、精心策划的开源时尚数据集（如 Maryland PolyVore）、符合许可和隐私要求的公开网页图像、以及图像生成和理解模型生成的合成数据。（2）数据合成：分为搭配合成和外观合成两个子步骤。搭配合成首先构建包含 65 种流行和亚文化时尚风格的知识库，然后让 LLM 基于随机风格和用户性别生成详细用户画像和着装场景，接着严格遵循用户需求和风格指南生成包含 3-9 个物品的完整搭配列表，最后对列表中每个物品描述查询数据库获取 top-128 最相关物品，通过重加权采样策略选择合适物品。外观合成将搭配列表中所有物品图像排列成二维矩阵网格（OOTD 图像），作为 Nano Banana 的输入生成外观图像，通过提示工程明确分层顺序和着装技巧，并让 VLM 提供更丰富的文本描述。（3）数据过滤：从三个方面进行数据筛选：单个物品图像、搭配列表和服装-外观图像对。对于物品图像，定义了 40 个主要服装和配饰类别。对于搭配列表，设计了基于时尚专业知识的规则式搭配合理性验证机制。对于服装-外观图像对，专注于保留完整显示整个服装的图像和模特穿着整个服装的外观图像，使用 Gemini-2.5-Flash 过滤合适图像并用 DWPose 分类外观图像。仅约 40% 的合成外观图像被保留，每张都通过专家审查。（4）数据评估：验证数据质量，设计新的全装 VTON 评估协议，测试 SOTA 模型。

技术新颖性体现在多个方面：（1）数据构建范式：本文提出了结合检索增强生成、风格知识库、重加权采样、专家验证的四阶段数据构建流程，确保了数据的真实性、多样性和高质量。特别是引入的重加权采样机制，通过物品的历史选择频率调整采样概率（$f(c_i) = \frac{w_i}{\sum_{j=1}^N w_j}$，其中 $w_i = (c_{max} - c_i) + 1$），鼓励选择低频物品，避免热门物品重复选择，确保更均匀的物品分布。（2）多模态注释设计：首次在 VTON 数据集中系统引入结构化文本注释，包括物品描述、外观描述、风格描述、分层顺序、着装技巧、模特属性等。这些注释超越了视觉信息的表达能力，提供了必要的语义指导。（3）评估协议创新：设计了基于 VLM 的全装 VTON 评估协议，包括服装一致性、分层准确性、风格准确性三个指标，报告二分类准确率，确保可解释性。（4）实验洞察：通过系统性实验揭示了编辑模型在 VTON 任务上的潜力和局限，以及文本模态对复杂 VTON 场景的重要性，这些洞察为未来研究提供了明确方向。

独立分析的弱点包括：（1）物品数量可扩展性：当参考服装数量超过 4-6 时，所有模型的服装一致性都显著下降（图 5）。VTON 模型倾向于保留单件上装而丢弃内层，编辑模型虽然在可变长度输入上表现更好，但仍难以处理大量物品。改进方向是设计支持可变长度输入的架构，或通过分层组合策略逐步构建完整穿搭。（2）形状和纹理保真度：配饰（包、耳环、眼镜）的形状经常出现显著失真，服装上的文本和纹理（如 PRADA、LOWEWE 标识、斜条纹）经常被改变或丢失。改进方向是引入更精细的特征对齐机制，增强对细节的约束和监督。（3）颜色一致性：生成的服装颜色经常偏离参考图像（如大衣、针织毛衣）。改进方向是使用颜色约束损失或引入显式的颜色对齐模块。（4）分层处理：分层服装仍然是问题所在，存在物品融合错误（两个上装被错误融合）、内层被完全遮挡（内层 T 恤的文本丢失）、外套长度不准确等问题。改进方向是设计显式的分层推理模块，推理服装间的遮挡关系和几何约束。（5）风格控制：即使有明确提示，大多数模型生成整洁的塞入服装，而非目标外观中的未塞入中层。改进方向是引入风格特定的控制机制，如基于文本的风格解析器或风格特征解耦学习。（6）姿态保持：编辑模型虽然视觉质量高，但难以严格保持模特的姿态。改进方向是在编辑模型中引入显式的姿态控制机制，如骨骼条件注入或姿态规范化模块。

未来研究方向包括作者提出的和基于成果可延伸的。作者提出的方向：（1）设计更适合的任务特定指标，超越现有 FID、KID 等通用指标，更好地捕捉全装 VTON 的特殊要求（如分层合理性、风格一致性等）；（2）探索融合视觉和文本提示的端到端全装 VTON 模型，实现精确细节控制；基于成果可延伸的方向：（1）分层推理模型：设计专门处理服装分层和遮挡关系的推理模块，预测每件服装的内外顺序和遮挡区域，指导生成过程；（2）风格解耦学习：将服装的视觉特征与风格特征（着装技巧、搭配方式）解耦，实现更灵活的风格控制；（3）动态组合生成：设计逐步构建完整穿搭的生成策略，从基础层开始逐层添加服装，避免一次性处理大量物品的复杂性；（4）三维物理模拟：将二维图像试穿扩展到三维服装建模，考虑布料的物理属性（如垂坠感、褶皱）和动态效果；（5）个性化推荐：结合用户的身材、肤色、偏好等个人信息，生成更加个性化的穿搭建议和试穿效果；（6）多视角生成：除了正面视图，生成多视角的试穿效果，提供更全面的服装展示；（7）交互式编辑：允许用户在生成结果上进行交互式调整，如调整服装位置、修改着装技巧、更换配饰等；（8）可解释性研究：深入研究模型如何理解和处理分层、风格等复杂概念，提高生成过程的可解释性和可控性。

复现评估：作者已在 GitHub 上开源了代码和数据（https://github.com/ArtmeScienceLab/Garments2Look）。数据集包含 80K 配对数据，分为训练集（79,097 对）和测试集（944 对），真实与合成数据比例约为 1:1。数据集格式清晰，每对包含多个参考服装图像、模特图像和结构化文本注释。评估协议明确，使用经典 VTON 指标（FID、KID、SSIM、LPIPS）和基于 VLM 的准确性指标（服装一致性、分层准确性、风格准确性）。实验细节详细，包括模型配置、评估设置、消融研究等。作者还提供了额外的示例数据（图 S5-S9）和模型结果（图 S10-S14），便于直观比较。复现难度中等：需要一定的计算资源（生成模型推理），但数据集规模适中，可以逐步复现实验。主要挑战在于编辑模型的访问和配置（如 Nano Banana、QIE-2509），但这些模型大多提供了公开 API 或代码。总体而言，论文提供了充分的实现细节和开源资源，便于复现和进一步研究。