← 返回 2026-05-22

FashionLens：通过任务自适应学习实现多功能时尚图像检索 FashionLens: Toward Versatile Fashion Image Retrieval via Task-Adaptive Learning

Haokun Wen, Xuemeng Song, Xinghao Xie, Xiaolin Chen, Xiangyu Zhao, Weili Guan 📅 2026-05-21 👍 2 2026-07-13 08:36

任务自适应学习多任务学习多模态检索大语言模型时尚图像

基于MLLM的统一时尚检索框架，通过查询校准和自适应采样处理多样化检索任务

前置知识

多模态大语言模型(MLLM)

能够同时理解和处理多种模态（如图像、文本、视频）输入的大型神经网络模型。它们通常基于Transformer架构，通过跨模态注意力机制实现不同模态间的语义对齐，并具备复杂的语义推理能力。在本文中，MLLM作为骨干网络负责编码查询和目标图像的表示。

本文核心架构基于MLLM，理解其工作机制对于把握FashionLens如何处理多样化输入（图像、文本、草图、视频等）至关重要。

InfoNCE损失

对比学习中广泛使用的损失函数，用于学习判别性表示。其核心思想是在正样本对上最大化相似度，在负样本对上最小化相似度，从而让模型学会区分相关和不相关的查询-目标对。

这是FashionLens优化检索任务的核心损失函数，理解它有助于理解模型如何学习区分相关和不相关的查询-目标对。

负迁移

多任务学习中的负面现象，指学习一个任务时对另一个任务产生干扰，导致整体性能下降。原因在于共享的表示空间需要满足多个异构任务的语义需求，迫使模型在联合训练过程中做出语义妥协，最终削弱了任务间的适应性。

这是FashionLens试图解决的核心问题之一，即如何在统一的表示空间中避免不同检索任务（如相似性匹配 vs 兼容性匹配）之间的特征干扰。

球形线性插值(Slerp)

在高维球面上进行插值的方法，保持插值结果的单位长度，适用于归一化嵌入的调整。与欧几里得空间的线性插值不同，Slerp通过旋转而非平移来实现适应，这更符合余弦相似度的度量本质。

这是PGSQC组件的核心技术，通过在单位超球面上旋转查询表示来实现任务对齐，而不是直接在欧几里得空间中扭曲特征幅度。

低秩适配

参数高效微调技术，通过在预训练模型的权重矩阵上添加低秩分解矩阵来实现。这样可以用少量参数显著改变模型行为，同时保持原始模型的知识。

PGSQC使用低秩矩阵生成意图导向的适应提案，理解其原理有助于把握如何在不破坏原始表示的前提下实现任务特定的特征增强。

研究动机

现有时尚图像检索方法存在根本性局限：它们专注于狭窄的检索任务，无法充分捕捉实际应用场景中的搜索多样性。具体而言，现实中的时尚检索需求极为复杂，用户输入格式多样（单一图像、文本、草图、视频，或多模态组合），搜索意图各异（查找相似物品、搭配兼容物品、或基于特定属性检索）。然而早期研究如FashionBERT、Fame-ViL、FashionSAP等通常开发特定任务的检索模型，导致解决方案碎片化且数据利用效率低下。更严重的是，这些基于VLP骨干网络的方法本质上无法处理视频或多图像查询等复杂输入，限制了其在广泛时尚检索场景中的适用性。依赖独立模型处理每种检索场景使得系统难以应对用户搜索需求的完整多样性。

本文的目标是本文旨在开发一个真正的多功能时尚图像检索统一框架，能够在单一架构内支持多样化的查询格式和多个搜索意图，实现从相似性检索到兼容性匹配的全面覆盖。目标是构建一个能够适应各种现实场景的时尚检索系统，用户可以用任意方式（上传照片、拍摄视频、手绘草图、输入文字或组合使用）表达搜索意图，系统都能准确理解并返回相关结果。

与已有工作不同的是，本文的独特切入角度是同时从表示层和优化层解决时尚检索的两个领域特定挑战。在表示层，不同检索任务具有截然不同的匹配目标（如相似性匹配强调细粒度视觉身份，兼容性匹配强调抽象风格和谐），统一模型倾向于学习妥协的查询表示，导致特征干扰。在优化层，数据规模不均和任务复杂度异构导致训练失衡。大多数现有通用多模态检索方法（如UniIR、VLM2Vec、GME）只关注单一类型的查询-目标匹配（通常是相似性检索），这不足以应对时尚检索的多样化需求。FashionLens通过PGSQC在表示层面化解匹配目标分歧，通过GGAS在优化层面平衡学习难度，形成完整的解决方案。

核心方法

FashionLens的整体思路是构建基于MLLM骨干网络的统一检索框架，通过两个创新组件分别解决表示层面的特征干扰和优化层面的训练失衡问题。方法首先采用Qwen3-VL-4B作为MLLM骨干，通过添加可学习的特殊标记[RETq]和[RETt]来聚合查询和目标的语义信息。针对表示层面的挑战，设计Proposal-Guided Spherical Query Calibrator（PGSQC）模块，它首先通过低秩适配生成意图导向的适应提案，然后使用自适应球形线性插值将初始查询表示旋转到任务对齐的度量空间。针对优化层面的挑战，设计Gradient-Guided Adaptive Sampling（GGAS）策略，通过检索令牌的梯度范数量化任务难度，并结合数据规模先验动态调整采样概率。整个框架使用InfoNCE损失进行优化，并加入正交约束和Frobenius范数惩罚来稳定训练。

FashionLens的核心创新点在于两个方面：一是将查询表示的适应问题重新定义为在单位超球面上的旋转操作，而非欧几里得空间中的线性变换。球形线性插值保持了嵌入的归一化性质，使适应过程更加可控且符合余弦相似度的度量本质。二是将任务难度量化为检索令牌的梯度范数，而非传统上基于数据规模的启发式规则。梯度范数作为实时学习难度的指标，能够反映不同任务的内在复杂性差异（如Image+Modification Text→Image比Text→Image更难优化）。这两个创新分别对应了时尚检索的两个根本挑战：表示层面的匹配目标分歧和优化层面的训练失衡。

方法步骤详情

FashionLens的完整方法包含四个主要步骤。第一步是MLLM编码：对于每个意图感知查询和目标图像，将[RETq]和[RETt]特殊标记附加到对应的token序列上，使用MLLM编码得到初始表示，二者都经过L2归一化位于单位超球面上。第二步是PGSQC查询校准：首先通过查询自适应的低秩矩阵生成意图导向的提案，然后使用自适应球形线性插值得到最终查询表示，插值系数也由同一MLP预测。第三步是GGAS自适应采样：对于每个任务，计算其检索令牌梯度范数，通过指数移动平均平滑，结合数据规模计算采样分数，归一化后得到采样概率。第四步是对比学习优化：使用InfoNCE损失，并加上正交约束和正则化，最终损失是各项的加权和。

技术新颖性

FashionLens的技术新颖性体现在多个方面：首先，PGSQC首次将球形线性插值引入多模态检索，通过在超球面上旋转而非平移来调整查询表示，这种方法天然与余弦相似度的度量几何相一致。其次，将插值系数、低秩矩阵参数化为查询自适应的函数，使每个样本都能找到最适合的适应强度，而非对所有查询使用固定强度。第三，GGAS策略创新性地使用检索令牌梯度作为任务难度的实时指标，相比传统的数据规模采样，能够捕捉任务内在的复杂性差异。第四，将梯度难度与数据规模先验结合，通过指数函数的组合避免了低资源任务因梯度方差大而被过度采样的问题。最后，整个框架在时尚领域首次实现了真正意义上的多功能检索，涵盖了从相似性到兼容性、从单模态到多模态的九种训练任务和两种未见任务的泛化评估。

**Fig. 3**: Illustration of FashionLens, which leverages MLLMs as the backbone. It includes two key novel components: 1) Proposal-Guided Spherical Query Calibrator (PGSQC) and 2) Gradient-Guided Adaptive Sampling (GGAS).

实验结果

实验结果充分验证了FashionLens的有效性。在包含九种训练任务的U-FIRE基准上，FashionLens的平均mR（R@1、R@5、R@10的平均值）达到52.21%，显著优于所有基线方法。与使用7B参数的GME模型（35.40%）相比，仅用4B参数的FashionLens实现了16.81个百分点的提升，展示了参数效率优势。在不同任务类型上，FashionLens表现各异：在Text→Image任务上，FashionGen数据集mR为59.45%，Shoes数据集达到52.06%；在Sketch→Image任务上，HAIFashion、QMUL-Shoes-V2、ClothesV1的mR分别为92.17%、54.50%、93.61%，展现了草图理解的强大能力；在Video→Image任务上，MovingFashion数据集mR为84.16%，证明了对视频输入的有效处理。更重要的是，在两个未见任务（OOD评估）上，FashionLens取得了突破性表现：Street+Modification Text→Shop任务在DeepFashion2数据集上达到66.27%，Image(s)+Text→Compatible Item任务在Polyvore数据集上达到77.70%，远超所有基线，证明了强大的泛化能力。消融研究表明，GGAS策略贡献最大性能提升（从22.62%到48.98%），确认了优化平衡的重要性；PGSQC的球形插值优于线性插值（48.62% vs 50.01%），验证了几何选择的正确性；实例级参数化比共享参数更好（49.56% vs 50.01%），说明查询适应需要个性化处理。

**Table I**: Overview of the U-FIRE benchmark, which comprises 11 tasks: nine tasks that support training, validation, and testing, and two unseen tasks reserved exclusively for evaluation.

**Fig. 2**: Examples of the two unseen evaluation tasks.

查看结构化数据

任务	指标	本文	基线	提升
Text→Image	mR (R@1+R@5+R@10)/3	59.45 (FashionGen), 52.06 (Shoes)	GME: 37.80 (FashionGen), 45.61 (Shoes); VLM2Vec-V2: 33.93 (FashionGen), 39.72 (Shoes)	FashionGen +57.3%, Shoes +14.2% vs GME
Sketch→Image	mR	92.17 (HAIFashion), 54.50 (QMUL-Shoes-V2), 93.61 (ClothesV1)	GME: 53.33 (HAIFashion), 1.67 (QMUL-Shoes-V2), 73.06 (ClothesV1)	HAIFashion +72.8%, QMUL-Shoes-V2 +3162%, ClothesV1 +28.2% vs GME
Video→Image	mR	84.16 (MovingFashion)	VLM2Vec-V2: 36.90 (MovingFashion); GME: 44.51 (MovingFashion)	+89.1% vs GME
Image(s)→Compatible Item	mR	5.90 (FashionVC), 11.12 (Polyvore)	GME: 2.21 (FashionVC), 3.37 (Polyvore)	FashionVC +167%, Polyvore +230% vs GME
Street+Modification Text→Shop (OOD)	mR	66.27 (DeepFashion2)	GME: 26.03 (DeepFashion2); VLM2Vec-V2: 23.20 (DeepFashion2)	+154.6% vs GME
Image(s)+Text→Compatible Item (OOD)	mR	77.70 (Polyvore)	GME: 63.13 (Polyvore); VLM2Vec-V2: 28.30 (Polyvore)	+23.1% vs GME

局限与改进

作者承认的局限性包括：首先，FashionLens目前主要关注时尚领域的检索任务，在跨领域的泛化能力尚未充分验证。其次，尽管GGAS策略有效缓解了优化失衡，但计算梯度范数增加了训练开销，可能影响大规模部署的效率。第三，PGSQC模块中的低秩矩阵维度是经验选择的，其理论最优性缺乏深入分析。从观察角度来看，模型在兼容性匹配任务上的绝对性能仍然较低（FashionVC mR仅5.90，Polyvore mR仅11.12），说明抽象风格和谐建模仍然是巨大挑战。此外，模型依赖于精心设计的指令模板，不同模板的表达方式可能影响性能稳定性。最后，MLLM骨干网络的推理成本较高，限制了在实时性要求高的场景中的应用。

独立分析的弱点

独立分析的弱点包括：首先，PGSQC模块假设查询适应可以通过单一方向旋转实现，但在某些复杂场景中可能需要多步迭代调整。改进方向是引入多层级适应机制，允许更精细的逐步校准。其次，GGAS策略仅使用梯度范数作为难度指标，忽略了梯度方向信息，可能导致对某些特定类型的困难样本估计不足。改进方向是结合梯度方向相似度或Hessian信息来更全面地量化难度。第三，当前方法使用指数移动平均平滑梯度，平滑系数是固定的，可能不适应训练过程中的动态变化。改进方向是采用自适应平滑机制，根据训练阶段或任务特性动态调整。第四，模型在兼容性匹配任务上的性能仍不理想，可能是因为当前框架未能充分建模跨类别的交互关系。改进方向是引入显式的兼容性关系图或使用图神经网络增强跨类别推理能力。最后，评估指标主要依赖检索准确率，缺乏对检索结果多样性和意外性的考虑。改进方向是引入多维度评估体系，包括新颖性、多样性和可解释性指标。

未来方向

作者提出的未来研究方向包括：扩展到更多模态组合（如音频-视觉检索），探索更高效的轻量化架构设计，以及在真实电商系统中进行大规模部署验证。基于本文成果的可延伸方向包括：将PGSQC的球形插值思想应用于其他需要表示适应的任务，如跨域迁移学习、少样本学习；将GGAS的梯度难度估计扩展到多模态生成任务，帮助平衡不同生成目标的学习；探索更精细的意图建模，如通过强化学习自动发现最优的适应策略；研究在零样本设置下如何利用预训练的MLLM能力处理全新任务；开发更具可解释性的检索系统，能够解释为什么某些匹配更相关。此外，可以将U-FIRE基准进一步扩展，引入更多评估维度（如计算效率、公平性、鲁棒性），推动时尚检索研究的全面发展。

复现评估

FashionLens的复现难度中等偏上。代码已在GitHub公开，这大大降低了复现门槛。数据方面，U-FIRE基准整合了15个公开数据集，虽然部分数据集需要单独申请许可，但大多数（如FashionGen、DeepFashion、FashionIQ等）都可以直接获取。模型使用Qwen3-VL-4B作为骨干，这是公开可用的模型。训练方面，论文使用两块NVIDIA H20 GPU，总训练时间为5个epoch，使用了LoRA微调（rank=8）和GradCache扩展批大小到64，这些配置在论文中都有详细说明。主要挑战在于：数据集整合和指令标注需要一定工作量；GGAS策略需要精确实现梯度追踪和EMA更新；PGSQC的球形插值需要特别注意数值稳定性。总体而言，对于具备一定深度学习经验的研究人员，严格按照论文实现细节应该能够在合理时间内复现主要结果。

论文图表

**Fig. 1**: Examples of diverse fashion image retrieval tasks and the training data distribution of the constructed U-FIRE benchmark.
图1展示了多样化的时尚图像检索任务示例，包括Text→Image、Sketch→Image、Street→Shop、In-Shop、Video→Image、Sketch+Text→Image、Image+Modification Text→Image、Image(s)→Compatible Item、Image+Attribute→Image等九种任务，每个任务都有具体的查询和目标图像示例。图中还用饼图展示了U-FIRE基准训练数据的数据分布，显示不同任务的数据规模差异很大，从Shoes的2400个样本到DeepFashion的43,019个样本不等，凸显了数据不平衡问题。

这张图对理解论文至关重要，因为它直观地展示了FashionLens要解决的多样化检索任务的复杂性和数据规模的不均衡性，这直接引出了本文要解决的两个核心问题：表示层面的特征干扰和优化层面的训练失衡。饼图的数据分布为GGAS策略的必要性提供了直观依据。

Table II: Performance comparison. The metric used is mR = (R@1 + R@5 + R@10)/3 for all tasks.

表II展示了性能比较结果，将方法分为三类：通用领域通用多模态检索器（GUMR：UniIR、VLM2Vec-V2、MM-Embed、GME）、时尚领域VLP模型（Fashion-VLP：Fame-ViL、FashionSAP、DA-Fashion）、微调模型（UniIR*、Qwen3-VL、FashionLens）。表格列出了每个方法在11个任务上的mR性能，以及平均性能。FashionLens在大多数任务上取得了最佳性能，平均mR为52.21%（所有任务）和51.24%（常见支持任务），远超所有基线。表格还标注了符号表示某些输入模态（多图像或视频）不被支持。

这个表格是论文的核心结果展示，它全面比较了FashionLens与各类基线方法的性能，证明了FashionLens在多样化检索任务上的优势。表格还揭示了不同方法架构（VLP vs MLLM）和处理复杂模态能力的差异，为理解FashionLens的设计动机提供了实证支持。

Table III: Ablation study. We report the average performance (R@1, R@5, R@10, MR) averaged over all training tasks.

表III展示了消融研究结果，比较了FashionLens与六个变体方法的性能。第一行是基础模型（Qwen3-VL-4B+随机采样+原始表示），平均mR为40.41%。第二行加入GGAS策略，mR提升至48.98%，证明了优化平衡的重要性。第三行直接使用提案，mR降至48.99%，说明球形插值的必要性。第四行用线性插值替代球形插值，mR为48.62%，低于球形插值的50.01%，验证了几何选择的正确性。第五行移除规模细化，mR为49.12%，略低于完整版的50.01%。第六行使用共享参数而非实例级参数化，mR为49.56%，低于实例级的50.01%。完整版FashionLens取得最佳性能50.01%。

这个表格对理解论文的贡献至关重要，因为它通过系统性的消融研究验证了每个组件（GGAS、PGSQC的球形插值、规模细化、实例级参数化）的有效性，为方法设计的合理性提供了实证支持。

Fig. 4: Distribution of the learnable interpolation weight λ across different test sets.

图4可视化展示了不同测试集上学习到的插值权重的分布。图中包含9个子图，对应9个任务中的不同数据集，例如Task 1包含FashionGen和Shoes，Task 2包含HAIFashion、QMUL-Shoes-V2和ClothesV1等。每个子图是值的箱线图或密度分布图，显示了中心趋势和分布范围。从图中可以观察到负相关模式：在同一任务类别中，数据规模较大的数据集（如FashionGen的49,084样本）权重较低，而数据规模较小的数据集（如Shoes的2,400样本）权重较高。Task 7中的Fashion200k（47k样本）与FashionIQ（约5k样本）也呈现类似趋势。

这张图对理解PGSMC的工作机制至关重要，它直观地展示了插值系数如何根据数据规模自适应调整，验证了大数据集需要较小调整、小数据集需要较大调整的直觉，为PGSQC设计的合理性提供了可视化证据。

Fig. 5: Visualization of task difficulty measured by gradient norms during training.

图5展示了训练过程中每个数据集的梯度范数任务难度热力图。图中包含16个子热力图，分别对应16个数据集（如Task 1_FashionGen、Task 1_Shoes、Task 2_HAIFashion等）。每个热力图的横轴是训练步数（0到约13,144步），纵轴是梯度难度（0到0.25）。热力图颜色从深蓝（低难度）到浅红（高难度）。从图中可以观察到三个关键模式：首先，所有数据集的梯度范数随训练进行呈下降趋势，符合模型逐渐收敛的预期。其次，不同任务的梯度下降速率不同，确认了多样化的时尚检索任务具有内在的优化复杂度差异。第三，任务难度呈现清晰的分层：涉及抽象推理或复杂跨模态交互的任务（如Task 8兼容性匹配、Task 9属性条件匹配）的梯度范数持续高于In-Shop Retrieval（Task 4）等简单任务。

这张图对理解GGAS策略的工作机制至关重要，它可视化验证了梯度范数作为任务难度指标的有效性——更困难的任务自然对应更大的梯度。这为GGAS使用梯度难度指导采样的设计提供了直观证据，也解释了为什么GGAS能有效缓解优化失衡。