面向组合图像检索的因子化多模态大语言模型嵌入 Factorized MLLM Embeddings for Composed Image Retrieval

步骤如下。(1) 输入构造：查询与目标两侧序列均在[EOS]前前置$K=8$个可学习潜变量$U^{(0)}\in\mathbb{R}^{K\times D}$，由共享MLLM因果编码。(2) 目标想象：取中间层$\ell=14$的潜变量隐藏态，广播到2D网格并加可学习位置编码，叠加$2\times2$布局先验（GT DINOv2特征$F$池化后上采样），轻量解码器输出各潜变量的空间logits $\mathcal{M}_k$与重建特征$\hat{F}_k$；alpha mask沿潜变量维softmax归一化为$\bar{\mathcal{M}}_k$，重建特征$\hat{F}=\sum_k\bar{\mathcal{M}}_k\odot\hat{F}_k$，两侧对同一GT算MSE得$\mathcal{L}_{imag}$。(3) 因子级匹配：Sinkhorn OT计算集合匹配分$s_{OT}$，批次内InfoNCE得$\mathcal{C}(\mathbf{S}^f)$；实例级匹配取[EOS]归一化嵌入$z$得$\mathcal{C}(\mathbf{S}^g)$，相加为$\mathcal{L}_{NCE}$。(4) 注意力蒸馏：倒数第3层潜变量对patch的注意力分布与解码器mask分布做KL得$\mathcal{L}_{distill}$，仅目标侧施加。(5) 三阶段训练（CIRR为3000/500/350步）。(6) 后训练：DINOv2过滤与目标余弦>0.99的近重复难负例，GPT-5.6-luna对比描述生成增强三元组再训练。(7) 推理：$z$召回top-100后按$r(q,t)=\cos(z^q,z^t)+\cos(\tilde{u}^q,\tilde{u}^t)$重排。

技术新颖性五点。(1) 判别式检索器内嵌生成式想象——不同于“Imagine and Seek”等外挂扩散模型生成代理图像的方案，想象只存在于训练期辅助头，推理时零额外成本。(2) 残差化瓶颈设计——$2\times2$布局先验使重建目标天然对齐“文本描述的局部修改”，与slot attention的无先验分解相比以极低成本引导潜变量覆盖语义连贯区域，且保持MLLM前向不变、兼容FlashAttention等核优化。(3) 对抗目标的调和——$\mathcal{L}_{imag}$促因子分化、$\mathcal{L}_{NCE}$促实例内塌缩，作者用分阶段训练化解冲突：直接联合训练收敛显著变慢，Stage 1隔离训练可跳过骨干上层，4×GPU约13小时完成，兼得效率。(4) 单侧蒸馏——空间蒸馏只施加在目标侧（查询侧注意力定义在参考图空间、与目标网格不共享），却通过共享骨干间接让查询侧潜变量在推理时（先验不可用）保持定位语义。(5) 双表征互补——同一次前向产出全局$z$与因子集，重排每图仅增1个向量、每查询仅增0.17ms（<0.05%），在不引入多向量索引成本的前提下回收细粒度证据。

独立弱点分析：(1) 因子语义不可解释——Table 7只证明潜变量彼此不同，未证明每个潜变量对应人类可理解的属性（如“颜色”“袖长”），想象目标只要求空间连贯；改进方向：引入属性级弱监督或与修改文本成分显式对齐。(2) 想象是模糊重建——Fig.3/5的PCA可视化显示重建远非精确，MSE回归DINOv2特征易学到统计平均而非真实编辑结果；若想象细节系统性偏差，会被OT匹配当作判别证据传播噪声；改进方向：对查询侧与目标侧特征加一致性约束或感知损失。(3) 重排受制于召回——top-100短名单由$z$决定，目标不在短名单内则因子证据完全失效；改进方向：多级级联重排或ColBERT式近似最大相似度索引直接用因子集检索。(4) 固定$2\times2$先验粒度僵硬——对logo级微编辑偏粗、对全局改写则多余有害；改进方向：多尺度金字塔先验或由文本预测先验分辨率。(5) 同查询多难负例间假阴性——作者自述对比描述只相对原目标去歧义；改进方向：条件于全部候选集的集合级描述。

作者提出的方向：(1) 查询自适应的潜变量数量及跨不同集合大小的匹配机制；(2) 将Matryoshka表示学习引入因子表示，使全因子匹配的精度接近单向量存储成本；(3) 在更多任务上验证其作为统一多模态检索器的泛化性。基于本文成果可延伸：(4) 把因子化想象目标推广到视频片段检索、可视化文档检索等其他细粒度检索任务，布局先验对应时空网格或版面网格；(5) 用文本条件生成或开放词汇分割图替代固定的$2\times2$平均池化先验，获得语义自适应的结构先验；(6) 构造合成编辑对，为查询侧也提供网格对齐的蒸馏监督，而非仅靠共享骨干间接迁移；(7) 与推理时扩展（潜变量rollout、测试时优化、强化学习驱动的生成式嵌入）结合，让因子集支持迭代式精排；(8) alpha mask天然可视化“模型认为哪里应被修改”，可发展为CIR的可解释性与诊断工具，甚至用于定位数据集标注噪声；(9) 研究增强数据规模、因子塌缩与检索精度三者的关系，探索增强数据与因子化目标的协同缩放规律。

复现评估：项目页 https://cvlab-kaist.github.io/FactEmbed/ ，作者承诺公开增强三元组（CIRR 57,476条、FashionIQ 56,499条）。基座Qwen2.5-VL-7B-Instruct、DINOv2、DoRA均开源；Stage 3依赖GPT-5.6-luna批量API（一次性$22.82+$26.17，可复现但需付费；退回ReCALL本地方案则未改写率27-33%、质量更低）。算力：Stage 1只训练解码器+潜变量（跳过骨干上层），4×RTX PRO 5000 Blackwell约13小时；Stage 2/3用2×RTX PRO 6000 Blackwell + PyTorch FSDP。超参齐全：$K=8$、$h=2$、$\ell=14$、$\ell_{top}=-3$、$\lambda_{imag}=1.0$、$\lambda_{distill}=0.5$、DoRA rank16/scale64、AdamW、cosine 10% warmup、batch 512、OT $\varepsilon=0.1$、30次Sinkhorn。综合：代码若随项目页发布，复现难度中等偏高——三阶段流程与多损失耦合需仔细对齐，但关键数字与配置均已披露，refined基准与协议公开可得。