超越视觉相似性：面向知识型视觉问答的实体对齐检索 Beyond Visual Similarity: Entity-Aligned Retrieval for Knowledge-Based Visual Question Answering

完整流程分五步。第一步（嵌入抽取）：可训练的 MLLM 检索器（Qwen2-VL-7B 或 LLaVA-OneVision-7B）以 “ Summary above image in one word:\n” 为指令编码图像，取最后一个 token 隐状态归一化后作为嵌入。第二步（粗筛）：冻结的 EVA-CLIP-8B 编码查询与全库候选，排除正例后按余弦相似度取 Top-50 构成潜在困难负样本池 $\Omega_p=\mathrm{Rank}_{50}(\cos(e_q,e_c))$。第三步（判别器打分）：语义判别器（Qwen2.5-VL-7B）按指令“判断候选与查询是否同一实体，是则回答 Yes，否则回答 No”逐一打分，从 logits 计算权重 $w_i=\exp(z_i^y/\gamma)/(\exp(z_i^y/\gamma)+\exp(z_i^n/\gamma))$，其中 $\gamma$ 控制权重平滑度。第四步（困难负样本采样）：以查询-正例权重定义阈值 $\alpha=w_{q,c_t}-\beta$，剔除权重超过 $\alpha$ 的候选以避免把语义仍然相关的样本误当负例；剩余候选按权重分成四个难度层，每层随机抽 2 个凑成 8 个困难负样本，不足 8 个则复制补齐，无合格候选则丢弃该样本。第五步（连续语义蒸馏训练）：检索器在候选集上产生后验 $p_q(j)=\mathrm{softmax}(\mathrm{sim}(e_q,e_j)/\tau)$，判别器权重经 softmax 得先验 $s_q(j)$，最小化对称 KL $L_{CSD}=\mathbb{E}_q[\frac{1}{2}(D_{KL}(p_q\|s_q)+D_{KL}(s_q\|p_q))]$。训练采用 LoRA rank 16 + DeepSpeed ZeRO-2，8×A100(80GB)，图像缩放至 336×336，累积 batch 1024，600k 样本训练 5000 步，$k=8$，$\gamma=1.1$。

技术新颖性体现在四个层面。(1) 任务层面首创：这是第一个把 MLLM 本身用作 KB-VQA 检索器的工作，此前 MLLM 只出现在检索后处理或答案生成环节。(2) 监督信号转变：从离散 one-hot 对比标签转为判别器诱导的连续软分布，相当于把“同一实体判断”这种需要世界知识的能力作为教师信号蒸馏进检索器——消融实验显示，仅把 SD 软权重换成 one-hot，E-VQA R@1 就从 24.7 跌到 16.4，而在 SD 采样下把权重反转 10%/30% 更是掉到 19.9/12.1，直接证明增益来自软监督携带的语义结构而非仅仅更好的负样本。(3) 负样本构造语义化：负样本不再按视觉相似度盲目挑选，而是先用权重阈值 $\alpha$ 过滤“伪负例”，再按连续权重分四个难度层采样，兼顾信息量与多样性。(4) 目标函数设计：对称 KL 中正向项把概率质量推向语义正确候选，反向项防止分布过锐、优化不稳，使蒸馏在判别性与平滑性间取得平衡；整个方法与下游流水线解耦，只换检索器即可让多种异构系统受益。

独立分析几点弱点。第一，数据构建管线昂贵：每条查询需要 EVA-CLIP 编码全库、再由 Qwen2.5-VL-7B 对 50 个候选逐对推理，600k 训练样本意味着约三千万次 MLLM 打分，中小团队难以复制；改进方向是把 SD 蒸馏成轻量判别器（1-2B 级）或对近邻查询复用打分缓存。第二，图像单模态检索：嵌入指令不含问题文本，无法区分同一实体的不同信息需求，也无法利用问题中的线索消歧；可引入问题条件化嵌入或“先粗检索、再按问题精排”的两段式方案。第三，教师偏差风险：SD 是 Qwen2.5-VL-7B，对稀有实体的判断本身可能出错，蒸馏会把这类系统性错误固化进检索器；可用多判别器集成、或与类别标签等元数据交叉验证来纠偏。第四，“剔除权重超过阈值 $\alpha$ 的候选”隐含假设查询-正例权重可靠，但当正例本身难以辨认（权重低）时 $\alpha$ 随之偏低，可能保留伪负例污染监督；可改用候选间相对排序或不确定度加权替代绝对阈值。第五，推理端需用 7B MLLM 对全库建索引，100K 条目尚可接受，百万级条目需要嵌入量化、视觉 token 剪枝或蒸馏出小检索器才能实用。

作者提出或暗示的方向包括：把 KBMR 与更强的重排与推理模块组合（Table 1 显示带重排的 EchoSight‡ 增益依然显著，说明两级互补而非重复）；扩展到更多基准与更大规模知识库。基于本文成果可自然延伸的研究方向：(1) 教师蒸馏——把 Qwen2.5-VL-7B 判别器蒸馏成小型专用打分模型，同时服务于训练数据构建和推理期重排，摊薄两端的成本；(2) 问题条件化检索——把问题文本拼入嵌入指令或引入跨模态组合检索，提升多意图、细粒度查询的精度；(3) 迭代式自训练——用训练好的 KBMR 重新挖掘困难负样本、循环蒸馏，逐步逼近判别器性能上界；(4) 与强化学习结合——以端到端 VQA 答对率为奖励微调检索器，弥合“分布拟合”与“最终答案正确”之间的目标偏差；(5) 多粒度知识单元——从实体级文章下沉到段落、表格、信息框字段，支持更精细的证据定位；(6) 在线更新与增量索引，适应知识随时间演化的特性；(7) 可解释检索——利用 MLLM 的语言能力输出检索理由，辅助下游模型甄别证据、抑制幻觉。

复现条件较为友好，但算力门槛不低。代码已开源（https://github.com/realHarryX/KBMR）；三个评测基准全部公开：E-VQA、InfoSeek（基于 OVEN 的维基实体，知识库为 100K 维基条目）和 OK-VQA（MS COCO 图像）；训练数据为从三者训练集抽取的 600k 样本。算力方面，论文使用 8×NVIDIA A100(80GB)，但 LoRA rank 16 + DeepSpeed ZeRO-2 大幅降低显存需求，训练仅 5000 步、图像统一缩放到 336×336、累积 batch 1024，学习率 1e-4（Qwen2-VL）/2e-5（LLaVA-OV）。若采用 LoRA 加梯度累积，单机 4×A100 或高端消费级显卡（拉长训练时间）有希望完成主实验；真正的瓶颈在数据构建阶段——EVA-CLIP-8B 全库编码与 Qwen2.5-VL-7B 的数千万次逐对打分是主要成本。难度评估：完整复现 Table 2/3 主结果约需数天数据构建加数天训练，属中高难度；若只在子集知识库上做消融验证，难度可显著下降。另需注意 MMKB-RAG 闭源，对照实验需按论文自行复现。