半真半假会破坏基于相似度的检索 Half-Truths Break Similarity-Based Retrieval

完整流程可分四步。第一步是 unit 解析与 foil 生成：用一个文本-only 的 Qwen3-8B-AWQ（vLLM 部署）按结构化 JSON 输出每个 caption 的 entity unit $e\in E(T)$（如「a brown horse」「three dogs」）和 relation unit $r=\langle e_s,p,e_o\rangle$（如「person riding horse」），对每个 unit 再调用同一个 LLM 生成 1–4 个 minimal-edit foil——entity foil 替换 head noun 或单一属性，relation foil 替换 predicate、交换 subject/object（仅当 predicate 非对称时）或替换单个 argument，并叠加规则后处理剔除同义词、重复编辑、对称 swap 等。第二步是 unit 采样：对每个 batch 中的图像–caption 对 $(I_i, T_i)$，以概率 $p_{\text{rel}}=1.0$ 采样一个 relation unit，否则采样一个 entity unit（最多 $K=2$ 个 entity 的合取），并同步取它的 foil $\tilde{U}$；采样数量 $N_u=2$ 个 unit/foil 对。第三步是 unit-level 损失：用相同的文本编码器 $g_\phi$ 把 unit 和 foil 编码为归一化向量 $u_{i,k}, \tilde{u}_{i,k}$，图像编码为 $v_i$，定义带可学习温度 $\tau$ 的相似度 $\kappa(x,y)=\exp(x^\top y/\tau)$，然后用对称的 image-to-unit 与 unit-to-image 双向 InfoNCE 公式（公式 3–4），把 $\tilde{u}_{i,k}$ 显式加入 image-to-unit 的分母，让正确 unit 的归一化相似度高于其 foil 与所有 in-batch units。第四步是联合训练：最终目标 $\mathcal{L}_{\text{CS}}=\mathcal{L}_{\text{global}}+\lambda_u\mathcal{L}_{\text{unit}}$（公式 6），其中 $\mathcal{L}_{\text{global}}$ 采用 NegCLIP 风格 sentence-level 硬负样本，$\lambda_u=0.5$。整套训练在 OpenCLIP 框架上做 25 个 epoch 的微调（ViT-B/32，8×A100，AdamW，lr=5e-6，weight decay=1e-2，batch size=128），测试时推理完全回到标准双编码器 + 余弦打分。

技术新颖性体现在三方面。其一，提出了一种新的 failure mode 诊断——half-truth diagnostic，并形式化为 $\text{Acc}_{HT}=\Pr[s(I,A)>s(I,A^-)]$，把「追加错误细节是否被惩罚」这一原本只能靠人眼感觉的现象变成可量化指标；论文还在 COCO 上用 5000 张图构造了 $N=25{,}606$ 对 anchor/half-truth，覆盖 entity 与 relation 两类追加。其二，把 unit parsing 与 foil generation 做成可复现的纯文本 LLM pipeline（Qwen3-8B-AWQ + vLLM + 结构化 JSON + 后处理规则），免去了昂贵的人工标注，且 foils 同时支持 object-change、attribute-change、predicate-change、role swap、argument-corruption 等多种编辑类型。其三，把 unit-level 对比损失与 sentence-level 损失以加权求和的形式并联，验证了「细粒度监督 + 粗粒度对齐」可以共存：消融实验（Table 4）显示只加 unit-foil（无 sentence negatives）就能把 relation AccHT 从 36.9% 拉到 63.7%，再叠回 sentence negatives 后还能再涨 1.8 个点，证明两者提供互补信号。

独立分析来看，三个具体场景比较脆弱。其一，LLM-only unit parser 在复杂长描述或包含抽象、隐喻性表达的 caption 上可能给出不稳定 / 多义 / 不视觉化的 unit，导致 foil 质量参差，进而污染 unit-level 监督——改进方向是引入 visual grounding（如用 detection/segmentation 给每个 noun phrase 绑定区域，让 LLM 在生成 foil 时参考视觉证据），或者用 self-consistency + confidence 过滤低质量 unit。其二，目前 foil 编辑类型（object change、attribute change、predicate change、role swap 等）虽覆盖了常见错误，但缺少「否定」「否定范围」「计数」类编辑，而 Table 12 显示所有模型在 Negation 与 Counting 上的准确率分别只有 27–37% 和 24–39%，扩展 foil 模板以包含否定/数量扰动可能直接帮到这两类能力。其三，unit-level 损失只作用在文本侧的 embedding，对视觉侧没有对称的 unit 监督；如果同时给图像做 sub-region 级的对齐（例如用 GradCAM 或开放词汇检测器得到 region embedding，再与 unit embedding 对比），可以打破「文本知道对、图像不知道对」的瓶颈，尤其对 relation 类需要验证「哪个实体出现在哪个位置」的场景可能收益更大。

作者在文末与 Limitations 章节给出三条明确延伸：image-side half-truths（在正确的图上加错的对象、关系）、joint image-text parsing（联合视觉 grounding 来生成 unit）、把 unit-level 监督从 fine-tuning 阶段上移到大规模 pretraining 阶段以缓解 zero-shot trade-off。基于本文成果还值得探索的方向包括：（1）把 unit foil 范式扩展到 video–text 检索和 audio–text 检索，把「unit」泛化为时间窗口或声学事件；（2）把 AccHT 作为训练过程中的在线诊断指标，而不仅是事后评估，可能替代或补充现有的 compositional eval；（3）把 unit 监督与 instruction tuning 结合，看是否能复用到多模态大模型（MLLM）以修复它们的 negation / role 错乱问题；（4）探索 unit-level 监督对模型可解释性的影响——既然每个 unit 都有显式的 foil，是否可以基于 unit 相似度做局部归因，让 CLIP 类模型首次具备「可被质疑的局部证据」。

复现门槛相对友好。代码已在 GitHub 开源（https://github.com/kargibora/CS-CLIP/），基于 OpenCLIP 框架实现，主要改动集中在数据构造（Qwen3-8B-AWQ + vLLM 的 JSON pipeline）和 loss（多了一个 unit-level contrastive head）。数据上，训练用 MS-COCO Karpathy split，half-truth 诊断默认采样 5000 张图、构造 25,606 对样本；16 个 compositional benchmark 都是公开的（ARO、SugarCrepe、SugarCrepe++、Winoground、VALSE、VL-Checklist、What’sUp、SPEC、VisMin、COLA、ColorFoil、ColorSwap、COCO-CF、MMVP、NegBench、BLA），附录 Table 8 给出引用和协议。算力方面，主实验为 25 epoch × batch size 128 的 ViT-B/32 微调，使用 8×A100；不同 backbone 的 scaling 实验（ViT-B/16、ViT-L/14）也给出了完整数字（Table 2），其中 ViT-L/14 把 half-truth 整体 AccHT 推到 73.1%、compositional I2T 推到 59.5%，可见算力上限越高收益越大。复现难度主要在于 LLM 解析 pipeline 需要 Qwen3-8B-AWQ（4-bit AWQ 量化 + vLLM 部署），附录 Table 5 给出全部超参；以及 Appendix F 给出 unit 采样（$N$, $p_{\text{rel}}$, swap 概率）和优化超参（lr, weight decay, batch size）的完整 ablation，提示换数据或换模型时可能需要重新调 $\lambda_u$ 和采样比例。