所有视觉标记都同等重要吗？用于视觉-语言检索的对象证据保留标记合并方法 Do All Visual Tokens Matter Equally? Object-Evidence Preserving Token Merging for Vision-Language Retrieval

SaMer的方法步骤包括：输入为原始图像$I$和文本查询$q$。首先，使用冻结的视觉编码器$f_v$和语言骨干$f_t$提取隐藏状态$H_I = f_v(I)$和$H_q = f_t(q)$。然后，通过可训练的共享投影层$g_\theta$将图像和查询token映射到检索空间：$V = \{v_i\}_{i=1}^N = g_\theta(H_I)$和$Q = \{q_j\}_{j=1}^M = g_\theta(H_q)$。接下来，初始化K个代表性，使用在展平的图像token网格上均匀分布的种子token的特征质心$\mu_k$和空间质心$s_k$。对于训练阶段，为每个图像token分配训练时框标签$b_i$，然后计算特征-空间距离$d(i,k) = 1 - v_i^\top \mu_k + \gamma \|p_i - s_k\|_2^2$，其中$\gamma$控制空间项强度。计算stop-gradient硬分配$c_i = \arg\min_{k \in [K]} d(i,k)$来估计每个质心的边界框标签分布，然后计算实例惩罚$P_{\text{inst}}(i,k) = 1 - P_k(b_i)$。计算对象感知软分配$a_{i,k} = \text{softmax}_k(-(d(i,k) + P_{\text{inst}}(i,k))/\tau_s)$，并构建合并图像token$r_k = \text{normalize}_2(\sum_{i=1}^N a_{i,k}v_i / \sum_{i=1}^N a_{i,k})$。计算压缩的后期交互得分$S_K(q,I) = \frac{1}{M}\sum_{j=1}^M \max_{k \in [K]} q_j^\top r_k$，并使用多正InfoNCE检索损失更新仅投影层$g_\theta$。对于推理阶段，丢弃所有边界框和对象标签，执行无标注的特征-空间软分配来压缩视觉token，缓存压缩后的表示$R(I)$，并使用相同的压缩后期交互规则进行检索。输出为检索得分$S_K(q,I)$。

SaMer的技术新颖性体现在三个方面：首先，将视觉token压缩框架化为证据保留问题，识别出对象实例塌缩是基于特征合并的关键失败模式，这与单纯减少冗余token的传统观点不同。其次，提出使用训练时对象注释作为合并先验而非辅助grounding损失的设计，使推理时完全不需要检测器或边界框，这种训练时利用对象信息、推理时无标注的设计是新颖的。第三，提出投影层仅适配策略，冻结视觉编码器和语言骨干网络，通过压缩的MaxSim评分训练投影层，使压缩后的token与现有检索空间对齐而不改变骨干表示或引入新的检索架构。此外，实验设计也有新颖性，除了传统的检索指标外，还引入grounding导向指标（BoxMass、RegionHit、CoverageIoU）来测量查询token相关性是否仍集中在注释的短语区域内，提供了评估压缩方法是否保留短语级视觉证据的新视角。

SaMer的独立分析弱点包括：首先，对象感知先验依赖训练时的边界框标注，虽然推理时不需要检测器，但对于缺乏标注的数据集或新领域，需要重新收集标注或适应无监督的对象分割方法，这限制了方法的通用性。改进方向可以是探索自监督或弱监督的对象发现方法，或者利用现有的开放词汇检测器生成伪标签来减少对人工标注的依赖。其次，当前方法假设每个视觉token可以明确分配给某个对象实例或背景，但在复杂场景中，token可能对应多个对象的交互部分或模糊区域，硬分配可能引入噪声。改进方向可以是设计多标签软分配机制，允许token根据其内容特征部分属于多个对象实例，更好地处理边界和重叠情况。第三，token预算K是全局固定的，但不同图像可能需要不同的压缩程度，简单场景可以用更少的token表示，复杂场景可能需要更多token。改进方向可以是设计自适应token预算机制，根据图像复杂度或查询分布动态调整K值，在质量和效率之间实现更精细的权衡。第四，当前方法主要针对视觉token压缩，对于查询侧的token压缩没有考虑，在某些场景下查询可能很长，压缩查询侧token可能进一步提升效率。改进方向可以是设计双向压缩策略，同时压缩图像和查询token，在保持检索性能的同时实现更大的效率提升。第五，对象感知先验主要针对空间相邻的视觉token，对于跨空间但语义相关的对象关系（如图像两端的对比对象），当前的合并策略可能不够灵活。改进方向可以是引入语义关系感知的合并策略，考虑对象之间的语义关联而非仅空间邻近性。

作者提出的未来工作方向包括：探索将SaMer应用于其他多模态检索任务，如视频-文本检索、音频-文本检索等，研究在时序数据上如何设计对象感知的合并策略；将对象感知先验扩展到其他类型的结构化信息，如场景图、语义分割图等，进一步指导合并策略；研究如何将SaMer与检索增强生成（RAG）系统结合，为大型语言模型提供高效的多模态上下文检索能力。基于本文成果的可延伸研究方向包括：设计更复杂的合并策略，考虑对象之间的语义关系和交互，而非仅独立地处理每个对象；探索自适应token预算分配机制，根据图像内容复杂度和查询模式动态调整不同图像或不同区域的token数量；研究跨模态的对齐感知压缩，确保压缩后的视觉token与查询token的语义对齐不受影响；将SaMer的思想应用于其他需要细粒度证据保留的任务，如视觉问答、图像描述生成等；探索无监督或自监督的对象感知合并策略，减少对人工标注的依赖，使方法更容易扩展到新领域；研究如何在压缩过程中显式建模不确定性，为检索系统提供置信度估计；探索增量压缩策略，在新增图像或查询时无需重新压缩整个索引；设计硬件感知的压缩策略，根据存储层次结构和计算能力优化token表示格式和压缩程度；研究如何将SaMer与索引压缩、量化等技术结合，进一步降低大规模检索系统的总拥有成本。在可复现性方面，作者承诺开源代码和训练脚本，这对于方法的验证和改进非常重要。

本文的可复现性评估如下：代码方面，作者在GitHub上提供了开源代码（https://github.com/dmis-lab/SaMer），包括实现细节和训练脚本，这对于复现结果非常重要。数据方面，实验使用的Flickr30K-Entities、MSCOCO、ImageCoDe和DocVQA都是公开数据集，其中Flickr30K-Entities提供了用于对象感知先验的边界框标注。训练细节方面，作者提供了完整的实现细节：使用K=64个合并token，投影层适配在Flickr30K-Entities训练集上进行3个epoch，使用4个NVIDIA A100 80GB GPU，学习率为$2 \times 10^{-4}$，权重衰减为$1 \times 10^{-5}$，使用带预热比例0.1的余弦学习率调度器，总共1746个优化步骤。评估指标方面，除了标准的检索指标（R@1、R@5、nDCG@10）外，作者还详细定义了grounding指标（BoxMass、RegionHit、CoverageIoU）的计算方法，并在附录中提供了完整的算法伪代码。消融研究方面，作者系统地分析了每个组件的贡献，包括特征-空间合并、对象感知先验和投影层适配，以及不同质心构建变体（mean、normalized、medoid、object-weighted、soft assignment）的比较。这些详细的实验设置和消融研究使其他研究者能够验证结果并进一步改进方法。算力需求方面，虽然训练需要4个A100 GPU，但推理阶段与原始检索器相比不需要额外的计算资源，且由于token数量大幅减少，实际部署时的资源需求更低。总体而言，本文的可复现性较好，主要的不确定性可能来自训练过程的随机性和不同的硬件配置，但作者提供的详细实现细节应该能够使其他研究者复现主要结果。