任意模态下的多向量索引压缩 Multi-Vector Index Compression in Any Modality

AGC 的完整流程分为三步。第一步，注意力选择质心：将可学习的通用查询 token $X_\Psi \in \mathbb{R}^{|\Psi| \times h}$ 附加到文档 token $X$ 之后，通过 $L$ 层双向 Transformer 编码器 $F_{\text{enc}}$ 得到最后一层隐状态 $Z^{(L)} = [Z_X^{(L)}, Z_\Psi^{(L)}]$。然后，计算每个文档 token 的显著性分数 $\alpha = \frac{1}{H \cdot |\Psi|} \sum_{i \in \Psi} \sum_{\eta=1}^{H} \text{Attn}^{(L,\eta)}_i$，其中 $H$ 是注意力头数。选取显著性最高的 $m$ 个 token 的索引 $I$，其对应的隐状态作为聚类质心 $M = \{\mu_k\}_{k=1}^m$。第二步，硬聚类：将每个文档 token 分配到余弦相似度最高的质心，即 $G_k = \{j \in \{1,\ldots,n\} : k = \arg\max_{k'} \cos(Z_{X,j}^{(L)}, \mu_{k'})\}$。第三步，加权聚合：对每个聚类 $G_k$，计算加权平均 $c_k = \frac{\sum_{j \in G_k} \alpha_j Z_{X,j}^{(L)}}{\sum_{j \in G_k} \alpha_j}$，得到最终的压缩表示 $C = [c_1, \ldots, c_m]$。虽然聚类操作是离散的（硬分配），但加权聚合保持了连续性，梯度可以回传到特征编码器。

AGC 的技术新颖性主要体现在以下几个方面：（1）首次将注意力引导机制引入到多向量索引压缩的聚类过程中，不同于传统的层次聚类仅依赖局部几何距离，AGC 的质心选择是全局语义驱动的；（2）通用查询 token 的设计使得压缩过程可以利用 Transformer 的注意力机制来评估 token 重要性，而这在检索场景中是查询无关的——这些 token 在索引时就已完成工作，不需要实际查询；（3）硬分配与加权聚合的结合解决了连续优化和离散结构之间的矛盾：硬聚类确保语义分离（不同于 MemTok 的软聚合导致坍缩），加权聚合保证梯度连续流动（不同于纯硬操作导致的优化困难）；（4）作者还发现压缩训练本身可以提升性能（AGC 在 MSR-VTT 上的 R@1 甚至超过了未压缩基线），揭示了多模态数据中存在大量语义冗余，压缩实际上在去噪。

（1）SeqResize 在多模态数据上的建模失败问题：实验发现 SeqResize 在不同压缩率下性能几乎不变（Table 4），且在索引利用率分析中仅使用了极少数 token，这些未使用的 token 表现出负余弦相似度（不应出现于同一文档的 token 之间），表明 MLP 投影在多模态场景下存在严重的表征退化。改进方向：可以考虑使用更复杂的投影架构（如交叉注意力机制）替代简单 MLP，或引入正则化约束保证投影后 token 的一致性。（2）MemTok 的信息坍缩：热力图分析显示 MemTok 生成的 token 之间高度相似，缺乏多样性，这是因为记忆 token 通过全局注意力聚合信息时自然趋于平滑。改进方向：可以引入多样性正则化损失，或在记忆 token 之间增加对比学习目标。（3）H-Pool 对噪声敏感：多模态数据中的静音段、静态背景等语义空信号会干扰 Ward 层次合并，导致噪声 token 被错误地与信息 token 合并。改进方向：可以在合并前先进行基于注意力权重的 token 预筛选。（4）AGC 的计算开销：相比 H-Pool 的纯后处理，AGC 需要训练额外的通用查询 token 并在整个编码过程中参与注意力计算，增加了训练成本。改进方向：可以探索轻量级的注意力近似或知识蒸馏方法。

作者在结论中明确提出了未来研究方向：（1）动态预算分配——开发按文档信息内容按比例分配压缩预算的机制，可以利用本文发现的 token 利用率等轻量特征来校准压缩程度，避免对高信息密度文档过度压缩或对低信息密度文档预算浪费。（2）更高效地传递音视频信号——MultiVENT 2.0 实验暴露了 Qwen-Omni 模型在音频处理上的瓶颈，未来可以探索更高效的音频编码和传递方式，如分层音频采样或模态自适应的 token 分配。（3）更大规模训练——当前实验规模有限（MSR-VTT 仅 9K 训练样本），在更大规模的多模态数据上训练可能进一步提升 AGC 的性能和泛化能力。（4）自适应压缩——基于作者发现的「索引利用率与检索性能高度相关」（Pearson r 达 0.996），可以设计在线自适应压缩策略，在索引构建时根据 token 利用率预测动态调整压缩率。（5）与其他压缩技术的结合——AGC 专注于序列维度压缩，未来可以将其与量化（如 4-bit residual）、维度降维等技术结合，实现多维度的联合压缩。

本文的复现条件较好：（1）源代码已在 GitHub 开源（github.com/hanxiangqin/omni-col-press），提供了完整实现。（2）使用的所有数据集（BEIR、ViDoRe v2、MSR-VTT、MultiVENT 2.0）均为公开可获取的标准基准。（3）基于的预训练模型也是公开的：gte-modernbert-base（BEIR 基础）、Qwen2.5-VL-3B/7B 和 Qwen3-VL-4B（ViDoRe 和 MSR-VTT）、Qwen2.5-Omni-3B（MultiVENT 2.0）。（4）训练配置明确——MSR-VTT 使用 28 的 batch size、2 个 epoch、学习率 $10^{-5}$、bfloat16 精度，可在单机多 GPU 环境下复现。（5）索引构建使用 FastPlaid 引擎（也是开源的），4-bit residuals。（6）但需注意：MultiVENT 2.0 上的完整未压缩索引由于存储过大无法构建（隐维度 2048），部分对比实验需要较大 GPU 显存；MSR-VTT 的详细结果依赖于特定的 flat index 实现。总体而言，复现难度中等，算力需求适中（3B 模型为主），数据和代码均公开。