OmniSIFT：面向高效全能模态大语言模型的模态非对称Token压缩 OmniSIFT: Modality-Asymmetric Token Compression for Efficient Omni-modal Large Language Models

OmniSIFT的完整处理流程如下：首先，输入的视频和音频分别通过模态特定编码器和投影层转换为token序列 $Z_v \in \mathbb{R}^{N_v \times D}$ 和 $Z_a \in \mathbb{R}^{N_a \times D}$。这些token按2秒粒度对齐形成多模态chunk $C_t = [Z_v^{(t)}; Z_a^{(t)}]$。然后进入第一阶段STVP：对于每个chunk的视觉token（对应两帧 $F_1^{(t)}, F_2^{(t)}$），计算空间显著性分数 $s_{1,i}^{(t)} = 1 - \frac{v_{1,i}^{(t)} \cdot \bar{v}_1^{(t)}}{\|v_{1,i}^{(t)}\|\|\bar{v}_1^{(t)}\|}$（基于与帧均值的余弦距离）和时间显著性分数 $s_{2,i}^{(t)} = 1 - \frac{v_{2,i}^{(t)} \cdot v_{1,i}^{(t)}}{\|v_{2,i}^{(t)}\|\|v_{1,i}^{(t)}\|}$（基于相邻帧对应patch的余弦距离），然后通过TopK选择保留比例为 $\alpha_v$ 的最显著token，得到剪枝后的视觉序列 $\hat{Z}_v^{(t)}$。第二阶段VGAS：以音频token为查询、剪枝后的视觉token为键和值进行跨注意力计算 $H_a^{(t)} = \text{Softmax}\left(\frac{Q_a K_v^\top}{\sqrt{d}}\right)V_v$，加上残差连接得到 $\tilde{H}_a^{(t)} = H_a^{(t)} + Z_a^{(t)}$，再通过两层MLP和sigmoid计算音频显著性分数 $s_{a,j}^{(t)} = \sigma(\text{MLP}(\tilde{h}_{a,j}^{(t)}))$，最后通过TopK选择保留比例为 $\alpha_a$ 的音频token。训练时使用STE解决TopK的不可微问题。

OmniSIFT的技术新颖性体现在以下几个方面：首先，首次明确提出并利用Omni-modal token压缩中的模态非对称性，提出视觉引导音频的压缩范式，这与OmniZip的音频引导视频策略形成鲜明对比。其次，STVP模块设计了双通道显著性评估——空间显著性捕获帧内结构冗余，时间显著性捕获帧间重叠，两者互补实现全面的视频冗余去除。第三，VGAS采用极简的单层跨注意力设计（实验证明3层变体反而性能下降），在保持跨模态依赖建模能力的同时最大化效率。第四，整个框架仅增加4.85M参数（不到7B模型的0.1%），却能实现显著的效率提升。最后，压缩框架与FlashAttention兼容，解决了OmniZip依赖注意力分数导致的算子兼容性问题。

基于对论文的独立分析，OmniSIFT存在以下弱点及改进方向：（1）固定压缩预算问题：当前使用全局固定的视频和音频保留率，但不同场景的信息密度差异很大（如静态讲座vs动态体育比赛），改进方向是引入自适应预算分配，根据视频内容动态调整压缩比，论文中的初步实验显示自适应策略未带来明显提升且增加延迟，但这可能是因为实现方式不够精细，值得进一步探索；（2）chunk级时间建模局限：STVP仅在2秒chunk内建模时间冗余，忽略了chunk间的长期依赖，改进方向是引入跨chunk注意力或层次化压缩策略；（3）单层VGAS的表达能力限制：虽然实验证明3层变体性能下降，但这可能是因为训练数据不足或正则化不够，而非架构本身的问题，可以探索更深层但带适当约束的VGAS设计；（4）缺乏任务自适应：当前压缩与具体查询无关，对于需要特定模态信息的任务（如语音识别需要完整音频），可能造成关键信息丢失，改进方向是引入查询感知的压缩策略。

作者在论文末尾提出了几个未来研究方向：（1）探索自适应预算分配策略，针对信息密度非均匀的视频进行动态token分配；（2）引入查询引导的剪枝，实现任务特定的压缩；（3）在多轮对话场景中保持上下文一致性；（4）更好地保留音频触发的视觉证据。基于OmniSIFT的成果，还可以延伸以下方向：（5）将模态非对称压缩思想扩展到更多模态（如深度、红外等）；（6）探索压缩与量化、剪枝等其他效率技术的协同；（7）研究压缩对下游任务（如视觉问答、视频生成）的长期影响；（8）开发压缩友好的预训练策略，使模型天生更适合压缩。

OmniSIFT的复现条件相对友好：（1）代码已开源在GitHub（https://github.com/dingyue772/OmniSIFT），提供了完整的训练和评估代码；（2）训练数据使用公开的AVoCaDO SFT数据集（107K音视频描述对）；（3）基座模型Qwen2.5-Omni-7B和3B均为开源模型；（4）VGAS模块仅需4.85M额外参数，训练资源需求相对较低；（5）论文提供了详细的实现细节，包括学习率（1e-5）、批大小（128）、压缩比率配置等。复现难度主要在于：需要8卡GPU进行训练（批大小128），推理评估需要加载7B模型，以及需要正确配置Qwen2.5-Omni的推理环境。总体而言，对于有中等算力资源的研究团队，复现难度为中等偏低。