OmniScope：面向全模态大语言模型的模态解耦Token压缩 OmniScope: Modality-Decoupled Token Compression for Omnimodal Large Language Models

完整流程分三步，每步输入输出明确。第一步查询感知打分：输入为视频帧序列、音频段与查询 $q$。视觉用 CLIP 抽帧特征 $f_I^{(t)}$ 与查询特征 $f_Q$，输出每帧分数 $s_v^{(t)}$；音频用模型自带编码器输出 $Z_a$ 与LLM嵌入层查询 $E_Q$，先算门控相似度 $\bar{S}_{ij}=\bar{z}_a^{(i)}\cdot\bar{e}_Q^{(j)}$，权重 $w_{ij}=\text{softmax}_j(g_j\bar{S}_{ij}/\tau)$（$\tau=0.05$），取top-5聚合得每秒分 $s_a^{(s)}$，再对高分秒（超80百分位）按 $b_s=\max_{s'}1+(\beta-1)\gamma^{|s-s'|}$（$\beta=1.5,\gamma=0.5,R=3$）传播增强。第二步预算分配与视觉剪枝：按 $n_{keep}^{(i)}=\lfloor s^{(i)}/\sum s\cdot N_{budget}+0.5\rfloor$ 分配，$N_{budget}=(1-\rho)N_{total}$；锚帧用 DPC-KNN（$k=5$近邻均值密度）保留密度最低的Token，增量帧在 $r\ge\tau_r=0.4$ 时用乘性不可替代性 $\alpha_{intra}^i\times\alpha_{inter}^i$（同时空间时间冗余才删），$r<\tau_r$ 时改用时间差（保留变化最大Token）。第三步音频合并：每秒内Token按奇偶分源/目集，算相似度矩阵 $M=\bar{H}_A\bar{H}_B^\top$，每个源配对最相似目，选相似最高 $m=N-n_{keep}^{(s)}$ 对做平均合并，超出 $\lfloor N/2\rfloor$ 则迭代。最终精简后的音视频Token送入LLM正常推理。

技术新颖性体现在四方面。其一，提出并量化了“跨模态显著性错配”这一被忽视的失效模式，用 CLIP/CLAP 外部探针在1197对样本上测得78.3%弱相关，从根本上否定了单向跨模态指导的可靠性，并提炼出“共享查询、不共享显著性”的设计箴言。其二，视觉 AD-STC 的锚-增量交替是全新的：锚帧管全局语义、增量帧管时间变化，且增量帧按预算松紧自适应切换“乘性不可替代性”与“时间差”两套准则，弥补了现有视频时空压缩对增量帧一刀切、高压缩比丢全局覆盖的缺陷。其三，音频侧把二分软匹配首次下沉到编码后的一维时间嵌入、按秒切片执行，既解决了 CLAP 等外部模型秒级以上粒度太粗无法逐Token打分的问题，又比相邻合并、能量过滤等信息丢失更小。其四，整套方法免训练，音频打分完全复用正常推理已产生的嵌入，零额外显存开销，而 OmniZip 需抽取完整音频注意力矩阵（随音频长二次增长），这给长视频场景带来显著可扩展性优势。

独立分析有四点弱点及改进方向。第一，CLIP外置打分带来固定开销且拖累短问答端到端延迟。改进方向：把视觉打分也做成流式/与LLM流水线重叠，或用更轻量的蒸馏视觉编码器，乃至在足够强的模型上用Self-Embed替代（附录D显示3B上Self-Embed掉约0.9、7B仅约0.5，大模型已基本够用）。第二，方法仅依赖查询文本做相关性，对无明确查询或开放式理解（视频字幕、摘要、密集描述）任务适配性未验证。改进方向：引入无查询的显著性先验（如运动能量、新颖度）或用通用提示作为软查询。第三，所有超参在全基准固定无逐数据集调优，虽显鲁棒但未给出预算分配的比例式是否在极端长视频（128帧上限之外）仍最优，长时序下每秒预算分配可能退化。改进方向：研究时长自适应的预算分配与层次化时间聚合。第四，仅与少数基线对比、且OmniSIFT缺席，结论的说服力受限；同时缺少在真实业务长视频/流式场景的端到端基准。改进方向：补充更多SOTA与真实部署基准。

作者未单列未来工作章节，但从成果可延伸出若干方向。作者侧：将“共享查询、不共享显著性”原则推广到更多模态（如文本+图像+音频三模态、触觉）；在长生成任务上验证并优化端到端收益；探索把音频打分的范数门控思想迁移到其他需要细粒度对齐的场景。基于本文可延伸：其一，结合KV缓存量化、模型量化等其他效率手段做联合优化，叠加显存与速度收益；其二，研究查询感知预算分配的端到端可微学习版本，用少量数据把打分与分配联合优化而非纯启发式；其三，把AD-STC的锚-增量思想用于纯视频LLM的长视频压缩；其四，将逐秒二分软匹配扩展为可变粒度的层次合并以适配更激进的压缩比；其五，在更多OmniLLM架构（如VITA-1.5、下一代Qwen-Omni）上验证模态解耦原则的普适性。

复现性总体良好。作者公开了代码仓库 https://github.com/MAC-AutoML/OmniScope ，并在附录 Table 7 给出全部超参（音频打分 $\tau=0.05$、top-5聚合、邻居增强 $\beta=1.5,\gamma=0.5,R=3,P=80$；AD-STC切换阈值 $\tau_r=0.4$、DPC-KNN近邻 $k=5$），且强调所有基准、两规模共用同一套配置、无逐数据集调参。评测基准均为公开数据集（WorldSense、DailyOmni、OmniVideoBench、Video-MME），基础模型 Qwen2.5-Omni 7B/3B 均开源，FlashAttention-2 启用，视频统一截断128帧。复现门槛主要在算力：需至少能运行7B多模态推理的GPU（论文用峰值28.31G显存档位），并额外加载 CLIP ViT-L/14@336px。难度中等：方法免训练降低了实现复杂度，但AD-STC的DPC-KNN、增量自适应切换与逐秒二分软匹配等模块工程细节较多，且与FlashAttention兼容的FastV适配也需自行处理。整体而言，凭论文与代码足以复现主结果，但完整系统级集成仍需相当工程投入。