DUET-VLM：面向视觉语言模型训练与推理的双阶段统一高效视觉Token压缩 DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

DUET-VLM的完整流程分为两个阶段。**Stage 1：视觉到视觉（V2V）合并。** 输入为视觉编码器输出的N个视觉token $X = \{x_i\}_{i=1}^{N}$。首先从CLIP最后一层获取V2V自注意力图 $A^{v2v} \in \mathbb{R}^{N \times N}$，计算每个token的注意力得分 $s_i = \sum_{j=1}^{N} A_{j,i}^{v2v}$。基于得分选出Top-k₁个主导token $X_{dom}$，它们对应视觉上高激活、最具影响力的区域。对于剩余的残差token $X_{res} = X \setminus X_{dom}$，选择得分最高的k₂个token作为聚类中心，然后对每个中心c找到其w个最近邻token $N_c$，计算局部平均 $z_c = \sum_{j \in N_c} x_j / |N_c|$，形成k₂个上下文token $X_{comp}$。未被分配的token直接丢弃。最终输出 $X_{out} = X_{dom} \cup X_{comp}$，共$k_1 + k_2$个token。**Stage 2：文本到视觉（T2V）逐层剪枝。** 将压缩后的视觉token $X_{out}$ 通过MLP适配器投影后，与文本token一起送入语言模型。语言模型的L层被分为M个阶段（M < L），在每个阶段l的结束处，根据显著文本token S与当前保留的视觉token $V^{(l)}$ 的T2V交叉注意力得分 $A_{t2v}^{(l)}$，对视觉token进行排名，保留Top-$(1-\lambda) \cdot N_l$个token，丢弃其余。压缩比 $\lambda$ 控制每层丢弃的比例。显著文本token S通过函数 $F_S(.)$ 从文本token中选出，始终包含最后一个文本token作为sink token以稳定注意力。这一排名-丢弃过程在每个阶段重复执行，随着多模态推理的深入，逐步收窄视觉上下文，只保留语义最相关的区域。

DUET-VLM的技术新颖性体现在三个层面。首先，在架构层面，它是首个将视觉侧压缩和语言侧剪枝统一到一个端到端可微框架中的方法。已有工作要么只做视觉侧（VisionZip、PruMerge、HiRED），要么只做语言侧（PyramidDrop、FastV、FitPrune），而DUET-VLM通过可微的压缩接口将两个阶段连接起来，使视觉表征和语言上下文在token减少过程中能够共同适应，维持了强跨模态对齐。其次，在视觉侧，局部聚类聚合替代全局平均是一个实质性的改进。全局平均假设所有非主导token同等重要，而局部聚类通过自注意力得分引导的邻域划分，保留了空间局部结构，使每个上下文token只聚合语义上相近的视觉信息。实验表明，即使用VisionZip的原始框架替换VLM部分，仅加入局部聚类（VisionZip (C)）就能在所有token预算下获得稳定提升。第三，在语言侧，使用显著文本token（而非单一末尾token）进行视觉token排序，提供了更丰富的跨模态指导信号。消融实验证明，(C+S)变体在高压缩比下持续优于(C+all)变体（使用所有文本token），说明选择性聚焦比均匀利用所有文本信息更有效。

从独立分析的角度，DUET-VLM存在几个值得关注的弱点。**第一个弱点是超参数敏感性**：论文附录显示，不同token预算需要不同的(k₁, k₂)配置（如LLaVA-1.5-7B在192 tokens时k₁=300, k₂=7，而在64 tokens时k₁=72, k₂=30），且最优配置在不同预算间差异较大。这限制了方法的即插即用性。改进方向可以是设计自适应的超参数选择机制，例如根据视觉编码器输出的注意力分布自动确定最优的主导/上下文token比例。**第二个弱点是视觉侧压缩的静态性**：Stage 1的V2V合并是基于视觉自注意力的静态策略，不考虑具体的文本查询。这意味着无论查询是什么，被合并和丢弃的视觉token都是相同的。改进方向可以是引入轻量级的文本条件信号来指导视觉侧的聚类过程，使得合并策略能够根据查询的不同而自适应调整。**第三个弱点是压缩比$\lambda$在所有阶段统一**：当前方法在每个语言模型层使用相同的压缩比$\lambda$，但直觉上不同深度的层可能需要不同的压缩强度。论文中虽然展示了不同$\lambda$配置的结果（Fig. 5），但未探索逐层自适应压缩比的策略。改进方向可以是学习每层的最优压缩比，或者根据注意力模式的变化动态调整。**第四个弱点是缺少与最新token压缩方法的对比**：论文中对比的方法主要来自2024-2025年，但token压缩领域发展迅速，缺少与更多最新方法（如基于学习的token选择方法）的对比。

论文作者提出了几个明确的未来研究方向。首先，开发优化的CUDA/HIP kernel来进一步加速推理和训练延迟，因为当前实现的加速主要来自token数量减少，尚未充分利用硬件层面的优化。其次，将训练扩展到更长时间跨度的视频理解任务（更多帧数），因为DUET-VLM在极端压缩下表现出的最小精度损失使其特别适合处理长视频的高token开销问题。第三，在视觉编码器中探索更强的区域提议或显著性方法（beyond V2V自注意力过滤），以实现更精确的视觉token选择。第四，将双阶段压缩范式扩展到更多模态（如音频和文本），构建真正的高效多模态系统。从本文成果可延伸的方向还包括：(1) 将DUET-VLM与模型量化（如INT4/INT8量化）结合，在减少token的同时压缩模型权重，实现双重加速；(2) 探索将局部聚类策略应用于视觉编码器本身（如ViT的中间层），在更早的阶段就开始压缩；(3) 研究DUET-VLM在长上下文VLM中的应用，利用token压缩释放的计算预算来支持更长的对话历史或更多图像输入。

从复现角度来看，DUET-VLM的复现条件相对友好。**代码开源**：论文提供了GitHub仓库链接（https://github.com/AMD-AGI/DUET-VLM），代码已公开。**数据集**：使用的所有基准测试都是公开的标准数据集（POPE、GQA、TextVQA、MME、SQA-Image、SEED-Bench-Image、TGIF-QA、MSVD-QA、MSRVTT-QA），不需要额外的数据收集。**算力需求**：训练实验在配备8块AMD Instinct MI250 GPU的单节点集群上进行，对于7B规模的VLM来说这是比较标准的训练配置。推理实验只需要单GPU即可运行。**复现难度**：中等。方法本身概念清晰，实现复杂度不高（核心是V2V聚类和T2V剪枝两个模块），但超参数（k₁, k₂, w, λ, 阶段划分）需要根据具体模型和token预算调优，论文附录提供了详细的超参数表格（Tables 12-15），降低了复现门槛。需要注意的是，论文的实验在AMD GPU上进行，如果使用NVIDIA GPU复现，性能数字可能略有差异，但方法本身的精度表现应该是可复现的。