按需视觉：通过稀疏、动态选择的视觉-语言交互增强VLLM效率 VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions
通过稀疏化视觉-语言交互而非减少token数量来提升LVLM效率的新方法
前置知识
视觉语言模型(LVLM)
Large Vision-Language Model将视觉编码器（如CLIP）与大型语言模型(LLM)结合，通过连接器模块将视觉token与文本token拼接后输入LLM，实现视觉-语言联合理解。视觉编码器将图像转换为密集视觉token序列，这些token与文本token一起被LLM处理，计算复杂度为O((Nv+Nt)²·d)，其中Nv是视觉token数，Nt是文本token数，d是特征维度。
理解LVLM的基本架构和计算瓶颈是理解本文方法的基础，因为VISOR的核心思想就是改变这种架构中视觉token的处理方式。
Token reduction方法
现有提升LVLM效率的主流方法，通过减少视觉token数量来降低计算开销。包括动态剪枝（如VisionZip、VisPruner根据注意力分数选择重要token）和合并技术（如M3将token分组为不同粒度层级）。这些方法在低分辨率、粗粒度理解任务上效果良好，但在高分辨率、细粒度推理任务上会因信息瓶颈导致性能显著下降。
理解token reduction的局限性是理解VISOR方法创新性的关键，因为VISOR正是针对这些局限性提出的替代方案。
Cross-attention与Self-attention
Self-attention允许序列中的所有元素相互交互，计算复杂度为O((Nv+Nt)²·d)；Cross-attention中一种模态作为query，另一种作为key和value，计算复杂度为O(Nt·Nv·d)，当Nv≫Nt时效率显著更高。在LVLM中，cross-attention使文本token能够查询视觉特征而不修改视觉token本身，self-attention则允许视觉token之间交互进行特征更新。
VISOR方法的核心就是用高效的cross-attention替换大部分层的完整self-attention，只在关键层使用self-attention进行视觉特征精炼。
CKA(Centered Kernel Alignment)
用于衡量神经网络不同层表示相似性的指标。给定两个层的特征矩阵X∈R^{n×d}和Y∈R^{n×d}，先计算Gram矩阵K=XX^T和L=YY^T，中心化后计算：CKA = ⟨K̃,L̃⟩_F / (‖K̃‖_F·‖L̃‖_F)。CKA值在0到1之间，值越大表示两层表示越相似。论文用它分析视觉特征在LVLM各层的演化过程。
理解CKA有助于理解论文如何发现不同任务对视觉特征精炼的不同需求，这是VISOR设计自适应推理策略的动机基础。
自适应推理与动态路由
根据输入样本复杂度动态调整计算资源的推理策略。本文使用轻量级策略网络（routing policy）为每个样本选择最优的自注意力层配置。策略网络通过离线伪标签训练：在训练数据上运行通用模型，记录每个配置的正确性和损失，选择能达到全模型99%精度且最轻量的配置作为标签，用交叉熵损失训练路由器。
这是VISOR实现按需分配计算资源的关键机制，使不同复杂度的任务能够使用不同数量的视觉处理层。
研究动机
现有提升LVLM效率的方法主要依赖token reduction（减少视觉token数量），虽然降低了计算成本，但创造了信息瓶颈。实验显示，这类方法在低分辨率、粗粒度理解任务上表现良好，但在高分辨率、细粒度推理任务（如DocVQA、ChartQA、InfoVQA）上性能显著下降。具体来说，当图像分辨率增加时，视觉token数量激增（384×384图像产生729个token），计算开销呈二次增长。虽然token reduction方法能节省4-8倍FLOPs，但在困难任务上准确率下降可达10-20个百分点。作者通过分析发现，困难任务需要持续访问图像信息，而token reduction不可避免地丢失了关键视觉细节。
本文的目标是本文的目标是提出一种完全不依赖token reduction的新型方法，在不丢弃任何视觉信息的前提下显著降低LVLM的推理计算成本。具体而言，作者希望通过稀疏化视觉与语言token之间的交互（即只在少数关键层执行完整的视觉-语言交互），而不是减少视觉token的数量，来兼顾效率和性能。此外，作者还希望该方法能够根据任务复杂度自适应调整计算资源分配，并在挑战性任务上超越现有方法。
与已有工作不同的是，本文的独特切入角度在于完全颠覆了token reduction的范式。现有方法都是在减少处理什么（token数量）上做文章，而本文关注的是何时处理（何时执行视觉-语言交互）。作者通过分析发现：图像-文本交互具有稀疏性和锯齿状模式；粗粒度任务可以依赖静态视觉特征，而复杂任务需要在LLM内部动态精炼视觉信息；一刀切的视觉处理策略不是最优的，计算预算应该适应样本或任务需求。基于这些观察，VISOR不是简单地减少token，而是策略性地限制LLM内执行视觉交互的层数，同时始终保持对完整高分辨率视觉上下文的访问能力。
核心方法
VISOR方法的核心思想是将LVLM中的视觉信息处理稀疏化。直觉上，不是在每一层都执行完整的视觉-语言交互，而是只在少数关键层执行，其他层只处理文本或使用高效的cross-attention。技术路线上，VISOR修改了标准LVLM架构，将每层的完整self-attention替换为三种操作之一：(1) 仅文本token的self-attention（最轻量）；(2) 文本到视觉的cross-attention（允许文本查询视觉特征但不修改视觉token）；(3) 完整的自注意力（同时更新视觉和文本token）。通过精心选择执行完整自注意力的层，模型能够在需要时精炼视觉特征，同时保持大部分层的计算效率。此外，VISOR训练一个支持多种计算预算的通用模型，并用轻量级策略网络实现按样本自适应推理。
VISOR的核心创新点在于将视觉token的减少转变为按需交互。与token reduction方法永久丢弃视觉信息不同，VISOR保留了完整的视觉token序列，但只在少数层执行耗时的完整自注意力计算。具体来说，VISOR使用高效的cross-attention层为文本流提供视觉上下文（这些层不修改视觉token），只在极少数精选的自注意力层更新视觉表示，从而构建分层视觉表示。这使得后续的cross-attention层能够访问更高级的视觉特征，而无需在每一层都付出完整自注意力的计算代价。另一个关键创新是训练支持多种配置的通用模型，并通过离线伪标签训练轻量级路由器实现自适应推理。
方法步骤详情
VISOR方法包含四个主要步骤：(1) 架构修改：在标准LVLM的基础上，将每层的完整self-attention替换为三种操作。给定视觉token V^{(l-1)}和文本token T^{(l-1)}，对于层l：如果l属于L_SA（自注意力层集合），执行完整变换[V^{(l)};T^{(l)}]=TL_l([V^{(l-1)};T^{(l-1)}])；如果l属于L_CA（cross-attention层集合），V^{(l)}=V^{(l-1)}（视觉token不变），T^{(l)}=TL_l(CrossAttn(T^{(l-1)},V^{(l-1)}))；否则，仅执行文本自注意力V^{(l)}=V^{(l-1)}, T^{(l)}=TL_l(T^{(l-1)})。Cross-attention模块使用文本token作为query，视觉token作为key和value，输出通过残差连接添加到文本流中。(2) 通用模型训练：首先确定最大交叉注意力|L_CA|和自注意力|L_SA|层数（经验值为L/3），预训练最大配置作为参考网络；然后系统评估预训练模型的子网络，识别一组可行配置（在特定情况下保持高精度）；最后通过随机采样可行配置进行通用微调，使模型能够鲁棒地支持训练中使用的任何配置。(3) 自适应推理：在问题后添加特殊路由token，在候选自注意力块之前的块中放置MLP层处理路由token，预测后续自注意力层的最优配置。使用离线伪标签方法训练策略网络：在训练子集上运行通用模型，记录每个潜在层配置的正确性和token级损失，识别能达到全模型99%精度且最轻量的配置作为目标标签。(4) 可选的token reduction结合：VISOR可以与现有token reduction方法正交结合，进一步降低计算成本。
技术新颖性
VISOR的技术新颖性体现在多个方面。首先，它提出了一个与token reduction完全正交的新范式——不是减少token数量，而是稀疏化交互层。这使得模型始终能够访问完整的视觉上下文，避免了信息瓶颈。其次，VISOR发现了不同任务对视觉特征精炼的不同需求（通过CKA分析），并据此设计自适应计算分配策略。第三，VISOR的通用训练策略（随机采样多个配置进行训练）不仅支持多种计算预算，还起到正则化作用，使通用模型性能甚至超过独立训练的特定预算模型。第四，VISOR的创新性还体现在模块化设计上：cross-attention提供高效视觉上下文，自注意力精炼视觉特征，两者分工明确。最后，VISOR的轻量级路由机制使用离线伪标签训练，避免了在线训练的不稳定性问题。
实验结果
VISOR在多项视觉语言基准测试上取得了显著成果。在简单任务（如ScienceQA、POPE、GQA）上，VISOR在达到或超越现有方法性能的同时，实现了高达8.6倍的FLOPs节省。具体而言，在RealWorldQA、ScienceQA、GQA、MME、MMSTAR、POPE等数据集上，VISOR的平均准确率为63.6%，FLOPs节省8-12倍。在困难任务（如DocVQA、ChartQA、InfoVQA、OCRBench）上，VISOR显著优于所有基线，包括token reduction方法如VisionZip、HiRED和M3，这些方法在困难任务上因信息瓶颈而表现不佳。例如，在DocVQA上，VISOR达到68.9%准确率，而VisionZip仅36.7%，HiRED仅48.4%。当与token reduction技术结合时（VISOR-TR），VISOR实现了高达18倍的FLOPs节省，同时保持最先进性能。消融实验表明：仅cross-attention足以满足粗粒度视觉上下文任务，在8层左右性能饱和；但cross-attention alone对细粒度推理任务不足，显著落后于完整模型；添加自注意力层显著提升细粒度任务性能，7层配置几乎匹配完整模型。作者还发现通用训练策略（支持多种配置）的性能甚至超过独立训练的模型，起到正则化作用。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ScienceQA（简单任务） | 准确率 | 75.3% | LLaVA-OV: 67.2%, M3: 75.1%, VisionZip: 67.0% | 匹配最优基线M3，但FLOPs节省8倍 |
| DocVQA（困难任务） | 准确率 | 68.9% | LLaVA-OV: 68.7%, M3: 65.4%, VisionZip: 36.7%, HiRED: 48.4% | 超越所有基线，相比VisionZip提升32.2个百分点 |
| ChartQA（困难任务） | 准确率 | 65.2% | LLaVA-OV: 60.9%, M3: 64.7%, VisionZip: 44.0%, HiRED: 47.5% | 超越LLaVA-OV 4.3个百分点，FLOPs节省8倍 |
| InfoVQA（困难任务） | 准确率 | 37.6% | LLaVA-OV: 40.0%, M3: 38.3%, VisionZip: 27.0%, HiRED: 33.9% | 超越VisionZip 10.6个百分点，保持较高FLOPs节省 |
| TextVQA（困难任务） | 准确率 | 67.8% | LLaVA-OV: 66.0%, M3: 67.0%, VisionZip: 46.5%, HiRED: 56.8% | 超越LLaVA-OV 1.8个百分点，FLOPs节省6.3倍 |
| 综合FLOPs效率 | FLOPs节省倍数 | 8.6×（VISOR），18×（VISOR-TR） | VisionZip: 5.7×, HiRED: 5.0×, M3: 8.0× | 在保持或超越准确率的同时实现更高效率 |
局限与改进
作者承认的局限性包括：VISOR的cross-attention层引入了小规模开销（相比基线LLaVA-OV模型增加约7.5%），主要集中在线性投影层；自适应路由机制使用离线伪标签训练，在分布外数据上可能需要重新训练；通用模型训练需要对多种配置进行系统评估以识别可行子网络，增加了训练复杂度。此外，本文的观察是特定于LLaVA-OV架构的，在不同架构上可能需要重新分析。作者还指出，虽然VISOR可以与token reduction方法结合，但过于激进的token reduction（如4倍以上）会导致困难任务上较大的性能下降，因为信息瓶颈变得更加明显。
独立分析的弱点
VISOR方法的第一个潜在弱点是路由机制的泛化能力。虽然作者通过排除AI2D、DocVQA和GQA三个数据集的训练实验表明路由器能够处理分布外样本，但在极端分布偏移场景下的表现仍需验证。第二个弱点是训练复杂度：识别可行配置需要对多种子网络进行系统评估，这可能在大规模模型上变得计算昂贵。第三个弱点是与现有token reduction方法的结合虽然正交，但需要仔细调优两个超参数（交互层数和token减少率），增加了部署复杂度。针对这些弱点，可能的改进方向包括：(1)开发在线自适应路由机制，减少对离线伪标签的依赖；(2)设计更高效的配置搜索算法，减少训练阶段的评估成本；(3)研究自动超参数调优策略，简化VISOR与token reduction方法的结合过程。
未来方向
作者提出的未来研究方向包括：将VISOR扩展到更大规模的模型（如7B参数的LVLM）和更多模态（如视频、音频）；探索VISOR在其他多模态任务（如图像生成、多模态检索）中的应用；研究端到端的联合优化，同时优化token reduction和交互稀疏化。基于VISOR的成果，可延伸的方向包括：(1)研究不同架构（如MoE、Linear Attention）与VISOR的结合；(2)开发更精细的自适应策略，不仅调整层数，还动态调整每层的注意力模式；(3)将VISOR的思想应用到其他高计算成本模型（如视频理解模型）中；(4)研究理论分析，量化信息保留与计算效率之间的权衡。
复现评估
VISOR的复现评估总体良好。作者基于开源的LLaVA-OV模型（使用SigLIP-400M视觉编码器、Qwen2 LLM、2层MLP连接器）进行实验，代码和实现细节在补充材料中详细描述。训练使用16个MI300X GPU，采用PyTorch和DeepSpeed框架，训练过程包括两个阶段：先在4M知识数据集上微调新的注意力层（冻结其余部分），然后在3.2M高质量数据集上微调整个模型。作者还提供了消融实验的详细结果和可视化，包括不同配置的性能热力图、路由机制在不同数据集上的配置分配、以及Oracle性能分析。然而，作者提到LLaVA-OV Single-Image 3.2M数据集的部分分区未公开，实际训练数据规模可能小于完整数据集。此外，不同基线方法（如VisionZip、VisPruner、HiRED）的重新实现细节需要在补充材料中查找，这可能影响其他研究者的独立复现。总体而言，VISOR的方法清晰且可复现，但需要特定的硬件配置（MI300X GPU）和访问某些数据集的权限。
论文图表
该图展示了三个代表性数据集（SQA、GQA、DocVQA）上跨模态注意力模式在各层的分布。图区分了三种交互类型：文本查询关注图像token（Query-to-Image）、回答token关注图像token（Answer-to-Image）、回答token关注查询token（Answer-to-Query）。对于简单任务如SQA，交互稀疏且主要由文本到文本注意力主导；对于困难任务如DocVQA，模型在整个网络中都关注图像。
这张图对理解论文的重要性在于它揭示了图像-文本交互的任务依赖性，这是VISOR方法设计的动机基础。锯齿状模式表明不是所有的cross-attention层都是必需的，这直接启发VISOR只在关键层执行视觉交互。
该图使用CKA相似性度量展示了视觉表示在各层的演化过程。对于简单任务如SQA，视觉特征在整个模型中保持基本不变（CKA > 0.9），表明初始表示足够；对于困难任务如DocVQA，特征显著演化（CKA降至0.6），表明模型主动精炼视觉表示以解决任务。图中还出现了一系列聚类，表明模型分阶段精炼视觉特征。
这张图对理解论文的重要性在于它定量展示了不同任务对视觉特征精炼的不同需求，这直接启发VISOR的自适应设计——简单任务可以使用静态视觉特征，复杂任务需要动态精炼。
该图展示了在不同LLM层子集中丢弃所有视觉token对准确率的影响。左图按数据集显示准确率分布，某些数据集（如DocVQA、ChartQA）对减少视觉-语言交互特别敏感。右图显示层丢弃配置与准确率之间的相关性，出现两个聚类：视觉敏感（困难）和粗粒度视觉（简单）数据集。
这张图对理解论文的重要性在于它定量验证了一刀切的视觉处理策略不是最优的，计算预算应该适应样本或任务需求。这为VISOR的自适应推理策略提供了直接的实验支持。
该图展示了所有配置在所有下游任务上的性能。在简单部分，大多数配置无论计算成本如何都能达到相似性能。相比之下，对于挑战性任务，性能几乎随计算预算线性增长，这再次强调了额外自注意力层对细粒度推理的重要性。
这张图对理解论文的重要性在于它量化了计算预算与性能之间的关系，验证了VISOR设计的基本假设。
该图展示了Oracle分析的结果，其中从预定义集合中选择每个样本的最优配置以最大化整体准确率。结果强化了结论：大多数样本可以使用很少自注意力层的配置准确处理，而困难任务需要更多层才能达到最优性能。
这张图对理解论文的重要性在于它展示了VISOR自适应推理机制的理论上限，验证了按需分配计算资源的潜力。
该图展示了计算成本作为视觉序列长度函数的关系。VISOR显著降低了FLOPs，与基线LLaVA-OV模型相比，更长的序列从减少中受益更多。注意这里测量的FLOPs只考虑transformer层，不包括所有方法共有的视觉编码器。
这张图对理解论文的重要性在于它展示了VISOR在不同输入规模下的效率优势，特别是对于高分辨率图像（长视觉序列）的适用性。