视觉语言模型需要视觉Transformer吗？评估状态空间模型作为视觉编码器 Do VLMs Need Vision Transformers? Evaluating State Space Models as Vision Encoders

方法分为五个主要步骤：首先，初始化视觉编码器和语言模型从预训练checkpoint，随机初始化连接器。其次，将输入图像馈送到视觉编码器提取特征为视觉tokens序列，其中L是视觉token数量，d_vision是token维度。第三，通过连接器将视觉tokens映射到LLM嵌入空间，连接器定义为线性变换加激活函数的形式。第四，将视觉嵌入与文本嵌入沿序列维度拼接，形成多模态输入嵌入。第五，解码器语言模型消费多模态嵌入并自回归生成输出文本。训练期间冻结视觉编码器参数，仅通过指令调优更新语言模型和连接器参数，固定所有优化超参数（优化器、学习率调度、批量大小、步数和精度）和随机种子。

技术新颖性体现在四个方面：首先，这是首次在VLMs中执行包含SSM视觉编码器的受控backbone swaps，证明了SSM-based视觉编码器作为ViT-family替代方案的竞争力。其次，系统性地分析了预训练目标（分类vs密集目标）和视觉-语言接口（分辨率/几何和连接器设置）的影响，这是overlooked的研究方向。第三，发现了两个关键的失败模式：ImageNet准确率和naive backbone scaling不能可靠预测下游VLM性能，某些高分辨率检测预训练配置会出现定位崩溃。第四，提出了简单但有效的稳定化策略：增强连接器容量和调整接口几何，这些是architecture-agnostic且可以跨不同backbone受益。

独立分析的弱点包括：第一，VMamba在更大规模（VMamba-B）时出现性能下降，定位分数从VMamba-T的39.20降至VMamba-B的27.89，这表明SSM backbone并非scale-proof。改进方向是探索如何在保持空间归纳偏差的同时提高大模型的稳定性，可能涉及重新平衡归纳偏差与模型容量。第二，高分辨率非方形输入的不稳定性问题未完全解决，虽然512乘512方形几何可以恢复性能，但这可能牺牲预训练分辨率的优势。改进方向是开发更鲁棒的连接器设计或自适应输入几何策略。第三，缺乏自监督SSM backbone的评估，限制了结论在预训练目标维度的完整性。改进方向是开发SSM架构的自监督预训练方法，或探索现有方法的适配。第四，接口设计仍相对简单（标准2层MLP），可能不是最优的。改进方向是探索更复杂的连接器架构（如cross-attention、Mamba-based连接器）或end-to-end接口学习。

未来研究方向包括：作者提出的方向有（i）对为什么方形几何改进利用进行更深入的机制分析，可能涉及研究LLM如何从不同几何的视觉tokens中解释空间信息；（ii）扩展到更多SSM变体和混合架构，以验证发现的泛化性；（iii）探索其他密集任务预训练目标的效果，如实例分割、姿态估计等；（iv）探索更大规模的预训练数据，如更多图像-文本对或自监督学习。基于成果可延伸的方向包括（i）开发SSM架构的自监督预训练方法，如Mamba-based的对比学习或SSL方法，以与CLIP、SigLIP、DINOv2等baseline进行更公平的比较；（ii）探索更复杂的连接器架构，如cross-attention连接器、Mamba-based连接器或可学习的接口，以进一步提高空间信息的传输和利用效率；（iii）研究接口选择的自动化方法，根据任务需求自动选择最优的分辨率、几何和连接器配置；（iv）探索SSM backbone在其他多模态任务中的应用，如视觉-语言导航、图像生成、视频理解等；（v）研究SSM backbone与LLM的更深层次集成，如共享Mamba层或多模态Mamba架构。

复现评估方面，作者基于验证过的代码库，使用Fully Sharded Data Parallel (FSDP)在4乘NVIDIA H200 GPU上进行训练。实验配置固定，包括优化器、学习率调度、批量大小、步数和精度，以及随机种子，这为复现提供了良好的基础。使用的视觉backbone（VMamba、ViT、MaxViT、MambaVision、ViTDet、DeiT）是开源的，预训练在标准数据集（ImageNet-1K、COCO、ADE20K）上进行。训练数据使用665K多模态指令调优示例，这些是公开可用的。评估基准（VQA-v2、GQA、VizWiz、TextVQA、POPE、TallyQA、RefCOCO、RefCOCO+、RefCOCOg、OCID-Ref）是标准且公开的。所有后处理和数据集特定阈值遵循[14]，确保了比较的公平性。虽然作者未明确提供完整代码仓库的链接，但提到基于verified codebase，这表明代码质量较高。高分辨率输入（如1024乘1024、1333乘800）可能需要较大的计算资源，但中等分辨率的实验（如224乘224、512乘512）在更有限的资源下也应可行。总体而言，复现难度为中等，主要挑战在于获取足够的计算资源和正确设置训练配置。