HeBA：用于鲁棒视觉-语言模型的异构瓶颈适配器 HeBA: Heterogeneous Bottleneck Adapters for Robust Vision-Language Models
通过异构归纳偏置和压缩瓶颈结构，实现视觉-语言模型的高效少样本适应
前置知识
参数高效微调 (PEFT)
PEFT 是一种适应大型预训练模型到下游任务的方法，它冻结模型的主干参数，只训练少量新插入的轻量级模块。这种方法显著减少了计算成本和存储需求，同时保留了预训练模型的通用知识。常见的 PEFT 方法包括 Adapter Tuning（插入小型神经网络层）、Prompt Learning（优化输入提示词）和 LoRA（低秩适应）。这些方法特别适用于数据稀缺的场景，能够避免完整微调带来的灾难性遗忘问题。
本文是 PEFT 方法在视觉-语言模型中的应用，理解 PEFT 的基本思想对于理解 HeBA 如何在冻结 CLIP 主干的同时只训练适配器参数至关重要。
Base-to-Novel 泛化
Base-to-Novel 泛化评估模型在训练时见过的类别和训练时未见过的类别上的表现。模型在 Base 类别上进行少样本训练（如每个类别 16 张样本），然后同时在这两类类别上评估。关键指标是 Novel Accuracy（在未见类别上的准确率）和 Harmonic Mean（调和平均数，衡量 Base 和 Novel 性能的平衡）。HM 的计算公式为 HM = 2 × B × N / (B + N)，其中 B 是 Base 准确率，N 是 Novel 准确率。
这是本文的核心评估设置，所有实验结果都用 Base/Novel/HM 三个指标报告。理解这个评估协议才能看懂 Table 1 中的大量数字和 HeBA 的改进意义。
归纳偏置 (Inductive Bias)
归纳偏置是机器学习模型对学习任务所做的先验假设或偏好。在深度学习中，CNN 的局部连接假设了空间局部性，Transformer 的自注意力假设了全局依赖关系。归纳偏置帮助模型从有限数据中学习，并推广到未见样本。例如，卷积操作假设相邻像素的语义相关性，这对图像这种具有 2D 空间结构的数据非常有效；而对文本这类序列数据，全局语义依赖更为重要。
这是本文的核心创新点：HeBA 根据视觉和文本模态的不同结构特性，设计了异构的归纳偏置——视觉流用卷积保持空间相关性，文本流用线性投影保持语义完整性。不理解这个概念就抓不住本文的本质。
深度可分离卷积 (Depthwise-Separable Convolution)
深度可分离卷积是一种高效的卷积操作，将标准卷积分解为两个步骤：深度卷积和逐点卷积。深度卷积在每个输入通道上独立应用空间卷积核，捕获局部空间特征；逐点卷积使用 1×1 卷积在通道维度上进行线性组合，混合通道信息。与标准卷积相比，深度可分离卷积显著减少参数量和计算量，同时保留空间建模能力。
这是 HeBA 视觉适配器的核心操作。理解它才能明白为什么 HeBA 能在保持空间建模能力的同时实现参数效率，以及 Table 4 中去掉深度卷积会导致性能下降的原因。
Kaiming 初始化
Kaiming 初始化（又称 He 初始化）是一种专为 ReLU 及其变体激活函数设计的权重初始化方法。它从正态分布中采样权重，确保前向传播时各层的激活值方差保持一致，反向传播时梯度的方差也保持一致，有效避免了梯度消失或爆炸问题。与 Xavier/Glorot 初始化相比，Kaiming 初始化考虑了 ReLU 的非线性特性，因此更适用于现代深度学习网络。
本文的主动梯度初始化策略就是使用 Kaiming 初始化而非零初始化。这是对 PEFT 领域传统做法的重要挑战，理解它才能看懂 Table 4 中零初始化与 Kaiming 初始化的性能差异。
研究动机
现有的视觉-语言模型适应方法存在架构同质化问题，它们将具有不同结构特性的视觉和文本模态统一处理。大多数适配器将视觉 Token（具有内在的 2D 空间相关性）和文本 Token（密集的语义序列）都当作均匀的 1D 向量处理，这种空间失忆现象导致关键的几何线索被丢弃，限制了适应性能。在 11 个基准数据集上，CoOp 在 Novel 类别上的准确率只有 63.22%，说明这种一刀切的方法在分布偏移场景下表现不佳。LwEIB 方法虽然尝试重新引入空间归纳偏置，但其逆瓶颈设计将内部特征维度扩展到输入宽度的 4 倍，在数据稀缺的少样本场景下显著增加了过拟合风险，需要依赖复杂的慢快优化调度来管理这种不稳定性。
本文的目标是本文的目标是设计一个统一的架构框架，通过引入模态特定的结构归纳偏置来解决视觉-语言模型适应中的架构同质化问题。具体而言，作者希望实现三个目标：首先，区分处理视觉和文本 Token，对视觉流使用 2D 深度可分离卷积来保持空间相关性，对文本流使用密集线性投影来捕获语义关系；其次，采用压缩瓶颈结构作为结构正则化器，迫使模型学习紧凑、鲁棒的特征表示；最后，挑战零初始化范式，使用主动 Kaiming 初始化策略确保充分的初始梯度流，加速收敛而不损害冻结主干的预训练知识。通过这三个目标的协同作用，HeBA 旨在在 11 个少样本基准上建立新的最先进性能。
与已有工作不同的是，本文的独特切入角度在于同时从架构设计和初始化策略两个维度挑战现有范式。在架构层面，HeBA 与 LwEIB 形成鲜明对比：LwEIB 采用扩展型逆瓶颈，需要依赖启发式的优化调度来防止表示崩溃；而 HeBA 采用压缩型瓶颈，将架构本身作为正则化器，从而允许主动梯度初始化和动态优化而不存在过度参数化模块带来的严重发散风险。在初始化层面，HeBA 挑战了 MaPLe、Tip-Adapter 等方法严格依赖零初始化来保持身份映射的共识，指出零初始化会在早期训练阶段导致新引入的适配器子空间中出现延长的梯度消失现象，从而人为延迟模型适应严重分布偏移的能力。这种双重创新使得 HeBA 在不牺牲主干预训练知识的前提下，能够更快、更鲁棒地适应下游任务。
核心方法
HeBA 的整体思路是基于一个核心直觉：视觉和语言具有本质上不同的结构特性，因此需要不同的处理方式。视觉数据具有 2D 空间局部性（相邻像素语义相关，纹理和形状是关键特征），而文本数据是密集的语义序列（全局语义依赖更重要）。基于这个直觉，HeBA 采用了一个异构的双流架构：视觉流使用 2D 深度可分离卷积瓶颈来显式建模空间局部性，文本流使用密集线性瓶颈来保持全局语义完整性。与现有方法不同，HeBA 使用压缩瓶颈而非扩展瓶颈，这种约束限制了模型过拟合的能力，迫使它学习域偏移的低秩紧凑表示。为了确保在早期训练阶段有充分的梯度流，HeBA 还引入了主动 Kaiming 初始化策略，用 He 正态分布初始化上投影层的权重，而非传统的零初始化。技术实现上，HeBA 在冻结的 CLIP Transformer 块中并行插入适配器，通过残差连接整合到原始特征中，并使用动态缩放因子和标签平滑进行正则化。
HeBA 的核心创新点在于异构归纳偏置与结构正则化的协同设计。与现有方法使用统一的处理方式不同，HeBA 明确区分了视觉和文本模态：对于视觉流，它将 1D Token 序列重塑为 2D 网格，然后依次应用 1×1 卷积进行通道压缩、3×3 深度卷积聚合局部空间上下文、再通过 1×1 卷积和 GELU 激活展平回 1D；对于文本流，它直接在 Token 序列上应用线性瓶颈，避免空间卷积破坏语义完整性。与 LwEIB 的扩展型逆瓶颈形成鲜明对比，HeBA 的压缩瓶颈充当结构正则化器，物理上过滤掉与任务无关的噪声。这种架构设计允许作者挑战零初始化范式：使用主动 Kaiming 初始化确保从第一轮迭代起就有充足的初始梯度幅度，配合动态慢快调度和标签平滑，实现了 81.35% 的调和平均数，建立了新的最先进性能。
方法步骤详情
HeBA 的完整方法流程分为四个主要步骤。第一步是特征输入与重塑，对于视觉流，将输入特征序列重塑为 2D 网格；对于文本流，保持 1D Token 序列不变。第二步是模态特定的瓶颈变换，视觉适配器执行 1×1 卷积进行通道压缩，然后应用 3×3 深度卷积聚合局部空间上下文，最后通过 1×1 卷积和 GELU 激活展平回 1D；文本适配器执行线性下投影和上投影，其中下投影矩阵和上投影矩阵是线性投影矩阵。第三步是主动初始化与动态缩放，上投影层使用 Kaiming 初始化而非零初始化，确保初始梯度流；同时应用动态慢快调度，以概率随机放大适配器输出缩放因子。第四步是残差整合与损失计算，通过层归一化和残差连接整合适配器输出，并使用标签平滑交叉熵损失进行优化。
技术新颖性
HeBA 的技术新颖性体现在三个方面。首先，它首次明确地将视觉-语言模型的适应过程解耦为异构的双流架构，视觉流通过 2D 深度可分离卷积显式建模空间局部性，文本流通过线性投影保持全局语义完整性。这与现有方法（如 CLIP-Adapter 使用纯 MLP、MaPLe 在模态间使用统一的 learnable tokens）形成本质区别。其次，HeBA 首次提出将压缩瓶颈作为结构正则化器，这与 LwEIB 的扩展型逆瓶颈形成鲜明对比。这种架构上的压缩使得 HeBA 可以安全地使用主动梯度初始化，而 LwEIB 需要依赖启发式的优化调度来管理不稳定性。最后，HeBA 首次在 PEFT 领域系统性挑战零初始化范式，提出了主动 Kaiming 初始化策略。作者从理论角度论证了零初始化会导致适配器子空间在早期训练阶段出现延长的梯度消失，而 HeBA 的主动初始化确保了从 t=0 起就有充足的梯度幅度。这种创新不仅体现在性能提升上，更重要的是建立了一个新的 PEFT 设计范式。
实验结果
HeBA 在所有三个主要实验设置中都取得了显著成果。在 Base-to-Novel 泛化评估中（这是核心任务），HeBA 在 11 个数据集上实现了 81.35% 的平均调和平均数，超过 LwEIB 的 81.21% 和 MMA 的 79.87%。更关键的是，HeBA 在 Novel 类别上的准确率达到 78.62%，明显高于 LwEIB 的 78.21%，这证明压缩瓶颈结构有效缓解了扩展适配器和提示学习方法（如 CoOp 的 63.22% Novel）的过拟合敏感性。在结构敏感和域偏移数据集上，HeBA 的优势更加明显：在 DTD（纹理）上，HeBA 将 Novel 准确率从 LwEIB 的 67.83% 提升到 70.20%（提升 2.37%）；在 EuroSAT（卫星图像）上，HeBA 达到 88.16% 的调和平均数，超过 LwEIB 的 86.86%。这些结果验证了显式 2D 空间建模对识别非对象中心域中的细粒度几何模式的重要性。在跨数据集评估中，HeBA 在 ImageNet 上训练（16 shots）后直接在 10 个目标数据集上评估，取得了 68.71% 的最高平均准确率，超过 LwEIB 的 68.61%。特别值得注意的是，在 EuroSAT 上 HeBA 达到 58.99%，相比 LwEIB 的 55.37% 和 HPT 的 47.36% 有显著提升，这 3.62% 的增益证实了异构架构成功捕获了域无关的几何特征（如纹理、形状），这些特征能很好地迁移到卫星图像。在域泛化任务中，HeBA 在四个 ImageNet OOD 变体上保持了强大的鲁棒性，平均准确率 60.26%。最值得注意的是，在 ImageNet-A（对抗样本）上，HeBA 达到了 51.36% 的最高性能，超过 MMA 的 51.12%、LwEIB 的 51.00% 和 HPT 的 50.85%。这表明主动 Kaiming 初始化策略允许模型在早期训练阶段就绘制出鲁棒的决策边界，从而有效保护了主干的对抗鲁棒性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Base-to-Novel Generalization (Average over 11 datasets) | Harmonic Mean (%) | 81.35 | LwEIB (81.21) | +0.14 |
| Base-to-Novel Generalization (Average over 11 datasets) | Novel Accuracy (%) | 78.62 | LwEIB (78.21) | +0.41 |
| DTD (Texture) - Novel Accuracy | Novel Accuracy (%) | 70.20 | LwEIB (67.83) | +2.37 |
| EuroSAT (Satellite) - Harmonic Mean | Harmonic Mean (%) | 88.16 | LwEIB (86.86) | +1.30 |
| Cross-Dataset Evaluation (Average over 10 datasets) | Average Accuracy (%) | 68.71 | LwEIB (68.61) | +0.10 |
| Cross-Dataset - EuroSAT | Accuracy (%) | 58.99 | LwEIB (55.37) | +3.62 |
| Domain Generalization - ImageNet-A (Adversarial) | Accuracy (%) | 51.36 | LwEIB (51.00) | +0.36 |
| Domain Generalization (Average over 4 variants) | Average Accuracy (%) | 60.26 | LwEIB (60.84) | -0.58 |
局限与改进
作者在论文中承认了一些局限性，并从实验结果中可以观察到其他限制。首先，Table 5 显示 HeBA 对推理时的适配器缩放因子敏感：在跨数据集传输时，最佳性能需要将缩放因子从训练时的 0.05 降低到推理时的 0.025，这增加了实际部署时的复杂性，需要根据目标域的分布偏移程度手动调整超参数。虽然在域泛化场景中保持缩放因子不变能达到最佳性能，但这种区分处理增加了使用门槛。其次，从 Table 1 的细粒度数据可以看到，HeBA 在某些数据集上的 Base 准确率略低于 LwEIB，例如在 Caltech101 上 HeBA 的 Base 准确率是 77.53% 而 LwEIB 是 76.64%，但在 OxfordPets 上 HeBA 是 95.71% 而 LwEIB 是 95.70%，这种波动表明压缩瓶颈虽然在 Novel 类别上提升了泛化性能，但在某些情况下可能轻微牺牲了 Base 类别的过拟合能力。第三，从域泛化的平均性能来看，HeBA 的 60.26% 略低于 LwEIB 的 60.84%，说明在 OOD 场景下，压缩瓶颈的结构正则化虽然能提升对抗鲁棒性，但在整体泛化上可能不如 LwEIB 的扩展型瓶颈灵活。最后，本文主要在 ViT-B/16 CLIP 骨干上验证，没有在更强的视觉编码器上测试，限制了方法适用性的验证范围。
独立分析的弱点
从独立分析的角度，HeBA 存在几个可以改进的弱点。首先，推理时缩放因子的手动调整限制了方法的易用性。在跨数据集传输时，用户需要根据目标域的分布偏移程度调整缩放因子，这增加了部署复杂度。改进方向可以是设计自适应缩放策略，根据目标域的统计特性（如特征分布的漂移程度、熵的变化）自动确定最优缩放因子，或者通过一个小型的校准集来学习缩放参数。其次，压缩瓶颈的降维比例是固定超参数，不同任务和不同骨干网络可能需要不同的最优压缩率。改进方向可以是引入可学习的压缩比例，或者设计一个压缩比例搜索机制，通过在验证集上评估不同压缩比例的性能来自动选择最优值。第三，HeBA 目前只适配了 CLIP 的图像和文本编码器，没有处理跨模态注意力机制。改进方向可以是将 HeBA 扩展到 CLIP 的跨模态注意力层，设计专门针对多模态交互的适配器结构，从而捕获更深层次的视觉-语义对齐。第四，HeBA 的主动 Kaiming 初始化虽然提供了早期梯度流，但可能在某些场景下导致初始阶段的训练不稳定。改进方向可以是设计渐进式初始化策略，从较小的初始权重逐渐过渡到 Kaiming 初始化值，或者引入初始阶段的温度缩放来控制适配器的影响。
未来方向
基于本文的研究成果，可以从多个方向延伸未来工作。作者在结论中提到，HeBA 验证了尊重视觉和文本模态的截然不同的结构特性对于鲁棒、广义的少样本学习是根本性的，这为未来研究打开了多个方向。首先，可以探索将 HeBA 扩展到其他视觉-语言模型和任务，如 ALIGN、Florence 等更大的 VLM，以及视觉问答、图像描述等生成式任务，验证异构归纳偏置的普适性。其次，可以研究更复杂的空间建模结构，例如在视觉适配器中引入空洞卷积、注意力机制或可变形卷积，以捕获多尺度的空间上下文，特别适合处理大尺度图像变化和密集预测任务。第三，可以探索将 HeBA 与其他 PEFT 方法结合，例如 LoRA（低秩适应），设计混合架构，既利用 LoRA 的低秩特性又利用 HeBA 的模态特定结构。第四，可以研究将 HeBA 应用于多模态大模型（如 GPT-4V、LLaVA）的指令微调，探索异构适配器如何帮助模型更好地遵循空间相关的指令。最后，从理论角度，可以进一步分析压缩瓶颈与主动初始化之间的相互作用，建立更严格的理论框架来理解为什么这种组合能优于扩展型瓶颈配合零初始化的传统方法。
复现评估
HeBA 的复现情况良好。作者提供了开源代码（https://github.com/Jahid12012021/VLM-HeBA），这大大降低了复现难度。论文详细报告了所有实验设置：使用 ViT-B/16 CLIP 骨干，冻结图像和文本编码器，只训练 HeBA 适配器参数。架构细节明确：视觉适配器使用 3×3 深度可分离卷积，文本适配器使用线性投影，降维比例 r = 4。优化配置完整：Base-to-Novel 使用 AdamW 优化器，学习率 1×10^-3，训练 30 轮，批量大小 16，适配器缩放因子 0.025，乘数 2.25，负采样比例 5，慢快比例 0.8；跨数据集和域泛化使用 SGD 优化器，动量 0.9，权重衰减 0.0005，训练 10 轮，批量大小 64，学习率 6.5×10^-3。所有结果都是三次独立运行（随机种子 1、2、3）的平均值，这确保了结果的统计可靠性。算力要求适中：在单个 NVIDIA Tesla P100 GPU 上完成所有实验（通过 Kaggle Kernels）。评估协议标准：遵循 CoOp、LwEIB 等工作的 Base-to-Novel 分割、跨数据集传输和域泛化协议。唯一可能的复现挑战是动态慢快调度的随机性和初始缩放因子的敏感性，但由于作者提供了详细的超参数设置和代码，这些挑战可以通过仔细复现论文配置来克服。总体而言，HeBA 的复现难度属于中等偏下，适合社区验证和进一步研究。
论文图表