← 返回 2026-03-19

AdapterTune：用于冻结视觉 Transformer 的零初始化低秩适配器 AdapterTune: Zero-Initialized Low-Rank Adapters for Frozen Vision Transformers

Salim Khazem 📅 2026-03-16 👍 4 2026-07-13 08:36
低秩分解 参数高效微调 视觉Transformer 迁移学习 适配器
arXiv HuggingFace PDF

通过零初始化低秩残差适配器，在冻结的 ViT 上实现参数高效迁移学习

前置知识

视觉Transformer (Vision Transformer, ViT)

一种将 Transformer 架构应用于图像分类的模型，将图像分割成固定大小的 patches，展平为序列并添加位置编码，通过自注意力机制处理。核心组件包括多头自注意力层和前馈网络（MLP），通常在 ImageNet 等大规模数据集上预训练后作为下游任务的骨干网络。

本文方法直接作用于冻结的预训练 ViT，理解其内部结构（transformer blocks、隐藏维度 d、层数 L）是理解适配器插入位置和参数效率的基础。

参数高效微调 (Parameter-Efficient Fine-Tuning, PEFT)

一类在微调预训练模型时只更新少量参数的方法，而非更新所有权重。典型方法包括 LoRA（低秩适应）、Adapter（适配器）、Prompt Tuning（提示微调）等。目标是在保持性能的同时大幅减少计算开销和存储需求，尤其适合多任务部署场景。

AdapterTune 属于 PEFT 范畴，需要理解其与全量微调、仅训练 head、LoRA 等方法的区别，才能准确评估其贡献和适用场景。

低秩分解

将高维矩阵分解为两个或多个低秩矩阵的乘积。基于奇异值分解（SVD）理论，可以用前 r 个主要奇异值对应的向量近似原始矩阵，误差为尾奇异值的平方和。核心优势是参数量从 O(d^2) 降至 O(2dr)，其中 r 远小于 d。

本文核心创新是基于低秩分解的适配器设计，且理论分析直接依赖于 SVD 近似界和奇异值衰减特性，这是理解 rank 选择和 diminishing returns 现象的关键。

研究动机

在迁移学习场景中，使用冻结的 Vision Transformer 骨干网络面临两个未被充分解决的问题。首先，当简单地插入适配器到固定的特征提取器中时，会出现优化不稳定的问题，尤其是在低数据量和多任务设置下。早期训练过程中，随机初始化的适配器会破坏预训练表示，导致损失函数出现剧烈波动，训练曲线出现明显的尖峰。其次，缺乏原则性的指导来设置适配器的容量（即 rank 参数）。现有文献往往将 rank 视为纯粹的经验性超参数，通过网格搜索确定，而没有理论依据来说明为什么某个特定 rank 足够或不足。在实际应用中，这种不确定性导致需要针对每个下游任务进行昂贵的超参数调优，限制了参数高效方法的大规模部署。

本文的目标是本文的具体目标有三个层面。在算法层面，设计一种简单而有效的残差适配器模块，能够插入到冻结的 Vision Transformer 中，同时保证训练初期的稳定性。在理论层面，建立适配器 rank 与下游任务特征空间变换之间的形式化联系，为 rank 选择提供理论指导，而非纯粹的经验尝试。在实践层面，通过大规模、可复现的基准测试，验证该方法在多种数据集和骨干网络上的有效性，并明确其相对于全量微调和仅训练 head 方法的适用边界和局限性。

与已有工作不同的是，本文的独特切入角度在于同时关注优化稳定性和理论指导性，这与现有工作形成鲜明对比。在 NLP 领域，虽然零初始化的标量门控已被使用（如 LLaMA-Adapter），但零初始化实际的 up-projection 矩阵在视觉领域是新颖的，这从机制上保证了所有输入的初始输出为零，而不依赖于门控标量。在理论方面，现有参数效率研究往往只报告固定参数预算下的准确率，而不回答为什么特定预算足够。本文通过将适配器 rank 形式化为近似低秩任务变换的容量预算，提供了一个形式化答案，这补充了对 LoRA 的理论分析，但将其应用于残差函数空间模块而非权重空间分解，使得冻结预训练函数与学习增量之间的分离更加清晰。

核心方法

AdapterTune 的整体思路是在每个 Transformer block 后插入一个轻量级的残差适配器模块，该模块采用低秩瓶颈结构。直觉上，预训练的 ViT 已经学到了通用的视觉特征表示，下游任务只需要在这些表示基础上进行有限的调整，而非从头学习。适配器通过残差连接添加一个可学习的增量，其中 h_l 是第 l 层的输出。技术路线上，适配器包含下投影、GELU 激活、上投影和偏置项，其中 r 远小于 d 是瓶颈 rank。关键创新是将上投影矩阵和偏置初始化为零，使得初始时刻适配器输出为零对任意输入成立，确保适配后的网络在初始化时完全等同于预训练网络。训练过程中只更新适配器权重和分类头，骨干网络参数严格冻结。

核心创新点是零初始化的 up-projection 矩阵，这从机制上保证了初始零输出，与已有的基于门控标量的方法有本质区别。具体而言，设置上投影矩阵为零矩阵和上偏置为零向量，而下投影从正态分布初始化（标准差 0.02）。在此设置下，适配器输出对任意输入成立，因此适配后的表示等于原始表示。这一保证带来两个实际好处：预训练表示从第一个 batch 起就保留给分类头，避免了随机初始化导致的早期损失尖峰；梯度在步骤 0 时通过残差路径无修改流动，为分类头提供了在其训练过的特征上的热启动。与 AdaptFormer 相比，AdapterTune 的适配器包裹整个 transformer block 而非仅 MLP 子块，实现更丰富的特征交互；严格的骨干冻结保证安全的多任务服务；严格的 rank-容量界限指导超参数选择而非将 rank 视为纯粹的经验旋钮。

方法步骤详情

方法分为四个主要步骤。第一步是适配器插入：对于包含 L 个 transformer blocks 的 ViT 编码器，在每个 block 后插入适配器模块。插入频率可以通过参数 every 控制，默认 every=1 表示每个 block 插入，every=2 表示每两个 block 插入一个（总数量为 L/2 向下取整）。对于 token 序列表示，适配器通过共享权重对所有 token 相同应用。第二步是适配器前向计算：给定输入，计算适配器输出，其中包含下投影、GELU 激活和上投影。适配后的表示为原始表示加上缩放后的适配器输出，缩放因子 alpha 大于 0（默认 alpha=1）。第三步是零初始化：在训练开始时设置上投影矩阵为零矩阵和上偏置为零向量，确保适配器输出为零对所有输入成立，网络初始化时完全等同于预训练前向传播。第四步是训练优化：给定标注数据集，最小化可训练参数上的交叉熵损失，其中可训练参数包括所有适配器参数和分类头参数，骨干网络参数冻结。使用 AdamW 优化器，余弦学习率调度，5 个预热 epoch，基础学习率 0.001，权重衰减 0.05，梯度裁剪 1.0，训练 50 个 epoch。

技术新颖性

技术新颖性体现在三个方面。在架构设计上，零初始化 up-projection 矩阵的机制创新不同于现有的基于门控标量的方法，从实现层面保证了零初始输出，适用于冻结视觉骨干网络。在理论分析上，提供了将适配器 rank 与下游特征变换联系起来的形式化框架，基于 Eckart-Young-Mirsky 定理证明了 rank-r 适配器对低秩目标变换的近似界，并导出了 excess risk 的 bias-variance 分解。这预测了随着 rank 增加的单调但递减的精度提升，当奇异值多项式衰减时，近似误差按特定幂律递减。在评估方法上，构建了完全可复现的基准测试套件，涵盖 9 个数据集、3 个骨干网络、3 种适应方法，所有配置平均 3 个随机种子，使用确定性数据分割，保证公平比较。这种严谨性在计算机视觉的参数效率文献中较为罕见。

AdapterTune architecture. (Left) Trainable residual adapters (orange) are inserted into the strictly frozen Vision Transformer backbone (blue). (Right) The adapter uses a low-rank bottleneck where the up-projection is zero-initialized. This guarantees an initial zero output, acting as an exact identity mapping to prevent early-epoch optimization drift.
Fig. 1: AdapterTune architecture. (Left) Trainable residual adapters (orange) are inserted into the strictly frozen Vision Transformer backbone (blue). (Right) The adapter uses a low-rank bottleneck where the up-projection is zero-initialized. This guarantees an initial zero output, acting as an exact identity mapping to prevent early-epoch optimization drift.

实验结果

核心发现在多个层面得到验证。在核心基准的 5 个数据集和 3 个骨干网络上，AdapterTune 在所有 15 个数据集-骨干网络对上均优于仅训练 head 的方法，平均提升 14.9 个百分点。具体而言，在 ViT-S/16 上，AdapterTune 相比 head-only 在 CIFAR-10 上从 89.7% 提升到 97.5%，CIFAR-100 上从 72.0% 提升到 84.9%，SVHN 上从 54.5% 提升到 96.2%，Oxford-IIIT Pet 上从 90.5% 提升到 93.5%，Food101 上从 68.8% 提升到 85.0%。令人惊讶的是，AdapterTune 在 15 个核心设置中的 10 个上超过了全量微调，包括所有三个 CIFAR-100 配置、所有三个 Oxford-IIIT Pet 配置和两个 CIFAR-10 配置。ViT-B/16 在 CIFAR-100 上的结果尤其突出：AdapterTune 达到 91.2%，而全量微调仅为 80.7%，这归因于低秩参数约束提供的隐式正则化效应，在较小数据集上防止过拟合。在扩展基准的 4 个额外数据集上，AdapterTune 在所有骨干网络上一致地优于 head-only 传输。参数效率方面，在 rank 16 的默认设置下，DeiT-T/16 的可训练参数为 76K，ViT-S/16 为 303K，ViT-B/16 为 1.2M，平均而言，AdapterTune 仅训练全量微调参数的 0.92%。训练效率在单张 NVIDIA A6000 上，50 epoch 的训练在 CIFAR-10 与 ViT-Base 上 AdapterTune 需要 8 分钟，而全量微调需要 22 分钟，加速 2.8 倍。Rank 扫描实验验证了理论预测的 diminishing returns 行为。超参数敏感性分析显示，在 27 个配置网格中，最大准确率方差小于 0.4 点，验证了方法的鲁棒性。泛化差距分析显示 AdapterTune 的平均训练-测试差距为 1.7-2.7%，而全量微调为 11-13%，与估计界完全一致。

Trainable parameters for each backbone at adapter rank r = 16, every block.
Table 1: Trainable parameters for each backbone at adapter rank r = 16, every block.
Core benchmark (top-1 %, 3 seeds).
Table 2: Core benchmark (top-1 %, 3 seeds).
Hyperparameter sensitivity on CIFAR-10 / ViT-S/16 (r=16, 3 seeds).
Table 5: Hyperparameter sensitivity on CIFAR-10 / ViT-S/16 (r=16, 3 seeds).
Extended benchmark results (top-1 accuracy, mean ± std, 3 seeds).
Table 6: Extended benchmark results (top-1 accuracy, mean ± std, 3 seeds).
Per-Dataset Accuracy: AdapterTune vs. Baselines
Fig. 2: Per-Dataset Accuracy: AdapterTune vs. Baselines
Pareto Efficiency Frontier: Accuracy vs. Trainable Parameters
Fig. 3: Pareto Efficiency Frontier: Accuracy vs. Trainable Parameters
Rank Ablation Across Datasets and Backbones
Fig. 4: Rank Ablation Across Datasets and Backbones
Backbone Scaling: Does AdapterTune Gain Scale with Model Capacity?
Fig. 5: Backbone Scaling: Does AdapterTune Gain Scale with Model Capacity?
Generalisation Gap: Training vs. Test Accuracy
Fig. 6: Generalisation Gap: Training vs. Test Accuracy
Full hyperparameter sensitivity grid on CIFAR-10/ViT-S/16 (r = 16, 3 seeds each).
Fig. 7: Full hyperparameter sensitivity grid on CIFAR-10/ViT-S/16 (r = 16, 3 seeds each).
查看结构化数据
任务指标本文基线提升
CIFAR-10 图像分类 (ViT-B/16) Top-1 准确率 (%) 98.9 Head-Only: 94.8, Full Fine-Tune: 95.3 相比 Head-Only +4.1，超越 Full Fine-Tune +3.6
CIFAR-100 图像分类 (ViT-B/16) Top-1 准确率 (%) 91.2 Head-Only: 81.5, Full Fine-Tune: 80.7 相比 Head-Only +9.7，超越 Full Fine-Tune +10.5
SVHN 数字识别 (ViT-S/16) Top-1 准确率 (%) 96.2 Head-Only: 54.5, Full Fine-Tune: 97.4 相比 Head-Only +41.7，略低于 Full Fine-Tune -1.2
Oxford-IIIT Pet 分类 (ViT-B/16) Top-1 准确率 (%) 94.3 Head-Only: 93.3, Full Fine-Tune: 86.6 相比 Head-Only +1.0，超越 Full Fine-Tune +7.7
Food101 食品识别 (ViT-S/16) Top-1 准确率 (%) 85.0 Head-Only: 68.8, Full Fine-Tune: 86.5 相比 Head-Only +16.2，略低于 Full Fine-Tune -1.5
Flowers102 花卉分类 (ViT-B/16) Top-1 准确率 (%) 99.4 Head-Only: 98.7, Full Fine-Tune: 93.2 相比 Head-Only +0.7，超越 Full Fine-Tune +6.2
ImageNet-R 鲁棒性测试 (ViT-B/16) Top-1 准确率 (%) 80.1 Head-Only: 62.2, Full Fine-Tune: 57.7 相比 Head-Only +17.9，超越 Full Fine-Tune +22.4
训练效率 (CIFAR-10, ViT-B/16, 50 epochs) 训练时间 (分钟) 8 Full Fine-Tune: 22 加速 2.8x
参数效率 (ViT-B/16, rank=16) 可训练参数占比 (%) 1.40 Full Fine-Tune: 100 减少 98.6% 参数

局限与改进

作者明确承认的局限性包括三个方面。首先，理论分析依赖于目标变换的线性化假设，这仅在无穷小参数扰动范围内精确成立，当骨干网络在目标任务上远离饱和时近似成立。经验上，观察到的 rank 饱和行为与线性化模型一致，但作者不声称该界在非线性 regime 中是紧的。其次，界的意义仅当低秩目标变换实际存在时才成立。当目标任务需要真正的高秩变换时（例如学习完全不同的纹理词汇），任何中等 rank 的适配器都可能不如全量微调。这解释了在 SVHN/DeiT-T 和 Food101/DeiT-T 上的观察，其中全量微调保留了优势。第三，分析独立地处理每个 block，实际上不同层的适配器会交互：层的变换改变了适配器下一层的输入分布。更精细的分析将跟踪误差在层间的传播，作者将其留作未来工作。基于论文结果的额外观察包括：在严重领域转移和小骨干网络组合场景下，rank-16 瓶颈仅跨越特征空间的约 8%，性能差距显著。这表明当特征维度远小于目标类别数时，冻结的 ImageNet 特征可能缺乏必要的类间边际。

独立分析的弱点

独立分析的弱点主要体现在三个具体场景。第一，在极端领域转移场景下，低秩适配器可能无法充分表达所需的特征变换。例如 SVHN 的紧密裁剪数字照片引入了 ImageNet 预训练中基本不存在的纹理统计，而 Food101 的视觉重叠类别需要大量细粒度判别方向。在这两个场景下，当使用小骨干网络时，性能差距显著。改进方向可以包括：动态 rank 选择机制，根据数据集的领域转移程度自动调整适配器 rank；分层 rank 分配，对不同层使用不同的 rank；与骨干网络部分微调的混合方法，在严重领域转移时解冻最后几个骨干层。第二，理论分析中的线性化假设在骨干网络接近饱和时可能失效。当目标任务要求大幅偏离预训练分布时，特征空间的变换可能包含重要的非线性分量，此时 rank-r 适配器的近似界可能过于宽松。改进方向包括：扩展理论框架以包含高阶项；引入非线性适配器组件。第三，当前方法主要针对分类任务，对于密集预测任务的适用性尚未充分验证。

未来方向

作者提出的未来研究方向包括三个主要方向。首先，扩展理论分析以跟踪误差在层间的传播。当前分析独立处理每个 block，但实际上不同层的适配器会交互。更精细的分析将类似于已有方法，通过递归界跟踪误差如何在深度网络中累积和放大，这可能解释为什么某些层比其他层对适配器更敏感，并指导更智能的 rank 分配策略。其次，研究持续适配器学习场景。在真实应用中，模型可能需要在多个任务上依次适配，而避免灾难性遗忘是关键挑战。由于适配器参数独立于骨干网络，理论上可以实现任务特定的适配器集合，在推理时根据任务 ID 选择相应的适配器组合。未来工作可以探索适配器间的知识蒸馏、适配器共享机制、元学习框架。第三，自动化 rank 选择。当前实践中，选择最优 rank 仍然需要经验扫描。未来工作可以开发基于数据集特性的 rank 预测模型、自适应 rank 训练、贝叶斯优化框架。基于成果可延伸的方向还包括：将 AdapterTune 扩展到多模态模型；探索在自监督学习预训练模型上的适配器行为；研究适配器在模型压缩和加速中的应用。

复现评估

论文的复现性评估在多个方面表现良好。开源情况方面，作者在 GitHub 提供了完整代码实现，包括模型架构、训练脚本、评估脚本和超参数配置。数据方面，所有使用的 9 个数据集都是公开可用的标准基准，论文使用了标准的数据预处理和确定性数据分割，确保了公平比较。骨干网络方面，三个预训练 backbone 都是公开可用的，均在 ImageNet-1k 上预训练，patch 大小 16。算力需求方面，在单张 NVIDIA A6000 上，50 epoch 的训练在 CIFAR-10 与 ViT-Base 上 AdapterTune 需要 8 分钟，而全量微调需要 22 分钟，表明计算需求适中。复现难度方面，论文采用了严格的复现性实践：所有配置平均 3 个随机种子，使用确定性数据分割，报告均值和标准差，标准差小于等于 0.9 pp。超参数敏感性分析显示，推荐的默认配置在 27 个配置网格中表现稳定，最大准确率方差小于 0.4 点。潜在的复现挑战包括：论文没有明确报告随机种子值；不同硬件可能影响训练速度和批次大小选择；部分数据集需要手动下载和预处理。总体而言，论文的复现性在计算机视觉研究中属于较高水平。

论文图表

Table 3: Rank sweep on CIFAR-10 / ViT-S/16 (adapter, every=1, zero init, 3 seeds).

这个表格展示了在 CIFAR-10/ViT-S/16 上的详细 rank 扫描结果。具体数据：rank 8 时准确率为 97.56%；rank 16 时为 97.61%，增益 +0.05 点；rank 32 时为 97.75%，增益 +0.20 点；rank 64 时为 97.85%，增益 +0.29 点。从数据可以观察到从 rank 8 到 32 的提升大于从 rank 32 到 64 的提升。

这个表格对验证论文的理论预测至关重要。它用具体数字展示了 diminishing returns 行为，这直接支持了理论预测的精度衰减律。

Table 4: Placement and initialization ablations on CIFAR-10 / ViT-S/16 (r = 16, 3 seeds).

这个表格展示了 placement 和初始化 ablation 研究。Placement 轴比较了 Every block 和 Every 2 blocks 两种策略，结果差异小于 0.10 点。Initialization 轴比较了 Zero 和 Small random 两种初始化，结果差异小于 0.10 点。

这个表格对理解 AdapterTune 设计选择的重要性至关重要。它表明两个关键设计选择对最终性能的影响很小，这增强了方法的鲁棒性。