EX-FIQA：利用视觉 Transformer 中间早期退出表征进行人脸图像质量评估 EX-FIQA: Leveraging Intermediate Early eXit Representations from Vision Transformers for Face Image Quality Assessment
首次系统性探索 ViT 中间层早退机制以提升人脸质量评估
前置知识
人脸图像质量评估 (FIQA)
FIQA 不评估人脸图像的美学质量（如清晰度、噪声），而是评估图像对身份验证任务的"识别效用"，即图像在验证场景中能否有效完成身份匹配。典型做法是给每张人脸打一个分数，分数越低表示对识别系统贡献越小，可以被过滤。
本文核心方法正是 FIQA，决定了所有实验设计与评估指标（如 EDC 曲线、pAUC-EDC）的含义。
Vision Transformer (ViT)
ViT 把图像切成固定大小 patch（如 16x16），线性投影成 patch embedding 序列，通过多层 self-attention 提取全局特征。不同于 CNN 的层级感受野，ViT 在所有 12 个 block 中保持 token 维度恒定，因此任意中间层输出都可接入同一回归头。
EX-FIQA 正是利用 ViT 中间层 token 维度恒定这一性质，实现无结构改造的早退。
早退机制 (Early Exit)
早退指在神经网络中间层就给出预测输出，避免计算后续层，从而降低推理延迟和算力。ViT 由于各层输出维度一致，可把任意 block 的输出直接喂入原回归头，无需额外适配层。
本文的核心技术路径就是早退，所有 Exit 1-12 都基于同一预训练模型，不引入新参数。
EDC 曲线与 pAUC-EDC
Error-versus-Discard Characteristic (EDC) 曲线展示在固定 FMR（如 1e-3 或 1e-4）下，逐步丢弃低质量图像时 FNMR 的下降幅度。pAUC-EDC 衡量 0%-30% 丢弃率区间的部分 AUC，越低代表 FIQA 越能把难样本排在前面。
本文所有定量结果都基于 pAUC-EDC，理解它才能看懂 Exit 12 vs Exit 7 等具体数值差异。
质量 token (Quality Token)
ViT-FIQA (T) 变体在 patch 序列前添加一个可学习的 [q0] token，与 patch 一起通过所有 transformer block，最终通过该 token 状态回归出质量分数。EX-FIQA (T) 早退时直接取各 block 输出的 quality token。
理解 (T) 与 (C) 两种架构差异，才能明白为什么前者早退开销仅 ~3000 FLOPs，而后者高达 ~76M FLOPs。
研究动机
现有 ViT 系的 FIQA 方法（如 ViT-FIQA）默认只使用最终第 12 个 transformer block 的表征做质量回归，假设深层特征更接近任务目标。然而这种"深即是好"的范式忽视了三个具体问题：第一，ViT 在 12 个 block 上 GFLOPs 累计达 11.49，单次推理对边缘设备压力巨大；第二，ViT 各中间层其实捕获了不同抽象层次的特征——浅层偏边缘纹理，中层偏局部部件，深层偏语义概念，这些信息在 FIQA 任务上的互补性从未被系统研究；第三，在 IJB-C 这种大规模含遮挡、跨姿态基准上，最终层 Exit 12 在 FNMR@FMR=1e-4 下 pAUC 仍达 187.0，说明仅靠最终层并未充分利用模型容量。
本文的目标是本文目标有三：（1）首次系统量化 ViT-FIQA 在 12 个 transformer block 上早退的精度-算力权衡曲线；（2）提出无需重新训练、无架构改造的早退方案 EX-FIQA，直接复用预训练回归头；（3）设计轻量分数融合策略 EX-FIQA-FW，把多个 block 的质量分数加权聚合，使其在 IJB-C、Adience 等大型基准上稳定取得 top-1。
与已有工作不同的是，已有 ViT-FIQA 只在出口处单点评估；CNN 系的早退研究又因通道维度逐层变化必须加适配层，且大多关注分类任务。本文抓住 ViT "各 block 维度恒定"这一架构特性，直接把早退和分数融合引入 FIQA 这一垂直任务，并通过注意力图可视化证明不同 block 关注的人脸区域确实互补，从而为"早退有用"提供机制层面的解释而非纯经验结果。
核心方法
方法直觉上可类比"考试评分多老师加权"：每个 transformer block 像一位阅卷老师，对同一张人脸给出不同视角的质量分（有的看姿态、有的看清晰度、有的看遮挡），最终通过加权融合得到比单一老师更准的综合分。技术上完全复用 Atzori 等人已训练好的 ViT-FIQA (T) 与 (C) 模型权重，对每个 block \in \{1, 2, \ldots, 12\}$ 提取中间表征，分别经过原 batch-norm 和回归头得到质量分数 $。早退路径仅保留前 $ 个 block，融合路径遍历全部 12 个 block 后用深度加权 $\hat{w}_l = l / \sum_{i=1}^{12} i$ 聚合。
核心创新是"把 ViT 的恒维结构特性转化为 FIQA 任务的算力-精度杠杆"。CNN 做早退必须加 1x1 卷积或上采样做维度对齐，ViT 则可以零成本早退。更关键的是，论文通过注意力图（图 3）实证不同 block 的质量 token 关注区域互补：浅层偏整脸均匀注意，中层聚焦五官部件，深层绑定到身份判别区域。基于这一观察设计出线性深度加权 EX-FIQA-FW（$\hat{w}_l \propto l$），相比均匀加权 EX-FIQA-F 更贴合"越深越抽象"的归纳偏置，且相比单独 Exit 12 在 5/8 数据集上有提升。
方法步骤详情
完整流程分四步。第一步，加载预训练 ViT-FIQA (T) 或 (C)，冻结全部权重。第二步，对于每个 block $，取出该层输出：(T) 取 quality token \in \mathbb{R}^D$，过 BN 和回归头 ^T \in \mathbb{R}^{1 \times D}$ 得到 ^{(T)} = W^T \cdot \text{BN}(q_l)$；(C) 将所有 patch token 拼成 \in \mathbb{R}^{N \times D}$，展平后过两层全连接网络 ^{fc1}, W^{fc2}$ 再回归得到 ^{(C)} = W^C \cdot \text{BN}(f_l)$，其中 = 512, N = 144, H = 8$ 个注意力头。第三步，早退策略直接选用某一 $ 的分数作为最终输出；融合策略计算 {fused} = \sum_{l=1}^{12} \hat{w}_l \cdot s_l$，其中均匀加权用 $\hat{w}_l = 1/12$，深度加权用 $\hat{w}_l = l/78$。第四步，使用 EDC 曲线在 = 10^{-3}$ 与 0^{-4}$ 两个阈值下评估 pAUC-EDC，越低越好。整个流程不更新任何参数，仅在推理阶段完成。
技术新颖性
新颖性体现在三个层面。第一是任务层面，首次把 ViT 早退引入 FIQA，填补了"中间表征 vs 质量分数"的空白。第二是技术层面，巧妙利用 ViT 恒维特性做到零额外参数的早退，避免了 CNN 早退所需的复杂适配层。第三是融合层面，深度线性加权相比均匀加权有显著优势（IJB-C 上 EX-FIQA-FW (T) pAUC@1e-3 = 6.362 优于 EX-FIQA-F (T) = 6.480，也优于 Exit 12 = 6.563），且在跨 FR 模型（ArcFace/ElasticFace/MagFace/CurricularFace）的跨模型评估下仍稳定 top-1，证明方案具备 FR 模型无关性。
实验结果
实验在 Adience、AgeDB-30、CFP-FP、LFW、CALFW、CPLFW、XQLFW、IJB-C 八个基准上，使用 ArcFace、ElasticFace、MagFace、CurricularFace 四种 FR 模型交叉评估，pAUC-EDC 越低越好。主要发现包括：第一，早退确实可行，EX-FIQA (T) Exit 6 在 5.77 GFLOPs 下达到 pAUC-EDC=27.070，相比 Exit 12（11.50 GFLOPs，pAUC=26.481）节省 50% 算力仅损失 ~0.6 个 pAUC 单位；第二，中间层早退在困难基准上甚至优于最终层，例如 EX-FIQA (C) Exit 7 在 IJB-C 上 pAUC@1e-3=6.544 优于 Exit 12 的 6.599，CALFW 上 Exit 8 = 22.163 也优于 Exit 12 的 22.594；第三，深度加权融合 EX-FIQA-FW (C) 平均 pAUC@1e-3 = 26.030，比 Exit 12 的 26.664 提升 2.4%，且在 IJB-C 大规模基准上跨全部四种 FR 模型取得 top-1（6.503/6.289/7.591/6.261 vs 次优 ViT-FIQA (T) 的 6.563/6.334/7.687/6.337）；第四，EX-FIQA-FW (C) 在 Adience 上同样取得四模型 top-1（pAUC@1e-3 = 9.768/10.859/9.957/8.586），验证了融合策略对年龄、性别跨度大的人脸子集同样鲁棒。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FIQA on IJB-C (ArcFace) | pAUC-EDC @ FMR=1e-3 | EX-FIQA-FW (C) = 6.503 / EX-FIQA-FW (T) = 6.362 | ViT-FIQA (T) = 6.563 / ViT-FIQA (C) = 6.599 | 相比基线最佳值提升 ~3% (6.362 vs 6.563)，跨全部 4 个 FR 模型取得 top-1 |
| FIQA on IJB-C (ElasticFace) | pAUC-EDC @ FMR=1e-3 | EX-FIQA-FW (T) = 6.152 | eDifFIQA (L) = 6.197 | 超越先前 SOTA 0.7%，排名第一 |
| FIQA on Adience (ArcFace) | pAUC-EDC @ FMR=1e-3 | EX-FIQA-FW (C) = 9.768 | ViT-FIQA (C) = 9.948 | 比最强基线提升 1.8%，跨 4 个 FR 模型均 top-1 |
| FIQA on Adience (MagFace) | pAUC-EDC @ FMR=1e-3 | EX-FIQA-FW (C) = 9.957 | ViT-FIQA (C) = 10.117 | 提升 1.6% |
| 效率-精度权衡 (ArcFace) | pAUC-EDC 均值 / GFLOPs | EX-FIQA (T) Exit 10: 25.866 pAUC @ 9.59 GFLOPs | ViT-FIQA (T) Exit 12: 26.481 pAUC @ 11.50 GFLOPs | 节省 17% 算力同时 pAUC 提升 2.3% |
| 最大效率场景 (ArcFace) | pAUC-EDC 均值 / GFLOPs | EX-FIQA (T) Exit 6: 27.070 @ 5.77 GFLOPs | ViT-FIQA (T) Exit 12: 26.481 @ 11.50 GFLOPs | 节省 50% 算力，pAUC 仅下降 2.2% |
局限与改进
作者承认的局限包括：第一，EX-FIQA-FW (C) 在融合路径上需要遍历全部 12 个 block 并对每层施加 ~76M FLOPs 的两-layer feature 网络，总开销从 11.49 增至 12.33 GFLOPs（+7%），因此该变体并不真正省算力，只提升精度；第二，跨模型评估虽在四种 FR 模型上稳定，但在 Adience 上 Exit 8 出现反常的 pAUC@1e-4 = 24.927（比 Exit 9 = 26.169 更优），说明中间层选择对数据集特性敏感，缺乏统一选择准则；第三，论文未提供基于置信度的动态路由策略（虽提到但留作未来工作），用户必须根据场景手动选 Exit。独立观察到的局限：（a）所有结果都是 post-hoc 分析，没有 re-training 验证融合策略是否在端到端训练下也成立；（b）实验局限于 ViT-S 架构，对 ViT-B/L 乃至 Swin Transformer 的可推广性未知；（c）质量 token 注意力图的可视化（图 3）仅基于 4 张示例图像，缺乏对全数据集注意力分布的统计刻画。
独立分析的弱点
独立分析的弱点有三：第一，深度线性加权 $\hat{w}_l \propto l$ 是手工设计的归纳偏置，缺少自适应版本。改进方向是引入可学习的门控网络 \theta(s_1, \ldots, s_L) \to \mathbb{R}^L$ 在验证集上端到端学习融合权重。第二，方案对数据集特性敏感，例如 Exit 8 在 Adience@1e-4 上的反常表现表明不同数据集对"什么算好的质量"定义不一致。改进方向是引入数据集感知的早退控制器，例如根据输入图像的统计特征（亮度、姿态估计置信度）动态选择 Exit。第三，融合策略需要遍历全部 12 个 block，对实时性敏感的场景并不友好。改进方向是采用"早退 + 自适应置信度判断"组合，例如当 Exit $ 的 $ 置信度高时直接早退，否则启动融合路径，这样可在精度和算力间动态平衡。此外，作者未对质量 token 在不同 block 的注意力差异做定量统计，仅给四张示例图，缺乏机制层面的因果论证，建议未来用注意力 rollout 等方法量化各 block 的注意力分散度。
未来方向
作者明确提出的方向包括：把基于熵或置信度的动态早退路由（参考 BerxiT、LG-ViT）引入 FIQA；将训练-时早退增强（如 self-distillation、SL-ViT 风格的分支设计）应用到 ViT-FIQA，缩小早退与最终层的精度差距。基于成果可延伸的方向：第一，把 EX-FIQA 框架迁移到通用 Image Quality Assessment (IQA) 任务，验证"中间层互补"是否为人脸以外图像的普适现象；第二，结合扩散模型做"质量引导的图像增强"——用 EX-FIQA-FW 的分数挑选可信度低的样本，再用 DifFIQA 类方法做增强，形成闭环；第三，把 EX-FIQA 拓展到 ViT-B/L 与 Swin Transformer，研究恒维结构假设在更大规模或层级化窗口注意力下是否仍然成立；第四，结合 prompt-tuning 思路，让用户在下游场景（如边境闸机、监控录像）用少量样本微调融合权重 $\hat{w}_l$。
复现评估
复现友好度高。代码已开源在 https://github.com/gurayozgur/EX-FIQA，且完全基于 Atzori 等人已公开的 ViT-FIQA 预训练权重，无需任何额外训练。所需算力仅是推理级别：单张 224x224 图像在 ViT-S 上一次完整融合路径约 12.33 GFLOPs，配合 batch 推理在单张 RTX 3090 上可毫秒级完成。数据集全部公开（八个基准均可在对应官网下载），评估协议使用标准 pAUC-EDC@FMR=10^{-3} 与 10^{-4}，与既有 SOTA 直接可比。复现难点主要在两点：一是注意力可视化需自行复现 ViT 的 attention rollout；二是跨 FR 模型评估需要预先准备好 ArcFace/ElasticFace/MagFace/CurricularFace 四个 backbone 的预训练权重。整体而言，对熟悉 PyTorch 与人脸识别工具链的研究者，约 1-2 天即可复现核心 Table I 和 Table II 的结果。
论文图表
