当变形脸质量更高时:人脸图像质量作为免训练变形攻击检测信号 When Morphs Look Better: Face Image Quality as a Training-Free Signal for Morphing Attack Detection
用17种人脸质量分数免训练检测morph攻击,发现morph质量常反超真人
前置知识
人脸变形攻击(Face Morphing Attack)
将两个或多个身份的脸部照片融合成一张图像,使人脸识别系统将其与任一真实持有者都匹配成功,一本护照可被多人共用。生成方式从关键点插值融合(OpenCV、FaceMorpher)、GAN隐空间插值(MIPGAN-I/II)进化到身份条件扩散模型(DCMorph、Arc2Morph),伪影越来越少。
本文的全部评估对象就是这类攻击图像,攻击生成方式(关键点/GAN/扩散)直接决定质量分数如何响应,是理解实验设计与结论的前提。
人脸图像质量评估(FIQA)
FIQA估计的不是视觉美观度,而是图像对自动人脸识别的“有用程度”。分四类:监督回归质量标签(FaceQnet、CLIB-FIQA);非FR模型类用扩散扰动测嵌入变化(DifFIQA);FR探测类取冻结模型的内部信号(GraFIQs、FROQ等);自监督FR融合类(MagFace等)。
论文把17种这类方法的分数直接当作morph检测的决策分数,四类方法的差异是分析“为何方向反转集中在某些方法”的基础。
D-EER、MACER 与 BSCER
ISO/IEC 20059定义的morph检测指标:MACER是morph被误判为真人的比例,BSCER是真人被误判为morph的比例,D-EER是ROC上两者相等的错误率(≈50%无判别力,>50%为排序反转)。SYN-MAD 2022在真实图像上设阈值至BSCER=20%并报告该点的MACER。
全部主结果表(Table III/IV 等)都用这三个数字报告性能,不熟悉定义就读不懂 11.42% 与 39.75% 等核心结果的含义。
Fisher判别比(FDR)与带符号分离度 S
FDR衡量两分布的分离度:$(\mu_{BF}-\mu_A)^2/(\sigma^2_{BF}+\sigma^2_A)$,均值差被平方,morph质量升降给出同值。定义 $S=sign(\mu_{BF}-\mu_A)\sqrt{FDR}$:$S>0$为期望方向,$S<0$即morph质量更高的反转。
S 是全文核心测量工具,论文标题所指的“morph质量反超真人”现象正是通过 $S<0$ 才被暴露出来的。
免训练协议与分数方向 $\pi_m$
本文的免训练要求:FIQA模型从未接触morph;不训练检测器、不用攻击数据选方法;方向 $\pi_m$ 与阈值 $\tau_m$ 等参数不得来自攻击。每个方法按原始论文语义预先固定 $\pi_m\in\{+1,-1\}$,归一化分数 $q_m=\pi_m s_m$ 越大代表质量越高。
这一协议是与以往工作(按攻击标签反转方向)的根本区别,也是理解 D-EER>50% 为何被当作“反转信号”而非单纯失败的关键。
扩散模型变形攻击
不同于照片融合,扩散类morph从插值条件信号合成整张脸:DCMorph经解耦交叉注意力注入双人身份,MorDIFF插值扩散自编码器语义隐向量,Arc2Morph插值Arc2Face身份嵌入。此类morph几乎没有融合伪影、视觉质量高。
论文最重要的发现——多达11/17种方法在这些攻击上出现质量反转——正出现在扩散攻击上,是标题“When Morphs Look Better”的直接来源。
研究动机
护照签发与边检系统广泛依赖人脸识别,而变形攻击把两个人的脸部图像融合成一张可同时通过两个身份验证的照片,使一本证件可被多人使用。单图morph攻击检测(MAD)的主流做法是用morph样本训练二分类器,但检测线索高度依赖训练数据:当部署时遇到新的变形算法、图像来源或后处理(压缩、重数字化)时性能显著退化。morph生成技术已从基于关键点的融合(OpenCV、FaceMorpher)、GAN插值(MIPGAN-I/II)进化到身份条件化扩散模型(DCMorph、MorDIFF、Arc2Morph),生成图像伪影越来越少,连人工审查员都难以识别。Fu 和 Damer 曾提出用人脸质量评估(FIQA)分数直接做免训练MAD,但只评估了5种FIQA方法(不含非FR模型类与近年FR探测类),只在关键点与GAN攻击上验证、从未覆盖扩散攻击,而且当反转分数方向能降低平均错误率时会按方法反转方向——这会把“morph质量反而更高”的方法包装成成功检测器,掩盖了这一危险现象。
本文的目标是本文的目标是在统一协议下系统回答:预训练FIQA分数能否在完全不接触morph数据、不训练任何检测器的前提下,充当单图morph攻击检测的决策分数?具体而言,把来自监督、无监督非FR模型、无监督FR探测、自监督FR融合四个类别的17种FIQA方法直接作为MAD分数,在FRLL与FEI两个真实数据集的20个攻击集(含DCMorph、MorDIFF、Arc2Morph、StableMorph共5个扩散攻击集)上评估。每个方法按其分数原始定义预先固定方向 $\pi_m\in\{+1,-1\}$ 且永不按攻击修改,阈值 $\tau_m$ 只在真实(bona fide)人脸图像上按 BSCER=20% 设定;同时用带符号分离度刻画morph质量是升还是降,并量化该方法的攻击依赖性、跨数据集阈值迁移能力,以及“FIQA性能能否预测MAD性能”这一方法选型问题。
与已有工作不同的是,本文的独特切入点是“把质量分数当检测分数,但不做任何攻击感知的选择”。与以往工作的本质差异有三:其一,以往工作(Fu & Damer)会在某方法的反转方向能降低平均EER时按方法反转分数方向,这需要攻击数据、违反免训练前提,还会把把morph评得更高质量的方法呈现为成功检测器;本文从分数语义预先固定方向,永不按攻击修改,于是任何方向反转都会以 D-EER>50% 或 $S<0$ 的形式自然暴露。其二,引入带符号分离度 $S=\mathrm{sign}(\mu_{BF}-\mu_A)\sqrt{\mathrm{FDR}}$,符号直接揭示morph质量升降,弥补FDR只看幅度不看方向的缺陷。其三,据作者所知这是质量类MAD首次纳入扩散模型攻击(5个攻击集),并首次系统检验FIQA排名与MAD排名的相关性(Spearman $\rho\approx0.54$),直面“好质量评估器是否就是好morph检测器”这一此前无人量化的问题。
核心方法
方法整体思路很直接:每个FIQA方法本身是一个预训练函数,把人脸图像映射为标量分数 $s_m(x)$,表示该图像对自动识别的有用程度。本文把它直接当作MAD决策分数:对方向归一化分数 $q_m(x)=\pi_m s_m(x)$,当 $q_m(x)\le\tau_m$ 时判为攻击。其中 $\pi_m$ 是按方法原始论文语义预先固定的方向(17种方法中14种 $\pi_m=+1$;GraFIQs(L)梯度幅度、PFE嵌入不确定性、PreFIQs剪枝漂移3种为 $-1$),$\tau_m$ 是使真实图像误报率 BSCER 恰达20%(FRLL为41/204=20.10%,FEI为40/200=20%)的最低真实分数阈值,对同数据集全部攻击通用。评估指标包括阈值无关的 D-EER、该操作点的 MACER,以及衡量分布分离的FDR与带符号分离度 $S$;并用身份级bootstrap(1000次重采样,morph按两个身份被抽次数的乘积加权)给出95%置信区间。整个过程不训练任何模型,也不做任何morph相关预处理。
核心创新是“固定方向 + 带符号分离度”的评估协议。已有的质量类MAD工作允许按攻击标签选择分数方向,这会系统性高估性能:一个把morph质量评得比真人更高的方法,只要反转方向就“显得”能检测,而部署方根本不知道面对的是哪种攻击。本文坚持条件(iii)——方向 $\pi_m$ 与阈值 $\tau_m$ 都不得来自攻击数据,于是反转必然以 D-EER>50% 或 $S<0$ 暴露。$S$ 的量级 $\sqrt{\mathrm{FDR}}$ 衡量分数对morph的响应强度,符号揭示响应方向,由此得到全文最重要的反直觉发现:对morph响应最强的方法可能恰恰是最差的检测器——FROQ在DCMorph上达到研究中最强的反转分离 $S=-2.29$,D-EER高达94.90%;而如果把方向按攻击反转,它在同一攻击上可得5.10%,甚至好于实际最佳者GraFIQs(L)的9.20%。“强响应不等于好检测”是论文的核心命题,也正是标题“When Morphs Look Better”的含义。
方法步骤详情
第一步,预处理:MTCNN检测并对齐到 $112\times112$,其余遵循各方法发布实现,不做任何morph相关预处理或按攻击调参。第二步,方向归一化:按原论文语义为17种方法赋固定 $\pi_m$(14种+1,GraFIQs(L)、PFE、PreFIQs为-1)。第三步,打分:对FRLL(204张真实图+8个攻击集)与FEI(200张真实图+12个攻击集,共19,482张攻击图)逐方法计算分数。第四步,分布分析:计算FDR与 $S=\mathrm{sign}(\mu_{BF}-\mu_A)\sqrt{\mathrm{FDR}}$,D-EER在ROC上MACER=BSCER处读取。第五步,设阈值:$\tau_m$ 取使BSCER=20%的最低真实分数,仅用真实图像。第六步,评估:固定 $\tau_m$ 作用于同数据集全部攻击得MACER并求平均;1000次身份级bootstrap给95%置信区间。第七步,迁移与关联实验:把一个数据集的阈值原封不动用于另一数据集测BSCER/MACER;用部分错误-丢弃曲线面积排名FIQA性能,与MAD排名做Spearman相关和留一法检验。
技术新颖性
技术新颖性不在新模型,而在协议与测量学。第一,给出可操作的免训练三条件定义(FIQA模型从未见过morph;不训练MAD分类器且不用攻击数据选方法;方向与阈值等一切参数不得来自攻击),把“免训练”从模糊说法变成可检验的实验约束。第二,用带符号分离度替代无符号FDR:FDR把均值差平方,morph质量更高与更低给出相同数值,完全掩盖方向反转;$S$ 的符号让反转可见,且作者实证表明仅在 $|S|<0.1$(几乎无分离,全部340对中仅13对)时 $S$ 的符号才可能与D-EER矛盾。第三,操作点直接采用SYN-MAD 2022竞赛的 MACER@BSCER=20%,只是把“训练检测器”替换为“预训练FIQA分数”,使结果与该基准可比。第四,首次把质量类MAD评估扩展到扩散攻击,并首次系统量化FIQA性能与MAD性能相关性之弱($\rho=0.54/0.55$,留一法后14个方法中8个/9个不再显著,个别方法两个排名相差达8位),对“拿FIQA榜单选MAD检测器”的惯性做法提出了明确警示。
实验结果
FRLL上DifFIQA(R)以平均D-EER 11.42%和MACER 10.75%居首;FEI上则换了一副面孔:最好的ViT-FIQA(T)仅39.75%、MACER 58.96%,DifFIQA(R)只有44.25%且对FEI的Arc2Morph反转(88.4%)。反转集中于扩散攻击:DCMorph/MorDIFF/Arc2Morph上分别有11/10/8种方法 $S<0$。最强反转是FROQ在DCMorph上 $S=-2.29$、D-EER 94.90%;若按攻击反转可得5.10%、好于最佳者(GraFIQs(L) 9.20%),但需攻击知识。GraFIQs(L)在DCMorph/Arc2Morph最佳(9.20%/5.66%)却在关键点/GAN攻击达37.7–61.2%。FIQA排名与MAD排名仅中度相关($\rho=0.54/0.55$)。阈值不迁移:FRLL阈值用于FEI时BSCER达100%,反向则BSCER=0%、MACER 90.9–98.1%。FRLL 136对中52对、FEI 204对中74对的morph比真人更易过阈值。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FRLL 8个攻击集的免训练morph检测(17种FIQA中的最优者) | 平均 D-EER(附平均MACER@BSCER=20%) | DifFIQA(R):11.42%(MACER 10.75%) | 次优FIQA CLIB-FIQA 16.99%;无信息分数≈50%;训练检测器SelfMAD++ 13.05% | 较次优FIQA低5.57个百分点,且优于训练检测器SelfMAD++,全程未用任何morph数据 |
| FEI 12个攻击集的免训练morph检测 | 平均 D-EER | ViT-FIQA(T):39.75%(MACER 58.96%) | 随机分数≈50%;SelfMAD++ 29.56% | 接近随机水平,说明该方法在此数据域无法实用 |
| FRLL扩散攻击DCMorph单攻击检测 | D-EER | 最佳GraFIQs(L) 9.20%;最差FROQ 94.90%($S=-2.29$ 强反转) | 同攻击17种方法中位数59.00% | 同一攻击上方法间差距近90个百分点,揭示性能的极强攻击依赖性 |
| FIQA性能排名预测MAD性能排名 | Spearman ρ(14种方法) | 0.54(FRLL)/ 0.55(FEI) | 完全预测=1.0 | 仅中度相关,留一法后8/14(FRLL)与9/14(FEI)个方法使相关性失去显著性 |
| 跨数据集阈值迁移(FRLL→FEI,仅用真实图像设阈值) | 目标域BSCER | DifFIQA(R)与CLIB-FIQA均达100% | 目标域内自设阈值为20% | 完全失效(反向迁移BSCER=0%、MACER 90.9%/98.1%),证明阈值强依赖真实数据域 |
局限与改进
作者承认的局限:两个真实集很小(FRLL 204张/102人,FEI 200张/200人),置信区间相应偏宽,FEI上最佳方法彼此无法可靠排序(ViT-FIQA(T)的CI与随后4个方法重叠);BSCER=20%操作点是为对齐SYN-MAD 2022基准而设,并非面向部署的配置;MorDIFF与Arc2Morph攻击是作者用原作者代码默认设置复现的,FEI各集按提供方原样使用,FRLL与FEI的Arc2Morph实现可能有差异,跨数据集的反转对比并非严格同源;两数据集在采集设备、分辨率与被试上不同,实验未能分离造成分数偏移的具体原因。我的补充观察:评估仅在112×112对齐的受控高质量正面图上进行,未涉及压缩、打印-扫描、重拍等真实证件流程;确认“最佳FIQA方法”本身用到了本次评估的攻击标签(DifFIQA(R)的冠军身份无法在部署时仅凭真实数据确定,作者也承认这一点仍未解决);参照检测器SelfMAD++在非原生的112×112输入上运行,其参考值可能低估了训练检测器的真实水平。
独立分析的弱点
第一,方法选择困境:DifFIQA(R)在FRLL以11.42%封王,在FEI却只有44.25%且对Arc2Morph反转(88.4%),说明“哪个FIQA方法适合当检测器”强烈依赖攻击与数据域,而协议又禁止用攻击数据选方法——这是部署层面的根本矛盾。改进方向:仅用真实数据做域内校准(例如检验真实分数分布与FIQA基准行为的一致性),或集成多种分数投票以降低单一方法方向反转的风险。第二,阈值不可迁移:DifFIQA(R)真实分数均值在FRLL为0.93、FEI为0.86,直接搬阈值导致BSCER在0%与100%之间翻转。改进:在目标域留出的真实集上重新校准阈值,或学习域无关的分数归一化。第三,扩散攻击反转机理不明:“morph无融合伪影所以质量更高”的假说无法解释同样无伪影的MIPGAN攻击仅有2次反转。改进:从纹理、频谱、身份属性等角度解剖扩散morph,弄清FIQA分数为何升高,进而设计对morph敏感的质量度量。第四,鲁棒性未测:全文未评估压缩、低分辨率、打印-扫描等退化条件下结论是否成立,而这恰是护照流程的真实工况。
未来方向
作者提出的方向:研究在目标域留出真实图像上校准的阈值能否泛化到该域的新图像;探究FIQA方法的哪些内在性质决定其对morph的响应方向(为何GraFIQs(L)与FROQ同属FR探测类却方向相反);由于FIQA通常前置在MAD之前用于剔除低质量样本,建议在“带质量剔除”与“不带质量剔除”两种条件下重新评估训练型MAD检测器。基于本文成果可延伸的工作:把带符号分离度 $S$ 用作线上监控信号,当观测到 $S<0$ 时提示出现了新的攻击族并触发检测器更新;将质量分数与训练检测器做级联门控或分数融合,兼取免训练信号的速度与训练检测器的精度;在差分MAD(有可信现场采集作对照)中检验质量信号的增量价值;把评估扩展到压缩与再数字化后的图像以及更多国家护照级数据集,检验反转现象在真实流程中的普遍性。
复现评估
复现条件较好。模型侧:17种FIQA方法全部是有公开权重的发布模型(如DifFIQA(R)、CLIB-FIQA、GraFIQs(L)等),参照检测器SelfMAD++也使用发布权重;所用FR骨干(ArcFace ResNet-100、AdaFace IR-101/ViT)均随方法发布。数据侧:MAD22/FRLL公开(FRLL原始人脸集为CC BY 4.0),FEI-Morph V3按论文渠道获取,MorDIFF与Arc2Morph用原作者代码默认设置生成。协议侧:预处理(MTCNN对齐112×112+各方法自带处理)、指标(D-EER、MACER@BSCER=20%、FDR/S、1000次身份级bootstrap)都与ISO/IEC 20059和SYN-MAD 2022对齐,附录逐格给出全部340个方法-攻击对的数值与分数分布,透明度很高。论文未提供统一代码仓库,复现需自行拼装17个模型与20个攻击集并精确对齐预处理,工程量中等;计算上纯推理、无训练,单GPU即可,唯DifFIQA类方法需扩散扰动、速度较慢。总体难度中等偏易,主要成本在数据获取与模型组装。
论文图表
全部17种方法在FRLL与FEI真实图像上的分数分布直方图,并标出各自数据集上按BSCER=20%设定的阈值(虚线)。对DifFIQA(R),FEI真实分数整体低于FRLL(均值0.86对0.93),因此FRLL阈值套用到FEI会把几乎所有真人误判为攻击。
从分数分布层面解释阈值为何不能跨数据集迁移,是理解迁移实验失败原因的关键图。
与Fig. 10同格式的FEI版本:17种方法在FEI真实图与12个攻击集上的分数箱线图,含Arc2Morph与StableMorph列的大面积反转(分数整体高于真实图)。
FEI侧的完整分布证据,与Fig. 10对照可见同一方法在两个数据域上的分布漂移与反转差异。
列出全部17种被评估FIQA方法:按监督(FaceQnet、SDD-FIQA、CLIB-FIQA)、无监督非FR模型(DifFIQA(R)、eDifFIQA(L))、无监督FR探测(SER-FIQ、GraFIQs(L)、FROQ、ViTNT-FIQA、PreFIQs、ATTN-FIQA)、自监督FR融合(MagFace、PFE、CR-FIQA(L)、ViT-FIQA(T)、CARPM-FIQA(L)、EX-FIQA-FW(T))四类组织,并给出每方法的质量信号与固定方向 $\pi_m$(14种+1,GraFIQs(L)/PFE/PreFIQs为-1)。
理解实验对象与“预先固定方向”协议的第一张表,$\pi_m$ 列是后续所有 $S$ 与D-EER解读的基准。
评估协议与数据规模:FRLL 204张真实图+8个攻击集(FaceMorpher 1000、OpenCV 984、WebMorph 500、MIPGAN-I 1000、MIPGAN-II 999、DCMorph/MorDIFF/Arc2Morph各1000);FEI 200张真实图+12个攻击集(8个关键点/商业类8000张,4个生成类3999张),攻击图共19,482张,并注明各攻击所属家族。
明确每个D-EER数字是与哪个真实集、多少张图比较得到的,是判断结果可信度的基础。
FRLL主结果表:17种方法×8个攻击的D-EER与括号内 $S$,右侧为平均D-EER与平均MACER。DifFIQA(R)以11.42%/10.75%居首,CLIB-FIQA 16.99%/20.03%;FROQ在DCMorph上D-EER 94.90%($S=-2.29$)为全表最差;参照训练检测器SelfMAD++平均13.05%。
全文最核心的结果表,几乎所有FRLL结论(最佳方法、反转、攻击依赖)都出自此表。
FEI主结果表:17种方法×12个攻击的D-EER与 $S$。最佳ViT-FIQA(T)平均D-EER仅39.75%、MACER 58.96%;DifFIQA(R)在FEI为44.25%且对Arc2Morph(88.4%)与StableMorph(70.9%)反转;ViTNT-FIQA在FRLL垫底却在FEI的Arc2Morph(10.0%)与StableMorph(20.9%)上最佳。
与Table III对照构成“同一方法跨数据域剧烈变化”的核心证据,支撑免训练方法不可跨域的结论。
FRLL各攻击在固定操作点下的逐格MACER。该操作点随机分数的MACER约80%;DifFIQA(R)在FaceMorpher与MorDIFF上MACER 0.00%,DCMorph最低值由GraFIQs(L)取得(3.70%);52/136个方法-攻击对的morph比真人更易通过阈值。
给出部署视角(固定阈值)下的漏检率细节,补充D-EER无法体现的操作点信息。
FEI各攻击逐格MACER。DifFIQA(R)在FEI的Arc2Morph(100.0%)与StableMorph(97.9%)上几乎全部漏检;ViTNT-FIQA在Arc2Morph仅0.9%;74/204个方法-攻击对的morph比真人更易通过阈值。
展示固定阈值下扩散攻击在FEI上的漏检严重程度,是“不可跨域”结论的操作点版本。
每方法平均D-EER的95%身份级bootstrap置信区间。FRLL上DifFIQA(R)区间[9.0,14.0]整体低于第二名CLIB-FIQA的[14.7,19.7],排名第一有统计意义;FEI上ViT-FIQA(T)区间[37.3,42.6]与随后7个方法重叠,最佳方法无法可靠排序。
为“FRLL结论可信、FEI排名不可分辨”提供统计学依据,也反映真实集过小的局限。
对比三种方向选择方式的平均D-EER:本文固定方向、按方法选(复现[7])、按方法+攻击选。按攻击选择帮助最大的是FROQ(FRLL从56.44%降到25.93%);FEI上按攻击选择会使eDifFIQA(L)(32.77%)取代ViT-FIQA(T)成为最佳。三种设置下FRLL前三名不变。
量化“用攻击数据反转方向”带来的虚高收益,正是本文坚持固定方向的实证理由。
全部方法的跨数据集阈值迁移结果:FRLL→FEI时DifFIQA(R)、CLIB-FIQA、eDifFIQA(L)的BSCER达86.0–100.0%;FEI→FRLL时三者BSCER为0%、平均MACER 80.0–98.1%。少数方法(FaceQnet、SER-FIQ、PreFIQs等)BSCER保持在15–25%,但其平均D-EER均≥40.83%、本就无效。
完整证明“仅在真实数据上设阈值”虽满足免训练要求,却无法跨数据域复用。
14种方法的FIQA平均排名(基于4个FR模型×8个数据集×2个误匹配率的错误-丢弃曲线面积)与MAD排名对照:eDifFIQA(L) FIQA第1、MAD第3;SER-FIQ在FEI上FIQA第6、MAD第14(差8位);留一法去掉单个方法后,8个(FRLL)/9个(FEI)方法使Spearman相关不再显著。
给出“FIQA性能中度且不稳健地预测MAD性能”的完整证据链,直接回应方法选型问题。
以攻击为中心汇总17种方法:各攻击的反转方法数、最佳方法及D-EER中位数。FRLL的DCMorph(11次反转、中位59.00%)、MorDIFF(10次、52.10%)、Arc2Morph(8次、51.41%)与FEI的Arc2Morph(10次、56.2%)、StableMorph(10次、51.5%)中位数均超过50%,即过半方法劣于随机。
从攻击视角反转叙事——不是“方法好坏”,而是“哪些攻击让所有方法集体失效”,点出扩散morph的威胁本质。