← 返回 2026-11-03

当变形脸质量更高时:人脸图像质量作为免训练变形攻击检测信号 When Morphs Look Better: Face Image Quality as a Training-Free Signal for Morphing Attack Detection

Hao Peng, Fu Bo, Mahmoud Elshirbeny, Guray Ozgur 📅 2026-10-15 👍 0 2026-11-09 18:30
人脸图像质量评估(FIQA) 人脸识别安全 免训练检测 变形攻击检测 基准评估 扩散模型攻击

用17种人脸质量分数免训练检测morph攻击,发现morph质量常反超真人

前置知识

人脸变形攻击(Face Morphing Attack)

将两个或多个身份的脸部照片融合成一张图像,使人脸识别系统将其与任一真实持有者都匹配成功,一本护照可被多人共用。生成方式从关键点插值融合(OpenCV、FaceMorpher)、GAN隐空间插值(MIPGAN-I/II)进化到身份条件扩散模型(DCMorph、Arc2Morph),伪影越来越少。

本文的全部评估对象就是这类攻击图像,攻击生成方式(关键点/GAN/扩散)直接决定质量分数如何响应,是理解实验设计与结论的前提。

人脸图像质量评估(FIQA)

FIQA估计的不是视觉美观度,而是图像对自动人脸识别的“有用程度”。分四类:监督回归质量标签(FaceQnet、CLIB-FIQA);非FR模型类用扩散扰动测嵌入变化(DifFIQA);FR探测类取冻结模型的内部信号(GraFIQs、FROQ等);自监督FR融合类(MagFace等)。

论文把17种这类方法的分数直接当作morph检测的决策分数,四类方法的差异是分析“为何方向反转集中在某些方法”的基础。

D-EER、MACER 与 BSCER

ISO/IEC 20059定义的morph检测指标:MACER是morph被误判为真人的比例,BSCER是真人被误判为morph的比例,D-EER是ROC上两者相等的错误率(≈50%无判别力,>50%为排序反转)。SYN-MAD 2022在真实图像上设阈值至BSCER=20%并报告该点的MACER。

全部主结果表(Table III/IV 等)都用这三个数字报告性能,不熟悉定义就读不懂 11.42% 与 39.75% 等核心结果的含义。

Fisher判别比(FDR)与带符号分离度 S

FDR衡量两分布的分离度:$(\mu_{BF}-\mu_A)^2/(\sigma^2_{BF}+\sigma^2_A)$,均值差被平方,morph质量升降给出同值。定义 $S=sign(\mu_{BF}-\mu_A)\sqrt{FDR}$:$S>0$为期望方向,$S<0$即morph质量更高的反转。

S 是全文核心测量工具,论文标题所指的“morph质量反超真人”现象正是通过 $S<0$ 才被暴露出来的。

免训练协议与分数方向 $\pi_m$

本文的免训练要求:FIQA模型从未接触morph;不训练检测器、不用攻击数据选方法;方向 $\pi_m$ 与阈值 $\tau_m$ 等参数不得来自攻击。每个方法按原始论文语义预先固定 $\pi_m\in\{+1,-1\}$,归一化分数 $q_m=\pi_m s_m$ 越大代表质量越高。

这一协议是与以往工作(按攻击标签反转方向)的根本区别,也是理解 D-EER>50% 为何被当作“反转信号”而非单纯失败的关键。

扩散模型变形攻击

不同于照片融合,扩散类morph从插值条件信号合成整张脸:DCMorph经解耦交叉注意力注入双人身份,MorDIFF插值扩散自编码器语义隐向量,Arc2Morph插值Arc2Face身份嵌入。此类morph几乎没有融合伪影、视觉质量高。

论文最重要的发现——多达11/17种方法在这些攻击上出现质量反转——正出现在扩散攻击上,是标题“When Morphs Look Better”的直接来源。

研究动机

护照签发与边检系统广泛依赖人脸识别,而变形攻击把两个人的脸部图像融合成一张可同时通过两个身份验证的照片,使一本证件可被多人使用。单图morph攻击检测(MAD)的主流做法是用morph样本训练二分类器,但检测线索高度依赖训练数据:当部署时遇到新的变形算法、图像来源或后处理(压缩、重数字化)时性能显著退化。morph生成技术已从基于关键点的融合(OpenCV、FaceMorpher)、GAN插值(MIPGAN-I/II)进化到身份条件化扩散模型(DCMorph、MorDIFF、Arc2Morph),生成图像伪影越来越少,连人工审查员都难以识别。Fu 和 Damer 曾提出用人脸质量评估(FIQA)分数直接做免训练MAD,但只评估了5种FIQA方法(不含非FR模型类与近年FR探测类),只在关键点与GAN攻击上验证、从未覆盖扩散攻击,而且当反转分数方向能降低平均错误率时会按方法反转方向——这会把“morph质量反而更高”的方法包装成成功检测器,掩盖了这一危险现象。

本文的目标是本文的目标是在统一协议下系统回答:预训练FIQA分数能否在完全不接触morph数据、不训练任何检测器的前提下,充当单图morph攻击检测的决策分数?具体而言,把来自监督、无监督非FR模型、无监督FR探测、自监督FR融合四个类别的17种FIQA方法直接作为MAD分数,在FRLL与FEI两个真实数据集的20个攻击集(含DCMorph、MorDIFF、Arc2Morph、StableMorph共5个扩散攻击集)上评估。每个方法按其分数原始定义预先固定方向 $\pi_m\in\{+1,-1\}$ 且永不按攻击修改,阈值 $\tau_m$ 只在真实(bona fide)人脸图像上按 BSCER=20% 设定;同时用带符号分离度刻画morph质量是升还是降,并量化该方法的攻击依赖性、跨数据集阈值迁移能力,以及“FIQA性能能否预测MAD性能”这一方法选型问题。

与已有工作不同的是,本文的独特切入点是“把质量分数当检测分数,但不做任何攻击感知的选择”。与以往工作的本质差异有三:其一,以往工作(Fu & Damer)会在某方法的反转方向能降低平均EER时按方法反转分数方向,这需要攻击数据、违反免训练前提,还会把把morph评得更高质量的方法呈现为成功检测器;本文从分数语义预先固定方向,永不按攻击修改,于是任何方向反转都会以 D-EER>50% 或 $S<0$ 的形式自然暴露。其二,引入带符号分离度 $S=\mathrm{sign}(\mu_{BF}-\mu_A)\sqrt{\mathrm{FDR}}$,符号直接揭示morph质量升降,弥补FDR只看幅度不看方向的缺陷。其三,据作者所知这是质量类MAD首次纳入扩散模型攻击(5个攻击集),并首次系统检验FIQA排名与MAD排名的相关性(Spearman $\rho\approx0.54$),直面“好质量评估器是否就是好morph检测器”这一此前无人量化的问题。

核心方法

方法整体思路很直接:每个FIQA方法本身是一个预训练函数,把人脸图像映射为标量分数 $s_m(x)$,表示该图像对自动识别的有用程度。本文把它直接当作MAD决策分数:对方向归一化分数 $q_m(x)=\pi_m s_m(x)$,当 $q_m(x)\le\tau_m$ 时判为攻击。其中 $\pi_m$ 是按方法原始论文语义预先固定的方向(17种方法中14种 $\pi_m=+1$;GraFIQs(L)梯度幅度、PFE嵌入不确定性、PreFIQs剪枝漂移3种为 $-1$),$\tau_m$ 是使真实图像误报率 BSCER 恰达20%(FRLL为41/204=20.10%,FEI为40/200=20%)的最低真实分数阈值,对同数据集全部攻击通用。评估指标包括阈值无关的 D-EER、该操作点的 MACER,以及衡量分布分离的FDR与带符号分离度 $S$;并用身份级bootstrap(1000次重采样,morph按两个身份被抽次数的乘积加权)给出95%置信区间。整个过程不训练任何模型,也不做任何morph相关预处理。

核心创新是“固定方向 + 带符号分离度”的评估协议。已有的质量类MAD工作允许按攻击标签选择分数方向,这会系统性高估性能:一个把morph质量评得比真人更高的方法,只要反转方向就“显得”能检测,而部署方根本不知道面对的是哪种攻击。本文坚持条件(iii)——方向 $\pi_m$ 与阈值 $\tau_m$ 都不得来自攻击数据,于是反转必然以 D-EER>50% 或 $S<0$ 暴露。$S$ 的量级 $\sqrt{\mathrm{FDR}}$ 衡量分数对morph的响应强度,符号揭示响应方向,由此得到全文最重要的反直觉发现:对morph响应最强的方法可能恰恰是最差的检测器——FROQ在DCMorph上达到研究中最强的反转分离 $S=-2.29$,D-EER高达94.90%;而如果把方向按攻击反转,它在同一攻击上可得5.10%,甚至好于实际最佳者GraFIQs(L)的9.20%。“强响应不等于好检测”是论文的核心命题,也正是标题“When Morphs Look Better”的含义。

方法步骤详情

第一步,预处理:MTCNN检测并对齐到 $112\times112$,其余遵循各方法发布实现,不做任何morph相关预处理或按攻击调参。第二步,方向归一化:按原论文语义为17种方法赋固定 $\pi_m$(14种+1,GraFIQs(L)、PFE、PreFIQs为-1)。第三步,打分:对FRLL(204张真实图+8个攻击集)与FEI(200张真实图+12个攻击集,共19,482张攻击图)逐方法计算分数。第四步,分布分析:计算FDR与 $S=\mathrm{sign}(\mu_{BF}-\mu_A)\sqrt{\mathrm{FDR}}$,D-EER在ROC上MACER=BSCER处读取。第五步,设阈值:$\tau_m$ 取使BSCER=20%的最低真实分数,仅用真实图像。第六步,评估:固定 $\tau_m$ 作用于同数据集全部攻击得MACER并求平均;1000次身份级bootstrap给95%置信区间。第七步,迁移与关联实验:把一个数据集的阈值原封不动用于另一数据集测BSCER/MACER;用部分错误-丢弃曲线面积排名FIQA性能,与MAD排名做Spearman相关和留一法检验。

技术新颖性

技术新颖性不在新模型,而在协议与测量学。第一,给出可操作的免训练三条件定义(FIQA模型从未见过morph;不训练MAD分类器且不用攻击数据选方法;方向与阈值等一切参数不得来自攻击),把“免训练”从模糊说法变成可检验的实验约束。第二,用带符号分离度替代无符号FDR:FDR把均值差平方,morph质量更高与更低给出相同数值,完全掩盖方向反转;$S$ 的符号让反转可见,且作者实证表明仅在 $|S|<0.1$(几乎无分离,全部340对中仅13对)时 $S$ 的符号才可能与D-EER矛盾。第三,操作点直接采用SYN-MAD 2022竞赛的 MACER@BSCER=20%,只是把“训练检测器”替换为“预训练FIQA分数”,使结果与该基准可比。第四,首次把质量类MAD评估扩展到扩散攻击,并首次系统量化FIQA性能与MAD性能相关性之弱($\rho=0.54/0.55$,留一法后14个方法中8个/9个不再显著,个别方法两个排名相差达8位),对“拿FIQA榜单选MAD检测器”的惯性做法提出了明确警示。

Two FRLL morphing pairs: bona fide images and the morph of each attack set, as aligned 112×112 inputs, with the DifFIQA(R) score q; (A) marks a classification as attack at BSCER = 20%, and red marks a classification error.
Fig. 1: Two FRLL morphing pairs: bona fide images and the morph of each attack set, as aligned 112×112 inputs, with the DifFIQA(R) score q; (A) marks a classification as attack at BSCER = 20%, and red marks a classification error.
Signed separation S against D-EER for all method-attack pairs of FRLL and FEI. Crosses: pairs for which the sign of S and the D-EER disagree. The right panel shows the region |S| < 0.15, with |S| < 0.1 shaded.
Fig. 8: Signed separation S against D-EER for all method-attack pairs of FRLL and FEI. Crosses: pairs for which the sign of S and the D-EER disagree. The right panel shows the region |S| < 0.15, with |S| < 0.1 shaded.

实验结果

FRLL上DifFIQA(R)以平均D-EER 11.42%和MACER 10.75%居首;FEI上则换了一副面孔:最好的ViT-FIQA(T)仅39.75%、MACER 58.96%,DifFIQA(R)只有44.25%且对FEI的Arc2Morph反转(88.4%)。反转集中于扩散攻击:DCMorph/MorDIFF/Arc2Morph上分别有11/10/8种方法 $S<0$。最强反转是FROQ在DCMorph上 $S=-2.29$、D-EER 94.90%;若按攻击反转可得5.10%、好于最佳者(GraFIQs(L) 9.20%),但需攻击知识。GraFIQs(L)在DCMorph/Arc2Morph最佳(9.20%/5.66%)却在关键点/GAN攻击达37.7–61.2%。FIQA排名与MAD排名仅中度相关($\rho=0.54/0.55$)。阈值不迁移:FRLL阈值用于FEI时BSCER达100%,反向则BSCER=0%、MACER 90.9–98.1%。FRLL 136对中52对、FEI 204对中74对的morph比真人更易过阈值。

DET curves (MACER over BSCER, normal deviate scale) on the FRLL attacks for the four methods with the lowest mean D-EER on FRLL. Dotted: operating point BSCER = 20%.
Fig. 2: DET curves (MACER over BSCER, normal deviate scale) on the FRLL attacks for the four methods with the lowest mean D-EER on FRLL. Dotted: operating point BSCER = 20%.
DET curves on the FEI attacks for the four methods with the lowest mean D-EER on FEI, as in Fig. 2.
Fig. 3: DET curves on the FEI attacks for the four methods with the lowest mean D-EER on FEI, as in Fig. 2.
FIQA rank over MAD rank (mean D-EER) of the 14 methods with a FIQA evaluation, with the Spearman correlation of Sec. V-A. Dashed: identical ranks.
Fig. 5: FIQA rank over MAD rank (mean D-EER) of the 14 methods with a FIQA evaluation, with the Spearman correlation of Sec. V-A. Dashed: identical ranks.
Signed separation S (Eq. (1)) of all methods and attacks on FRLL and FEI. Blue marks morphs with lower quality than bona fide images (expected direction), and red marks a reversal.
Fig. 6: Signed separation S (Eq. (1)) of all methods and attacks on FRLL and FEI. Blue marks morphs with lower quality than bona fide images (expected direction), and red marks a reversal.
D-EER (%) of all methods and attacks on FRLL and FEI (Tabs. III and IV). Blue marks values below 50%, and red marks values above 50%, i.e. a reversed ordering.
Fig. 7: D-EER (%) of all methods and attacks on FRLL and FEI (Tabs. III and IV). Blue marks values below 50%, and red marks values above 50%, i.e. a reversed ordering.
Histograms of the direction-normalized scores qm: DifFIQA(R), FROQ, and GraFIQs(L) on the FRLL bona fide images and two attacks each, and DifFIQA(R) on the bona fide images of FRLL and FEI with the threshold τm set at BSCER = 20% on each dataset (dashed).
Fig. 9: Histograms of the direction-normalized scores qm: DifFIQA(R), FROQ, and GraFIQs(L) on the FRLL bona fide images and two attacks each, and DifFIQA(R) on the bona fide images of FRLL and FEI with the threshold τm set at BSCER = 20% on each dataset (dashed).
Distribution of the direction-normalized score qm of every method on the FRLL bona fide images (BF) and each FRLL attack. The box spans the interquartile range, the line marks the median, and the whiskers mark the 5th and 95th percentiles. Dashed: threshold τm at BSCER = 20%.
Fig. 10: Distribution of the direction-normalized score qm of every method on the FRLL bona fide images (BF) and each FRLL attack. The box spans the interquartile range, the line marks the median, and the whiskers mark the 5th and 95th percentiles. Dashed: threshold τm at BSCER = 20%.
查看结构化数据
任务指标本文基线提升
FRLL 8个攻击集的免训练morph检测(17种FIQA中的最优者) 平均 D-EER(附平均MACER@BSCER=20%) DifFIQA(R):11.42%(MACER 10.75%) 次优FIQA CLIB-FIQA 16.99%;无信息分数≈50%;训练检测器SelfMAD++ 13.05% 较次优FIQA低5.57个百分点,且优于训练检测器SelfMAD++,全程未用任何morph数据
FEI 12个攻击集的免训练morph检测 平均 D-EER ViT-FIQA(T):39.75%(MACER 58.96%) 随机分数≈50%;SelfMAD++ 29.56% 接近随机水平,说明该方法在此数据域无法实用
FRLL扩散攻击DCMorph单攻击检测 D-EER 最佳GraFIQs(L) 9.20%;最差FROQ 94.90%($S=-2.29$ 强反转) 同攻击17种方法中位数59.00% 同一攻击上方法间差距近90个百分点,揭示性能的极强攻击依赖性
FIQA性能排名预测MAD性能排名 Spearman ρ(14种方法) 0.54(FRLL)/ 0.55(FEI) 完全预测=1.0 仅中度相关,留一法后8/14(FRLL)与9/14(FEI)个方法使相关性失去显著性
跨数据集阈值迁移(FRLL→FEI,仅用真实图像设阈值) 目标域BSCER DifFIQA(R)与CLIB-FIQA均达100% 目标域内自设阈值为20% 完全失效(反向迁移BSCER=0%、MACER 90.9%/98.1%),证明阈值强依赖真实数据域

局限与改进

作者承认的局限:两个真实集很小(FRLL 204张/102人,FEI 200张/200人),置信区间相应偏宽,FEI上最佳方法彼此无法可靠排序(ViT-FIQA(T)的CI与随后4个方法重叠);BSCER=20%操作点是为对齐SYN-MAD 2022基准而设,并非面向部署的配置;MorDIFF与Arc2Morph攻击是作者用原作者代码默认设置复现的,FEI各集按提供方原样使用,FRLL与FEI的Arc2Morph实现可能有差异,跨数据集的反转对比并非严格同源;两数据集在采集设备、分辨率与被试上不同,实验未能分离造成分数偏移的具体原因。我的补充观察:评估仅在112×112对齐的受控高质量正面图上进行,未涉及压缩、打印-扫描、重拍等真实证件流程;确认“最佳FIQA方法”本身用到了本次评估的攻击标签(DifFIQA(R)的冠军身份无法在部署时仅凭真实数据确定,作者也承认这一点仍未解决);参照检测器SelfMAD++在非原生的112×112输入上运行,其参考值可能低估了训练检测器的真实水平。

独立分析的弱点

第一,方法选择困境:DifFIQA(R)在FRLL以11.42%封王,在FEI却只有44.25%且对Arc2Morph反转(88.4%),说明“哪个FIQA方法适合当检测器”强烈依赖攻击与数据域,而协议又禁止用攻击数据选方法——这是部署层面的根本矛盾。改进方向:仅用真实数据做域内校准(例如检验真实分数分布与FIQA基准行为的一致性),或集成多种分数投票以降低单一方法方向反转的风险。第二,阈值不可迁移:DifFIQA(R)真实分数均值在FRLL为0.93、FEI为0.86,直接搬阈值导致BSCER在0%与100%之间翻转。改进:在目标域留出的真实集上重新校准阈值,或学习域无关的分数归一化。第三,扩散攻击反转机理不明:“morph无融合伪影所以质量更高”的假说无法解释同样无伪影的MIPGAN攻击仅有2次反转。改进:从纹理、频谱、身份属性等角度解剖扩散morph,弄清FIQA分数为何升高,进而设计对morph敏感的质量度量。第四,鲁棒性未测:全文未评估压缩、低分辨率、打印-扫描等退化条件下结论是否成立,而这恰是护照流程的真实工况。

未来方向

作者提出的方向:研究在目标域留出真实图像上校准的阈值能否泛化到该域的新图像;探究FIQA方法的哪些内在性质决定其对morph的响应方向(为何GraFIQs(L)与FROQ同属FR探测类却方向相反);由于FIQA通常前置在MAD之前用于剔除低质量样本,建议在“带质量剔除”与“不带质量剔除”两种条件下重新评估训练型MAD检测器。基于本文成果可延伸的工作:把带符号分离度 $S$ 用作线上监控信号,当观测到 $S<0$ 时提示出现了新的攻击族并触发检测器更新;将质量分数与训练检测器做级联门控或分数融合,兼取免训练信号的速度与训练检测器的精度;在差分MAD(有可信现场采集作对照)中检验质量信号的增量价值;把评估扩展到压缩与再数字化后的图像以及更多国家护照级数据集,检验反转现象在真实流程中的普遍性。

复现评估

复现条件较好。模型侧:17种FIQA方法全部是有公开权重的发布模型(如DifFIQA(R)、CLIB-FIQA、GraFIQs(L)等),参照检测器SelfMAD++也使用发布权重;所用FR骨干(ArcFace ResNet-100、AdaFace IR-101/ViT)均随方法发布。数据侧:MAD22/FRLL公开(FRLL原始人脸集为CC BY 4.0),FEI-Morph V3按论文渠道获取,MorDIFF与Arc2Morph用原作者代码默认设置生成。协议侧:预处理(MTCNN对齐112×112+各方法自带处理)、指标(D-EER、MACER@BSCER=20%、FDR/S、1000次身份级bootstrap)都与ISO/IEC 20059和SYN-MAD 2022对齐,附录逐格给出全部340个方法-攻击对的数值与分数分布,透明度很高。论文未提供统一代码仓库,复现需自行拼装17个模型与20个攻击集并精确对齐预处理,工程量中等;计算上纯推理、无训练,单GPU即可,唯DifFIQA类方法需扩散扰动、速度较慢。总体难度中等偏易,主要成本在数据获取与模型组装。

相似论文推荐