StyleID：面向风格无关人脸身份识别的感知感知数据集与度量方法

用人眼校准的感知数据训练风格鲁棒的人脸身份识别器

前置知识

ArcFace 加性角度间隔损失

在人脸识别中，将人脸特征投影到超球面上并对真实类别施加一个额外的角度余量 $m$，迫使同类样本在角度空间内聚拢、异类样本被推开。其核心 logit 为 $\cos(\theta_{y_i}+m)$，等价于在类别中心之间建立固定的 angular margin，从而形成清晰的 angular 决策边界。这篇工作的 StyleID 直接沿用了 ArcFace 的 $\mathcal{L}_{ang}$ 作为类级别约束。

本文要解决的核心问题是'风格化后能不能用现有人脸识别器'，而 ArcFace 是最常用的基线，理解它的优化目标和失效模式（对纹理/色彩过敏感）才能体会作者为什么要换成 CLIP+感知数据。

CLIP 与 LoRA 低秩适配

CLIP 通过对比学习在大规模图文对上预训练出与语言对齐的视觉编码器，对外观变化、纹理差异表现出较好鲁棒性。LoRA 则在冻结原有权重的前提下，在注意力层和线性层注入可训练的低秩矩阵 $W' = W + BA$（$B,A$ 的秩远小于 $d$），只用少量参数即可让大模型适配下游任务。本文正是借助 CLIP-L 作为骨架，用 LoRA 把它的表征空间拉向'人类感知下的身份一致性'。

StyleID 的核心思路就是'用 CLIP 的语义鲁棒性打底，再用感知数据微调出风格不变的身份表征'，不理解 CLIP 和 LoRA 就读不懂 backbone selection 与三条损失函数的设计逻辑。

心理测量函数（Psychometric Function）

心理测量函数描述人类在某种连续刺激强度下的辨别/识别正确率，典型形式是 S 形曲线（sigmoid 或 Weibull）。本文以风格化强度 $s$ 为横轴、人眼识别准确率为纵轴，为每种方法×风格画一条曲线，从而把'强度参数'转译成'人类可识别的概率'。只有当概率超过 90% 时，对应样本才被选入 StyleBench-S 的'感知正样本'。

整篇工作最关键的创新就是把主观人类判断转成可量化的概率阈值，这是 StyleBench-S 大规模合成数据的根基，也是 StyleID'感知对齐'的来源。

2AFC 双选强制选择实验范式

2AFC（Two-Alternative Forced Choice）给受试者呈现两个候选，强制选择其一，通过统计正确率反映感知能力。在本文中，受试者看一张源图和两张风格化图（一张同身份、一张干扰项），要求选出与源图同身份的一张；该正确率即为人眼在某个强度下的识别概率。这种范式比简单的'是/否'判定更稳定、噪声更小。

StyleBench-S 的合成阈值完全基于 2AFC 实验的校准数据，没有这个实验设计就无法规模化生成带感知标签的监督样本。

研究动机

随着 ChatGPT、Gemini 等多模态模型以及 Stable Diffusion、Flux 等扩散/流匹配模型的爆发，把人脸变成动漫、油画、像素风、赛博朋克已成为消费级 App、虚拟分身平台和专业内容流水线的常见功能。然而，几乎所有被广泛复用的身份度量器（ArcFace、AdaFace、CLIP、ArcFace-AntelopeV2 等）都是用自然人像数据集（MS1MV2、VGGFace2、LAION-FACE 等）训练和校准的，输入分布一旦偏移到风格化图像就会出现两类典型失效：把纹理/调色板的剧烈变化误判为身份漂移（高假阳性），或在几何被夸张时反而判不出真实身份漂移（漏检）。论文用具体数字展示了这种偏离——例如 ArcFace 在 StyleBench-H 的 Cross-Method 切分上 TPR@10⁻² 仅 0.3721，几乎相当于随机猜；CLIP 仅 0.2560、SigLIP2 仅 0.1736。同时，现有的 StylizedFace 训练集只用了单一强度、不校准人类判断、且未开源。开发者因此无法判断哪家风格化系统保留身份更好，研究者也获取不到和人类感知对齐的训练监督。

本文的目标是本文的具体目标有三：(1) 构建一个由人类判断驱动、把'风格化方法'和'风格化强度'作为显式变量的感知基准 StyleBench-H，用于揭示现有度量器与人类判断的不一致；(2) 基于人类校准的心理测量函数大规模合成带感知标签的训练集 StyleBench-S（约 220k 图像对，4073 个身份），让'感知一致性'可以被规模化学习；(3) 训练一个在多种风格、多种强度、跨方法、跨艺术家手绘草图上都能与人类判断保持一致的识别模型 StyleID，并证明它可以作为现有风格化框架（如 JoJoGAN）的即插即用身份损失。

与已有工作不同的是，本文的独特切入角度是把'风格化下的身份一致性'从纯算法问题重塑为'人类感知对齐问题'。区别于 StylizedFace 只用单一强度、不校准人类判断的合成训练，也区别于 CLIP/ArcFace 这类'在自然人像上自训一套度量'的路径，StyleID 的关键在于：先用人眼 2AFC 实验绘制风格化强度→人类识别率的 S 形曲线，再据此阈值筛出'人眼认为还认得出'的合成正样本，并以 CLIP-L 视觉编码器为骨架、LoRA+ArcFace+有监督对比+正则化三项损失联合优化，把 CLIP 的语义鲁棒性与 ArcFace 的判别几何嫁接起来，从而在风格、强度、方法、艺术家分布四个维度上同时获得'贴近人类'与'几何可分'两类性质。

核心方法

StyleID 的整体思路是'先感知校准、再规模化合成、最后轻量微调'。直觉上，'身份是否保留'本质上是主观感知问题，单靠算法在自然人像上学到的纹理相似度无法回答。因此作者先用可控的风格化管线（IP-Adapter、InstantID、InfiniteYou 三家扩散/流匹配方法各配 10 种艺术风格 ×7 档强度）批量生成风格化人脸，再让 70 名受试者做 same/different 判定，收集 6088 条响应并筛得 3551 条高质量数据点，构成 StyleBench-H 基准，既用来评测现有度量器，也提供人类感知信号的下界。接下来用 2AFC 范式让 76 人做校准研究，为每个方法×风格组合画出识别率随强度下降的 S 形心理测量函数，把所有'人眼识别率 ≥90%'的风格化组合标记为感知正样本，由此生成 StyleBench-S（含 4073 个身份、每个 55 张图，共约 224k 张）。最后选用 CLIP-L 视觉编码器为冻结骨架，用 LoRA（秩=8，注入 self-attention 与 linear 层）做轻量适配，头部接 ArcFace 风格的角度间隔头联合 $\mathcal{L}_{ang}+\mathcal{L}_{scon}+\mathcal{L}_{reg}$ 三项损失，得到的 StyleID 在多种风格上都能与人类判断保持高度一致。

StyleID 的核心创新是与已有方法的本质区别可以概括为'两个对齐+一个骨架切换'。第一个对齐是感知对齐：训练标签不再是真实人脸分类或自然人像对，而是用人眼心理测量函数阈值过滤出来的'人类认为还认得出'的合成对，模型直接以人类判断作为优化目标。第二个对齐是风格条件对齐：作者观察到同一归一化强度 $s=0.5$ 在 IP-Adapter、InstantID、InfiniteYou 以及不同艺术风格上对应的人眼识别率差异巨大（IP-Adapter 在 Pixar 风格下急剧下降，而 InstantID/InfiniteYou 缓慢下降），因此按方法×风格分别校准阈值，而不是用一个全局阈值。第三个骨架切换是用 CLIP-L 替代 ArcFace 作为基编码器，因为 CLIP 在开放词汇图文对上训练过，对外观变化、纹理偏移天然更鲁棒；在此基础上 LoRA+正则项避免灾难性遗忘，三项损失同时保证类级 angular 边界、实例级对比分离、和对 CLIP 原流形的靠近。

方法步骤详情

StyleID 的方法分为五个步骤。(1) 构建可控风格化管线：用 IP-Adapter（强度 $s_{ip}\in[0,1]$）、InstantID（$s_{id}$）、InfiniteYou（$s_{inf}$，flow-matching）三家扩散/流匹配方法，对每张源人脸生成 10 种艺术风格 ×7 档离散强度的风格化图，强度统一归一化为 $s\in[0,1]$。(2) StyleBench-H 人类标注：70 名受试者（68 有效、每人 91 题）做 pairwise verification 判定，按延迟与一致性过滤后保留 3551 条样本，并切出 Cross-ID、Cross-Style、Cross-Method（引入未训练过的 MTG、Flux.2）三种评测切分。(3) StyleBench-S 合成：用 2AFC 范式对 76 名受试者（72 有效）做校准研究，为每个方法×风格组合在 7 档强度上拟合 sigmoid 心理测量函数，仅当人类识别率超过 90% 时标记为感知正样本，最终为 4073 个身份各生成 55 张图，约 224k 张。(4) StyleID 训练：冻结 CLIP-L 视觉编码器、注入 LoRA（秩=8，self-attention 与 linear 层），用 56 身份 ×2 样本/身份的 minibatch（batch=112）训 30k 步，损失 $\mathcal{L}=\mathcal{L}_{ang}+\lambda_{scon}\mathcal{L}_{scon}+\lambda_{reg}\mathcal{L}_{reg}$，其中 $\mathcal{L}_{ang}$ 为 ArcFace 角间隔损失（margin 0.5、scale 32）、$\mathcal{L}_{scon}$ 为有监督对比损失（$\lambda_{scon}=0.6$）、$\mathcal{L}_{reg}$ 为相对冻结 CLIP 的 $\ell_2$ 正则（$\lambda_{reg}=0.1$），AdamW 优化器、学习率 $2e-4$。(5) 部署评测：在 StyleBench-H、SKSF-A、LFW 上做 TPR/AUROC 评测，并在 SKSF-A 做检索、14 视角姿势鲁棒性测试，以及作为 JoJoGAN 的身份损失做下游风格化增强。

技术新颖性

从技术新颖性看，本文的贡献主要有三处独到设计。第一，把'心理测量函数→感知阈值→合成训练集'这条链路显式引入到人脸身份识别领域：作者明确指出不同方法（IP-Adapter、InstantID、InfiniteYou）和不同艺术风格下'识别率随强度的衰减斜率差异极大'，并据此按方法×风格分别设阈，这比 StylizedFace 用单一强度训练更精细，也比直接在风格化数据上做分类更贴合人类判断。第二，选用 CLIP-L 而非常规人脸识别网络作为骨架，并通过 $\mathcal{L}_{reg}$ 把 LoRA 适配后的表征约束在 CLIP 原流形附近，从而在不破坏 CLIP 语义鲁棒性的前提下加入身份判别力，这一点有别于 ArcFace-Adapter 或 AdaFace-Adapter 一类'在原 ArcFlow 上加约束'的做法。第三，把感知校准的评估闭环与可规模化的监督生产闭环捆绑——同一份 StyleBench-H 既被用于揭示现有度量器的缺陷，也被用于支撑下游生成管线的优化（如 JoJoGAN+StyleID），实现了'基准→数据→模型→应用'的贯通，这在人脸风格化社区是首创。

**Fig. 2**: Example data generated for stylization from weaker to stronger stylization strengths. As the stylization strength increases, identity preservation decreases. The first row shows results from IP-Adapter, and the second row shows results from InfiniteYou.

**Fig. 4**: StyleBench-H dataset filtering pipeline.

**Fig. 5**: Recognition accuracy as a function of stylization strength on StyleBench-S. The x-axis denotes stylization strength and the y-axis denotes recognition accuracy. The first row shows the Pixar style across three methods, and the second row shows three different styles generated by Instant-ID.

**Fig. 6**: Comparison between StyleBench-S samples selected with a 90% threshold and those selected with a lower threshold (70%).

**Fig. 7**: StyleID training overview. While the angular margin loss is computed with respect to class centers and the supervised contrastive loss is computed with positive-negative pairs rather than individual samples, we visualize it using sample-level relationships for simplicity.

**Fig. 15**: Full recognition accuracy against stylization strength for StyleBench-S. The stylization strength and style above threshold to generate StyleBench-S are circled in red.

实验结果

实验围绕 5 张主表与 3 类消融展开，StyleID 在感知对齐、跨方法泛化、检索一致性、下游生成四个维度都明显优于现有基线。表 1（StyleBench-H）显示 StyleID 在 Cross-ID 上 TPR@10⁻²=0.9020（vs ArcFace 0.7649、CLIP 0.2560、SigLIP2 0.1736、StylizedFace 0.8878），Cross-Style 上 TPR=0.9255（vs StylizedFace 0.8617），最难的 Cross-Method（含未训练过的 MTG、Flux.2）上 TPR=0.7444 相对 StylizedFace 0.5030 提升 +48%、相对 ArcFace 0.3721 提升 +100%。表 2 在艺术家手绘 SKSF-A 上 StyleID TPR=0.8891（vs ArcFace 0.6189、StylizedFace 0.4840），AUROC=0.9922，是唯一在 0.5 阈值下仍有 0.6178 Acc 的模型。表 4 消融显示去掉 $\mathcal{L}_{ang}$ 后 TPR 由 0.9020 降到 0.8670，去掉 $\mathcal{L}_{scon}$ 后 SKSF-A Acc 由 0.7393 降到 0.7164，证明两项损失互补。表 7/8 把 StyleID 作为 JoJoGAN 身份损失替换 ArcFace 后，GPT-5.4 Id/Exp/Qual 偏好率由 0.30/0.30/0.45 提升到 0.70/0.70/0.55，15 人用户研究 Id/Exp/Qual 由 0.097/0.08/0.143 提升到 0.903/0.92/0.857，证明 StyleID 还能作为更强的生成监督。

**Table 1**: Comparison with baselines on StyleBench-H.

**Table 2**: Comparison with baselines on SKSF-A.

**Table 3**: Results of backbone replacement experiments on StyleBench-H Cross-ID and SKSF-A.

**Table 4**: Ablation study results on StyleBench-H Cross-ID and SKSF-A.

**Table 5**: Average accuracy in the retrieval test.

**Table 6**: Pose robustness evaluation using cosine similarity across 14 viewpoints.

**Table 7**: Quantitative evaluation of stylization fidelity and GPT-5.4 preference.

**Table 9**: Evaluation on the LFW benchmark for natural-face verification.

**Table 10**: Results of backbone replacement experiments on StyleBench-H and SKSF-A. (AntelopeV2 comparison)

**Table 11**: Results of Baseline comparison with additional metrics. (TPR at multiple FPR operating points)

**Fig. 8**: Performance versus computational cost for StyleID variants across datasets.

**Fig. 9**: Retrieval results of top 4 nearest identities from SKSF-A dataset. Left: retrieval results from human face image. Right: retrieval results from stylized sketches.

**Fig. 10**: Application of StyleID to JoJoGAN. The original JoJoGAN using ArcFace fails to isolate style from color and introduces artifacts such as showing teeth. By adopting StyleID, the model successfully transfers the target style while maintaining the original color distribution and producing artifact-free results.

**Fig. 13**: Full Receiver Operating Characteristic (ROC) curves on both linear and log scales.

**Fig. 14**: Examples from the user study. Participants were asked to choose which of the two stylized images better preserves the identity of the source image.

查看结构化数据

任务	指标	本文	基线	提升
StyleBench-H Cross-ID 身份验证	TPR@FPR=10⁻²	0.9020	0.7649 (ArcFace)	+17.9%（对 ArcFace），+1.6%（对 StylizedFace 0.8878）
StyleBench-H Cross-Style 身份验证	TPR@FPR=10⁻²	0.9255	0.8617 (StylizedFace)	+7.4%（对 StylizedFace），+8.7%（对 ArcFace 0.8511）
StyleBench-H Cross-Method 身份验证	TPR@FPR=10⁻²	0.7444	0.5030 (StylizedFace)	+48.0%（对 StylizedFace），+100%（对 ArcFace 0.3721）
SKSF-A 艺术家手绘草图身份验证	TPR@FPR=10⁻²	0.8891	0.6189 (ArcFace)	+43.6%（对 ArcFace），+83.7%（对 StylizedFace 0.4840）
SKSF-A 艺术家手绘草图身份验证	AUROC	0.9922	0.9360 (ArcFace)	+6.0%（对 ArcFace），+8.3%（对 StylizedFace 0.9163）
JoJoGAN 风格化下游身份保留（GPT-5.4）	GPT-Id preference	0.70	0.30 (JoJoGAN+ArcFace)	+133%（偏好比由 30/70 反转为 70/30）
LFW 自然人脸验证（自然域转移性）	TPR@FPR=10⁻²	0.9526	0.9970 (ArcFace)	-4.5%（按设计 StyleID 主攻风格化域，自然人像逊于专用 ArcFace，但仍在可用水平）

局限与改进

作者在 Limitations 部分明确承认三点：(1) StyleBench-H 受限于人工标注成本，规模仅 3551 个数据点，且受试者人口学偏向'年轻、白人'群体，对其他种族/年龄段/文化美学的覆盖不足，可能导致训练出的 StyleID 对欠代表身份存在偏差；(2) StyleBench-S 是由心理测量函数阈值筛出的合成数据，可能无法完全反映真实艺术家的多样性，纯合成监督在遇到艺术家手绘草图时虽然表 2 结果已经不错，但仍可能错过一些极端艺术风格；(3) StyleID 主要建模'风格化下的身份一致性'，并未显式覆盖极端姿态或遮挡，作者在数据筛选阶段主动排除了大幅头动与多人图像以提高标注一致性，这会牺牲极端条件下的鲁棒性。我自己的额外观察是：(a) Cross-Method 切分下 TPR 0.7444 虽远高于基线但相比 Cross-ID 的 0.9020 仍有显著回落，说明在完全未见过的扩散/流匹配方法上仍有改进空间；(b) StyleID 在 LFW 上 TPR 0.9526 比 ArcFace 0.9970 低 4.4%，风格化训练带来了一定的自然域性能回吐；(c) LoRA 秩固定为 8，没有探索更高秩或 full-parameter 适配是否带来边际收益；(d) StyleBench-S 的 90% 阈值是经验值，阈值敏感性分析并未完整呈现。

独立分析的弱点

通过独立审视论文实验，我认为 StyleID 主要存在四个可改进的弱点。第一个弱点是人口学偏差：StyleBench-H 受试者平均年龄 29.0、且样本明显偏向白人年轻面孔（FFHQ 的人口学特征），这会让 StyleID 在老年人、深肤色、东亚/南亚面孔上的识别性能回退，改进方向是按种族/年龄分层采样并报告分群指标。第二个弱点是阈值设定的脆性：90% 是基于'2AFC 任务里受试者会借助粗语义判断'的经验值，对 IP-Adapter 这种衰减极陡的方法可能太严、对 InfiniteYou 又可能太松，改进方向是引入自适应阈值或同时训练多阈值模型。第三个弱点是 Cross-Method 仍有较大下降：从 0.9020 到 0.7444 的 TPR 落差说明模型对'方法机制'仍有依赖，未来可以通过加入'方法无关'的数据增强或显式 disentangle method-specific 特征来弥补。第四个弱点是轻量化的精度回吐：StyleID_tiny（B/32 骨干）相比完整版 GFLOPs 降低 20× 但性能也明显下降，若要在手机端部署仍需进一步蒸馏或量化。

未来方向

作者提出的未来方向集中在四点：(1) 扩展 StyleBench-H 到更多艺术风格、文化美学和人口学属性，以提升基准普适性；(2) 在 StyleBench-S 之外引入更多真实艺术家手绘数据，探索'人机混合'监督；(3) 扩展到姿态、遮挡等更广义的鲁棒性维度；(4) 集成多模态监督（如语言描述的身份线索）。基于本文已展示的成果，我看到的可延伸方向还包括：(a) 把感知校准机制推广到非人脸场景，如宠物、产品 Logo、IP 角色识别，构建通用的'style-agnostic identity'框架；(b) 把 StyleID 作为扩散/流匹配风格化管线中的在线感知奖励信号，结合 RLHF/DPO 做风格化模型的偏好对齐；(c) 探索 StyleID 嵌入空间的可视化与可解释性，对比它与 ArcFlow 的几何差异以解释'为什么 CLIP+LoRA 更鲁棒'；(d) 联合训练风格化生成器与 StyleID，让 StyleID 的梯度直接优化生成器，闭环得到'人类感知对齐的风格化模型'。

复现评估

StyleID 的复现评估整体偏友好：作者明确承诺所有数据集（StyleBench-H、StyleBench-S）、代码、预训练模型将在论文接收后公开；训练侧超参全部给出——CLIP-L 骨干、LoRA 秩 8、ArcFace margin=0.5/scale=32、$\lambda_{scon}=0.6$、$\lambda_{reg}=0.1$、AdamW 学习率 $2e-4$、batch=112、30k 步；算力门槛是单卡 NVIDIA A6000（约 48GB 显存），单卡训练 30k 步在常规规模下可在几天内完成。数据侧需要 FFHQ 源图、三种扩散模型（IP-Adapter、InstantID、InfiniteYou）的推理权限以及 GPT-5.4 API（用于 JoJoGAN 评估），人眼校准实验需要重新招募受试者，但作者给出了完整问卷界面（Fig. 11、Fig. 12）以便复现或扩展。难度评估：纯算法复现门槛低，但完整复现 StyleBench-S 的感知校准需要组织 72 人级别的人眼实验，这是最大的实际门槛。值得指出的是，StylizedFace 原文未公开代码与数据集，本文对它的复现是'按论文描述自己实现'的，因此两者的对比结论需以这个事实为前提。

StyleID：面向风格无关人脸身份识别的感知感知数据集与度量方法 StyleID: A Perception-Aware Dataset and Metric for Stylization-Agnostic Facial Identity Recognition