ExposeAnyone：个性化的音频-表情扩散模型是鲁棒的零样本人脸伪造检测器 ExposeAnyone: Personalized Audio-to-Expression Diffusion Models Are Robust Zero-Shot Face Forgery Detectors
通过音频-表情扩散模型的个性化重建误差实现自监督人脸伪造检测
前置知识
去噪扩散概率模型（DDPM）
DDPM 是一类生成模型，其工作原理分为两个阶段：前向过程逐步向干净数据添加高斯噪声直至变为纯噪声，反向过程则训练一个神经网络预测并去除噪声以恢复原始数据。训练目标是最小化预测噪声与实际添加噪声之间的均方误差 $\mathcal{L} = \mathbb{E}_{t,\epsilon}[\|\epsilon - \epsilon_\theta(z_t, t)\|_2^2]$。在本文中，扩散模型不是用于生成图像，而是用于从音频条件生成面部表情系数序列，其核心作用是通过重建误差来判断输入视频是否属于特定人物。
本文的整个检测框架建立在扩散模型的重建能力之上——模型对真实视频能很好地重建表情，而对伪造视频则产生较大的重建误差，理解这一机制是读懂全文的基础。
3DMM（三维可变形模型）与 FLAME
3DMM 是一种将人脸表示为一组低维参数的统计模型，FLAME 是其中一种广泛使用的变体，它将人脸表示为形状参数 $\alpha$、表情参数 $\beta$ 和姿态参数 $\gamma$ 的压缩系数集合 $\omega = (\alpha, \beta, \gamma) \in \mathbb{R}^{|\alpha|+|\beta|+|\gamma|}$。本文提取其中 50 个主表情参数和 3 个下颌姿态参数，组成 53 维的表情系数向量 $z \in \mathbb{R}^{53}$。使用 3DMM 的好处是可以将面部运动从像素空间解耦到参数空间，从而专注于表情变化而非外观细节。
论文的关键设计之一是将检测问题转化为 3DMM 表情系数空间的重建问题，而非在像素空间操作。这使得模型对视频压缩、模糊等像素级扰动具有天然的鲁棒性。
内容无关认证（Content-Agnostic Authentication）
这是本文提出的核心检测机制。直接使用带个性化适配器的重建损失作为判别标准是不够的，因为不同视频内容（说什么话、怎么说话）本身就会导致重建误差的剧烈波动。本文的做法是计算两个重建误差的比值：分子是带身份适配器的重建误差，分母是不带身份适配器的重建误差。分母起到自适应缩放的作用，消除了内容差异带来的方差，使得最终的认证分数能够更纯粹地反映身份差异。
这一设计是本文区别于所有先前方法的关键创新。没有它，模型无法有效区分真实视频和高质量伪造视频，消融实验证明其 AUC 从约 59-61% 提升到 93.45%。
FiLM 与 TiLM 条件注入
FiLM（Feature-wise Linear Modulation）是一种通过逐元素缩放和平移来注入条件信息的技术，形式为 $y_l = x_l \odot s(a_l) + m(a_l)$，其中 $s$ 和 $m$ 是由条件信号生成的缩放因子和偏移因子。TiLM（Time- and Feature-wise Linear Modulation）是本文对 FiLM 的序列化扩展，将其从单点条件扩展到序列条件建模。相比交叉注意力机制的时间复杂度 $O(L^2)$，TiLM 的时间复杂度仅为 $O(L)$，更适合处理长序列。
TiLM 是 EXAM 模型的核心架构创新，它高效地将音频序列信息注入到 Transformer 的每一层中，决定了模型能否准确地将语音内容映射到对应的面部表情。
个性化适配器（Adapter Token）
借鉴 LLaMA-Adapter 的思路，为每个特定人物分配一组可学习的 token 序列 $c_{1:N} \in \mathbb{R}^{N \times C}$，通过额外的线性层 $W_k$ 和 $W_v$ 投影后拼接到 Transformer 自注意力层的 key 和 value 序列中。公式为：$h_{1:L}^i = \text{Attention}(q_{1:L}^i, [k_{1:L}^i, \tilde{k}_{1:N}], [v_{1:L}^i, \tilde{v}_{1:N}])$，其中 $\tilde{k}_{1:N} = W_k c_{1:N}$，$\tilde{v}_{1:N} = W_v c_{1:N}$。每个主体只需存储 528,384 个参数（C=512, N=8），这使得模型可以高效地适配大量不同人物。
适配器机制使得预训练模型的知识得以保留（避免灾难性遗忘），同时能够高效地学习每个特定人物的说话风格和面部动态特征，这是实现零样本伪造检测的前提。
研究动机
当前人脸伪造检测方法面临的核心挑战是泛化能力不足。监督方法在 FaceForensics++ 等数据集上训练时，会不可避免地过拟合到训练集中特定的伪造模式（如特定的脸部交换或重演伪影），导致面对未见过的伪造类型时性能急剧下降。例如，AltFreezing 在 DFDCP 数据集上 AUC 仅为 69.33%，DFD-FCG 在 IDForge 上仅为 77.56%。伪监督方法（如 SBI 通过合成伪假样本）虽然在某些基准上有所改善，但仍受限于预定义的伪造模式范围。自监督方法试图摆脱对伪造样本的依赖，但现有工作（如 OC-Fakedect、SpeechForensics）难以仅从自监督目标中学到有区分性的表示，因为单个音频片段可以对应多种合理的视觉模式，反之亦然，这使得检测高度同步的深度伪造视频变得极其困难。现有参考辅助方法（如 ID-Reveal、POI-Forensics）虽然利用参考视频，但缺乏通用先验知识，且依赖身份标注数据集进行预训练，性能受限。
本文的目标是本文提出一个全新的检测范式 ExposeAnyone，目标是完全不依赖任何真实或伪伪造样本，实现对未见过伪造类型的有效检测。具体目标包括：（1）在传统深度伪造基准（DF-TIMIT、DFDCP、KoDF、IDForge）上达到超越现有最先进方法的平均 AUC；（2）能够检测最前沿的 Sora2 生成的个性化视频（Cameo 功能），现有方法对此几乎无能为力；（3）在视频压缩、模糊等常见真实世界退化场景下保持高鲁棒性，确保方法在实际应用中的可行性。
与已有工作不同的是，本文的独特切入角度在于将人脸伪造检测问题重新定义为说话身份一致性验证问题。不同于在像素空间或语义空间寻找伪造痕迹，本文观察到：一个为特定人物训练的音频-表情扩散模型能够捕捉该人物独特的说话风格和面部动态特征——真实视频中该人物的说话模式与模型学到的分布一致，而伪造视频（即使是高质量的）无法完美模仿这种个性化的说话身份。这种基于身份差异的检测视角是操作不变的（manipulation-invariant），即无论伪造方法如何演进，只要它无法完美复制目标人物的说话身份特征，就能被检测到。同时，本文是第一个同时满足自监督训练、通用先验学习、和个性化适配三个关键特性的方法，而先前方法最多只能满足其中两个。
核心方法
ExposeAnyone 的方法可以用一个直观的类比来理解：就像一个人可以很快学会听出朋友的声音和说话习惯一样，本文的扩散模型通过学习大量说话视频后，能够建立一个关于'人如何说话'的通用先验知识；然后通过个性化适配，这个模型能精确捕捉特定人物独特的说话身份（如嘴巴动作的节奏、表情的幅度等）。检测时，如果一个视频中的人物说话方式与模型学到的身份一致，则判断为真实；否则判断为伪造。技术路线上，首先使用 Wav2Vec 2.0 编码音频信号，然后基于 Diffusion Transformer（DiT）架构构建 EXAM 模型，通过 TiLM 条件注入机制将音频信息融合到 Transformer 每一层中。模型以 FLAME 3DMM 的 53 维表情系数序列为输出空间，学习从音频到表情的映射关系。整个流程分为三个阶段：预训练（学习通用先验）→ 个性化（适配特定人物）→ 认证（通过重建误差比值检测伪造）。
本文最本质的创新在于提出了内容无关认证机制，这解决了自监督检测方法面临的核心矛盾：如何在没有伪造样本的情况下，将模型学到的说话身份知识转化为有效的伪造判别信号。直接使用扩散模型的重建损失作为检测标准是行不通的，因为重建误差受到视频内容（说什么话、用什么语气）的强烈影响，导致同一人物的真实视频之间重建误差差异也很大。本文的关键洞察是：虽然绝对重建误差因内容而异，但带身份信息和不带身份信息的重建误差的比值可以消除内容差异的影响。具体来说，当视频中的人物与个性化目标一致时，带适配器的重建误差会小于不带适配器的（因为适配器提供了额外的身份信息帮助重建）；而当视频是伪造的时，适配器提供的身份信息与实际内容不匹配，导致带适配器的重建误差反而更大或两者接近。这种比值式设计将检测信号从绝对误差转变为相对误差，使得方法对视频内容高度鲁棒。
方法步骤详情
ExposeAnyone 的完整工作流程包含以下关键步骤。第一步是音频-4D 数据构建：从 VoxCeleb2（140,194 个视频）、AVSpeech（45,706 个视频）和 Acappella（14,459 个视频）三个公开数据集中筛选出 200,359 个八秒视频片段（总计 445 小时），使用 SPECTRE 提取 FLAME 参数的前向初始化，然后通过迭代优化解耦面部形状与表情，得到干净的 53 维表情系数序列 $z_{1:L}$，其中 L=200 帧。第二步是 EXAM 模型预训练：以 DiT 为骨干网络，使用 Wav2Vec 2.0 编码音频波形 $w_{1:H}$，通过 TiLM 将音频条件注入到 8 层 Transformer 编码器的每一层中，训练目标是预测加噪表情序列 $\epsilon_{1:L}$ 中添加的噪声，损失函数为 $\mathcal{L}_1 = \mathbb{E}[\|\epsilon_{1:L} - \epsilon_{\theta_1}(z_{1:L}^t, t, w_{1:H})\|_2^2]$，训练 100 个 epoch。第三步是个性化适配：为特定人物插入 8 个适配器 token $c_{1:8} \in \mathbb{R}^{8 \times 512}$，通过线性层投影到注意力机制的 key 和 value 中，仅训练适配器相关参数（528,384 个参数），在该人物的参考视频集上训练 100 个 epoch，约 15 分钟完成。第四步是视频认证：对待检测视频计算两个扩散重建误差的比值——带适配器的重建误差（分子）和不带适配器的重建误差（分母），采样时间步范围 $[201, 800]$ 内 60 个等间距点，每个时间步采样 64 个噪声序列，取平均值得到最终认证分数。
技术新颖性
ExposeAnyone 在技术上有多处新颖之处。首先，TiLM 机制是对 FiLM 条件注入的序列化扩展，将其从单点条件推广到序列建模，时间复杂度仅为 $O(L)$ 而非交叉注意力的 $O(L^2)$，这在处理 200 帧的长序列时具有显著效率优势。其次，音频-4D 数据构建中的解耦策略——为每个视频分配单一形状参数并迭代优化——解决了 SPECTRE 在不同帧预测不同形状参数导致的表情-形状纠缠问题，消融实验证明无此优化时 AUC 从 93.45% 暴跌至 46.82%。第三，内容无关认证的比值式设计是全新思路，它不依赖任何伪造样本的先验知识，而是利用预训练模型和个性化模型之间的差异作为检测信号，这一设计使得自监督方法首次达到与监督方法可比的检测性能。最后，模型的个性化策略仅需存储每个主体约 53 万参数，避免了全量微调的灾难性遗忘问题，同时使得模型可以高效适配大量不同人物。
实验结果
本文在四个传统深度伪造基准和一个新引入的 Sora2 数据集上进行了全面实验。在传统基准上，ExposeAnyone 达到平均 AUC 95.22%，具体为 DF-TIMIT 99.72%、DFDCP 93.45%、KoDF 95.31%、IDForge 92.40%，相比此前最佳的伪监督方法 DFD-FCG（91.00%）和 ForensicsAdapter（90.33%）分别提升约 4.22 和 4.89 个百分点。值得注意的是，当仅使用 VoxCeleb2 数据训练时（与 ID-Reveal、POI-Forensics 使用相同训练集），模型仍达到 93.38% 的平均 AUC，大幅超越 POI-Forensics 的 77.13%，证明了方法本身的优越性而非数据规模带来的优势。在新引入的 Sora2 Cameo Forensics Preview 数据集上，ExposeAnyone 达到 94.44% 的平均 AUC（@ijustine 98.61%、@mcuban 84.72%、@sama 100.00%），而此前最先进的监督方法 AltFreezing 仅为 27.31%，DFD-FCG 为 48.61%，扩散图像检测器 B-Free 为 71.30%。在鲁棒性实验中，面对视频压缩（severity=5），AltFreezing 的 AUC 下降 36.71 个百分点，而 ExposeAnyone 仅下降 2.0 个百分点；在高斯模糊（severity=5）下同样表现稳定。消融实验表明，3DMM 提炼优化策略对性能至关重要（无提炼时 DFDCP 上 AUC 为 46.82% vs 有提炼时 93.45%），内容无关认证机制将 AUC 从约 59-61% 提升至 93.45%，8 个适配器 token 的设置最优（91.79% → 93.45%），音频条件对性能有明显贡献（无音频时平均 AUC 从 95.22% 降至 93.72%，但仍有竞争力）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| DF-TIMIT 人脸伪造检测 | AUC (%) | 99.72 | 99.02 (DFD-FCG, CVPR'25) | +0.70 |
| DFDCP 人脸伪造检测 | AUC (%) | 93.45 | 93.98 (ForensicsAdapter, CVPR'25) | -0.53 (次优但平均最优) |
| KoDF 人脸伪造检测 | AUC (%) | 95.31 | 97.40 (DFD-FCG, CVPR'25) | -2.09 (次优但跨数据集泛化更优) |
| IDForge 人脸伪造检测 | AUC (%) | 92.40 | 95.79 (AltFreezing, CVPR'23) | -3.39 (次优但跨数据集泛化更优) |
| 四数据集平均 AUC | Avg AUC (%) | 95.22 | 91.00 (DFD-FCG, CVPR'25) | +4.22 |
| Sora2 Cameo 视频检测 | Avg AUC (%) | 94.44 | 71.30 (B-Free, CVPR'25) | +23.14 |
| 视频压缩鲁棒性 (severity=5) | AUC 下降 (百分点) | 2.0 | 36.71 (AltFreezing, CVPR'23) | 鲁棒性提升 34.71 pp |
局限与改进
作者在论文中坦承了几个重要局限。首先，模型的检测能力依赖于多个预训练的外部模型——FLAME 用于面部表示、SPECTRE 用于前向初始化、Wav2Vec 2.0 用于音频编码——这些模型的性能上限直接约束了 ExposeAnyone 的能力边界，例如如果 FLAME 无法准确捕捉某种面部运动，检测就会失效。其次，推理阶段存在显著的计算开销：3DMM 提取需要 22.2 秒（因为迭代优化），扩散认证需要 23.6 秒（因为需要在 60 个时间步上各采样 64 个噪声序列），总计约 46 秒处理一个 8 秒视频，这限制了实时应用场景。第三，方法需要目标人物的参考视频集进行个性化，最少需要 15 秒以上的参考视频才能获得合理的检测精度，在某些场景下（如目标人物几乎没有公开视频）这可能是一个瓶颈。从我自己的观察来看，模型在 KoDF（韩语数据集）上的表现相比其他数据集有明显提升（从 VoxCeleb2 版本的 87.73% 到完整版 95.31%），这说明训练数据的语言多样性对音频-表情模型至关重要，暗示该方法可能在训练数据中罕见的语言或口音上存在偏差。此外，S2CFP 数据集目前仅有 3 个主体，样本量极为有限，结论的统计可靠性有待验证。
独立分析的弱点
从独立分析的角度，ExposeAnyone 存在几个值得关注的弱点。第一，个性化过程虽然只需 15 分钟，但需要至少约 8 个 8 秒视频作为参考集，而在真实世界取证场景中（如验证社交媒体上某个视频的真实性），可能很难获得如此充裕的参考素材。改进方向可以是研究少样本或单样本个性化策略，例如利用面部识别模型提取的先验信息辅助适配器初始化。第二，推理效率是实际部署的主要障碍，46 秒处理 8 秒视频使得实时检测不可能。可以探索一致性蒸馏（Consistency Distillation）等快速采样技术，或训练一个轻量级的前馈网络直接预测认证分数，避免多步扩散采样。第三，当前方法假设视频中只有单一人物说话，对于包含多人对话、复杂背景、或音乐干扰的视频，音频特征提取和表情关联可能失效。可以引入人脸跟踪和音频源分离作为预处理步骤。第四，内容无关认证虽然巧妙，但它假设无适配器模型的重建误差是内容差异的良好估计，这一假设在极端情况下（如非语言的面部运动、情绪表达）可能不成立，可以探索更精细的内容-身份解耦方法。第五，模型的 3DMM 提取依赖迭代优化（基于 SPECTRE），这是一个潜在的单点故障——如果 SPECTRE 在某些极端表情或遮挡情况下失败，整个检测流程就会崩溃。
未来方向
作者暗示了几个自然的研究延伸方向。首先，更大的未标注视频数据集可以进一步增强模型的通用先验——当前 200K 视频（445 小时）仅是互联网视频的一小部分，利用更大规模的网络视频（如 YouTube-8M）进行预训练可能带来显著收益。其次，扩展到更多样化的伪造类型——当前评估主要集中在人脸交换和重演，对于文本驱动的面部动画、面部美化等新兴操作类型的检测能力有待探索。第三，将内容无关认证的思路推广到其他模态和任务——例如，通过语音合成模型的个性化重建误差检测 AI 生成的语音（TTS 伪造），或者通过步态模型检测视频篡改。第四，提高推理效率——可以借鉴扩散模型快速采样（如 DDIM、一致性模型）和知识蒸馏技术，将推理时间从 46 秒压缩到接近实时。最后，建立更系统的 Sora2 及最新生成模型的检测基准——随着 Sora2 等模型的普及，个性化视频伪造检测将成为越来越重要的问题，当前的 S2CFP 数据集仅是一个起点。
复现评估
从复现评估来看，本文的复现条件总体较为友好但有一定门槛。代码和数据方面，作者提供了项目主页（https://mapooon.github.io/ExposeAnyonePage/），S2CFP 数据集公开可用。训练数据使用三个公开数据集（VoxCeleb2、AVSpeech、Acappella），无需额外数据采集。算力需求方面，所有实验在单张 NVIDIA A100 GPU 上完成，预训练约需 1 天，每个主体的个性化约需 15 分钟，这在研究机构级别的硬件条件下是可以实现的。复现难度中等偏高，主要挑战在于：（1）3DMM 提取需要正确配置 SPECTRE 和 FLAME，以及迭代优化流程；（2）Wav2Vec 2.0 和 DiT 架构的修改需要理解 FiLM/TiLM 的实现细节；（3）评估数据集的构建涉及多个步骤（面部跟踪、质量筛选、身份一致性检查等），且部分数据集（如 DF-TIMIT）需要手动划分。模型参数量为 47M（31M SPECTRE + 36M 扩散模型），相比 ForensicsAdapter（435M）小一个数量级，使得中等算力环境也能运行推理。
论文图表
