← 返回 2026-06-24

FedOT：基于水印的联邦潜在扩散模型所有权验证与泄露追踪框架 FedOT: Ownership Verification and Leakage Tracing via Watermarks for Federated LDMs

Wenlong Cheng, Yuan Gan, Yunqiu Xu, Jiaxu Miao 📅 2026-06-22 👍 11 2026-07-13 08:37
所有权保护 扩散模型 模型水印 泄露溯源 联邦学习
arXiv HuggingFace PDF

首个支持联邦LDM所有权验证和泄露客户端追踪的鲁棒水印框架

前置知识

联邦学习

联邦学习是一种分布式机器学习范式，多个客户端在不共享原始数据的情况下协作训练模型。典型的客户端-服务器架构中，每个客户端用本地数据更新模型参数，服务器使用FedAvg算法聚合这些更新形成全局模型。这种机制在保护数据隐私的同时实现模型性能的提升，广泛应用于医疗、金融等敏感数据场景。

本文在联邦学习框架下保护扩散模型的知识产权，理解联邦学习的基本原理和威胁模型对于理解FedOT的设计目标和适用场景至关重要。

潜在扩散模型（LDM）

潜在扩散模型是扩散模型的高效变体，通过变分自编码器（VAE）将图像编码到低维潜在空间，然后在这个压缩的潜在空间中执行去噪过程。VAE包含编码器将图像压缩为潜在向量，以及解码器将潜在向量重构为图像。这种设计大幅降低了计算开销，使Stable Diffusion等模型能够在消费级硬件上运行。LDM在联邦学习中通常只更新U-Net参数，而冻结VAE以减少通信成本。

LDM的架构特性（VAE冻结训练）直接决定了水印嵌入位置的选择和LVT防御策略的设计，理解LDM是理解本文技术方案的基础。

模型水印

模型水印是一种在神经网络中嵌入隐藏信息的版权保护技术，使得生成的输出包含可提取的标识信息。水印可以嵌入在模型参数、生成图像或潜在空间中。对于LDM，VAE-based水印方法将水印嵌入解码器，通过训练使重构图像携带隐蔽的水印信号。水印提取时，使用专门的提取器从图像中预测嵌入的比特串，通过比特准确率和检测率评估水印可靠性。

本文改进了传统VAE-based水印，提出分块水印机制并同时解决所有权验证和客户端追踪两个问题，理解现有水印技术的局限性是理解本文贡献的前提。

变分自编码器（VAE）

变分自编码器由编码器和解码器组成，编码器将输入图像映射到潜在分布的均值和方差，通过重参数化技巧采样潜在向量z = μ + σ·ε（ε ~ N(0,I)），解码器则从潜在向量重构图像。VAE通过最小化重构损失和KL散度来学习数据分布的紧凑表示。在LDM中，VAE用于将高维像素空间压缩到低维潜在空间，使扩散过程在更高效的空间中进行。

LVT的核心是修改VAE的潜在空间分布，建立VAE和U-Net之间的依赖关系。理解VAE的重参数化机制和潜在空间特性对于理解LVT的工作原理至关重要。

研究动机

在联邦学习环境中训练潜在扩散模型面临严重的模型所有权威胁。如图1(a)所示，全局模型在参与方之间共享不可避免地将知识产权暴露给恶意客户端，他们可能未经授权分发或转售微调后的模型。这种模型泄露不仅构成知识产权侵权，还引发有害内容生成和隐私泄露等伦理问题。虽然现有的VAE-based水印方法（如Stable Signature）可以用于LDM，但在联邦场景下存在两个根本缺陷：第一，只能验证模型是否来自联邦组（所有权验证），无法识别具体是哪个恶意客户端泄露了模型（泄露追踪）；第二，水印可以通过简单地用水印VAE解码器替换干净对应物来移除，且不降低模型的效用，攻击成本几乎为零。

本文的目标是本文的目标是设计首个能够同时支持联邦潜在扩散模型所有权验证和泄露追踪的框架。具体而言，该框架需要在模型泄露时，首先验证图像是否源自联邦模型，然后进一步识别出泄露模型的恶意客户端。同时，框架必须防御VAE替换攻击，确保恶意客户端无法在不严重损害图像生成质量的情况下移除水印，从而使泄露的模型实际上不可用。

与已有工作不同的是，本文的独特切入角度是认识到联邦学习训练特性带来的新挑战和新机会。传统LDM水印方法假设集中式训练，而联邦学习只在客户端更新U-Net参数、VAE完全冻结的特性既限制了水印嵌入位置的选择，又为VAE替换攻击提供了便利。本文创新性地提出分块水印机制解决追踪问题，并通过修改VAE潜在空间分布建立VAE与U-Net的强绑定，将水印嵌入问题转化为架构绑定问题。与现有专门针对分类模型的联邦水印方法（如WAFFLE、FedTracker）不同，本文首次将水印保护扩展到生成模型，填补了联邦生成模型版权保护的研究空白。

核心方法

FedOT框架包含两个核心组件：分块水印和潜在向量变换（LVT）。整体工作流程分为三个阶段：首先是LVT训练阶段，服务器使用公开数据集（COCO2017）对全局模型的VAE进行微调，修改其潜在空间分布；然后是水印嵌入阶段，服务器基于LVT后的全局模型创建K个模型副本，每个副本注入唯一的n位水印；最后是联邦训练阶段，带有水印的模型副本分发给客户端进行本地微调，客户端上传更新的U-Net参数，服务器聚合并重新分发。水印提取使用Stable Signature的提取器从生成的图像中恢复水印比特串。分块水印的设计使得所有权验证和泄露追踪可以分层进行：只有当所有权验证通过后，才进行详细的客户端追踪，提高了大规模部署的效率。

FedOT的核心创新点在于两个方面：一是分块水印机制，将n位水印分为前r位（用于所有权验证）和后n-r位（用于客户端追踪），这种设计支持分层检测，降低了追踪开销；二是潜在向量变换（LVT），通过修改VAE的潜在空间分布建立VAE与U-Net的强绑定，使得任何尝试替换VAE来移除水印的行为都会导致严重的图像质量下降。与传统水印算法的改进不同，LVT不是增强水印本身的鲁棒性，而是从架构层面增加移除水印的成本。U-Net在联邦训练过程中逐渐适应修改后的潜在分布，如果恶意客户端用干净VAE替换水印VAE，U-Net将无法正确处理潜在表示，生成质量严重下降。这种绑定而非隐藏的策略从根本上改变了水印保护的思路。

方法步骤详情

FedOT的完整工作流程包含以下步骤。步骤1：LVT训练。服务器对全局模型的VAE进行两阶段微调，第一阶段固定解码器训练编码器学习变换T（如z' = z + c或z' = -z），第二阶段固定编码器训练解码器学习逆变换T^{-1}。这使得VAE的潜在空间发生结构性偏移。步骤2：水印嵌入。服务器创建K个LVT后的模型副本，对每个副本的VAE解码器嵌入唯一的水印。水印训练使用公开数据集生成潜在向量，通过解码器重构图像，然后输入提取器预测水印，最小化BCE损失L_m = -Σ(m_i·σ(m'_i) + (1-m_i)·σ(1-m'_i))。同时使用Watson-VGG损失L_i保持图像质量，总损失为L_w = L_i + λ_i·L_m（λ_i = 0.2）。步骤3：联邦训练。K个水印模型分发给客户端，每个客户端用私有数据（LAION-10K）进行15轮本地训练，每轮2000步，只更新U-Net参数。步骤4：模型聚合和再分发。服务器聚合客户端上传的U-Net参数，重新分发给客户端进行下一轮训练。步骤5：水印提取和验证。当出现可疑图像时，服务器从图像中提取水印m'，首先检查前r位是否匹配所有权水印（Match(m'_1:r, m_1:r) ≥ τ），如果匹配则计算后n-r位与各客户端追踪水印的相似度，识别泄露来源j = argmax_i Trace(m'_{r+1:n}, m_{i,r+1:n})。

技术新颖性

FedOT的技术新颖性体现在多个方面。在问题定义层面，这是首个针对联邦生成模型的所有权验证和泄露追踪框架，填补了研究空白。在水印设计层面，分块水印机制支持分层验证，将所有权确认和客户端追踪解耦，提高了大规模部署的效率。在防御策略层面，LVT通过修改潜在空间分布建立架构绑定，这种绑定式保护与传统的鲁棒式水印有本质区别。LVT不需要对抗训练来增强水印对攻击的鲁棒性，而是通过使移除水印的行为损害模型实用性来威慑攻击者。在实现层面，本文系统探索了三种LVT策略（translation、mirror、negative），并通过实验发现negative变换在生成质量和绑定强度之间达到最佳平衡。此外，本文使用Hamming距离优化策略生成客户端追踪水印，使用遗传算法最大化不同客户端水印的区分度，在大规模客户端场景下降低了误判概率。

Overview of FedOT. (a) FedOT Workflow. The server applies LVT to the VAE, then embeds watermarks, and distributes model replicas to clients. Clients train the SD model locally and upload updates. The server verifies watermarks and aggregates only U-Net parameters. (b) Details of LVT within FedOT. Stage I: Transform latent vector z to z′ and train the encoder. Stage II: Use the trained encoder to generate z∗and adapt the decoder accordingly.
Fig. 2: Overview of FedOT. (a) FedOT Workflow. The server applies LVT to the VAE, then embeds watermarks, and distributes model replicas to clients. Clients train the SD model locally and upload updates. The server verifies watermarks and aggregates only U-Net parameters. (b) Details of LVT within FedOT. Stage I: Transform latent vector z to z′ and train the encoder. Stage II: Use the trained encoder to generate z∗and adapt the decoder accordingly.
Training a watermark in decoder with extractor E.
Fig. 8: Training a watermark in decoder with extractor E.

实验结果

实验结果表明FedOT在所有权验证和泄露追踪方面均表现出色。在LAION-10K数据集上，FedOTneg在未受攻击情况下达到95.4%的检测率和94.7%的比特准确率，FID为20.367，CLIP-Score为0.295，与原始SD（FID: 22.99）相比甚至有所提升。在VAE替换攻击后，FedOTneg的FID从20.367增加到40.537（提升+20.170），远超原始SD基线（22.99），这意味着攻击成功移除水印但导致图像质量严重下降，模型实际上不可用。相比之下，基线Stable Signature*在攻击后FID仅从16.412变为16.282（-0.130），几乎无影响，水印检测率从0.994降至0.000，完全被移除。在不同LVT策略中，FedOTmir的绑定强度最强（FID提升+49.147），但CLIP-Score下降最大（-0.064），语义一致性受损最严重；FedOTtran使用c=11时绑定强度很强（+70.070），但基础生成质量较差（FID: 22.427）；FedOTneg达到最佳平衡。在联邦条件实验中，客户端数量从5增加到20时生成质量保持稳定，检测率始终超过0.941，非独立同分布数据（Dirichlet α = 0.5/0.7）下检测率仍保持0.957以上。端到端归属实验显示，5个客户端的归属准确率在96.80%至98.70%之间，整体准确率98.12%，误报率仅1.88%。模型净化攻击实验显示，300轮净化后所有LVT方法的FID从22以下增加到26以上，移除水印不可避免地影响生成质量。图像攻击实验显示，在Crop、Brightness、JPEG50、Contrast、Text overlay、Resize 0.5及其组合攻击下，FedOTneg的最差比特准确率仍保持0.772。

Generation quality and comparison with Stable Signature* on 256×256 images and 48-bit watermarks. The left table reports results before the VAE replacement attack, while the right table shows performance after the attack. Changes in generated image quality before and after the attack are indicated as (green) for increases and (red) for decreases. Stable Signature* refers to applying Stable Signature watermarking within federated learning.
Table 1: Generation quality and comparison with Stable Signature* on 256×256 images and 48-bit watermarks. The left table reports results before the VAE replacement attack, while the right table shows performance after the attack. Changes in generated image quality before and after the attack are indicated as (green) for increases and (red) for decreases. Stable Signature* refers to applying Stable Signature watermarking within federated learning.
Comparison of Stable Signature* and the FedOT in the federated learning framework, focusing on ownership verification and tracing.
Table 2: Comparison of Stable Signature* and the FedOT in the federated learning framework, focusing on ownership verification and tracing.
Performance of FedOTtran under varying translation coefficients c.
Table 3: Performance of FedOTtran under varying translation coefficients c.
FID, CLIP-Score, Bit Accuracy, and Detection across different numbers of clients.
Table 6: FID, CLIP-Score, Bit Accuracy, and Detection across different numbers of clients.
FID, CLIP-Score, Bit Accuracy, and Detection under different Dirichlet distributions.
Table 7: FID, CLIP-Score, Bit Accuracy, and Detection under different Dirichlet distributions.
Presents a comparison of the reconstruction performance between the original VAE and the fine-tuned VAE using four different FedOT methods.
Table 15: Presents a comparison of the reconstruction performance between the original VAE and the fine-tuned VAE using four different FedOT methods.
PSNR, SSIM, and LPIPS before and after watermark embedding.
Table 16: PSNR, SSIM, and LPIPS before and after watermark embedding.
End-to-end attribution accuracy across 5 clients, sampling 1,000 generated images per client.
Table 17: End-to-end attribution accuracy across 5 clients, sampling 1,000 generated images per client.
Comparison between different FedOT methods and Stable Signature*. "Clean" represents the results without VAE replacement attacks, while "Attack" represents the results after VAE replacement attacks. This figure corresponds to Table 1.
Fig. 4: Comparison between different FedOT methods and Stable Signature*. "Clean" represents the results without VAE replacement attacks, while "Attack" represents the results after VAE replacement attacks. This figure corresponds to Table 1.
FID variation during the purification process for 3 different FedOT methods.
Fig. 5: FID variation during the purification process for 3 different FedOT methods.
FID trends across training rounds under FedOT framework.
Fig. 6: FID trends across training rounds under FedOT framework.
CLIP-Score trends across training rounds under FedOT framework.
Fig. 7: CLIP-Score trends across training rounds under FedOT framework.
查看结构化数据
任务指标本文基线提升
图像生成质量（无攻击） FID 20.367 (FedOTneg) 22.99 (Original SD) 提升11.4%
水印检测率（无攻击） Detection Rate 0.954 (FedOTneg) 0.994 (Stable Signature*) 略低但可接受
VAE替换攻击后FID变化 FID Increase +20.170 (FedOTneg) -0.130 (Stable Signature*) 攻击导致严重质量下降（防御成功）
VAE替换攻击后水印检测率 Detection Rate 0.000 (所有LVT方法) 0.000 (Stable Signature*) 相同（水印均被移除）
端到端客户端归属性准确率 Accuracy 98.12% 不支持追踪 首次实现客户端级追踪
非独立同分布数据下的检测率 Detection Rate (α=0.5) 0.960 (FedOTneg) 无基线 数据异构性影响小

局限与改进

作者在F.2节承认的主要局限性是水印嵌入会导致图像生成质量的轻微下降，这是水印方法的常见权衡。虽然本文专注于最小化这种影响，但保持水印完整性与维持生成质量之间的张力仍然是固有的挑战。从文中还可以观察到其他局限性：存储开销随客户端数量线性增长（每个水印VAE约335MB），硬件限制使得无法扩展到百万级客户端；负变换虽然效果最好，但生成的负片效果可能被攻击者察觉，使其推断出LVT类型；虽然实验了恢复攻击（附录D.2-D.4），但攻击者通过多次尝试可能逐渐逼近变换参数；在合谋攻击中（附录D.5），多个客户端平均水印VAE参数可以稀释追踪水印，虽然所有权水印不受影响但追踪能力下降。此外，LVT的训练需要约24小时（4块RTX 4090），在水印嵌入后联邦训练仍需约7.5小时/GPU（15轮），整体训练成本较高。

独立分析的弱点

从独立分析的角度看，FedOT存在以下潜在弱点。第一，LVT的安全性依赖于变换参数T的保密性，虽然作者声称客户端难以推断T，但如果有足够的水印模型和生成图像，攻击者可能通过分析图像模式逐步逆向变换参数。特别是translation和mirror变换有明确的数学形式，相比negative变换更容易被识别。第二，负变换产生的负片效果在图像上可能产生视觉伪影，攻击者察觉后可能尝试多种恢复策略，虽然附录D.2显示双负恢复不完美，但更复杂的恢复算法可能改善效果。第三，合谋攻击下追踪水印被稀释，作者表示将研究合谋者识别，但这目前仍是开放问题。第四，LVT导致U-Net与特定VAE绑定，这使得模型迁移变得困难，如果合法用户希望更换VAE进行其他任务也将面临困难。改进方向包括：探索更隐蔽的LVT策略，使变换后的潜在空间保持与原始空间的相似性；研究抗合谋的水印编码方案，如使用纠错码或冗余编码；设计选择性LVT，只对关键潜在维度进行变换，降低对模型迁移的影响；实现动态LVT，在训练过程中逐步调整变换参数，增加逆向推断难度。

未来方向

作者在结论中提到将研究合谋攻击下识别参与合谋的恶意客户端的方法。基于本文成果，可以延伸多个未来研究方向：一是将FedOT扩展到其他生成模型架构，如视频生成模型（Video Diffusion）、文本生成模型（LLMs）和音频生成模型，研究不同架构下的水印嵌入和绑定策略；二是探索更高效的LVT设计，减少训练时间并降低对生成质量的影响，例如使用自适应变换系数或渐进式变换；三是研究联邦学习中的主动防御机制，在训练过程中检测异常客户端行为（如合谋模式）并动态调整水印策略；四是探索跨模态水印，在图像、文本、音频之间共享水印标识，实现多模态模型的一致追踪；五是研究水印的隐私保护机制，防止水印提取本身泄露客户端隐私信息；六是探索联邦学习中的模型认证区块链，将水印验证与去中心化账本结合，提供不可篡改的溯源记录。

复现评估

论文提供了相当详细的复现信息。实现细节方面，使用Stable Diffusion v2.1作为基础模型，LVT训练在COCO2017的10,000张图像上进行，联邦微调使用LAION-10K的10,000张图像-文本对。训练配置包括：λ = 10^{-8}用于KL散度权重，λ_i = 0.2用于水印损失权重，translation系数c = 5（主实验中FedOTtran使用c = 11），水印长度n = 48位（r = 16位验证，n-r = 32位追踪），检测阈值τ = 0.69（对应0.1% FPR）。联邦配置为K = 5个客户端，每个客户端训练15轮，每轮2000步，数据按独立同分布方式分割。硬件要求为4块RTX 4090 GPU，LVT训练约24小时，每个客户端训练约7.5小时/GPU。论文提供了项目的GitHub页面链接（https://spyzixuan.github.io/FedOT/），但未在正文中明确说明是否开源代码。实验部分提供了全面的指标（FID、CLIP-Score、PSNR、SSIM、Detection Rate、Bit Accuracy）和消融实验（translation系数、λ_i权重、r长度），有助于验证方法的有效性。虽然提供了算法伪代码（Algorithm 1-4），但部分超参数选择（如τ = 0.69的具体确定过程）在附录E.4中描述，可能需要仔细阅读。总体而言，论文提供的实现细节基本充足，但需要较强的计算资源（4块RTX 4090）和较长的训练时间，复现难度中等偏高。

论文图表

Motivation of FedOT. (a) Malicious clients leak the federated LDMs, verifying ownership or tracing the source of generated images becomes infeasible. (b) FedOT supports ownership verification and malicious client tracing even if the leaked model is misused, by using chunked watermark and Latent Vector Transformation (LVT).
Fig. 1: Motivation of FedOT. (a) Malicious clients leak the federated LDMs, verifying ownership or tracing the source of generated images becomes infeasible. (b) FedOT supports ownership verification and malicious client tracing even if the leaked model is misused, by using chunked watermark and Latent Vector Transformation (LVT).

该图展示了FedOT的动机。图(a)展示了联邦LDM中的模型泄露问题：恶意客户端泄露模型后，验证所有权或追踪生成图像来源变得不可行。图(b)展示了FedOT的解决方案：通过分块水印和LVT，即使泄露的模型被滥用，FedOT仍支持所有权验证和恶意客户端追踪。图中显示了从生成图像中提取水印，然后与各客户端水印进行相似度比较的过程，识别出泄露源。

这张图对理解论文至关重要，它清晰地阐述了问题背景和解决方案的高层思路。图直观地展示了联邦学习中的模型所有权威胁，图展示了FedOT如何通过分块水印和LVT同时实现所有权验证和泄露追踪，为后续的技术细节提供了直观的框架。