← 返回 2026-03-13

EmbTracker: 联邦语言模型的可追踪黑盒水印技术 EmbTracker: Traceable Black-box Watermarking for Federated Language Models

Haodong Zhao, Jinming Hu, Yijie Bai, Tian Dong, Wei Du, Zhuosheng Zhang, Yanjiao Chen, Haojin Zhu, Gongshen Liu 📅 2026-03-12 👍 2 2026-07-13 08:36
模型水印 知识产权保护 联邦学习 语言模型安全 黑盒验证
arXiv HuggingFace PDF

首个针对联邦语言模型的服务端可追踪黑盒水印框架，通过嵌入空间实现客户端级模型泄漏溯源

前置知识

联邦学习

一种分布式机器学习范式，多个客户端在本地使用私有数据训练模型，仅将模型参数或梯度发送给服务器进行聚合，从而在不共享原始数据的情况下协同训练全局模型。典型的联邦学习流程包括：服务器分发全局模型 → 客户端本地训练 → 服务器聚合更新 → 重复迭代。这种方法特别适用于企业、机构和用户设备等数据孤岛场景，能够有效保护数据隐私。

本文的核心场景就是联邦学习环境中的模型知识产权保护，理解联邦学习的基本流程（特别是模型分发和聚合机制）是理解 EmbTracker 水印注入和验证流程的基础。

参数高效微调 (PEFT)

针对大型语言模型（LLM）的轻量级微调方法，通过只更新模型的一小部分参数或引入轻量级可训练模块来实现模型适应，而不是更新全部参数。常见的 PEFT 方法包括 LoRA（Low-Rank Adaptation，通过低秩矩阵分解适配）和 Prefix Tuning（前缀调优，优化连续提示词）。这些方法大幅减少了通信和计算开销，使得联邦学习环境下的 LLM 微调成为可能。

EmbTracker 的设计充分考虑了 PEFT 方法的兼容性，水印注入仅在嵌入层进行，不影响客户端的 PEFT 模块训练，理解 PEFT 的原理有助于理解为什么 EmbTracker 不会干扰联邦学习过程。

后门水印

一种黑盒模型水印技术，通过在模型训练过程中植入特定的触发模式（trigger，如特殊图像或罕见单词），使其产生预定的错误行为（如特定标签或输出）。验证时，只需向可疑模型输入触发模式，观察其输出是否符合预期即可证明所有权。后门水印具有黑盒可验证性，不需要访问模型内部参数，但传统后门水印通常是零比特的，只能证明存在性而无法提取所有权标识。

EmbTracker 的核心思想正是基于后门水印，但通过巧妙的嵌入替换机制实现了客户端级的可追踪性，理解后门水印的原理是理解 EmbTracker 工作机制的关键。

词嵌入 (Word Embedding)

将离散的单词或 token 映射为连续的稠密向量表示，是现代语言模型（从 RNN、LSTM 到 Transformer）连接自然语言与模型可处理数值表示的基础桥梁。词嵌入通过独立的查找表实现，修改特定 token 的嵌入向量不会影响其他词汇。现代 LLM 的词汇量通常很大（如 BERT 为 30,533，Llama-2-7B 为 32,000），为水印信号提供了充足的容量。单个词嵌入向量的参数量相对于整个模型可以忽略不计（如 Llama-2-7B 单词嵌入只有 4096 个参数，仅占模型总参数的 $6 \times 10^{-7}$）。

EmbTracker 的核心创新在于利用词嵌入空间作为水印载体，理解词嵌入的特性（高容量、低干扰、独立更新）是理解 EmbTracker 为什么既能实现可追踪性又不影响模型性能的关键。

研究动机

联邦语言模型训练虽然能够在不共享原始数据的情况下协作微调语言模型，但放大了知识产权泄露风险：任何参与客户端都可以在训练过程中获取高价值的模型快照，并在未经授权的情况下重新分发。现有的联邦学习水印方案存在三大局限性：（1）大多数方法嵌入的是所有客户端共享的统一水印，只能证明这个模型属于联邦群体，而无法回答具体是哪个客户端泄露的模型这一关键问题；（2）许多方法依赖白盒参数检查，要求验证者能够访问模型内部权重，但在实际场景中，防御者通常只能通过 API 端点进行黑盒查询；（3）一些方法要求客户端参与水印注入/验证过程，这在存在恶意客户端的对抗性联邦环境中是不切实际的。此外，联邦语言模型普遍使用参数高效微调（PEFT）方法，且语言模型包含生成行为，这些是专门为视觉或简单分类模型设计的水印方法所未考虑的。

本文的目标是本文旨在为联邦语言模型设计一个服务端、可追踪、黑盒可验证的水印框架，具体目标是：（1）实现黑盒可验证性，仅通过简单的 API 查询即可检测水印；（2）实现客户端级可追踪性，能够精确定位模型泄露的具体来源；（3）不需要客户端参与，所有水印操作在服务端完成，客户端完全不知情；（4）兼容常见的 PEFT 方法（如 LoRA、Prefix Tuning），不干扰联邦学习流程；（5）保持高保真度，对模型主任务性能的影响可以忽略不计（通常在 1-2% 以内）。

与已有工作不同的是，本文的独特切入角度在于首次在联邦学习场景下，利用词嵌入空间作为水印载体实现客户端级可追踪黑盒水印。与 TraMark（唯一其他可追踪黑盒基线）相比，EmbTracker 不要求分类任务的标签类别数量不少于客户端数量，不需要为每个客户端进行独立水印训练（仅需一次服务端训练 + 高效嵌入替换机制），支持更广泛的任务类型（包括分类、问答、视觉问答等），具有更低的计算开销和更好的扩展性。与 FedTracker（白盒可追踪）相比，EmbTracker 实现了黑盒验证，更适合实际部署场景。与 WAFFLE（统一黑盒水印）相比，EmbTracker 提供了额外的客户端级追溯能力而不牺牲性能。

核心方法

EmbTracker 的整体思路基于一个核心洞察：词嵌入空间为现代语言模型中的水印信号提供了高容量、低干扰的载体。修改少量嵌入向量难以察觉，但在强制触发-响应行为方面非常有效。具体技术路线是：服务端首先学习一个通用水印嵌入向量（一次性成本），然后通过高效映射将每个客户端的身份映射到不同的触发词，在分发前替换对应的触发词嵌入，避免为每个客户端重新训练，并保持与常见 PEFT 方法的兼容性。当发现可疑模型时，防御者可以使用每个客户端的触发集进行黑盒追踪，并根据验证结果归因泄露。整个框架包含三个阶段：触发生成、水印注入、水印验证。

EmbTracker 的核心创新点在于利用词嵌入替换机制实现客户端级水印追踪。具体来说，服务端使用通用触发词（Tru）训练得到全局水印嵌入向量（Ww），然后对于每个客户端 ck，将模型中客户端专用触发词 Trk 的嵌入替换为 Ww，同时将 Tru 的嵌入替换回原始权重 Wu。通过这两个替换步骤，Trk 与目标输出的连接被替换为客户端 ck 的唯一特征。由于词嵌入层在联邦训练过程中不会更新（PEFT 方法只更新 LoRA 适配器、前缀等模块），包含水印信息的词嵌入向量不会改变，使得水印对客户端训练具有鲁棒性。这种方法避免了为每个客户端重新训练水印模型，仅需一次服务端训练 + 高效嵌入替换，极大降低了计算开销。

方法步骤详情

步骤 1：初始化。在联邦训练开始时，服务端通过数据投毒方式生成辅助水印训练数据集 Dw。从服务端私有数据集 Dserver 中采样一定比例的句子，在随机位置插入通用触发词 Tru。对于分类任务，带触发样本的标签被修改为服务端指定的目标标签；对于生成任务，带触发样本的目标输出添加指定内容（如 and click malicious url for more information）。然后使用 Dw 训练水印，定位 Tru 对应的初始词嵌入权重 Wu，按照嵌入投毒方法训练全局模型得到水印词的嵌入权重 Ww。训练过程只更新 Tru 对应的词嵌入权重，冻结所有其他参数，使用交叉熵损失 Lw。以 Llama-2-7B 为例，单个单词嵌入向量的参数量为 4096，仅占模型总参数的 $6 \times 10^{-7}$，因此对模型主性能影响极小。步骤 2：客户端特定词嵌入向量替换和模型分发。以客户端 ck 为例，发送给客户端 ck 的模型应该嵌入触发词为 Trk 的水印。服务端从 M 中定位 Trk 的嵌入权重并保存为 Wk。然后将模型中 Trk 的嵌入替换为 Ww，同时将 Tru 的嵌入替换为 Wu。通过这两个替换步骤，Trk 与目标输出的连接被替换为客户端 ck 的唯一特征。在将全局模型分发给每个客户端之前，服务端对每个接收模型的客户端执行上述操作。这样，水印嵌入过程只需在服务端执行，与客户端无关。同时，词嵌入向量替换和分发过程不引入额外的训练开销。步骤 3：客户端本地训练。收到服务器的全局模型后，每个客户端使用其私有数据集执行本地模型训练。无论使用 LoRA、Prefix Tuning、Adapter Tuning 还是其他常见的联邦语言模型训练方法，词嵌入层都不会更新，因此不会从客户端发送到服务器。包含水印信息的词嵌入向量不会改变，这使得水印对客户端训练具有鲁棒性。本地训练完成后，客户端只将更新的模型模块发送给服务器。步骤 4：服务端聚合。服务器收到客户端 ck 的更新模块后，执行模块级联邦聚合得到全局模型。为了增强水印效果，服务器将 Tru 的嵌入权重替换为 Ww，使用水印数据集 Dw 进行训练。注意此过程中可更新的参数范围与客户端更新完全相同，词嵌入向量被冻结不再更新。通常，在水印注入开始时执行步骤 1 和步骤 2，然后循环执行步骤 3 到步骤 4 直到所有通信轮次结束。整个过程中，所有客户端从服务器接收的模型都包含代表其自身身份的个性化水印，且客户端完全不知晓水印植入过程。整个过程引入的唯一额外训练是步骤 1 的水印初始化训练和步骤 4 的水印增强训练，客户端侧的操作与标准联邦学习流程完全相同。

技术新颖性

EmbTracker 的技术新颖性体现在多个方面：（1）首次提出针对联邦语言模型的服务端可追踪黑盒水印框架，不需要客户端参与任何水印操作；（2）首创利用词嵌入替换机制实现客户端级水印追踪，避免了为每个客户端重新训练水印模型的高昂开销；（3）水印嵌入独立于 PEFT 模块，词嵌入层在联邦训练中不更新，保证了水印对本地训练的鲁棒性；（4）支持广泛的任务类型（分类、问答、视觉问答）和模型架构（BERT、Llama-2-7B、Qwen2.5-VL-7B-Instruct 等）；（5）与多种联邦学习算法（FedAvg、FedAvgM、FedProx、SCAFFOLD）兼容；（6）可扩展到视觉语言模型，利用 VLM 中语言模型的词嵌入层嵌入水印。

The overall process of EmbTracker. Trigger generation, identity information is used to generate sig for each client. Watermark injection, watermarked model Mw is trained on server and distributed. Watermark verification, only samples with client-specific triggers can pass the verification.
Fig. 2: The overall process of EmbTracker. Trigger generation, identity information is used to generate sig for each client. Watermark injection, watermarked model Mw is trained on server and distributed. Watermark verification, only samples with client-specific triggers can pass the verification.
The workflow of the proposed watermark injection process. Step 1: The server uses a universal trigger (Tru) to train a universal watermark embedding vector (Ww), updating only the trigger token embeddings. Step 2: The server replaces embedding vector of client-specific triggers with Ww, ensuring each client receives a distinct watermark. Step 3: Clients perform local training on their private data using PEFT methods. Step 4: The server collects the updated PEFT modules from clients, aggregates, performs watermark enhancement training, and distributes the enhanced PEFT modules.
Fig. 3: The workflow of the proposed watermark injection process. Step 1: The server uses a universal trigger (Tru) to train a universal watermark embedding vector (Ww), updating only the trigger token embeddings. Step 2: The server replaces embedding vector of client-specific triggers with Ww, ensuring each client receives a distinct watermark. Step 3: Clients perform local training on their private data using PEFT methods. Step 4: The server collects the updated PEFT modules from clients, aggregates, performs watermark enhancement training, and distributes the enhanced PEFT modules.

实验结果

在多个数据集和模型上的广泛实验验证了 EmbTracker 的有效性：（1）可追踪性：EmbTracker 在几乎所有任务和数据集上都实现了接近 100% 的验证率（VR），能够精确识别泄露模型的来源客户端，满足可追踪性要求。在 FreebaseQA 和 NQ 数据集上的验证区间分析表明，EmbTracker 始终保持高验证置信度（接近 100%）和低验证泄露（低于 10%），且随着训练进行，这个区间趋于扩大，主要由于验证置信度的快速增长。（2）保真度：EmbTracker 对主任务性能的影响可以忽略不计，与不带水印的 FedAvg 基线相比，ACC 下降大多在 1-2% 以内。值得注意的是，在一些实验中 EmbTracker 实现了比 FedAvg 更高的 ACC，这是由于水印训练过程在某些任务中提高了模型的泛化能力。（3）模型泛化性：EmbTracker 在不同模型（BERT、Llama-2-7B、Llama-3.2-3B、Vicuna-7B、Mistral-7B）、不同 PEFT 方法（LoRA、Prefix Tuning）、不同联邦算法（FedAvg、FedAvgM、FedProx、SCAFFOLD）和不同客户端数量（10-50）下都保持高水印验证率和可比的主任务性能。（4）鲁棒性：EmbTracker 对微调攻击、剪枝攻击（最多 30% 参数）、量化攻击（INT8、FP16）、噪声攻击和覆盖攻击都表现出强鲁棒性。在微调攻击后，大多数情况下 VR 仍接近或高于 90%。在剪枝 30% 参数时，EmbTracker 保持高 VR 和可忽略的 ACC 下降。在量化到 INT8 时，尽管 ACC 显著下降，但嵌入的水印仍然保持超过 95% 的高 VR。在覆盖攻击后，原始水印的 VR 仍然非常高（98.43%）。

Evaluation of all methods in terms of ACC and VR under both IID and Non-IID federated settings. All results are reported as percentages (%). – indicates this setting is not applicable. For VR values, we use checkmark to denote the method achieves a satisfactory traceable VR (exceeds gamma = 90%); otherwise, we use X. The bold values means the best traceable VR in the row.
Table II: Evaluation of all methods in terms of ACC and VR under both IID and Non-IID federated settings. All results are reported as percentages (%). – indicates this setting is not applicable. For VR values, we use checkmark to denote the method achieves a satisfactory traceable VR (exceeds gamma = 90%); otherwise, we use X. The bold values means the best traceable VR in the row.
Applicability on different PEFT methods, specifically LoRA and Prefix Tuning, on various QA datasets.
Table III: Applicability on different PEFT methods, specifically LoRA and Prefix Tuning, on various QA datasets.
Evaluation across different FL algorithms, including FedAvg, FedAvgM, FedProx, and SCAFFOLD on representative QA datasets. For each method and dataset, we report the model accuracy of clean model (w/o WM) and watermarked model (ACC), and the VR. The results demonstrate the robustness and generalizability of EmbTracker across diverse FL optimization strategies.
Table IV: Evaluation across different FL algorithms, including FedAvg, FedAvgM, FedProx, and SCAFFOLD on representative QA datasets. For each method and dataset, we report the model accuracy of clean model (w/o WM) and watermarked model (ACC), and the VR. The results demonstrate the robustness and generalizability of EmbTracker across diverse FL optimization strategies.
Effect of poison ratio in watermark training set. Only a 5% poisoning rate is needed in watermark training set to achieve a over 95% VR. The dataset used in the experiment is NQ.
Table V: Effect of poison ratio in watermark training set. Only a 5% poisoning rate is needed in watermark training set to achieve a over 95% VR. The dataset used in the experiment is NQ.
Illustration of the verification interval (VI). The consistently large VI reflects the effectiveness and reliability of the watermarking scheme in accurately attributing model ownership while minimizing watermark collisions.
Fig. 4: Illustration of the verification interval (VI). The consistently large VI reflects the effectiveness and reliability of the watermarking scheme in accurately attributing model ownership while minimizing watermark collisions.
Evaluation of the applicability of EmbTracker across different models. The results demonstrate that EmbTracker consistently achieves high watermark VRs and maintains robust performance on the primary ACCs, regardless of the underlying language model.
Fig. 5: Evaluation of the applicability of EmbTracker across different models. The results demonstrate that EmbTracker consistently achieves high watermark VRs and maintains robust performance on the primary ACCs, regardless of the underlying language model.
Analysis of the impact of varying client numbers. The results demonstrate that EmbTracker maintains consistently high watermark verification rates and task accuracy as the number of clients increases, highlighting the scalability and robustness of the proposed scheme in federated learning environments with diverse participant sizes.
Fig. 6: Analysis of the impact of varying client numbers. The results demonstrate that EmbTracker maintains consistently high watermark verification rates and task accuracy as the number of clients increases, highlighting the scalability and robustness of the proposed scheme in federated learning environments with diverse participant sizes.
Impact of watermark training set. The left subfigure evaluates the effect of watermark training set source while the main task is FreebaseQA. The right subfigure investigates the influence of watermark training set sizes, when FreebaseQA is the main task and NQ is the watermark training set.
Fig. 7: Impact of watermark training set. The left subfigure evaluates the effect of watermark training set source while the main task is FreebaseQA. The right subfigure investigates the influence of watermark training set sizes, when FreebaseQA is the main task and NQ is the watermark training set.
查看结构化数据
任务指标本文基线提升
二元分类 (SST-2) ACC / VR 96.07 / 99.87 FedAvg: 92.78 / N/A VR 接近 100%，ACC 提升 3.29 个百分点，满足可追踪性要求（VR > 90%）
多元分类 (AGNews) ACC / VR 93.15 / 99.98 FedAvg: 93.02 / N/A VR 接近 100%，ACC 保持稳定（提升 0.13 个百分点），满足可追踪性要求
问答 (Natural Questions) ACC / VR 73.00 / 97.24 FedAvg: 73.50 / N/A VR 97.24%，ACC 仅下降 0.50 个百分点，满足可追踪性要求
视觉问答 (OCR-VQA) ACC / VR 75.24 / 95.20 FedAvg: 76.39 / N/A VR 95.20%，ACC 仅下降 1.15 个百分点，满足可追踪性要求
与 WAFFLE 对比 (CoQA) VR 98.24 95.38 VR 提升 2.86 个百分点，同时提供客户端级追踪能力
与 TraMark 对比 (FreebaseQA) ACC / VR 52.74 / 99.90 51.83 / 99.90 VR 相当，ACC 提升 0.91 个百分点，且支持更广泛的任务类型

局限与改进

本文存在一些局限性：（1）当模型公开发布时，多个客户端的触发可能都激活，导致模型对多个水印都有响应。作者提出可以通过时间戳机制来解决这个问题，即在触发生成阶段，将时间戳加密地包含在用于生成数字签名 Sig 的身份消息 m 中；当服务器和客户端与可信 CA 注册水印信息时，这个时间戳与触发一起注册。在所有权争议中，CA 可以通过验证最早注册的时间戳来权威性地识别原始所有者，有效解决覆盖攻击造成的歧义。（2）本文假设客户端数量在训练过程中固定，对于客户端动态加入/退出的场景需要进一步研究。在实际联邦学习环境中，参与者数量可能会波动，如何处理动态客户端群体的水印管理是一个开放问题。（3）本文假设词表固定，对于动态词表的场景需要扩展。现代语言模型通常有固定词表，但对于一些特殊应用（如领域自适应或多语言扩展），动态词表可能需要考虑。（4）水印训练集的选择可能影响水印效果，但实验表明 EmbTracker 对水印训练数据来源和大小具有较强的鲁棒性，即使只有 5 个样本，VR 仍可超过 90%。

独立分析的弱点

EmbTracker 存在一些潜在弱点，可以进一步改进：（1）覆盖攻击的完全防御：虽然实验表明原始水印在覆盖攻击后仍然保持高 VR（98.43%），但新植入的水印也可以同时存在。这意味着如果恶意客户端提前注册水印，可能会造成所有权争议。改进方向是实现更强大的时间戳和 CA 注册机制，确保水印的时间顺序可验证性。（2）动态客户端支持：当前假设客户端数量固定，对于动态加入/退出的场景需要改进。改进方向是设计动态水印管理机制，支持客户端的动态注册和注销，同时保持水印的可追踪性和防冲突性。（3）更强的对抗攻击防御：虽然 EmbTracker 对多种攻击表现出鲁棒性，但更复杂的对抗攻击（如针对嵌入空间的梯度攻击）可能会削弱水印效果。改进方向是研究更鲁棒的水印嵌入机制，如使用对抗训练增强水印的抗攻击能力。（4）更低的触发检测风险：如果攻击者知道存在水印机制，可能会分析模型输出以发现触发模式。改进方向是设计更隐蔽的触发机制，如使用语义上更自然的触发词或分散触发模式。

未来方向

未来的研究方向包括：（1）更复杂的多比特水印：当前 EmbTracker 主要实现零比特水印（证明存在性），未来可以研究如何在嵌入空间中编码更多比特信息，实现多比特水印提取，支持更丰富的所有权标识。（2）跨模型和跨任务水印迁移：研究水印是否能够在不同模型架构或不同任务之间迁移，例如从分类模型迁移到生成模型，或从 BERT 迁移到 Llama。（3）联邦学习中的水印审计和监管机制：研究如何建立完整的水印审计和监管框架，包括水印注册、验证、争议解决和法律责任等。（4）水印与差分隐私的结合：研究如何在保护数据隐私的同时实现水印验证，平衡知识产权保护与隐私保护的需求。（5）自动化水印评估和基准测试：建立标准化的水印评估框架和基准测试集，包括鲁棒性测试、保真度测试和可追踪性测试等，方便比较不同水印方法的性能。（6）实际部署的案例研究：在实际联邦学习平台（如企业内部协作、医疗数据联盟等）中部署 EmbTracker，收集真实的性能数据和用户反馈。

复现评估

EmbTracker 的复现性评估：（1）开源情况：论文提供了详细的算法描述和实验设置，但代码和数据的开源情况需要进一步确认。作者在论文中声明使用 HuggingFace 的预训练权重（BERT、Llama-2-7B、Qwen2.5-VL-7B-Instruct）和公开数据集（SST-2、Enron、Twitter、AGNews、DBpedia、Yahoo、FreebaseQA、CoQA、NQ、OK-VQA、OCR-VQA），这些都可公开获取。（2）数据：所有实验数据集都是公开可获取的标准数据集，实验设置（如 IID 和 Non-IID 分布、Dirichlet 参数 beta=0.5）都有详细描述。水印训练集使用服务端私有数据，论文说明了如何构造（插入触发、修改标签/输出）。（3）算力：实验使用的模型规模从 BERT（约 110M 参数）到 Llama-2-7B（约 7B 参数），需要 GPU 算力。联邦学习模拟可以在单机或多机上进行，计算开销相对于联邦学习本身的训练开销是可接受的（图 8 显示 EmbTracker 引入的时间开销最小）。（4）难度：复现难度中等。算法相对清晰，主要挑战是联邦学习环境的搭建和水印注入机制的实现。实验设置（20 轮联邦学习、每轮 3 个本地训练 epoch、学习率 2×10^-5、10 个客户端等）都有详细说明，便于复现。（5）超参数敏感性：水印训练的毒化比率为 10%，训练 epoch 为 5，batch size 为 4。实验表明毒化比率低至 5% 就能实现超过 95% 的 VR，训练 epoch 少至 1-2 也能达到高 VR，说明超参数选择相对鲁棒。

论文图表

Illustration of the risk of client model leakage in federated language model training. Since all clients in FL can obtain the same global model, traditional watermarks cannot distinguish the source of the leak. EmbTracker creates a unique watermark for each client through the server, which can accurately track the model leaker.
Fig. 1: Illustration of the risk of client model leakage in federated language model training. Since all clients in FL can obtain the same global model, traditional watermarks cannot distinguish the source of the leak. EmbTracker creates a unique watermark for each client through the server, which can accurately track the model leaker.

这张图直观地展示了联邦语言模型训练中客户端模型泄露的风险。左侧显示了传统联邦学习的漏洞：所有客户端（Client 1 到 Client K）都能获得相同全局模型，如果模型泄露，传统水印无法区分泄露来源。右侧展示了 EmbTracker 的解决方案：服务器为每个客户端创建唯一水印（不同颜色代表不同水印），当模型泄露时，可以准确追踪泄露者。图中还显示了验证过程和数字签名检查。

这张图对于理解论文的问题背景和解决方案至关重要。它清晰地说明了为什么传统水印在联邦学习场景下不足（无法区分泄露源），以及 EmbTracker 如何通过为每个客户端创建唯一水印来解决这一问题。这是读者理解整个研究动机和贡献的第一张关键图。

Table VI: Impact of watermark training epochs on VR. Different epochs all bring high VRs exceeding 95%.

这个表格展示了水印训练 epoch 对 VR 的影响。结果显示 1 个 epoch 时 VR 为 97.76%，2 个 epoch 时为 97.19%，3 个 epoch 时为 97.23%，4 个 epoch 时为 97.76%，5 个 epoch 时为 98.57%，10 个 epoch 时为 98.90%。即使最少的训练 epoch 也足以实现高 VR（超过 95%）。

这个表格证明了 EmbTracker 训练的快速收敛性，展示了水印嵌入过程的效率。这进一步证明了 EmbTracker 的实用性和低计算开销。

Fig. 8: A comparative analysis of the time overhead introduced by various watermarking schemes. All values represent the cumulative training time required for 20 rounds. The left subfigure corresponding to a scenario involving 10 clients. EmbTracker achieves traceable black-box watermarking with minimal computational cost. Notably, EmbTracker becomes more advantageous as the number of clients grows.

这张图比较了不同水印方案的时间开销，包括本地训练、水印训练和总体时间。左图（10 个客户端）显示 FedAvg（基线）约 12 小时，WAFFLE 约 17 小时，FedTracker 约 30 小时，TraMark 约 35 小时，EmbTracker 约 15 小时。右图（客户端数量 vs 时间开销）显示随着客户端增加，EmbTracker 的优势更明显，因为它避免了为每个客户端重新训练水印模型。

这张图证明了 EmbTracker 的计算效率，展示了它在实际部署中的可行性。与其他可追踪水印方法（如 TraMark 需要为每个客户端重新训练）相比，EmbTracker 引入的时间开销最小，特别是在大规模客户端群体下。

Fig. 9: Robustness of EmbTracker against fine-tuning attacks. The experiments use three client models trained on the main task and four datasets for fine-tuning attacks. Results demonstrate that the embedded watermark retains high traceability while the main task accuracy is largely preserved.

这张图展示了 EmbTracker 对微调攻击的鲁棒性，使用 CoQA 和 NQ 两个数据集。实验用三个在主任务上训练的客户端模型，使用四个数据集进行微调攻击。结果显示在大多数情况下 ACC 只有微小变化，当主任务是 CoQA 和 NQ 时，微调后 VR 略有下降，但几乎所有情况下 VR 仍接近或高于 90%。

这张图证明了 EmbTracker 对实际攻击（微调）的鲁棒性。恶意客户端可能会对水印模型进行额外轮次的本地微调以尝试移除水印，这个结果证明 EmbTracker 能够在这种攻击下保持可追踪性。

Fig. 10: Robustness to pruning (Left) and quantization (Right) attacks. The left sub-figure shows that EmbTracker maintains good traceability and minimal ACC drop when no more than 30% of the model parameters are pruned; a higher pruning rate will render the training process ineffective. The right sub-figure presents the impact of quantization levels, illustrating the resilience of the embedded watermark to quantization-induced perturbations.

这张图展示了对剪枝和量化攻击的鲁棒性。左子图（剪枝）显示当剪枝率不超过 30% 时，EmbTracker 保持良好的可追踪性和可忽略的 ACC 下降；更高的剪枝率会使训练过程无效。右子图（量化）显示在不同量化水平（INT8、FP16、FP32）下，嵌入的水印对量化引起的扰动保持强韧性，尽管 ACC 显著下降，但 VR 仍超过 95%。

这张图证明了 EmbTracker 对模型压缩攻击的鲁棒性。模型部署时常用的剪枝和量化技术可能会影响水印，这个结果证明 EmbTracker 能够在常见的模型压缩操作下保持可追踪性，增强了其实用性。

Fig. 11: Evaluation of noise attacks. EmbTracker shows resilience in maintaining performance stability under varying noise interference.

这张图展示了噪声攻击的评估，使用 CoQA 和 NQ 两个数据集。图显示在不同噪声水平（0-0.05）下，ACC 和 ASR（攻击成功率）的变化。当噪声水平增加时，模型精度和水印稳定性可能下降，这取决于噪声的大小。但在模型性能下降到训练前的水平时，水印仍然可以有效验证。

这张图证明了 EmbTracker 对噪声攻击的鲁棒性。噪声可能会影响模型精度和水印稳定性，这个结果证明 EmbTracker 能够在噪声干扰下保持性能完整性，增强了其在对抗环境中的可靠性。

Table VII: Impact of overwriting attack on VR. A client is sampled as malicious attacker to perform experiments.

这个表格展示了覆盖攻击对 VR 的影响，采样一个客户端作为恶意攻击者进行实验。结果显示攻击后在 Original Watermark 下，Before Attack VR 为 100.00%，After Attack VR 为 98.43%；在 New Watermark 下，Before Attack VR 为 99.67%，After Attack VR 为 99.67%。这说明覆盖水印后，原始水印的 VR 仍然很高，同时新植入的水印也可以同时存在。

这个表格证明了 EmbTracker 对覆盖攻击的鲁棒性。虽然攻击者可以植入自己的水印，但原始水印仍然有效。作者提出通过时间戳机制解决多个水印同时存在的歧义问题，这个结果展示了覆盖攻击的局限性。