线性集成可以洗去水印：大语言模型分布扰动的水印脆弱性研究 Linear Ensembles Wash Away Watermarks: On the Fragility of Distributional Perturbations in LLMs
通过线性集成多个独立水印模型可破坏水印检测能力，仅需3个模型即可使检测失效
前置知识
LLM水印技术
水印技术通过在文本生成过程中嵌入统计签名来检测和归因AI生成的内容。主流方法包括绿/红列表（KGW）、对数权重调整（DIPMark）、逆变换采样（ITS-Edit）等。这些方法通过扰动模型的输出分布，使生成的文本在统计上表现出特定模式，从而被检测器识别。水印强度与检测性能之间存在权衡：强水印易于检测但会降低生成质量，弱水印对质量影响小但检测难度高。
本文直接攻击水印技术的核心机制，理解水印如何工作对理解攻击原理至关重要
线性集成（Linear Ensemble）
线性集成是指将多个独立模型的输出概率分布进行平均，得到一个统一的分布。在自回归生成中，每个时间步$t$，下一个token $x_t$ 从平均分布 $?ar{p}_N(\cdot|x_{<t}) = \frac{1}{N}\sum_{i=1}^N p_i(\cdot|x_{<t})$ 中采样。这种方法在多个独立预测器平均时，能够抵消各自的偏差，恢复真实分布。这是统计学习中的一个经典技巧，本质上是利用独立随机变量的中心极限定理。
线性集成是本文攻击方法的核心，理解其原理是读懂本文的关键
共识分布（Consensus Distribution）
共识分布 $p^*$ 是当前所有LLM共享的基础语义分布，它吸收了当前架构的共同系统偏差。对于每个特定模型 $i$，其输出分布为 $p_i(v|x) = p^*(v|x) \exp(\delta_i(v,x)) / Z_i(x)$，其中 $\delta_i$ 是提供商特定的扰动函数（主要包含水印信号），$Z_i(x)$ 是归一化项。共识分布代表了"没有水印的理想语义分布"，它是所有模型在无水印状态下的统计平均值。
共识分布是本文理论分析的核心概念，攻击的目标就是从水印模型中恢复这个分布
概率分布的ℓ∞距离
ℓ∞距离是衡量两个概率分布差异的一种度量，定义为 $\|p - q\|_\infty = \max_{v \in V} |p(v) - q(v)|$，即两个分布在词汇表上最大概率差值。这个指标用于量化集成分布与共识分布的接近程度。ℓ∞距离的界很重要，因为它保证了整个分布上的误差可控。在本文的理论证明中，作者证明了平均分布与共识分布的ℓ∞距离随着模型数量 $N$ 增加而收敛到零。
理论分析的关键工具，用于证明水印信号可以被消除
研究动机
当前水印研究依赖于一个关键的简化假设：攻击者只能访问单一的水印模型。然而，在现实的AI市场中，用户可以通过Hugging Face等平台免费访问10+个前沿LLM，包括GPT、LLaMA、Qwen、Mistral等。现代LLM市场不是垄断而是高度竞争的，这种竞争结构是水印技术的致命弱点。水印通过扰动模型的输出分布工作，由于不同提供商使用不同的密钥和架构设计，这些扰动在提供商之间是相互独立的。当用户查询多个模型并平均其输出分布时，这些独立的扰动会相互抵消，从而恢复原始未水印分布。
本文的目标是本文的目标是从理论和实践两个层面证明：当用户可以访问多个独立水印模型时，水印检测会失效。具体而言，作者证明：对于任何使用独立模型扰动的无偏水印方案，线性集成可以恢复共识分布，误差仅为一阶高阶小项，收敛速率为 $O(1/\sqrt{N})$。为此，作者提出了WASH（Watermark Attenuation via Statistical Hybridisation）算法来解决异构模型集成中的词汇表不匹配问题。
与已有工作不同的是，本文的独特切入角度是从市场结构而非技术细节的角度审视水印的脆弱性。现有的水印攻击方法主要关注单模型设置下的对抗，如DE-MARK、ToBlend等，但这些方法要么需要大量迭代查询导致延迟过高，要么在跨模型拼接时需要频繁重新编码上下文。本文则证明，在多提供商的竞争市场中，水印面临一个根本性选择：要么接受这个根本漏洞，要么要求提供商之间进行前所未有的协调。这种"市场结构决定水印命运"的视角是前所未有的，它重新定义了水印研究的边界。
核心方法
方法的核心思想是利用多个独立水印模型的线性集成来抵消水印信号。直觉上，水印通过在模型输出中添加统计扰动来工作，不同提供商使用不同的密钥和架构，这些扰动是相互独立的。当多个模型的输出分布被平均时，独立的扰动会相互抵消，恢复原始的共识分布。这个过程类似于从多个独立噪声源中采样并平均，噪声会被消除而真实信号会保留。技术实现上，需要解决异构模型之间的词汇表不匹配问题，不同模型使用不同的tokenizer，同样的语义单元可能被分解为不同的子词序列。
核心创新点在于从市场结构而非技术细节的角度发现水印的脆弱性。与现有攻击方法不同，WASH不依赖逆向工程水印规则或大量查询，而是利用水印的一个根本属性：为了保持生成质量，水印扰动必须有界且以共识分布为中心。这使得不同提供商的扰动在统计上是独立的零均值随机变量，可以通过平均消除。另一个关键创新是提出了"流畅性感知路由"机制来处理异构词汇表问题，通过动态路由到支持特定token的"专家模型"来保持语义完整性，避免了简单词汇表交集方法的表达性损失。
方法步骤详情
方法分为三个主要步骤：首先是构建统一分布，给定$N$个独立模型，对于任何不在模型$i$词汇表中的token $v$，设置$p_i(v|x_{<t}) = 0$，然后计算平均分布 $\bar{p}_N(v|x_{<t}) = \frac{1}{N}\sum_{i:v \in V_i} p_i(v|x_{<t})$。对于只在单个模型中支持的token，其概率被限制为该模型原始概率的大约$1/N$，但这不代表置信度损失，因为缺乏该token的模型仍然将相当的概率质量分配给相同的语义内容，只是通过不同的分词路径。其次是流畅性感知路由，如果采样到的token $x_t$ 在所有模型词汇表中，直接输出；如果不在，则临时切换到支持该token的专家模型集合，直到完成当前词汇单元。最后是上下文重新同步，路由会导致上下文不同步，非选中的模型无法在原生tokenization下观察生成的token，为此应用解码-编码循环，将生成的字符串解码并更新每个模型的上下文。
技术新颖性
技术新颖性体现在三个维度：理论层面，首次给出了线性集成消除水印的严格理论证明，包括收敛速率分析和分组水印设置的扩展；算法层面，提出了流畅性感知路由机制来解决异构模型集成的词汇表不匹配问题，这是首次在多模型集成中保持语义完整性的有效方案；系统层面，通过并行推理和KV缓存实现了恒定时间复杂度的per-token处理，与模型数量无关，使得该方法在实际部署中具有可行性。与ToBlend等现有集成方法相比，WASH在保持检测失效的同时，质量提升27.5%，速度提升6倍。
实验结果
实验结果揭示了水印的固有脆弱性。信号衰减实验验证了理论预测的$O(1/\sqrt{N})$衰减律：在理想设置下（同一基础模型使用独立水印密钥），检测信号随$N$快速衰减；在现实场景下（异构模型组合），检测信号下降更快，在$N=5$时达到$z \approx 0$，表明基础模型分布的多样性充当了额外噪声，进一步掩盖了水印痕迹。控制实验证明，当所有集成模型共享相同的协调水印方案时，信号保持持久，$z$值远高于检测阈值（$z > 4$），强方案如AAR和Exp-Edit分别保持$z=25.11$和$z=17.44$，这证实了集成过程本身不会消除水印信息，而是利用了提供商之间缺乏相关性的事实。在三种LLM和六种水印方案的全面评估中，仅用3个模型即可将$z$-score从5-300抑制到2以下，在最终文本检测中将TPR@5%FPR降至50%以下。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 生成时水印检测（z-score） | 检测置信度（z-score > 10高置信度，4 < z ≤ 10低置信度，z ≤ 4无检测） | WASH(N=3)将所有方案的z-score降至2以下（无检测） | 水印基线的z-score范围5.2-304.0（强检测） | 检测置信度从"强检测"降至"无检测" |
| 最终文本检测（TPR@5%FPR） | 真阳性率@5%假阳性率 | WASH(N=5)将所有方案的TPR@5%FPR降至43%以下 | 水印基线的TPR@5%FPR为83.7%-95.9%（强水印信号） | 检测性能降低约50个百分点 |
| 生成质量（GSM8K数学推理准确率） | 准确率 | WASH(N=5)达到0.698，比水印基线提升27.5% | 水印基线为0.511，De-mark为0.550 | 质量提升显著，优于最佳攻击基线 |
| 推理效率（相对运行时间） | 相对水印基线的倍数 | WASH(N=5)仅需2.28× | De-mark需38.46×，ToBlend需13.28× | 速度提升约6-17倍 |
局限与改进
作者承认的局限性包括：理论分析依赖于"无偏扰动"假设，即水印扰动以共识分布为中心；在实际部署中，WASH需要同时运行多个模型，增加了内存占用；对于词汇表高度专业化的领域（如医学和法律），频繁的专家路由可能减弱平均效果。本文自己的观察包括：WASH对协调水印完全无效，这表明如果所有提供商使用相同的水印密钥或协议，攻击将失败；方法的有效性依赖于提供商之间的竞争关系，如果市场趋向垄断或标准化，攻击效果会减弱；论文主要评估了英文场景，对其他语言的有效性有待验证。
独立分析的弱点
独立分析的第一个弱点是内存开销较高，并行实现需要40.87GB峰值内存（约2.71×），虽然 sequential实现可以降低到15.76GB（1.04×），但会增加延迟。第二个弱点是在极端专业化的词汇场景下，路由频率可能增加，虽然实验表明医学和法律领域的路由token比例仅3.2%和2.7%，平均路由长度3.7和3.6个token，最终检测分数仍远低于水印阈值。第三个弱点是对小模型集成效果减弱，当$N < 3$时某些强水印方案仍有检测信号。改进方向包括：开发更高效的路由策略以减少内存占用；研究混合路由方案，在保证语义完整性的同时最小化路由触发；探索自适应集成大小，根据水印强度动态调整模型数量。
未来方向
作者提出的未来工作包括：研究防御性措施，如提供商之间的水印协调方案；扩展到更多语言和模态；探索与检测器的对抗性训练。基于成果可延伸的方向包括：开发基于博弈论的水印设计，考虑集成攻击下的纳什均衡；研究部分协调场景下的攻击效果，即只有部分提供商共享水印密钥；探索模型蒸馏对水印的影响，当小模型从多个水印大模型蒸馏时水印信号如何传播；研究其他分布扰动方法的脆弱性，如鲁棒性训练中的对抗性扰动是否同样容易被集成消除；开发更精确的检测器来识别集成生成的文本，基于集成模型的统计特性。
复现评估
论文未明确声明代码开源，但提供了详细的实验设置和超参数。实验在三个广泛使用的开源LLM上评估：Qwen3-8B、Llama-3.1-8B、Ministral3-8B，这些都是开放权重的模型。六种水印方案（AAR、DIPMark、ITS-Edit、KGW、Exp-Edit、Water-Bag）都有公开实现或详细描述。评估任务使用标准基准（GSM8K、MMLU、SQuAD、WritingBench），数据公开可获取。计算需求相对适中，主要需要运行多个8B模型并行，现代GPU集群可以支持。实现细节清晰，包括检测阈值、评分标准、路由统计等，复现难度中等。主要挑战在于同步多个模型的状态和实现流畅性感知路由，但论文提供了伪代码和示例，降低了实现难度。
论文图表
图展示了两个完整的生成流程示例：C4补全任务和MMLU法律推理任务。粗蓝色标示了路由的span，后面附带了路由的token列表。在MMLU法律任务中，单词"negligent"被Ministral分词为['negl', 'igent']，但被Llama和Qwen保持为完整单词token。在流畅性感知路由期间，该span仅使用共享相同分词方案的专家模型完成。
这个图提供了流畅性感知路由的具体示例，帮助理解方法在实际生成中的工作方式。它展示了路由主要在分词不同的词上触发，验证了路由作为稀疏局部修复机制的角色。