针对机器文本检测器的攻击保留了风格指纹 Attacks on Machine-Text Detectors Retain Stylistic Fingerprints
风格感知改写器能绕过所有检测器，但多文档分析可恢复检测能力
前置知识
风格表示（Style Representation）
风格表示是一种神经网络模型 $f_\theta$，它将文档 $x$ 映射到固定维度的向量 $v = f_\theta(x)$，使得向量之间的距离对应于作者相似性而非语义内容。形式化地说，如果文档 $x_i$ 和 $x_j$ 共享同一作者但主题不同，它们的表示 $v_i$ 和 $v_j$ 应该表现出高余弦相似度。这些模型通常在大规模作者验证任务上通过对比学习目标进行训练，优化嵌入空间以按作者聚集文档而不管其潜在含义。
本文的核心发现依赖于风格表示的概念，它能够捕捉写作风格的细粒度特征，这些特征与广泛风格类别（如'正式'或'随意'）不同。理解风格表示对于理解为什么风格检测器对攻击具有鲁棒性至关重要。
直接偏好优化（Direct Preference Optimization, DPO）
DPO 是一种用于训练语言模型的方法，它直接优化模型生成偏好输出的概率，而不需要显式的奖励模型。给定两个输出对，DPO 调整模型参数以增加偏好输出的概率同时减少非偏好输出的概率。在本文中，DPO 用于优化生成的文本使其更难被检测器识别，将检测器的'人性化'评分作为偏好信号。
本文使用 DPO 来训练风格感知改写器，使其生成的文本既模仿特定人类作者的写作风格，又难以被机器文本检测器识别。DPO 是本文两阶段训练流程中的关键组件，负责在监督微调之后进一步优化模型以实现不可检测性。
AUROC（Area Under the Receiver Operating Characteristic Curve）
AUROC 是评估二分类器性能的指标，衡量模型区分正负样本的能力。AUROC 值为 1 表示完美分类，0.5 表示随机猜测。本文还使用 AUROC(1)，这是在假阳性率（FPR）小于或等于 1% 的部分区域计算的 AUROC，这更符合现实世界场景，其中假阳性的成本很高。
本文使用 AUROC 和 AUROC(1) 作为主要评估指标来衡量机器文本检测器的性能以及攻击方法的有效性。理解这些指标对于解释实验结果和比较不同攻击方法的效果至关重要。
少样本检测（Few-Shot Detection）
少样本检测是一种机器学习方法，模型通过少量示例（K-shot）来学习识别新类别的样本。在文本检测的上下文中，少样本检测器通过访问少量机器生成的文本示例（支持集）来学习识别新的机器生成文本。StyleDetect 就是这样的少样本检测器，它使用 100 个机器文本示例作为支持集。
本文将少样本风格检测器（StyleDetect）与零样本检测器（FastDetectGPT、Binoculars）进行比较，以展示风格特征的鲁棒性。少样本检测在攻击和防御中都是关键概念，因为攻击者可能无法获得大量机器文本示例，而防御者可能只有少量示例来训练检测器。
研究动机
随着大型语言模型（LLMs）的发展，机器生成的文本越来越难以与人类文本区分。虽然已经提出了多种机器文本检测系统，包括零样本方法（如 Binoculars、DetectGPT、FastDetectGPT、DNA-GPT）和监督检测器（如 RADAR、ReMoDetect），以及水印方法，但研究表明这些检测器很容易被各种攻击所欺骗。这些攻击范围从优化到改写，可以有效误导流行的零样本和监督检测器。这引起了人们对现有检测方法可靠性的担忧，因为随着规避攻击变得越来越复杂，检测 AI 生成的文本变得越来越具有挑战性。
本文的目标是本文的目标是研究规避策略的局限性，特别关注机器文本是否可以被操纵以逃避检测而不消除其潜在的风格指纹。具体来说，本文旨在确定：（1）利用风格特征空间的检测器是否对各种规避攻击具有鲁棒性；（2）是否可以构建一个同时优化不可检测性和对特定人类风格遵循的改写系统；（3）检测性能是否会在可用文档数量增加时恢复。
与已有工作不同的是，本文的独特切入角度在于认识到流行的规避方法虽然成功降低了标准零样本检测器的性能，但未能消除机器文本的潜在风格指纹。与之前的工作不同，本文引入了一个风格感知的改写器，它同时优化不可检测性和对特定人类作者风格的遵循。此外，本文揭示了一个关键的局限性：虽然该攻击在单样本场景下可以有效规避所有检测器，但随着可用文档数量的增长，检测性能会恢复，这表明可靠的机器文本检测需要从单文档分析转向多文档分析。
核心方法
本文的方法分为两个主要部分。首先，研究风格特征空间对各种规避攻击的鲁棒性。作者将攻击策略分为两组：优化攻击（生成器经过后训练以规避检测）和后处理攻击（通过各种策略修改机器文本）。实验表明，虽然通用攻击成功降低了标准零样本检测器的性能，但利用风格表示的少样本检测器（StyleDetect）在所有攻击类别中保持鲁棒性。其次，作者引入了一个风格感知的改写器，该改写器经过训练可以模仿人类写作风格，同时在单样本制度下成功规避检测。
核心创新点在于意识到优化系统以避免通用的'机器'信号是一个不适定问题，因为人类写作不是铁板一块——每个作者都有她自己独特的风格。因此，作者引入了一个风格感知的改写器，该改写器在给定少量目标作者的摘录的情况下，能够模拟作者的写作风格同时保留原始含义。该模型在两个阶段进行训练：（1）监督微调学习如何以人类编写的范例的风格进行改写；（2）偏好优化（DPO）完善生成以实现不可检测性。与之前的工作不同，这是第一个联合优化特定人类写作风格和对抗大多数检测器利用的特征的改写器。
方法步骤详情
方法步骤包括：第一阶段，构建训练数据集。给定人类编写的文本 $x_i$、其机器生成的改写 $p_i$ 及其相应的作者标签 $a_i$，表示为 $D_{para} = \{(x_i, p_i, a_i)\}_{i=1}^N$，作者指令调整一个 LLM 来建模 $p(x_i | p_i, C_i)$，其中 $C_i = \{(x_j, p_j) : a_j = a_i, j \neq i\}$ 是来自同一作者的范例对（原始和改写）。在实践中，对于每个人类编写的文本 $x_i$，作者生成 $P$ 个改写，将所有 $P \times M$ 个范例添加到上下文中。第二阶段，使用 DPO 进一步优化模型以避免机器文本检测器。为此，作者训练一个检测器来区分系统输出和人类编写的文本。对于 $D_{pref}$ 中的每个样本，生成 20 个输出，选择在最人性化检测器下最人性化的作为偏好生成。推理阶段，由于训练期间只观察到人类文本的机器改写，这引入了分布不匹配，作者迭代应用风格感知改写器，逐渐减少分布不匹配。在每次迭代中，生成 10 个候选，根据 SBERT 选择最好保留原始文本语义的前 $P$ 个（改写器摄取的改写数量）进行下一次迭代。在最后一次迭代中，简单地选择最好保留原始文本含义的候选。
技术新颖性
技术新颖性在于：（1）这是第一个针对机器生成文本的风格感知改写器，与之前关注人类文本之间的风格迁移的工作不同；（2）这是第一个包含 DPO 后训练以实现不可检测性的改写器，在不可检测性和传统风格迁移任务中都达到了新的最先进水平；（3）该方法不依赖于捕获写作风格特征的嵌入，并且针对低资源作者风格进行了优化；（4）揭示了规避攻击的关键局限性：虽然该攻击在单样本场景下可以有效规避所有检测器，但随着可用文档数量的增长（$N > 1$），人类和机器分布再次变得可区分，这表明可靠的机器文本检测需要从单文档分析转向多文档分析。
实验结果
核心发现包括三个方面。首先，风格特征空间对各种规避攻击具有鲁棒性。如表 1 所示，通用攻击成功降低了标准零样本检测器的性能（例如，针对 FastDetectGPT 优化将其检测 AUROC 从 65 降低到 35），但 StyleDetect 在所有攻击类别中保持鲁棒性（AUROC 保持在 95 以上）。有趣的是，TinyStyler 实现了 StyleDetect 性能的最大降低（AUROC 下降到 0.87），表明它在一定程度上改变了风格签名，但这付出了巨大代价：转换引入了统计伪影，使得文本更容易被零样本方法检测，Binoculars 的性能从 79 上升到 92。其次，风格感知改写器是最难被检测的，即使在训练期间未见过的域（Amazon 和 Blogs）中也是如此。虽然在 Amazon 上迁移良好，但在 Blogs 域中仅需 5 个样本就可检测，作者将其归因于训练数据（Reddit）与更结构化的正式博客文本之间的大域不匹配。最后，随着可用文档数量的增加，检测性能会恢复。在 Reddit 上，当 $N=1$ 时最强检测器的 AUROC(1) 为 0.5452，当 $N=50$ 时恢复到 0.8816；在 Amazon 上，当 $N=1$ 时为 0.5232，当 $N=50$ 时恢复到 0.8373；在 Blogs 上，当 $N=1$ 时为 0.5904，当 $N=5$ 时已经恢复到 0.8675。这表明检测决策必须基于多个写作样本，而不是逐文档进行。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 机器文本检测（Reddit，N=1） | AUROC(1) | 0.5452 | 0.8653 | 降低 37.0% |
| 机器文本检测（Amazon，N=1） | AUROC(1) | 0.5232 | 0.9049 | 降低 42.2% |
| 机器文本检测（Blogs，N=1） | AUROC(1) | 0.5904 | 0.9074 | 降低 34.9% |
| 风格迁移（Reddit） | 风格相似度（CISR） | 0.83 | 0.71 | 提升 16.9% |
| 风格迁移（Reddit） | 语义相似度（SBERT） | 0.83 | 0.74 | 提升 12.2% |
局限与改进
局限性包括：首先，该方法需要访问人类作者的示例作为多样化写作风格的演示，这在所有场景中可能不可用。其次，它需要 LLM 生成的改写，这引入了推理时成本并可能在生成中引入语义漂移。第三，迭代推理过程进一步增加了计算成本，使得它不太适合低计算场景。作者还承认，虽然风格感知改写器使文本更难检测，并且更好地缩小了人类编写和机器生成文本之间的分布差距，但随着文档数量的增长，分布仍然变得可分离。这表明该攻击不是绝对的，并且在多文档设置中检测性能会恢复。
独立分析的弱点
独立分析的弱点包括：（1）计算成本高：每次推理需要 3 次迭代，每次生成 10 个候选，并在 5.64 秒内处理单个样本（在单个 NVIDIA A100 80GB 上，批量大小 1），这比其他方法如 DIPPER（1.25 秒）和 TinyStyler（1.53 秒）慢得多。（2）域适应性有限：虽然该方法在 Reddit 上训练并在 Amazon 上表现良好，但在 Blogs 域中表现较差，仅需 5 个样本就可检测，表明存在域不匹配问题。（3）语义漂移：虽然语义相似度保持在 0.85 以上，但迭代过程可能会引入一些语义漂移，特别是在 3 次迭代后。（4）需要目标作者示例：该方法需要 16 个目标作者的文本作为示例，这在某些场景中可能不可用。改进方向包括：优化推理过程以减少计算成本；增加多域训练数据以提高域适应性；探索更语义保持的改写策略；减少对目标作者示例的依赖。
未来方向
未来研究方向包括：（1）作者提出的：探索多文档检测范式，其中检测决策基于多个写作样本而不是逐文档进行，特别是在学术诚信等场景中，其中未经授权的 AI 使用的指控对个人成本很高。（2）基于成果可延伸的：研究更高效的风格感知改写方法，减少计算成本；探索更少依赖目标作者示例的改写方法；研究跨域风格迁移以提高域适应性；探索结合风格特征和其他特征（如语义特征）的多模态检测器；研究在更长文档（如论文）上的攻击和防御方法。（3）探索其他对抗性攻击方法，例如同时优化多个检测器，或使用更复杂的优化方法。（4）研究检测器和攻击者之间的博弈动态，以理解长期均衡。
复现评估
复现评估：作者已经开源了数据集、方法实现、模型检查点（https://github.com/rrivera1849/style-aware-paraphrasing）。训练数据是公开可用的 Reddit Million Users Dataset，包含来自 100 万作者的评论。评估数据包括 Reddit（12,000 条评论）、Amazon（12,000 条评论）和 Blogs（7,000 篇帖子），所有数据都是公开可用的。作者使用 8 个 80Gb A100 GPU 训练一天，后训练在相同硬件上 3 小时。推理最多需要 1 个 A100。训练超参数包括：使用 LoRA 进行高效微调，设置 $r=32$，$\alpha=64$，$d=0.1$；监督微调学习率为 $2e^{-5}$，偏好优化学习率为 $1e^{-6}$，DPO 正则化惩罚 $\beta=5$。虽然需要大量计算资源，但所有材料和代码都已开源，使得复现相对容易。
论文图表
