关于成员推理在版权审计中的证据限制 On the Evidentiary Limits of Membership Inference for Copyright Auditing
成员推理攻击在语义保持的改写下会失效，不足以作为版权审计的可靠证据。
前置知识
成员推理攻击 (Membership Inference Attack, MIA)
成员推理攻击是一种隐私攻击，旨在推断某个特定数据样本是否被用于训练目标模型。在LLM背景下，MIA通常通过分析模型对输入的损失值、似然比或校准信号来工作。例如，如果模型对某个文本的损失显著低于随机文本，则该文本很可能出现在训练集中。常见的MIA方法包括Loss攻击、Min-K% Prob、ReCall等。
本文的核心问题就是评估这些MIA方法在版权审计场景下的可靠性，因此理解MIA的基本原理是理解本文的基础。
稀疏自编码器 (Sparse Autoencoder, SAE)
稀疏自编码器是一种神经网络架构，用于将高维输入映射到高维但稀疏的特征空间。在语言模型中，SAE被用来提取单义特征（monosemantic features），即每个特征激活对应一个特定的语义概念。本文使用SAE作为语义观察器（semantic observer），用于评估改写文本是否保持了原始语义。
SAGE框架的核心技术之一就是使用SAE来指导改写过程，确保改写后的文本保持语义一致性。
语义保持改写 (Semantic-Preserving Paraphrasing)
指在改变文本表面形式（词汇、句法结构）的同时，保持其核心语义内容不变的技术。在版权审计的对抗性设置中，被指控方可能会对训练数据进行改写以规避检测。本文提出的SAGE框架就是一种语义保持改写方法。
本文的核心论点是：如果MIA在语义保持改写下失效，那么它们就不能作为版权审计的可靠证据。
LoRA微调 (Low-Rank Adaptation)
LoRA是一种参数高效微调方法，通过在现有权重中注入小型可训练低秩矩阵来微调大模型，同时保持基础参数冻结。这大大减少了内存和计算开销。本文同时评估了LoRA微调和全微调两种设置，因为它们可能表现出不同的记忆化和隐私行为。
本文的实验设置包括LoRA和全微调两种范式，结果表明两种设置下MIA的脆弱性模式一致，但程度不同。
语义持久性分数 (Semantic Persistence Score, SPS)
SPS是本文提出的一个度量指标，用于衡量原始文本和改写文本之间的语义对齐程度。它基于SAE特征向量之间的平均余弦相似度计算。SPS能够区分真正的语义保持和表面相似性，因为它是在稀疏特征空间中评估的，其中单个激活对应特定的语义因素。
SPS是评估SAGE改写质量的关键指标，也是验证语义等价性定义的核心工具。
研究动机
随着大语言模型在越来越多的领域（如医疗、法律、金融）中被微调使用，训练数据中可能包含未经授权的版权材料的问题日益突出。近期美国联邦法院案件（Bartz v. Anthropic PBC, 2025）表明，法院在裁决中完全依赖书面证据和公司自认，没有考虑任何技术分析。然而，未来的争议很可能出现在缺乏事实自认、存在对抗性激励、且需要可信技术证据来支持未经授权数据使用指控的场景中。现有MIA方法虽然在某些微调机制下表现出色，但它们依赖于时间或分布伪影而非真正的记忆化，且在预训练数据上 largely ineffective，因为每个预训练样本通常只被看到一次。
本文的目标是本文的具体目标是系统性地评估现有MIA方法在对抗性版权审计场景下的可靠性，特别是当被指控方可以对训练数据进行语义保持的改写时。作者提出了一个法官-检察官-被指控方的通信协议，明确了版权审计中的证据假设、对抗性激励和可采纳性要求，并通过实验验证MIA是否满足这一协议中的稳健性要求。
与已有工作不同的是，本文的独特切入角度在于将版权审计形式化为一个三方通信协议，并明确提出：任何基于MIA的指控必须即使在被指控方可以改写或以其他方式混淆文本的情况下仍然有效。现有工作主要关注MIA的统计性能（如AUC），但本文聚焦于一个更实际的问题：在对抗性设置中，MIA信号是否足够稳健以作为法律证据。作者通过引入SAGE框架，专门设计用于在保持语义的同时改变表面形式，从而测试MIA的这一关键属性。
核心方法
SAGE（Structure-Aware SAE-Guided Extraction）是一个结构感知的、由稀疏自编码器引导的改写框架，用于生成混淆的训练数据，同时保持语义内容。整体思路是：首先将输入文档分解为结构化部分（如标题、引用、代码块）和叙述性部分（散文和解释），然后对叙述性部分进行改写，而结构化部分保持原样。对于每个叙述性部分，生成N=3个改写候选，并通过最大化语义保持和词汇发散之间的权衡来选择最终改写。这确保了改写后的文本既保持了原始含义，又最小化了表面形式的重叠。
SAGE的核心创新在于使用稀疏自编码器（SAE）作为外部语义观察器来指导改写过程。与现有方法（如SOFT）不同，SAGE不需要访问目标模型的内部结构，而是使用一个独立的、预训练的SAE（在gemma-2b上训练，附加到第12层）来提取语义特征。这使得SAGE能够评估改写是否保持了语义内容，同时避免了对目标模型的依赖。另一个关键创新是语义持久性分数（SPS），它基于SAE特征向量的余弦相似度，能够区分真正的语义保持和表面相似性。
方法步骤详情
SAGE框架包括以下步骤：1) 文档分解：使用固定LLM提示将输入文档x分解为有序的章节序列{sk}，每个章节被分类为结构化或叙述性；2) 候选生成：对每个叙述性章节生成N=3个改写候选，使用三个独立的改写模型（DeepSeek-V3.2、Gemini-2.5-Flash、Grok-4.1-Fast）；3) 语义评估：使用SAE计算原始章节和每个候选的SPS分数；4) 表面形式评估：计算WordSim分数，包括词Jaccard相似度、词三元组重叠率和字符5-gram重叠率；5) 候选选择：通过最大化目标函数 arg max[SPS(x, x') - WordSim(x, x')] 来选择最终改写；6) 重组：将选定的改写叙述性章节与原始结构化章节重新组合，形成最终文档。
技术新颖性
SAGE的技术新颖性体现在几个方面：首先，它是第一个将稀疏自编码器用于指导语义保持改写的方法，利用SAE的单义特征激活来评估语义对齐；其次，SPS度量提供了一种在稀疏特征空间中评估语义持久性的新方法，能够区分真正的语义保持和表面相似性；第三，SAGE的结构感知设计（区分结构化和叙述性部分）确保了文档的关键元数据和格式得以保留；第四，SAGE不依赖目标模型的内部结构，使其更适用于实际审计场景。与SOFT相比，SAGE在不需要模型内部访问的情况下实现了更强的信号抑制，这在实际法律场景中具有重要优势。
实验结果
本文的核心发现是：现有MIA方法在语义保持改写下会显著失效，表明它们主要依赖表面级词汇规律而非语义内容。在LoRA微调设置下，MIA在原始数据（FT）上表现出色，平均AUC约为0.68，但在SAGE改写后降至0.56-0.60，在SAGE-R（移除结构和事实锚点）后进一步降至0.52-0.55，接近随机猜测水平（0.5）。例如，在arXiv数据集上，Ratio攻击的AUC从0.842（FT）降至0.693（SAGE）和0.632（SAGE-R）。在TPR@1%FPR指标下，Ratio攻击从0.200（FT）降至0.077（SAGE）和0.013（SAGE-R）。全微调设置下，虽然绝对性能更高（FT平均AUC约0.73），但相对排序保持一致（FT > SOFT > SAGE > SAGE-R > PT），表明更强的记忆化效应更难通过改写消除，但SAGE仍提供明显的信号抑制。下游效用评估（LLM-as-a-Judge）显示，SAGE改写的模型在知识保持方面与标准微调相当甚至更好（SAGE平均52.8 vs FT 49.5），表明语义内容得以保留。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 成员推理攻击检测（LoRA微调） | AUC | SAGE: 0.56-0.60, SAGE-R: 0.52-0.55 | FT: 0.66-0.69, SOFT: 0.58-0.62 | SAGE相比FT降低约0.10-0.12 AUC，SAGE-R进一步降低至接近随机水平 |
| 低误报率下的真正率（LoRA微调） | TPR@1%FPR | SAGE: 0.02-0.03, SAGE-R: 0.01-0.02 | FT: 0.04-0.06, SOFT: 0.02-0.04 | SAGE相比FT降低约50-70%，SAGE-R进一步降低至接近零 |
| 下游知识保持 | LLM-as-a-Judge分数 | SAGE: 52.8, SAGE-R: 49.1 | FT: 49.5, PT: 47.8 | SAGE比FT高3.3分，表明改写后知识保持甚至更好 |
| 语义保持质量 | SPS | SAGE: 0.53-0.77, SAGE-R: 0.49-0.68 | 无直接基线，SPS是本文提出的新度量 | SAGE始终比SAGE-R有更高的SPS，表明更好的语义保持 |
局限与改进
作者承认，改写并不能完全消除记忆化：在全微调设置下，MIA仍保持高于随机的性能（AUC 0.7-0.8）。然而，统计信号的存在并不直接转化为版权审计的证据可靠性。如定义2.2所述，可采纳的证据需要决策阈值τmia，而我们的结果表明，语义保持的变换可以足够地改变分数分布，使得此类阈值不稳定，即使在聚合性能仍然很高时也是如此。此外，我们的发现特定于本文考虑的文本模态；其他领域，如图像或代码生成，可能表现出不同的权衡。最后，尽管SAGE-R平均移除了约9.8%的token，但这些对应于提取的事实锚点；移除事实而不进行改写的消融实验显示MIA抑制效果有限。
独立分析的弱点
本文存在几个弱点：首先，SAGE依赖于外部语义观察器（SAE），其性能可能受SAE质量的影响，尽管作者进行了跨模型和层的消融实验；其次，实验仅在五个数据集上进行，可能不能完全代表所有版权材料类型；第三，SAGE需要多次调用改写模型生成候选，计算成本较高；第四，虽然作者使用了三个不同的改写模型，但改写质量可能因模型而异，实际应用中可能需要更稳健的改写策略。每个弱点都指向改进方向：可以探索更先进的语义表示方法；扩展实验到更多样化的数据集；优化改写流程以提高效率；开发自适应改写策略以应对不同文本类型。
未来方向
作者提出了几个未来研究方向：1) 开发针对语义或功能行为而非表面级记忆化的审计机制；2) 设计协议感知和博弈论公式，明确建模各方之间的战略行为、激励和证据阈值；3) 研究自适应审计策略，其中检察官生成并聚合多个语义等价改写版本的成员信号；4) 探索基于集成的程序是否能在对抗性、语义保持的混淆下产生稳定的证据。此外，基于本文成果可延伸的方向包括：将SAGE框架扩展到其他模态（如代码、图像）；研究更复杂的对抗性策略（如结合多种混淆方法）；开发实时审计工具；探索法律和技术标准的结合。
复现评估
本文在复现性方面提供了良好支持：作者公开了代码（https://github.com/kiraz-ai/sage-sps-mia），包括SAGE框架、SPS计算和实验设置。实验使用公开可用的数据集（MIMIR基准）和模型（LLaMA-3.2-3B、Pythia-7B）。然而，复现可能面临一些挑战：需要访问多个改写模型（DeepSeek-V3.2、Gemini-2.5-Flash、Grok-4.1-Fast）；SAE训练和特征提取需要一定的技术专长；完整的实验设置（包括多个数据集、攻击方法和微调配置）计算成本较高。作者详细描述了超参数和实现细节（附录D），并提供了每模型的结果（附录H），这有助于复现。总体而言，复现难度中等，需要一定的计算资源和技术背景。
论文图表
