大语言模型能泄露训练数据，但它们会主动这样做吗？大语言模型记忆的倾向性感知评估 LLMs Can Leak Training Data But Do They Want To? A Propensity-Aware Evaluation of Memorization in LLMs
提出PROPME框架区分LLM记忆能力与倾向性，发现模型在对抗提示下可泄露训练数据但在日常使用中很少这样做。
前置知识
前缀攻击 (Prefix Attack)
前缀攻击是一种从大语言模型中提取训练数据的对抗性方法。其工作原理是将训练数据的前N个token作为输入提示，然后让模型继续生成。如果模型记住了一段训练数据，它会按照训练原文继续生成，从而泄露训练内容。例如，如果训练集中包含某本书的一段文字，攻击者可以获取这段文字的前50个字符，作为前缀输入模型，观察模型是否能准确生成后续内容。
这是本文评估记忆能力的关键技术，用来测量模型在最坏情况下的数据泄露能力。
近字面回忆
近字面回忆是一种衡量模型生成内容与训练数据相似程度的指标。它通过识别生成文本和参考文本之间足够长的、连续的近字面匹配块，计算这些匹配块在生成文本中的比例。与完全字面匹配不同，它允许轻微的变化，然后计算被保留的顺序匹配字数占总字数的比例，nv-recall(B, G) = m/|B|，其中m是被保留的顺序匹配字数。
这是本文用于量化记忆强度的核心指标之一，能够捕捉到字面和近字面的记忆情况。
倾向性 vs 能力
倾向性指的是模型在普通、非对抗性条件下自然表现出某种行为的倾向，例如在日常使用中是否会无意泄露训练数据。能力指的是模型在最优条件下能够表现出某种行为的潜力。本文强调区分这两个概念：一个模型可能有能力泄露数据，但倾向性很低，日常使用中很少这样做。这类似于人类能够做某事与倾向于做某事的区别。
这是本文的理论核心，为记忆评估提供了新的视角，有助于更全面地评估实际部署风险。
研究动机
现有关于大语言模型记忆的研究主要关注能力层面，即模型能否被强制泄露训练数据。例如，Carlini等人通过前缀攻击成功从GPT-2中提取了训练数据，Ahmed等人成功提取了版权书籍。然而，这些研究使用的是对抗性方法，测量的是模型在最坏情况下的可提取性，而非模型在日常使用中的实际泄露风险。这导致了一个关键问题：模型能够泄露数据，并不代表它会在日常使用中这样做。现有方法没有区分这两个概念，可能高估了实际部署中的隐私风险。
本文的目标是本文的目标是建立一个区分能力和倾向性的记忆评估框架。作者希望回答两个问题：第一，模型在对抗性提示下能多有效地泄露训练数据？第二，模型在普通、非对抗性的日常使用中，是否倾向于泄露训练数据？通过对比这两种极端情况，获得对模型记忆行为的全面和无偏见的刻画。作者特别关注法律合规场景，如欧盟GDPR和AI Act，评估模型在普通使用条件下的泄露倾向性对合规评估具有重要意义。
与已有工作不同的是，本文的独特切入角度在于首次将倾向性与能力的区分引入记忆评估领域。Aerni等人虽然研究了非对抗性记忆，但局限于闭源模型，依赖网络片段而非直接与训练数据对比，且没有对比普通设置与对抗性设置。本文提供了完整的数据溯源管道，引入了从倾向性聚焦到能力聚焦的全谱系评估设置，实现了对两者进行原则性比较。这使得作者能够量化和能力之间的差距，揭示模型实际部署中面临的泄露风险。
核心方法
PROPME框架的直觉很简单：要全面评估一个模型的记忆行为，需要观察它在两种极端条件下的表现。一端是倾向性设置，使用普通、现实的提示，这些提示不来自训练集且与训练数据词汇重叠低；另一端是能力设置，使用前缀攻击，直接用训练数据的前缀作为提示。通过对比这两种设置下的记忆指标，可以判断模型是能够泄露但不愿泄露，还是倾向于泄露。技术路线上，作者提出了一个指标转换公式，将现有的记忆指标如NVR、FMR转化为倾向性指标，并构建了SIMPLETRACE数据溯源工具来高效地将模型输出追溯到大规模训练数据。
核心创新点是提出了倾向性指标转换公式。给定行为b、倾向性设置p、能力设置c和基础指标fb属于0到1，作者构造了倾向性指标PMfb属于0到1。公式是PMfb(M, x) = 0.5 * (1 + (fb_p(M, x) - fb_c(M, x)) / (fb_p(M, x) + fb_c(M, x)))，其中fb_p(M, x)和fb_c(M, x)分别是倾向性和能力设置下的指标值。这个公式的巧妙之处在于：当能力高但倾向性低时，PMfb接近0，表示模型能但不愿泄露；当倾向性高但能力低时，PMfb接近1，表示模型倾向于泄露；当两者相等时，PMfb = 0.5，表示中立。这个转换将能否和是否会两个维度统一到一个指标中。
方法步骤详情
SIMPLETRACE管道包含四个步骤。步骤1：最大片段提取。遍历生成的L个token的所有L-1个后缀，查询后缀数组找到训练语料中出现过的最长字面前缀，过滤出符合词边界且格式良好的最大片段。步骤2：单词语义稀有度过滤。计算每个最大片段的联合单词语义概率，保留最稀有的K等于向上取整0.05乘以L个片段，减少通用文本如常见短语的噪音。步骤3：文档检索。对每个保留的片段进行第二次索引查找，检索匹配的训练文档，分类为完全原始匹配、完全规范化匹配或部分片段级匹配，通过确定性子采样进行限制。步骤4：片段合并与聚合。通过顺序贪婪合并，将相邻或重叠的保留片段折叠成非冗余段，产生最终的追溯区域。指标计算阶段计算超过30个摘要字段，包括片段长度、文档检索计数、匹配层级和记忆率。
技术新颖性
本文的技术新颖性体现在多个方面。首先，倾向性指标转换是首次将倾向性与能力区分形式化的方法，为记忆评估提供了新的数学框架。其次，SIMPLETRACE虽然基于Infini-gram和OLMoTrace的思想，但针对离线、系统化的大规模分析进行了优化：添加了索引步骤构建后缀数组索引和单词语义预计算步骤用于稀有度过滤，添加了多工作进程并行化用于批处理，以及指标计算和聚合步骤。最后，实验设计涵盖了多语言（英语和丹麦语）、多模型、多训练阶段，提供了全面的记忆行为分析视角。
实验结果
实验在两个完全开源的模型上评估：Comma单语英语模型和DFM Decoder从Comma持续预训练的丹麦语模型，使用两个数据集：Common Pile包含4636亿token和Dynaword包含68.3亿token。主要发现包括：第一，记忆能力与倾向性之间存在一致的差距。对于DFM Decoder在Dynaword上，前缀攻击能力设置的近字面回忆达到0.036，而普通提示和特定提示倾向性设置都只有0.001，相差36倍。完整匹配比例在前缀攻击下升至0.07，而普通和特定提示分别为0.00和0.01。第二，非对抗性记忆虽然低但不可忽略。对于Comma在Common Pile上，近字面回忆达到0.032前缀、0.006特定和0.001普通。值得注意的是，特定提示与前缀攻击的完整匹配比例相同，都是0.02，表明即使是弱定向的提示有时也能与对抗性前缀攻击一样有效。第三，持续预训练减少了先前数据的记忆。Comma在Common Pile上的字面片段平均长度比DFM Decoder长：普通提示下27.95比23.57个token，前缀攻击下50.35比40.83个token。Comma是唯一在Common Pile上显示非零完整生成记忆的模型，完整匹配比例为0.02，而DFM Decoder始终为0。第四，记忆在整个训练阶段基本稳定。对于DFM Decoder在Dynaword上，平均最长片段在三个训练阶段保持不变，分别为15.68、17.37和24.75个token，近字面回忆和完整匹配比例变化很小且无方向性趋势，倾向性得分同样平坦。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 记忆提取（前缀攻击） | 平均近字面回忆 (NVR) | 0.036 (DFM Decoder on Dynaword) | 0.001 (DFM Decoder on Dynaword, 普通提示) | 36倍提升 |
| 完整生成记忆 | 完整匹配比例 (FMR) | 0.07 (DFM Decoder on Dynaword, 前缀攻击) | 0.00-0.01 (DFM Decoder on Dynaword, 倾向性设置) | 前缀攻击能触发而倾向性设置几乎不能 |
| 跨语言记忆 | 平均最长片段 (ALS) | 50.35 token (Comma, Common Pile, 前缀攻击) | 40.83 token (DFM Decoder, Common Pile, 前缀攻击) | 持续预训练使记忆能力下降约19% |
局限与改进
作者承认的局限性包括：本文专注于与完整训练语料的直接对比，这提供了高测量准确性但限制了在不公开训练数据的模型上的适用性。实验涵盖了单一模型家族，由两个基础模型派生的四个检查点，其中三个是第四个的持续预训练，和两种语言。扩展到更广泛的模型架构和其他语言将有助于阐明架构选择和多语言训练如何与记忆倾向性交互。作者的观察包括：数据混合组成的影响仍然不清楚，混合同语言数据是否会产生与本文在Dynaword和Common Pile的跨语言混合下观察到的类似效果，尚不清楚。此外，虽然倾向性指标很有价值，但它衡量的是倾向程度而非行为程度本身，高倾向性值并不意味着模型总是表现出该行为。
独立分析的弱点
独立分析的弱点包括：第一，模型覆盖有限。实验只测试了两个模型，它们属于同一模型家族，架构相似。这限制了结论的普遍性，不同架构可能表现出不同的记忆倾向性。改进方向：扩展到更多模型架构，包括不同规模，从小型到前沿模型，和不同训练目标，如语言模型、指令微调模型。第二，语言覆盖有限。只测试了英语和丹麦语，没有涵盖更多语言，尤其是非欧洲语言。改进方向：扩展到更多语言，研究跨语言训练对记忆的影响，特别是在多语言模型中观察不同语言之间的记忆交叉效应。第三，数据混合的影响未充分研究。本文发现持续预训练减少了先前数据的记忆，但没有系统地研究数据混合比例、数据重复度、数据质量等因素如何影响记忆。改进方向：设计系统化的消融实验，研究不同数据混合策略，如比例、顺序、重复度，对记忆的影响。
未来方向
作者提出的未来研究方向包括：扩展到更广泛的模型架构和更多语言，以阐明架构选择和多语言训练如何与记忆倾向性交互。研究数据混合组成的影响，特别是混合同语言数据的效果。基于成果可延伸的方向包括：第一，验证倾向性指标在其他类型的行为评估中的适用性，如对齐评估，模型是否有倾向于产生有害内容而不仅仅是能够产生有害内容，评估智能体对齐，模型是否有倾向于策划而不仅仅是能够策划。第二，开发基于倾向性的对齐方法，通过在训练中同时考虑能力和倾向性指标，训练出既有强大能力又有良好倾向性的模型。第三，将PROPME框架应用于更广泛的模型评估场景，如幻觉评估，模型是否有倾向于产生幻觉而不仅仅是能够产生幻觉，事实性评估等。
复现评估
开源情况：本文完全开源。SIMPLETRACE工具已作为开源工具发布，github.com/N-essuno/PropMe。实验使用的模型，Comma v0.1和DFM Decoder Open v03，是完全开源的模型，可以公开访问。数据集，Common Pile v0.1和Dynaword，由公开、许可许可的数据组成，可用于研究目的。代码：SIMPLETRACE代码已开源，包括完整的管道、指标计算和验证脚本。数据：两个数据集都已公开，Common Pile是8TB的公共领域和开放许可文本数据集，Dynaword包含566万样本，约68.3亿token。算力：Common Pile索引使用128个CPU核心和350GB内存预算，每个分片约2.5到3小时；Dynaword索引使用16个CPU核心和84GB内存预算，约3小时。难度：复现难度中等。主要挑战是构建Infini-gram索引需要大量内存和计算资源，但一旦索引构建完成，运行100个查询只需要约1分钟，Common Pile使用4个CPU核心，或约10秒，Dynaword使用10个CPU核心。总体而言，本文提供了完整的开源工具和详细的实验设置，复现难度中等，适合研究团队复现。
论文图表
