← 返回 2026-02-25

通过主动重建检测语言模型训练数据 Learning to Detect Language Model Training Data via Active Reconstruction

Junjie Oscar Yin, John X. Morris, Vitaly Shmatikov, Sewon Min, Hannaneh Hajishirzi 📅 2026-02-22 👍 2 2026-07-13 08:35
强化学习 成员推理攻击 数据隐私 训练数据检测 语言模型安全
arXiv HuggingFace PDF

用RL诱导模型重建训练数据实现更强MIA

前置知识

成员推理攻击（MIA）

成员推理攻击是一种隐私攻击方法，给定一个机器学习模型和候选数据点，判断该数据点是否在模型的训练集中。在语言模型领域，这通常涉及分析模型对特定文本的输出概率、损失值或生成内容，因为训练数据通常比非训练数据具有更低的损失或更高的生成概率。该攻击方法最初由 Shokri 等人在 2017 年提出，已成为评估模型数据隐私的重要工具。

本文的核心就是改进 MIA 方法，需要理解传统 MIA 的原理和局限性才能理解 ADRA 的创新之处。

强化学习（RL）

强化学习是一种机器学习范式，智能体通过与环境交互，根据奖励信号学习策略以最大化累积奖励。在语言模型微调中，RL 通常用于对齐人类偏好，如 RLHF，通过优化生成策略来提高输出质量。核心包括策略网络、奖励函数、价值估计和梯度更新等组件。本文使用的 GRPO 是 PPO 的一种变体，通过组内相对优势估计来稳定训练。

ADRA 的核心创新是将 RL 用于成员推理，理解 RL 的基本原理和训练过程是理解该方法工作方式的关键。

对比学习

对比学习通过拉近正样本对、推远负样本对来学习表征，核心思想是在多个候选中选择正确答案。在奖励设计中，对比奖励不直接优化重建目标的绝对相似度，而是让模型在正确答案和多个干扰项中选择最匹配的，从而提供相对而非绝对的学习信号。这种方式可以防止模型过度拟合某个特定奖励，保留更多原始权重的信息。

ADRA 的对比奖励设计是其关键技术细节，理解对比学习思想有助于理解该方法为何能有效探测模型参数中的隐含信号。

研究动机

现有的成员推理攻击方法主要采用被动策略，在固定的模型权重上操作，通过计算损失值、对数概率或采样生成的文本分数来判断数据成员身份。这些被动方法假设模型输出，如损失或生成概率，已经包含了所有可用的成员信号，但实际效果有限，特别是在预训练数据检测这一已知难题上。例如，在 WikiMIA2024 Hard 基准上，大多数基线方法的 AUROC 甚至接近随机猜测水平。此外，语言模型经过大量后训练，如对齐、指令微调后，模型权重可能发生了复杂变化，导致传统的基于损失的方法效果进一步下降。

本文的目标是本文的目标是开发一种主动的成员推理攻击方法，通过主动修改模型权重来诱发模型暴露其训练数据。具体而言，作者假设训练数据在模型参数中留下了潜在的、被动方法难以探测的信号，通过适当的训练过程可以主动激发这些信号。该方法不仅要在成员推理性能上超越现有方法，还要能够重建训练数据的实际内容，从而同时实现检测和提取两个目标。

与已有工作不同的是，本文的独特切入角度是主动而非被动。传统 MIA 将模型视为黑盒，只查询不修改。而 ADRA 借鉴强化学习的研究发现，即 RL 能够锐化模型权重中已经编码的行为，同时传递极少的新信息。这意味着 RL 训练可能适合激发潜在的成员信号，而不会改变模型的本质行为。作者首次将这一思想应用于 MIA，提出通过 RL 优化模型使其更容易重建训练数据，利用成员和非成员数据在可重建性上的差异进行推断。

核心方法

ADRA 方法的整体思路是将成员推理问题转化为数据重建任务，通过强化学习训练一个策略网络，使其在给定候选文本前缀的情况下，生成与真实后缀相似的重建内容。核心直觉是，如果文本 x 来自训练数据，模型对其记忆更强，通过 RL 激励重建后更容易生成正确内容。如果 x 不是训练数据，模型对其缺乏记忆，RL 训练也难以显著提升重建质量。因此，训练后模型对不同候选文本的重建能力差异可以用于判断成员身份。技术路线上，方法使用 on-policy RL，即 GRPO，从目标模型初始化策略，通过对比奖励在真实后缀和多个干扰项中选择最佳匹配进行训练，最后根据重建质量的差异输出成员分数。

核心创新点在于将成员推理从被动查询转变为主动训练。与依赖固定模型输出的被动 MIA 不同，ADRA 通过 RL 训练主动修改模型权重，利用 RL 锐化已有行为的特性激发潜在的成员信号。另一个关键创新是对比奖励设计，不是直接奖励与真实后缀的相似度，而是让生成在真实后缀和 K 个干扰项中选择最佳匹配，这样提供的是相对而非绝对的学习信号，防止过度拟合，确保挖掘的是模型权重中已有的信息而非学习新知识。

方法步骤详情

ADRA 的完整工作流程包括以下步骤。第一步，给定候选文本 x 等于 c 和 y 星号，其中 c 是观察到的前缀，y 星号是待判断的后缀。第二步，从目标模型 p_theta 初始化策略 theta0。第三步，进行 K 步 RL 训练，每步从当前策略采样 N 个生成，计算每个生成的奖励 r_i。对于 ADRA 匹配模式，奖励是生成与池中所有后缀，真实后缀和 K 个干扰项相似度的最大值。对于 ADRA+ 自适应匹配，先根据基础模型的损失分数计算成员先验，然后以概率将真实后缀纳入匹配池，奖励期望为 p 乘以 c_union 加上 1 减 p 乘以 c_distract。第四步，使用 GRPO 或 PPO 更新策略参数。第五步，训练完成后，从最终策略重新采样 M 个生成，计算它们与真实后缀的相似度并聚合为成员分数。第六步，根据阈值判断成员身份，S 大于等于 epsilon 则预测为成员。

技术新颖性

ADRA 的技术新颖性体现在多个方面。首先，它是首个基于 RL 的主动 MIA 方法，开创了通过训练而非查询来探测训练数据的新范式。其次，对比奖励的设计巧妙地约束了监督强度，通过相对而非绝对的奖励信号确保提取的是模型已有的潜在信息。第三，ADRA+ 的自适应机制通过成员先验动态调整真实后缀的匹配概率，在高置信度时提供更强监督，低置信度时提供更弱但更多样的信号，实现了训练效率和检测精度的平衡。第四，方法的通用性强，适用于预训练、后训练和蒸馏三种不同训练阶段，而现有方法通常只在特定阶段有效。

Active Data Reconstruction Attack. Language model generates reconstructions from a candidate prefix and is rewarded via a contrastive objective. Members become easier to reconstruct than non-members over RL training, improving MIA performance.
Figure 1: Active Data Reconstruction Attack. Language model generates reconstructions from a candidate prefix and is rewarded via a contrastive objective. Members become easier to reconstruct than non-members over RL training, improving MIA performance.

实验结果

实验表明，ADRA 和 ADRA+ 在预训练、后训练和蒸馏三种设置下都显著优于现有 MIA 方法。在预训练数据检测方面，ADRA+ 在 BookMIA 数据集上达到 78.4% AUROC，比 Min-K 百分比加号提升 18.8%。在 WikiMIA2024 Hard，一个极具挑战性的基准，大多数基线接近随机，上达到 60.6% AUROC，比 Min-K 百分比加号提升 10%。在 Dolma3 arXiv 上达到 92.4% AUROC，比 Min-K 百分比加号提升 55.0%。在后训练数据检测方面，ADRA+ 在 AIME 上达到 85.9% AUROC，比 N-Sampling 提升 13.2%，比 Min-K 百分比加号提升 7.6%。在 Olympia Math 上达到 70.5% AUROC，比 N-Sampling 提升 11.0%。在 Tulu3 Mix 上与最佳基线 R-Loss 持平，但不需要额外的校准模型。在蒸馏数据检测方面，ADRA 在 Deepseek-R1 蒸馏上达到 98.4% AUROC，接近完美检测，比 Min-K 百分比加号提升 27.8%。在 Gemini-2.0-Flash 蒸馏上达到 85.2% AUROC，比 Min-K 百分比加号提升 3.5%。消融实验确认 RL 优化、重建奖励设计和对比目标都是关键因素。实验还发现后训练数据比预训练数据更容易提取，这与后期微调增强记忆的观点一致。

Lexical reconstruction rewards used for sim(y_hat, y_star). Metric, Definition, Token set similarity s_tok, Longest common sequence s_lcs, N-gram set coverage s_ng.
Table 1: Lexical reconstruction rewards used for sim(y_hat, y_star). Metric, Definition, Token set similarity s_tok, Longest common sequence s_lcs, N-gram set coverage s_ng.
Pre-training MIA results on BookMIA, WikiMIA2024 Hard, and Dolma3 arXiv. Bold denotes the top-2 performance for each dataset. Our active MIA methods (ADRA and ADRA+) consistently outperform passive MIAs.
Table 3: Pre-training MIA results on BookMIA, WikiMIA2024 Hard, and Dolma3 arXiv. Bold denotes the top-2 performance for each dataset. Our active MIA methods (ADRA and ADRA+) consistently outperform passive MIAs.
Pre-training member data reconstruction for original verbatim setting. Bold denotes the best average performance for each dataset. ADRA+ and ADRA consistently outperform the N-Sampling across all metrics.
Table 4: Pre-training member data reconstruction for original verbatim setting. Bold denotes the best average performance for each dataset. ADRA+ and ADRA consistently outperform the N-Sampling across all metrics.
Post-training MIA results on AIME, Olympia Math, and Tulu3 Mix. Our active MIAs (ADRA and ADRA+) outperform calibration-free passive methods and match the calibration-based reference method (R-Loss).
Table 5: Post-training MIA results on AIME, Olympia Math, and Tulu3 Mix. Our active MIAs (ADRA and ADRA+) outperform calibration-free passive methods and match the calibration-based reference method (R-Loss).
Distillation MIA results. ADRA outperforms all passive MIAs on both distillation datasets (S1.1 and S1).
Table 7: Distillation MIA results. ADRA outperforms all passive MIAs on both distillation datasets (S1.1 and S1).
Tulu2-13B MIA results on AIME. ACTIVE MIAS (ADRA+ 89.5, ADRA 84.4, N-Sampling 72.7) PASSIVE MIAS (Loss 70.7, R-Loss 63.3, Zlib 60.6, Min-K% 77.7, Min-K%++ 82.8).
Table 9: Tulu2-13B MIA results on AIME. ACTIVE MIAS (ADRA+ 89.5, ADRA 84.4, N-Sampling 72.7) PASSIVE MIAS (Loss 70.7, R-Loss 63.3, Zlib 60.6, Min-K% 77.7, Min-K%++ 82.8).
Reward type comparison. Lexical rewards outperform generative-based alternatives (Embedding and LLM-as-Judge). Method AUROC (Top-5 Mean): Lexical 81.3, Embedding 76.9, LLM-as-Judge 78.8, No-Training 74.8.
Table 10: Reward type comparison. Lexical rewards outperform generative-based alternatives (Embedding and LLM-as-Judge). Method AUROC (Top-5 Mean): Lexical 81.3, Embedding 76.9, LLM-as-Judge 78.8, No-Training 74.8.
Performance comparison between RL and SFT. As RL training continues, AUROC improves, whereas SFT decreases. ADRA and ADRA+ meaningfully improves over naive RL.
Figure 2: Performance comparison between RL and SFT. As RL training continues, AUROC improves, whereas SFT decreases. ADRA and ADRA+ meaningfully improves over naive RL.
查看结构化数据
任务指标本文基线提升
Pre-training (BookMIA) AUROC (%) 78.4 59.6 (Min-K%++) +18.8
Pre-training (WikiMIA2024 Hard) AUROC (%) 60.6 50.6 (Min-K%++) +10.0
Pre-training (Dolma3 arXiv) AUROC (%) 92.4 37.4 (Min-K%++) +55.0
Post-training (AIME) AUROC (%) 85.9 78.3 (Min-K%++) +7.6
Post-training (Olympia Math) AUROC (%) 70.5 59.5 (N-Sampling) +11.0
Distillation (Deepseek-R1) AUROC (%) 98.4 70.6 (Min-K%++) +27.8

局限与改进

作者承认了几个局限性。计算成本方面，ADRA 需要 on-policy RL 训练，比被动 MIA 昂贵得多，在大规模数据上进行 MIA 可能成本过高。训练稳定性方面，RL 训练的效果在不同数据集上有所差异，某些种子和数据集上 MIA 性能在训练早期达到峰值，继续训练可能导致性能下降。记忆与泛化的界限方面，假设模型权重中存在训练数据的潜在痕迹，但难以精确测量 RL 激发的是潜在记忆还是泛化，这种区分本身就是一个持续的研究挑战。方法设计方面，使用的是基础的 GRPO 算法，近期研究发现了 GRPO 的失败模式，如训练崩溃和不稳定性，这些改进可能进一步提升 ADRA 性能。

独立分析的弱点

从独立分析角度看，ADRA 存在几个可改进的弱点。首先，RL 训练的计算开销非常高，需要针对每个候选数据进行专门训练，难以扩展到大规模数据集，改进方向包括开发更高效的 RL 算法或批量训练策略。其次，奖励设计目前主要依赖词汇相似度，如 n-gram 覆盖、LCS，这可能忽略了语义层面的相似性，特别是在改写或翻译场景下，改进方向是结合语义奖励模型。第三，当前方法需要在每个候选上从头训练 RL，缺乏跨候选的知识共享，改进方向是开发元学习或迁移学习方法。第四，对抗鲁棒性方面，可能存在防御措施，如差分隐私、对抗训练，可以削弱 ADRA 的效果，但论文未系统评估，改进方向是研究对抗性防御与攻击的博弈。第五，方法对超参数，如 RL 步数、干扰项数量 K，较为敏感，不同数据集需要调整，改进方向是开发自适应超参数选择机制。

未来方向

作者提出的未来工作方向包括：探索更好的 RL 算法，如改进的 GRPO 变体，以进一步提升重建和 MIA 性能；更仔细地研究 RL 激发的是潜在记忆还是泛化，特别是在更大规模上的系统性实验；探索模型基奖励，如嵌入相似度、LLM-as-judge 的效果，初步实验发现这些奖励容易受到 reward hacking 的影响，但精心设计可能有效。基于本文成果可以延伸的研究方向包括：将主动 MIA 应用于其他任务，如图像模型的训练数据检测；研究对抗性训练如何防御 ADRA 类攻击；开发从训练数据中提取有价值信息而非仅检测的方法；将 ADRA 用于模型审计和数据合规性检查。

复现评估

论文在复现性方面表现良好。代码、模型和数据集已在 GitHub 开源，地址为 https://github.com/oseyosey/MIA-RL。实验细节，如超参数、提示词模板、数据集构建方法，都在附录中详细描述。所有训练都在单个节点，即 8 个 H200 GPU，上完成，计算资源要求明确。作者构建了 6 个新的 MIA 数据集，每个数据集的构造方法，包括成员和非成员选择、前缀后缀划分，都有详细说明。然而，某些数据集，如 Tulu3 Mix，依赖于原始数据集的可用性和许可，可能影响完全复现。RL 训练具有一定的随机性，虽然作者报告了多种子平均结果，但不同硬件配置可能导致结果略有差异。总体而言，复现难度中等，主要障碍是计算资源，需要多个 H100 或 H200 GPU，和某些数据集的访问权限。

论文图表

Figure 4: Qualitative example from Olmo3 Mix Arxiv: Reconstruction of a GP-based audiometry paper. Highlighted phrases show semantic and lexical overlap in core technical concepts.

这个定性示例来自 Olmo3 Mix arXiv 数据集，展示了对一篇关于 GP 听力测试论文的重建。高亮部分显示了在核心技术概念上的语义和词汇重叠，如高斯过程、阈值曲线、频率函数、不确定性估计、停止准则、平滑性和先验知识。

这个示例对理解 ADRA 的实际效果很重要，它展示了模型能够从权重中提取出论文的关键方法论词汇和概念结构，而不仅是表面词汇。这证明了 ADRA 实现了有意义的语义重建，而非简单的模式匹配。

Figure 5: Qualitative Example 1 from AIME. The reconstruction captures core mathematical reasoning patterns and expressions from the ground truth, despite yielding wrong final answer.

这个 AIME 示例展示了重建虽然最终答案错误，2 vs 289，但捕捉了真实解中的核心数学推理模式和表达式，如 minimize numerator and maximize denominator、a 乘 b 乘 c 减 d 乘 e 乘 f 等于 1 等关键步骤。

这个示例对理解 ADRA 的局限性很重要，它展示了即使重建在语义和结构上高度相似，仍可能在最终答案上出错。这说明 ADRA 能够提取推理模式但可能无法保证完全正确的推导，揭示了记忆与推理的复杂关系。

Figure 6: Qualitative Example 2 from AIME. The reconstruction captures key mathematical patterns and modular arithmetic reasoning despite different final answer.

这个 AIME 示例展示了重建虽然最终答案错误，0 vs 154，但捕捉了关键数学模式和模运算推理，如 x 同余于 0 模 12、x 加 50 同余于 0 模 25 等同余关系，以及问题设定的结构。

这个示例进一步支持了 Figure 5 的观察，说明 ADRA 的重建往往能抓住推理的骨架但可能在细节或计算上出错。这有助于理解 ADRA 提取的是高层结构记忆而非完全精确的记忆。

Figure 7: Qualitative example from S1.1 Deepseek-R1 Distillation. Near-verbatim reconstruction of a matrix powers problem. Highlighted parts show overlap in algebraic identities, the cyclic structure insight (M^3 = I), cycle decomposition logic, and entry-sum computation steps.

这个蒸馏示例展示了近乎逐字逐句的矩阵幂问题重建。高亮部分显示了在代数恒等式、循环结构洞察（M 的立方等于 I）、循环分解逻辑和矩阵元素求和步骤上的重叠。尽管紧密再现了完整解题模板，重建仍得到错误的最终答案，2010 vs 4018。

这个示例对理解蒸馏场景下 ADRA 的强大能力很重要，它展示了近乎完美的逐字重建，证明了蒸馏数据在模型权重中留下了极其强烈的痕迹。同时也说明即使是高度精确的重建，仍可能在最后步骤出错，揭示了记忆与推理的微妙界限。

Algorithm 1: ACTIVE DATA RECONSTRUCTION ATTACK (single candidate x = (c, y_star); batched in practice). Input target LM p_theta, (optional) prompt q, candidate x = (c, y_star), threshold epsilon, RL steps K, samples per step N, reward mode MODE in {MATCH, ADAPT}, similarity sim。

这个伪代码详细描述了 ADRA 的算法流程。初始化策略 theta0 等于 theta，然后进行 K 步 RL 训练，每步采样 N 个 rollout，计算匹配或自适应奖励，使用 GRPO 或 PPO 更新参数。最后从训练后的策略采样新生成，计算相似度作为成员分数，根据阈值判断成员身份。

这个算法对理解 ADRA 的实现细节很重要，它将文字描述转化为精确的步骤，包括输入输出、循环结构、奖励计算和决策逻辑。理解这个算法是实现和复现 ADRA 的必要基础。