← 返回 2026-05-29

LaRA：分层表示分析检测强化学习后训练中的数据污染 LaRA: Layer-wise Representation Analysis for Detecting Data Contamination in RL Post-Training

Minju Gwak, Minseo Kwak, Dongseok Lee, Guijin Son, Alan Ritter, Jaehyung Kim 📅 2026-05-28 👍 34 2026-07-13 08:36
强化学习 成员推断攻击 数据污染检测 模型审计 表示学习
arXiv HuggingFace PDF

通过分析隐藏表示的几何异常检测RL训练中的数据污染

前置知识

成员推断攻击（Membership Inference Attack）

成员推断攻击是一种隐私攻击技术，旨在判断某个特定样本是否曾被用于目标模型的训练过程。攻击者通过访问模型（通常是一个黑盒API）以及一些样本，试图区分哪些样本属于训练集（成员），哪些不属于（非成员）。这是评估数据泄露和隐私保护程度的重要方法。在LLM领域，常用于检测基准测试数据是否被污染到训练数据中。

本文将RL训练中的数据污染检测明确建模为MIA问题，需要理解这一基本框架才能理解后续的检测协议和评估指标（AUC、TPR@FPR）。

RL后训练（RL Post-Training）

RL后训练是指在预训练和监督微调（SFT）之后，使用强化学习对大语言模型进行进一步训练的过程。与传统基于token likelihood的训练不同，RL优化的是整个推理轨迹的期望奖励，探索奖励信号驱动的高质量推理路径。这种方法显著提升了模型的推理能力，但也带来数据污染的独特问题。RL通过奖励机制而非likelihood最大化来训练，使得传统的基于输出likelihood或熵的污染检测方法失效。

本文的核心动机就是传统输出级检测方法在RL训练场景下不可靠，理解RL与likelihood训练的本质差异是理解LaRA方法创新的关键。

表示几何（Representation Geometry）

表示几何研究神经网络内部高维隐层表示在空间中的分布和组织结构。关键概念包括各向异性（激活集中在低维子空间）、流形结构（同语义样本形成低维流形）和方向性（特定方向编码语义信息）。在LLM中，不同层和不同语义信息的编码方式不同，形成可测量的几何模式。通过分析这些几何模式的变化，可以洞察模型的内部行为和记忆机制。

LaRA完全依赖于表示几何分析，三个核心指标（RSM、DC、RSI）都是几何量的度量。理解表示空间的基本概念是理解方法有效性的基础。

研究动机

现有方法主要依赖输出级信号（如token likelihood或熵）来检测数据污染，但这些方法在RL训练模型上变得不可靠。根本原因在于RL通过轨迹级奖励而非token likelihood来优化行为，导致模型的输出分布校准恶化（overconfidence）。图2显示RL训练模型可能对表面合理但错误的token过度自信，使得基于输出概率的检测信号失效。此外，即使输出级信号可用，RL的探索动态也使它们变得不稳定。具体场景包括：使用Min-K%检测时，RL模型可能因为奖励调优而非likelihood优化而无法产生有意义的top-K概率差异；使用熵检测时，RL模型的轨迹熵可能无法反映记忆程度。

本文的目标是本文提出一个表示级的检测框架LaRA，通过分析RL训练产生的异常表示响应来检测数据污染。具体目标包括：设计能够捕捉RL诱导记忆的独特几何特征的度量指标；建立不需要依赖输出校准的检测协议；提供可解释的检测信号，帮助理解污染如何影响模型的内部表示。与现有方法不同，LaRA不依赖最终输出或token概率，而是直接探测隐藏表示的几何结构。

与已有工作不同的是，本文的独特切入角度是从表示几何层面分析RL训练中的污染问题，而非输出级统计。现有工作（如Kernel Divergence Score）也在表示层面分析污染，但它们针对SFT阶段，需要在数据集层面进行显式微调干预，不支持实例级MIA。本文首次提出专门针对RL后训练的表示级框架，结合了层分析和受控扰动的几何度量。另一条工作线（如Self-Critique）将输出级信号扩展到推理轨迹，但仍受限于输出校准问题。LaRA通过直接分析内部几何，绕过了这些限制。

核心方法

LaRA的整体思路是：RL训练会导致记忆样本在受控扰动下产生异常的表示响应。具体而言，记忆样本对语义等价的变化过度稳定（因为记忆了特定解），但在移除关键信息时产生不成比例的表示转移（因为严重依赖记忆的信息）。技术路线上，LaRA构造结构化的控制组（语义相似问题），应用信息遮掩操作，提取所有transformer层的隐藏表示，计算三个互补的几何度量，最后跨层和度量聚合得到检测分数。图2展示了完整流程：从原始问题出发，生成相似问题和遮掩变体，提取表示，计算RSM、DC、RSI，最终聚合为SLaRA分数。

核心创新点是提出了三个互补的表示几何度量来捕捉RL诱导记忆的不同方面。与传统方法依赖单一输出级信号不同，LaRA捕捉多维度的几何异常：(1)扰动敏感性（RSM）衡量移除关键信息时表示变化的强度；(2)方向崩溃（DC）衡量表示变化是否朝着共享的主导方向塌缩，表明表示多样性降低；(3)局部表示刚性（RSI）衡量在语义保持扰动下表示的不变性程度，捕捉局部刚性。这三个指标共同刻画了RL训练产生记忆样本的独特几何签名，特别是RSM和DC在污染样本上升高，而RSI降低（表示更刚性）。与已有方法的本质区别在于：LaRA关注隐藏表示的几何结构而非输出统计，这使其不受输出校准问题的困扰。

方法步骤详情

方法的完整步骤如下：首先，给定原始问题$q_0$，使用SIMILARGEN生成$K$个语义相似的邻居问题$\{q_1, \ldots, q_K\}$，形成结构匹配的控制组。其次，对每个问题$q_i$，应用BLANKIMPORTANT算子移除$k$个关键信息span，得到遮掩版本$q_i^-$，同时保留问题整体结构。第三，对每个$q_i^-$，使用VARIANTGEN生成$M$个保留空白位置的重述变体$\{v_{i,1}, \ldots, v_{i,M}\}$，用于测量局部表示变异性。第四，对于每个transformer层$\ell \in L$，提取所有变体的mean-pooled隐藏表示：$u_i = h_\ell(q_i)$、$w_i = h_\ell(q_i^-)$和$\phi_{i,m} = h_\ell(v_{i,m})$。第五，计算三个度量：(1)RSM计算原始问题的表示转移幅度相对于语义邻居的标准化值；(2)DC计算原始问题转移方向与平均转移方向的余弦对齐度；(3)RSI计算原始问题的局部表示变异性相对于语义邻居的标准化值。第六，应用干净参考稳健标准化（使用非污染验证集的中位数和MAD），然后根据污染相关模式对齐每个度量（RSM和DC保持符号，RSI取负）。最后，跨所有度量和层聚合对齐后的偏差得到最终分数：$SLaRA(x) = \frac{1}{|M||L|}\sum_{m \in M}\sum_{\ell \in L}\hat{z}_{m,\ell}(x)$。

技术新颖性

技术新颖性体现在多个方面：(1)首次将层级表示几何分析应用于RL训练污染检测，系统性地追踪污染如何在不同深度产生几何异常；(2)提出三个互补的几何度量，分别捕捉扰动敏感性、方向组织和局部刚性，比单一度量更鲁棒；(3)引入稳健标准化方案（基于中位数和MAD而非均值和方差），防止极端污染样本放大干净参考的尺度；(4)采用层级聚合而非单层统计，因为污染信号在不同层的表现不同（图3显示污染样本在层7-9处RSM急剧升高）；(5)设计语义匹配的控制组构造方法，使用LLM生成结构相似但数值不同的数学问题，确保比较的公平性。

Overview of LaRA, the proposed layer-wise representation geometry analysis framework.
Figure 2: Overview of LaRA, the proposed layer-wise representation geometry analysis framework.

实验结果

实验表明SLaRA在多个RL训练模型上一致地优于输出级基线。在初始checkpoint上，SLaRA在LIMR上达到最佳性能：AUC=0.80，TPR@FPR=5%=0.46，显著优于Recall（0.54/0.07）、Min-K%（0.26/0.03）、PPL（0.73/0.13）和SC（0.44/0.00）。组合SC和SLaRA（SC+SLaRA）在Eurus上达到最佳整体性能：AUC=0.73，TPR@FPR=5%=0.31。更有趣的是，在额外的RL训练过程中，污染信号变得更加可分离：Eurus的SC+SLaRA性能从初始的（0.73, 0.31）稳步提升到epoch 2的（0.79, 0.38），表明表示级污染信号在RL优化期间变得更强。消融实验显示组合所有三个度量（RSM、DC、RSI）一致地产生最佳性能，移除任何单个组件都会导致性能下降。DC提供最强的独立判别信号（在epoch 2达到AUC=0.76），但单独使用时TPR@FPR=5%稳定性较差（从0.42降至0.08）。相关性分析表明SLaRA与输出级指标弱相关（与SC相关系数ρ=-0.16，与PPL相关系数ρ=-0.29），表明捕获了不同类型的信号。错误分析显示，被漏检的成员样本通常RSM、DC、RSI值都较低（如0.151、0.423、0.310），而误报的非成员样本则因DC异常高（9.765）导致。

Membership inference performance across different RL checkpoints and model families.
Table 1: Membership inference performance across different RL checkpoints and model families.
Metric ablations across RL training epochs.
Table 2: Metric ablations across RL training epochs.
Error analysis.
Table 3: Error analysis.
Layer-wise representation geometry patterns of RL post-trained model.
Figure 3: Layer-wise representation geometry patterns of RL post-trained model.
Beta sweep over score mix. Default β = 0.65.
Figure 4: Beta sweep over score mix. Default β = 0.65.
(a) Correlation plot of output-level signals and SLaRA. (b) Analysis on the # of perturbations.
Figure 5: (a) Correlation plot of output-level signals and SLaRA. (b) Analysis on the # of perturbations.
Perturbation type analysis. Results show that LaRA is robust to perturbation types.
Figure 6: Perturbation type analysis. Results show that LaRA is robust to perturbation types.
查看结构化数据
任务指标本文基线提升
成员推断（Eurus初始） AUC SC+SLaRA: 0.73, SLaRA: 0.63 PPL: 0.68, SC: 0.70, Recall: 0.59 最佳组合AUC提升4.3%
成员推断（LIMR初始） AUC SLaRA: 0.80 PPL: 0.73, SC: 0.44, Recall: 0.54 AUC提升9.6%，优于最强基线PPL
成员推断（LIMR初始） TPR@FPR=5% SLaRA: 0.46 PPL: 0.13, SC: 0.00, Recall: 0.07 TPR提升3.5倍
成员推断（Eurus训练中） AUC变化 SC+SLaRA从0.73提升至0.79 SLaRA从0.63提升至0.70 RL训练使信号增强，组合方法增益更显著

局限与改进

作者承认了几个局限性：首先，LaRA需要多次语义扰动和层级隐藏状态分析，计算开销比轻量级输出级方法更大。具体来说，框架需要生成扰动变体、提取跨transformer层的中间表示、聚合多个几何统计量，使得推理比仅操作最终输出或token概率的方法更昂贵。其次，尽管框架一致地提高了检测性能，但对于某些挑战性样本（其表示几何与干净分布严重重叠）检测仍然不完美。这表明某些记忆样本可能不会产生足够独特的内部签名以可靠分离。此外，虽然分析揭示了跨模型和训练checkpoint的一致趋势，但RL后训练动态与表示级记忆行为之间的精确关系仍然只是部分理解。

独立分析的弱点

从独立分析的角度看，方法的弱点包括：计算复杂度较高，需要提取所有层的隐藏表示并生成多个扰动变体，在大规模应用时可能成为瓶颈。对扰动的敏感性可能依赖具体的扰动策略，虽然实验显示对多种扰动类型鲁棒（AUC在0.56-0.69之间），但不同任务和领域可能需要定制化的扰动设计。检测阈值需要从非污染验证集中估计，在实际场景中可能难以获得干净的参考数据。对于轻度记忆或部分记忆的样本，几何异常信号可能较弱，导致漏检。改进方向可以包括：开发更高效的扰动策略（如一次性生成所有变体）；研究层级聚合的加权方案，对信号更强的层赋予更大权重；探索领域自适应的扰动构造；设计半监督阈值估计方法。

未来方向

作者提出的未来工作方向包括：探索更计算高效的扰动策略、更强的表示聚合方法、以及深入研究推理模型中记忆和污染的因果机制。基于论文成果可以延伸的方向包括：将LaRA扩展到其他训练范式（如从人类反馈的RLHF、直接偏好优化）；研究表示几何异常与模型泛化能力之间的定量关系；探索将LaRA与其他审计方法（如对抗性探测、因果干预）结合；开发跨模态的污染检测（如视觉-语言模型）；研究LaRA的防御性应用（如指导数据去污染）。此外，RL训练动态与表示级记忆之间的精确关系仍需深入研究，可能需要追踪单个样本在训练过程中的表示演化轨迹。

复现评估

复现评估：论文使用的三个RL训练模型（Eurus-2-7B-PRIME、LIMR、Olmo-3.1-7B-RL-Zero-Math）都是公开的open-source模型，训练数据集（RL-MIA Math dataset）也是公开的。评估设置详细描述在附录中，包括数据构造、扰动提示和算法伪代码。实验需要计算资源来提取7B模型的隐藏表示，但不需要重新训练模型。关键的超参数（K=10个相似问题、M=5个重述变体、k=1个空白标记）在论文中给出，且敏感性分析显示方法对这些设置相对鲁棒。代码和提示模板在附录中提供，使得复现具有可行性。主要挑战是需要访问足够的GPU内存来提取中间表示，以及需要集成LLM来生成相似问题和扰动变体。总体而言，在合理的计算资源下（如单个A100 GPU），复现主要实验是可行的。

论文图表

Output vs. Representation-level detection.
Figure 1: Output vs. Representation-level detection.

该图对比了输出级检测和表示级检测的区别。左侧显示基于Log probability的输出级检测，分为高概率和低概率；右侧显示基于Magnitude、Direction、Variance的表示级检测。图中包含一个示例问题及其扰动版本。

这张图对理解论文重要是因为它直观展示了LaRA的核心思想：表示级信号（Magnitude、Direction、Variance）比输出级信号（Log probability）更鲁棒，不受输出miscalibration（如overconfidence）的影响。这解释了为什么LaRA在RL训练场景下优于传统方法。