基于推理结构收敛的 RLVR 训练数据检测 Detecting RLVR Training Data via Structural Convergence of Reasoning
利用 RLVR 导致的推理结构塌缩特征，通过 Min-kNN 距离黑盒检测训练数据
前置知识
RLVR (Reinforcement Learning with Verifiable Rewards)
RLVR 是一种用可验证奖励来训练大语言模型推理能力的强化学习方法。在 RLVR 训练中，每个样本包含一个推理密集型的 prompt 和一个可验证的答案。模型先生成思维链（CoT）和最终答案，然后通过奖励函数 (\hat{a}, a)$ 根据答案正确性计算标量奖励。模型参数通过策略梯度方法更新以最大化期望奖励 ( heta) = \mathbb{E}_{(c,\hat{a}) \sim \pi_ heta(\cdot|x)} [r(\hat{a}, a)]$。与监督微调不同，RLVR 不需要金标准思维链，而是通过奖励反馈对模型自生成的推理轨迹进行优化，使模型能够精炼其思维链生成能力。代表算法包括 GRPO、DAPO 和 PPO。
RLVR 是本文研究的核心对象。理解 RLVR 的训练机制——特别是它通过奖励反馈优化自生成推理轨迹而非基于似然的方法——是理解为什么传统数据检测方法在 RLVR 场景下失效的关键。
会员推断攻击 (Membership Inference Attack, MIA)
会员推断攻击是一种判断某个特定数据样本是否被用于模型训练的安全技术。给定一个训练好的模型 {RLVR}$ 和一个查询输入 $，目标是学习一个检测器 $，使得 (x, M_{RLVR}) ightarrow \{0, 1\}$，其中 1 表示该样本属于训练集。传统 MIA 方法主要针对预训练或监督微调场景，利用 token 级别的概率或困惑度等似然信号来判断数据成员身份。这些方法在 RLVR 场景中效果不佳，因为 RLVR 不直接优化 token 级别的概率分布。
本文本质上提出了一种针对 RLVR 训练数据的新型会员推断方法。理解 MIA 的基本框架有助于理解本文的定位——它将传统的基于似然的检测范式转变为基于结构多样性的检测范式。
编辑距离 (Edit Distance / Levenshtein Distance)
编辑距离是衡量两个字符串之间差异的经典度量，定义为将一个字符串转换为另一个字符串所需的最少插入、删除和替换操作次数。归一化编辑距离将原始编辑距离除以较长字符串的长度，使得距离值在 [0, 1] 范围内，便于跨不同长度序列进行比较。在本文中，编辑距离用于衡量两个模型生成的推理文本之间的结构差异，是 Min-kNN Distance 方法的核心度量。
编辑距离是本文提出的 Min-kNN Distance 检测方法的基础度量。论文通过计算多个生成文本之间的成对归一化编辑距离来量化推理结构的多样性，进而判断 prompt 是否在 RLVR 训练中出现过。
推理结构塌缩 (Structural Convergence of Reasoning)
推理结构塌缩是指 RLVR 训练导致模型在面对已见过的 prompt 时，生成的推理轨迹在词汇、逻辑和语义三个维度上趋向一致的现象。具体表现为：经过训练的 prompt 会产生更刚性和相似的生成结果，而未见过的 prompt 则保持更大的多样性。这种塌缩不是收敛到单一推导路径，而是压缩到少量重复出现的结构模式。在符号推理组件（如代数操作、数学变换）中表现尤为显著，形成一小批标准化的推理步骤。
这是本文的核心发现和检测基础。正是由于 RLVR 训练会导致已见 prompt 的推理轨迹产生结构性塌缩，才使得通过测量生成多样性来检测训练数据成为可能。
层次聚类 (Hierarchical Agglomerative Clustering)
层次聚类是一种自底向上的聚类算法，最初将每个数据点视为单独的簇，然后迭代地合并最相似的簇，直到满足停止条件。本文使用该方法对从推理文本中提取的逻辑 n-gram 进行聚类，以揭示 RLVR 训练后模型生成的推理轨迹中存在多少种稳定的结构模式。聚类结果显示，大多数 prompt 在 RLVR 训练后会产生 2 到 4 个稳定的推理结构簇。
层次聚类分析为 "RLVR 将推理压缩到有限的结构模式而非单一确定性路径" 这一结论提供了定量证据，支撑了论文关于推理塌缩机制的核心论点。
研究动机
当前 RLVR 训练在大语言模型推理能力提升中发挥核心作用，但训练数据的不公开带来了严重的基准测试污染风险。许多近期开源模型仅提供 RLVR 微调后的模型，而不公开基础检查点或 RL 训练数据，这使得评估基准问题是否在训练中出现过变得极其困难。更关键的是，传统针对预训练或监督微调的数据检测方法——如困惑度 (PPL)、Min-K% 概率、Recall 等——在 RLVR 场景中完全失效。实验表明，这些基于似然的方法平均 AUC 仅为 0.42-0.60，接近甚至低于随机猜测的 0.50 水平。这是因为 RLVR 通过奖励反馈优化模型的推理轨迹分布，而非像似然方法那样直接优化 token 级别的概率，因此不会留下传统方法所依赖的统计痕迹。
本文的目标是本文旨在解决 RLVR 训练数据检测这一全新问题：给定一个经过 RLVR 训练的模型 {RLVR}$ 和一个查询 prompt $，判断 $ 是否在 RLVR 训练过程中出现过。具体目标包括：(1) 系统分析 RLVR 如何重塑推理行为，揭示其对推理轨迹多样性的独特影响；(2) 提出一种不依赖 token 概率或参考模型的纯黑盒检测方法；(3) 在多种模型规模、RL 算法和训练设置下验证方法的有效性和鲁棒性。
与已有工作不同的是，本文的独特切入角度在于将检测信号从 token 级别的概率统计转向推理轨迹级别的结构分析。虽然已有研究注意到 RLVR 会降低推理多样性，但之前的工作主要关注性能指标而非输出结构。本文首次系统地量化了 RLVR 训练过程中推理多样性的演变，发现 RLVR 诱导的推理塌缩具有独特的结构性特征——已见 prompt 的多个生成会收敛到少量结构模式，而未见 prompt 则保持更高的多样性。这一发现使得 Min-kNN Distance 方法能够完全在黑盒设置下工作，仅通过采样多个生成并计算它们之间的编辑距离来检测训练数据暴露，无需访问模型内部概率或参考模型。
核心方法
本文方法的核心直觉是：RLVR 训练会在已见 prompt 上产生 "推理结构塌缩"——面对相同的 prompt，模型倾向于生成结构高度相似的推理轨迹，就像一条多车道公路被压缩成了单车道。基于这一观察，Min-kNN Distance 方法通过量化多个生成之间的结构多样性来判断 prompt 是否在训练中出现过。技术路线非常简洁：给定一个 prompt，从 RLVR 训练后的模型中采样多个补全（completions），计算所有补全对之间的归一化 Levenshtein 编辑距离，然后取每个补全的最近邻距离中最小的 $ 个值求平均作为检测分数。已见 prompt 的分数会显著低于未见 prompt，因为它们的生成会聚集在少量紧凑的结构模式中。
Min-kNN Distance 的核心创新在于利用 RLVR 诱导的推理轨迹结构性塌缩作为检测信号，而非依赖 token 级别的概率信息。与传统 MIA 方法（如 PPL、Min-K%）和针对 RL 的 Self-Critique 方法的本质区别在于：(1) 它是完全黑盒的，只需要采样访问权限，不需要 token 对数概率；(2) 它不依赖参考模型；(3) 它利用的是生成文本的全局结构特征（编辑距离），而非局部 token 统计。具体来说，给定 prompt $，采样 $ 个补全 (x) = \{o_1, o_2, \ldots, o_m\}$，计算成对归一化编辑距离 {ij} = d(o_i, o_j)$，然后对每个补全 $ 找最近邻距离 (x) = \min_{j eq i} D_{ij}$，最后取 $ 个最小值的平均：$ ext{Min-kNN}(x) = ?rac{1}{k} \sum_{t=1}^{k} NN_{(t)}(x)$。由于 RLVR 塌缩会将已见 prompt 的补全压缩到少量紧凑的结构模式中，因此 $ ext{Min-kNN}(x_{ ext{seen}}) < ext{Min-kNN}(x_{ ext{unseen}})$。
方法步骤详情
Min-kNN Distance 检测方法包含以下步骤：(1) **采样补全**：对于给定的查询 prompt $，从 RLVR 训练后的模型 {RLVR}$ 中采样 =32$ 个补全 (x) = \{o_1, o_2, \ldots, o_m\}$，使用温度 0.7 和 top-p 0.95 的解码参数，最大生成长度限制为 1024 个 token；(2) **计算成对距离矩阵**：对每对补全 $ 计算归一化 Levenshtein 编辑距离 {ij} = d(o_i, o_j)$，其中归一化编辑距离定义为将一个序列转换为另一个序列所需的最少插入、删除和替换操作次数除以较长序列的长度，结果矩阵为 imes m$ 的对称矩阵；(3) **提取最近邻距离**：对于每个补全 $，找到其最近邻距离 (x) = \min_{j eq i} D_{ij}$，即除自身外所有其他补全中距离最小的那个；(4) **排序取平均**：将所有最近邻距离从小到大排序得到 {(1)}(x) \leq NN_{(2)}(x) \leq \cdots \leq NN_{(m)}(x)$，取前 =10$ 个最小值的平均作为最终检测分数 $ ext{Min-kNN}(x)$；(5) **阈值判断**：通过设定阈值将连续分数转化为二分类决策，分数低于阈值则判定为训练数据成员（seen），否则为非成员（unseen）。评估使用 AUC（ROC 曲线下面积）作为阈值无关的评估指标。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在问题定义上，这是首次系统性地研究 RLVR 训练数据检测问题，将传统的会员推断攻击框架扩展到强化学习后训练场景。其次，在方法论上，论文发现了 RLVR 的独特行为签名——推理结构塌缩，这一信号与传统预训练场景中的 token 概率异常完全不同。第三，在技术实现上，Min-kNN Distance 方法极其简洁，仅使用编辑距离和最近邻统计，不需要复杂的模型架构或训练过程，却能达到显著优于所有基线的效果。第四，在检测视角上，方法从 token 级别的局部统计转向轨迹级别的全局结构分析，开创了基于结构多样性的数据检测新范式。最后，论文提供了多维度的深入分析——从词汇、逻辑、语义三个维度量化多样性演变，通过 n-gram 分类和层次聚类揭示塌缩机制——为理解 RLVR 对模型行为的影响提供了全面的实证基础。
实验结果
本文在多个维度的实验中取得了显著成果。在主要检测任务上，Min-kNN Distance 在 8 个 RLVR 训练模型上的平均 AUC 达到 0.70，比最强基线（PPL 的 0.60）提升了 17%。在不同 RL 算法下，方法在 GRPO（SimpleRL-32B，AUC 0.76）、DAPO（DAPO-Qwen-32B，AUC 0.72）和 PPO（Open-Reasoner-Zero-7B，AUC 0.75）上均表现稳定。在模型规模泛化性上，从 1.5B 到 32B 参数的模型上均保持强劲检测性能。在鲁棒性测试中，对改写后的 prompt 检测性能几乎不变（AUC 从 0.72 仅降至 0.71）。在蒸馏 prompt 检测上，方法在 OpenR1-Distill-7B 上达到 AUC 0.76，表明 RLVR 诱导的结构塌缩部分传递到了蒸馏模型。在不同数据类型上，数学数据检测 AUC 达 0.80，代码数据达 0.69。分析实验还发现，RLVR 训练过程中符号逻辑片段数量快速增长，而复述和模板化模式增长较慢，说明 RLVR 主要压缩符号推理组件。消融研究显示，更高的采样温度（增强输出多样性）和更多的采样数量都能提升检测性能。双阶段污染分析表明，当前训练污染较低时，RL 阶段污染更容易被检测到。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RLVR 训练数据检测（8个模型平均） | AUC | 0.70 | PPL 0.60 / Min-K% 0.42 / Self-Critique 0.51 | 比最强基线 PPL 提升 17% |
| DAPO-Qwen-32B 数据检测 | AUC | 0.72 | PPL 0.63 / CDD 0.52 / Self-Critique 0.58 | 比 PPL 提升 14% |
| SimpleRL-32B 数据检测 | AUC | 0.76 | PPL 0.72 / Min-K% 0.28 / Self-Critique 0.49 | 比 PPL 提升 5.6% |
| Open-Reasoner-Zero-7B 数据检测 | AUC | 0.75 | PPL 0.72 / Min-K% 0.29 / Self-Critique 0.48 | 比 PPL 提升 4.2% |
| 改写 prompt 鲁棒性检测 | AUC | 0.71 | PPL 0.66 / Self-Critique 0.57 | 比 PPL 提升 7.6% |
| 蒸馏 prompt 检测（OpenR1-Distill-7B） | AUC | 0.76 | PPL 0.70 / Self-Critique 0.65 | 比 PPL 提升 8.6% |
| 数学数据检测（ProRL 设置） | AUC | 0.80 | PPL 0.40 / Self-Critique 0.75 | 比 Self-Critique 提升 6.7% |
| 代码数据检测（ProRL 设置） | AUC | 0.69 | PPL 0.36 / Self-Critique 0.47 | 比 Self-Critique 提升 46.8% |
局限与改进
本文存在以下局限性：(1) 方法依赖于 RLVR 诱导的结构塌缩在不同模型和任务上可观测这一假设，如果某些 RLVR 训练配置未能产生足够的结构塌缩，检测效果可能下降；(2) 每个 prompt 需要生成多个补全（默认 32 个），增加了计算开销——在 Open-Reasoner-Zero-7B 上平均每个样本需要 6.65 秒，而 PPL 仅需 1.43 秒；(3) 方法聚焦于检测结构塌缩，但不直接解决更广泛的训练数据偏差问题；(4) 在代码任务上的检测性能（AUC 0.69）明显低于数学任务（AUC 0.80），可能因为代码任务具有更高的多样性和灵活性；(5) 论文未探讨方法在对抗性设置下的鲁棒性，即如果训练者有意规避结构塌缩，检测方法是否仍然有效；(6) 评估使用的基准数据集（AIME、Omni-Math 等）相对有限，可能无法完全代表真实世界的数据分布。
独立分析的弱点
本文存在几个值得关注的弱点。首先，计算效率是一个明显瓶颈：每个 prompt 需要采样 32 个补全并计算 $?inom{32}{2} = 496$ 对编辑距离，在大规模检测场景下可能不实用。改进方向可以探索更高效的采样策略（如自适应采样数量）或使用更快的近似距离度量。其次，方法对代码任务的检测效果相对较弱（AUC 0.69 vs 数学 0.80），可能是因为代码的语法结构更多样，编辑距离难以捕捉语义级别的相似性。可以考虑结合抽象语法树（AST）级别的结构比较来增强代码场景的检测能力。第三，论文的消融研究显示低温采样会削弱检测信号，但这与实际推理场景中常用的低温解码存在矛盾——在实际部署中模型通常使用较低温度以获得更确定性的输出，这可能限制方法的实用性。第四，方法仅使用编辑距离一种度量，没有探索语义嵌入距离、句法结构距离等其他可能互补的结构度量方式。
未来方向
基于本文成果，未来研究可以从多个方向延伸。(1) 作者提到可以探索与其他预训练检测方法的组合使用，形成双阶段污染检测框架——先用传统方法检测预训练阶段污染，再用 Min-kNN Distance 检测 RL 阶段污染；(2) 将结构塌缩信号应用于 RLVR 训练过程的监控，实现训练数据污染的实时检测和预警；(3) 研究对抗性鲁棒性——如果训练者通过正则化或其他手段减少结构塌缩，检测方法如何保持有效性；(4) 探索结构塌缩与模型推理能力之间的关系，理解塌缩是否以及如何影响模型的泛化推理能力；(5) 将方法扩展到其他 RL 训练范式（如 RLHF、RLAIF），研究类似的结构塌缩现象是否普遍存在；(6) 结合多种结构度量（编辑距离、语义嵌入距离、句法结构距离）构建更鲁棒的集成检测器；(7) 在更多样化的任务类型（如开放域问答、创意写作）上验证方法的适用性。
复现评估
本文在复现性方面具有良好的基础。论文提供了完整的实验细节，包括训练超参数（学习率 .0 imes 10^{-6}$、batch size 128-512、温度 1.0 等）、数据划分（RL-MIA 基准的 K&K 和 SAT 设置）和检测实现细节（32 个采样、温度 0.7、top-p 0.95、最大长度 1024）。开源模型（SimpleRL-32B、DAPO-Qwen-32B、JustRL-DeepSeek-1.5B、Open-Reasoner-Zero-7B）均可公开获取。论文提供了一个项目页面（https://stevenzhb.github.io/detect-rlvr-data/），但未明确说明代码是否开源。方法本身实现简单，核心仅需编辑距离计算和最近邻统计，不需要特殊硬件或大量计算资源——在 8 张 H800 GPU 上平均检测延迟为 6.65 秒/样本。主要的复现难点在于 RLVR 训练数据通常不公开，研究者需要依赖公开模型和数据集进行验证。
论文图表