Privasis：从零合成最大规模的公开隐私数据集 Privasis: Synthesizing the Largest "Public" Private Dataset from Scratch
首个百万级全合成隐私数据集，4B模型超越GPT-5
前置知识
PII (Personally Identifiable Information)
个人可识别信息，指能够直接或间接识别特定个人身份的信息，包括姓名、身份证号、电话号码、电子邮件地址、家庭住址、社保号码等。在隐私保护研究中，PII的检测和移除是最基础的任务。传统方法通常基于正则表达式或命名实体识别(NER)模型来识别预定义类别的PII，但现代隐私保护需要超越固定类别，处理用户在特定上下文中认为敏感的任意信息。
本文的核心任务是文本脱敏（sanitization），而PII是最基础的敏感信息类型。理解PII的概念有助于把握论文从固定类别PII扩展到任意敏感信息这一关键创新点。
Text Sanitization (文本脱敏)
文本脱敏是指对包含敏感信息的文本进行处理，通过移除、替换或抽象化等方式消除或降低敏感信息的暴露风险，同时尽可能保持文本的整体可读性和实用性。与简单的关键词删除不同，高质量的脱敏需要理解上下文语义，确保脱敏后的文本仍然连贯且不泄露可通过推理获得的间接信息。例如，将'2024年3月3日'抽象化为'三月初'或'最近'就是一种脱敏策略。
这是论文的核心应用场景。PRIVASIS数据集的主要下游任务就是训练文本脱敏模型，论文提出的分解式脱敏管道和PRIVASIS-CLEANER模型都是为解决这一任务设计的。
Vendi Score (多样性评分)
Vendi Score是一种基于嵌入空间分布的多样性度量指标（Friedman and Dieng, 2023），用于衡量一组数据在语义空间中的分散程度。具体而言，它计算样本嵌入向量的相似度矩阵的指数熵：$V = \exp(-\sum_{i} \lambda_i \log \lambda_i)$，其中 $\lambda_i$ 是归一化相似度矩阵的特征值。当数据点在嵌入空间中均匀分布时得分较高，聚集在相似区域时得分较低。这种方法能有效捕捉语义多样性，比简单的词汇重叠等指标更能反映数据集的真实覆盖范围。
论文使用Vendi Score作为多样性保持迭代优化的核心指标，与LLM质量评分结合作为接受准则，确保合成数据集不会在迭代优化过程中退化为相似模式。这是保持百万级数据集多样性的关键技术手段。
MATTR (Moving-Average Type-Token Ratio)
移动平均类符-形符比（Moving-Average Type-Token Ratio）是衡量文本词汇多样性的指标。与传统TTR不同，MATTR通过在固定窗口大小内计算TTR并取平均值来消除文本长度的影响，使得不同长度文本之间的多样性比较更加公平。MATTR值越高（最大为1.0），表示文本使用了更丰富的词汇，词汇多样性越强。
论文使用MATTR作为评估合成数据集多样性的重要指标之一，PRIVASIS在该指标上显著优于人类撰写的数据集（0.807-0.823 vs 0.700-0.794），这是证明合成数据质量的关键证据。
Auxiliary Control Variables (辅助控制变量)
辅助控制变量是论文提出的用于引导LLM生成多样化隐私数据的中间变量，包括个人档案（Profile）、记录类型（Record Type）和背景上下文（Background Context）三个层次。这些变量从预定义的属性空间中随机采样，然后串联起来作为生成提示的一部分，引导LLM生成包含丰富且具体隐私信息的文本记录。通过显式地控制这些变量，论文实现了从零开始、无需参考数据的高质量合成数据生成。
这是论文方法论的核心创新点。与依赖种子数据或固定提示的现有合成方法不同，辅助控制变量使得生成过程具有高度可控性和多样性，是实现百万级数据集从零合成的关键设计。
Proximity Leak (近似泄露)
近似泄露是论文提出的三层信息泄露评估框架中最隐蔽的一种泄露类型。当脱敏后的文本虽然不直接包含敏感信息（无直接泄露），也无法通过推理精确还原（无推理泄露），但评估模型从脱敏文本预测出的属性值比从原始文本预测的更接近真实值时，就发生了近似泄露。这表明脱敏过程可能无意中强化了某些与敏感信息相关的线索，使得攻击者更容易猜测到接近真实值的信息。
这是论文评估框架的重要创新，揭示了现有模型在脱敏任务中难以察觉的隐蔽失败模式。理解近似泄露对于把握论文评估体系的严密性至关重要。
研究动机
隐私保护领域的研究长期受到数据稀缺的严重制约，这与受益于数据规模化的其他AI领域形成了鲜明对比。隐私敏感数据本质上无法公开共享，导致大多数现有研究只能依赖小规模、窄领域的数据集。与此同时，现代AI智能体系统（如OpenClaw、Gemini Agent、ChatGPT Health）越来越多地需要在推理时处理个人通信、文档和记录，同时维护隐私保障。这一趋势凸显了在多个阶段构建鲁棒隐私方法的紧迫性：输入侧的数据脱敏和最小化，以及后处理阶段确保模型适当处理委托给它们的个人信息。然而，这些隐私任务看似简单却异常困难——当前的LLM甚至在基本的PII检测上都表现不佳。现有最大的隐私数据集如MIMIC-II仅有200万条记录且局限于临床领域，TAB数据集仅有1200条法律文本，Self-Disclosure Corpus仅有4800条Reddit帖子，这些数据集在规模、领域覆盖和标注粒度上都严重不足。
本文的目标是本文的核心目标是构建PRIVASIS（Privacy Oasis，隐私绿洲），这是首个百万级规模的全合成隐私数据集，包含超过140万条记录和5500万个标注属性，覆盖医疗、法律、金融、日历和短信等多种文档类型。基于这一数据集，论文进一步构建PRIVASIS-SANITIZATION并行语料库，用于训练能够选择性移除或抽象化敏感信息的文本脱敏模型。最终目标是证明在这一大规模合成数据上训练的小型模型（参数量不超过4B）能够超越包括GPT-5在内的前沿大语言模型，同时这些紧凑模型可以在用户设备上本地运行，避免将敏感数据发送到外部服务器的风险。
与已有工作不同的是，本文的独特切入角度体现在三个方面。首先，与依赖真实数据或改造现有数据集的现有工作不同，PRIVASIS完全从零合成，仅使用辅助控制变量和公开姓名数据库，消除了来自真实个体的隐私风险。其次，现有数据集大多专注于固定的PII类别（如姓名、地址、电话），而PRIVASIS支持任意用户认为敏感的信息类别，并提供多层次抽象（如将'3月3日'抽象为'三月初'再到'最近'）。第三，现有脱敏方法要么只能删除不能重写，要么局限于短文本单一领域，而PRIVASIS的分解式管道支持长文本（平均527词）的细粒度脱敏，并通过保持目标属性确保脱敏后文本的实用性。这种从零合成、多样性保持、分解式脱敏的完整框架是现有工作中前所未有的。
核心方法
论文的方法整体思路可以分为两个阶段：数据合成和脱敏模型训练。在数据合成阶段，核心直觉是：直接从LLM采样隐私数据会导致高概率、通用化的输出，无法产生包含丰富具体隐私信息的高质量记录。因此，论文采用自底向上的策略，通过显式的辅助控制变量引导生成过程。具体而言，首先从公开的美国社保申请人姓名数据库采样姓名，然后随机生成个人属性（性别、族裔、年龄等）构成个人档案，再由LLM生成记录类型和背景上下文，最后组合这些变量生成包含丰富隐私信息的文本记录。在脱敏模型训练阶段，论文观察到即使是前沿LLM也难以有效处理长文本的细粒度脱敏，因此提出分解式管道，将长文本递归分割为小块，对每块独立进行脱敏处理，最后合并得到脱敏结果。这种分解策略既简化了任务复杂性，又保持了局部语义连贯性，使得小型模型也能胜任高质量脱敏。
论文的核心创新在于辅助控制变量加多样性保持迭代优化的合成范式，这与现有合成数据方法存在本质区别。现有方法通常依赖固定提示模板或种子数据进行生成，如Self-Instruct（Wang et al., 2023）使用175条种子指令，Gunasekar et al. (2023)的手工提示等，这些方法的多样性受限于初始种子的覆盖范围。PRIVASIS则通过多层辅助变量（档案、记录类型、背景上下文、格式、内容）构建了一个庞大的生成空间，每个变量都从预定义集合中随机采样或由LLM生成多个候选后随机选择。更关键的是，论文引入了基于Vendi Score的多样性保持机制，在迭代优化过程中同时考虑质量（LLM评分）和多样性（嵌入空间分散度），通过加权接受准则 $S(x'_t) = \alpha \cdot \text{LLMScore}(x_t, x'_t) + \beta \cdot \Delta\text{Vendi} > 0.5$ 决定是否接受修订版本。这种机制有效防止了迭代优化导致的模式退化问题。
方法步骤详情
论文的方法包含以下详细步骤。第一步是辅助控制变量的初始化：从美国社保申请人姓名数据库采样姓名，然后随机生成性别、族裔、年龄、婚姻状况等基本属性构成个人档案；基于档案由LLM生成多个候选记录类型（如心理治疗账单）并随机选择一个；再基于档案和记录类型生成多个候选背景上下文并随机选择。将档案、记录类型、背景上下文拼接为语义内容，由记录类型和背景上下文生成结构格式，最后根据语义内容和格式生成初始草稿。第二步是多样性保持的迭代选择优化：在每一步，采样候选修订版本，由LLM评判其在具体性和真实性上是否优于当前版本；同时从已有接受记录中随机采样构成池，计算更换为候选版本后Vendi Score的变化；最终根据加权分数决定是否接受，阈值为0.5。迭代最多进行三轮。第三步是属性标注：对最终记录提取额外属性并以JSON格式标注，然后将属性聚类为语义组（如诊所名、药房名、房间号聚类为位置）。第四步是过滤：移除生成错误、少于64词的记录、年龄不足18岁的档案和退化案例，最终成功率为94%。在脱敏管道方面：首先将记录递归分割为不超过512字符的块；然后为每个属性分配敏感度权重并随机采样脱敏目标；对每个目标，识别相关块、提取对应跨度、生成脱敏指令（抽象或删除）；最后合并脱敏块并生成统一指令。
技术新颖性
论文的技术新颖性体现在多个层面。首先，辅助控制变量驱动的从零合成范式是全新的，现有合成数据工作要么依赖种子数据（Self-Instruct）、要么依赖固定提示（Orca-style）、要么需要参考真实数据分布，而PRIVASIS通过多层变量控制实现了完全无参考的大规模合成。其次，将Vendi Score引入合成数据生成的质量-多样性联合优化是首创，这一度量指标原本用于评估生成模型的多样性，论文将其转化为生成过程中的实时多样性约束，通过加权接受准则平衡质量和多样性。第三，分解式脱敏管道解决了长文本脱敏的核心难题：将长文本递归分割为语义连贯的小块，每块独立脱敏后再合并，这种分而治之的策略使得4B参数的小型模型能够处理平均527词的长文档。第四，三层信息泄露评估框架（直接泄露、推理泄露、近似泄露）比现有的单一匹配评估更加严密，特别是近似泄露的定义捕捉了传统评估方法难以发现的隐蔽失败模式。第五，论文支持多层次抽象（如将2024年3月3日逐步抽象为三月初、春天、最近），超越了现有方法的二元（保留/删除）操作。
实验结果
论文的实验结果展示了多个重要发现。首先在数据集质量方面，PRIVASIS的1,414,871条记录包含55,092,084个标注属性（平均每条记录39个），涵盖10个主要领域类别和42个子类别。多样性评估表明PRIVASIS在MATTR（0.807-0.823 vs 0.700-0.794）、二元组多样性和Shannon熵方面均显著优于人类撰写的数据集，同时余弦相似度更低（0.320-0.353 vs 0.331-0.679），表明更丰富的词汇变化和更低的语义冗余。人类评估中，128条PRIVASIS记录中有113条被评为自然连贯，与人类撰写数据集的111条相当。隐私安全性验证显示，对1000条档案的网络搜索未发现任何真实匹配。在脱敏任务方面，Vanilla测试集上PRIVASIS-CLEANER-4B达到72.50%的完整成功率，超越了o3（70.25%）、GPT-5（70.06%）、DeepSeek R1（69.58%）等所有前沿模型，尽管其参数量仅为4B。在Hard测试集上，GPT-5以13.14%领先，PRIVASIS-CLEANER-4B以12.36%紧随其后，超越o3（11.66%）和DeepSeek R1（11.23%）。更值得注意的是保留能力：PRIVASIS-CLEANER-4B在Vanilla集上的属性保留率达到99.15%，远高于GPT-5的93.42%，说明该模型在脱敏敏感信息时能更好地保护非敏感信息不被误改。零样本泛化实验中，PRIVASIS-CLEANER-4B在NaP2数据集上达到10%泄露率，与专门在NaP2上微调的模型持平，而后者在PRIVASIS上仅达32%完整成功率，证明了PRIVASIS训练的优越泛化性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本脱敏 - Vanilla测试集 | Full Successful Record (%) | PRIVASIS-CLEANER-4B: 72.50% | o3: 70.25%, GPT-5: 70.06%, DeepSeek R1: 69.58%, Qwen3-235B: 64.40% | 4B模型超越所有前沿LLM，相比GPT-5提升2.44个百分点 |
| 文本脱敏 - Hard测试集 | Full Successful Record (%) | PRIVASIS-CLEANER-4B: 12.36% | GPT-5: 13.14%, o3: 11.66%, DeepSeek R1: 11.23%, Qwen3-235B: 10.27% | 紧随GPT-5排名第二，超越o3和DeepSeek R1 |
| 信息保留 - Vanilla测试集 | Successful Retention Record (%) | PRIVASIS-CLEANER-4B: 98.66% | GPT-5: 92.71%, o3: 93.57%, GPT-OSS-120B: 94.53% | 保留率提升约4-6个百分点，显著减少误伤 |
| 零样本泛化 - NaP2数据集 | Leak Ratio (%) | PRIVASIS-CLEANER-4B: 10.0% | NaP2-Finetuned 4B: 10.0% | 无需微调即达到专用模型同等水平 |
| 多样性评估 - Health and Wellness | MATTR | PRIVASIS: 0.815 | MIMIC-III Notes: 0.757 | 提升7.7%，词汇多样性显著更高 |
| 多样性评估 - Business and Finance | MATTR | PRIVASIS: 0.807 | Finance Tasks: 0.700 | 提升15.3%，语义冗余度（余弦相似度）从0.679降至0.353 |
局限与改进
论文存在多个值得深入讨论的局限性。首先，尽管论文声称数据集完全从零合成，但生成过程仍依赖美国社保申请人姓名数据库作为姓名来源，这意味着姓名分布受到美国人口结构的影响，且95%的档案被判定为非美国籍，这一矛盾现象暗示LLM在生成国籍时可能存在偏差。其次，数据集的领域分布存在明显不均衡：Health and Wellness占比20.7%，而Technical and Operations仅占0.7%，Media and Communications仅3.9%，这种不均衡可能限制模型在低频领域的表现。第三，隐私安全性验证仅基于网络搜索的表层检查，未进行更严格的去匿名化攻击测试（如基于属性组合的链接攻击），验证方法的鲁棒性存疑。第四，Hard测试集上所有模型的完整成功率均低于13%，表明细粒度脱敏仍然是一个远未解决的难题，特别是在涉及分组属性（Hard集中87%涉及分组属性）和更长上下文的场景下。第五，论文使用GPT-OSS-120B作为近似泄露评估的评判模型，虽然报告了98%的人工验证一致率和97%的模型间一致率，但评估框架本身可能系统性地偏向某些泄露模式。此外，论文未详细讨论合成数据可能携带的生成模型偏见如何影响下游脱敏模型的公平性表现。
独立分析的弱点
论文存在几个值得独立分析的弱点。首先，多样性保持机制虽然引入了Vendi Score，但其计算依赖于随机采样的记录池，池大小的选择和采样策略可能影响多样性度量的稳定性，特别是在生成早期阶段池中记录较少时。改进方向可以是采用自适应池大小或使用滑动窗口策略来提高Vendi Score估计的稳定性。其次，分解式脱敏管道将文本分割为不超过512字符的块，但这种基于字符数的硬切分可能破坏跨块的语义依赖关系，例如一个完整的病历描述可能被分割到不同块中，导致脱敏不一致。改进方向可以是引入基于语义相似度的动态分块策略，或在块间建立依赖图以确保跨块一致性。第三，属性敏感度权重由LLM判断，但不同文化背景和应用场景下敏感度判断可能差异很大，论文未讨论这一主观性问题的影响。改进方向可以是引入用户可配置的敏感度偏好或基于场景的自适应权重。第四，PRIVASIS-CLEANER的训练仅使用37K样本（从100K中筛选），未充分利用140万条记录的全部规模，论文未详细讨论数据选择策略和缩放规律。第五，Hard测试集上模型表现普遍较差（最高仅13.14%），论文未深入分析失败案例的模式分布，也未提出针对性的改进策略。
未来方向
论文的未来研究方向可以从多个维度展开。首先，作者明确指出PRIVASIS可以用于开发隐私感知的智能体系统，即在处理敏感信息时能够自动进行数据最小化的AI助手，这是一个极具前景的研究方向，特别是在医疗、法律和金融等高敏感领域。其次，基于PRIVASIS的属性标注结构，可以探索差分隐私技术在文本生成中的应用，通过在辅助控制变量层面引入噪声来实现隐私保护的数据增强。第三，分解式脱敏管道可以扩展为多轮交互式脱敏系统，允许用户逐步指定脱敏需求并实时预览效果，这对于实际应用场景中的隐私管理工具具有重要价值。第四，当前工作聚焦于英文文本，将PRIVASIS的合成框架扩展到多语言场景（特别是中文、日文等非拉丁语系）是一个重要的研究方向，需要解决不同语言文化中隐私概念差异的挑战。第五，论文仅探索了Qwen3系列模型的微调，将PRIVASIS-SANITIZATION应用于更多架构（如Mamba、RWKV等非Transformer架构）或更大规模的模型可能会带来进一步的性能提升。第六，将PRIVASIS与检索增强生成（RAG）结合，构建隐私感知的知识管理系统，使得模型在回答问题时自动脱敏相关文档，是一个兼具理论和应用价值的方向。
复现评估
论文的复现条件总体较为有利。作者承诺将发布所有代码、数据和模型，这对于学术研究和工业应用都具有重要价值。数据集方面，PRIVASIS包含140万条记录，数据量大但结构清晰，作者提供了详细的生成管道描述和算法伪代码（Algorithm 1），理论上可以复现数据生成过程。然而，完全复现存在以下挑战：第一，生成过程依赖GPT-OSS-120B（67.9%的记录）、GPT-4.1-Mini（21.6%）等多个闭源模型，需要相应的API访问权限和费用；第二，Vendi Score的计算需要嵌入模型，论文未明确指定使用的嵌入模型版本；第三，迭代优化的随机性（包括候选采样、池采样、接受准则的随机阈值）使得精确复现每条记录几乎不可能，但统计特性应该可以重现。算力方面，训练PRIVASIS-CLEANER使用的Qwen3模型（0.6B/1.7B/4B）在单GPU上即可完成微调，推理成本更低，适合学术实验室复现。评估方面，论文使用的GPT-OSS-120B作为评估模型，需要相应的API访问。总体而言，数据生成的完全复现较为困难，但模型训练和评估的复现可行性较高。
论文图表
