← 返回 2026-02-25

自适应文本匿名化：通过提示优化学习隐私-效用权衡 Adaptive Text Anonymization: Learning Privacy-Utility Trade-offs via Prompt Optimization

Gabriel Loiseau, Damien Sileo, Damien Riquet, Maxime Meyer, Marc Tommasi 📅 2026-02-24 👍 2 2026-07-13 08:35
大语言模型 差分隐私 提示优化 文本匿名化 隐私保护
arXiv HuggingFace PDF

基于提示优化自动学习不同场景的隐私-效用权衡策略

前置知识

差分隐私

差分隐私是一种形式化的隐私保护机制，通过在数据或查询结果中添加随机噪声来确保任何单个个体对数据集的贡献不会显著影响查询输出。它提供了强且与数据分布无关的隐私保证，通过参数epsilon控制隐私预算，epsilon越小隐私保护越强但数据效用越低。在文本场景中，差分隐私通常通过扰动模型参数或输出来实现，但其主要挑战在于如何在保持语义效用的同时添加足够的噪声。

论文将差分隐私方法作为基线对比，理解差分隐私的局限性有助于理解为什么作者选择基于提示优化的替代方法。

LLM-as-a-Judge

LLM-as-a-Judge是一种评估范式，使用大语言模型作为评判者来评估另一个模型输出的质量。这种方法通过精心设计的提示让LLM对文本进行定性判断，例如比较两个响应的质量、判断内容是否包含敏感信息、评估文本相似度等。在隐私评估中，LLM-as-a-Judge模拟攻击者尝试从匿名化文本中推断敏感属性，这种攻击模型比传统的基于规则或浅层NLP的方法更强大，因为它能利用世界知识和上下文推理能力。

论文中的隐私和效用评估大量采用LLM-as-a-Judge方法，理解这一范式对于理解论文的评估框架至关重要。

演化算法

演化算法是一类受自然进化启发的优化算法，通过种群迭代、选择、变异和重组等操作在解空间中搜索最优解。在提示优化中，每个提示被视为种群中的个体，通过Pareto排序在多个目标如隐私和效用之间进行选择，变异操作则通过提案代理分析执行轨迹和反馈来生成新的提示变体。算法在固定计算预算内运行，通过早期停止策略防止过拟合。

论文基于GEPA演化算法实现提示优化，理解演化算法的基本原理有助于理解论文如何自动探索和优化匿名化策略。

隐私-效用权衡

隐私-效用权衡是数据匿名化中的核心矛盾，增强隐私保护通常意味着降低数据效用。不同的应用场景需要不同的权衡点，例如医学研究可能需要保留诊断细节从而接受较低的隐私保护，而社交媒体数据发布可能要求更强的匿名化。形式上，给定匿名化任务，其中p是隐私目标、u是效用目标，目标是找到提示使得匿名化文本在满足p的同时最大化u。这是一个多目标优化问题，通常存在Pareto最优前沿。

论文的核心贡献正是将隐私-效用权衡显式建模并通过提示优化来自动适应不同场景，理解这一概念是理解论文动机和方法的基础。

研究动机

现有文本匿名化方法存在三个关键局限性。首先，它们采用固定的隐私-效用权衡范式，即针对每个特定场景手动设计单一的匿名化策略，无法灵活适应新的隐私-效用要求。例如，医疗记录和在线评论面临完全不同的威胁模型和效用约束，但传统方法需要针对每种情况重新设计策略。其次，这些方法依赖人工提示工程，需要从业者通过试错迭代设计和优化指令，这是一个主观、劳动密集且往往产生次优结果的过程。第三，大多数方法依赖专有的闭源模型如GPT-4/5来实现有效的匿名化，这产生了一个根本矛盾，通过外部API提供商处理敏感数据本质上与隐私目标相冲突。在实际部署中，医疗、法律等敏感场景要求数据必须保持在本地控制之下，这使得依赖云端闭源模型的方法不可行。

本文的目标是本文的具体目标是引入自适应文本匿名化框架，能够自动学习领域和任务特定的匿名化策略，从而在不依赖手动提示工程或闭源模型的情况下，实现与隐私目标和效用约束的自适应对齐。该框架应该能够在单次优化运行中发现多个有效的匿名化策略，形成完整的隐私-效用Pareto前沿，让从业者可以根据监管要求、风险容忍度或下游任务优先级从菜单中选择合适的策略。同时，框架需要支持在本地部署的中型开源语言模型上运行，以实现完全的数据隐私控制。

与已有工作不同的是，本文的独特切入角度在于将文本匿名化重新构想为一个提示优化问题，而非传统的规则匹配或模型微调问题。与现有工作使用对抗LLM协作或注入合成信息误导攻击者不同，本文通过演化提示优化让LLM自动学习任务特定的隐私-效用权衡策略。这种方法将模型本身保持不变，将适应能力转移到提示层面，大大降低了部署成本和复杂度。更重要的是，本文明确探索隐私-效用权衡空间，能够在一个优化运行中发现多个Pareto最优解，而现有方法通常只暴露一个操作点，需要昂贵的重新优化才能定位不同的隐私预算。

核心方法

方法的核心思路是将匿名化任务定义为受任务条件控制的文本重写问题，并通过演化算法自动学习和优化自然语言指令。框架将匿名化视为提示演化问题，给定一个通用种子提示，通过GEPA算法在固定计算预算内将其进化为任务适应的提示。技术路线采用两阶段优化，第一阶段使用基础反馈进行快速探索，第二阶段使用丰富反馈进行精细优化。框架完全在本地部署的语言模型上运行，该模型同时扮演两个角色，匿名化代理负责应用候选指令生成匿名化文本，提案代理负责在优化期间生成新的指令变体。候选提示通过隐私和效用的Pareto排序进行保留，鼓励多样化的权衡策略。

核心创新点在于将匿名化策略发现降低到字符串级别搜索，每个权衡前沿上的解都用自然语言指令表示，这使得完整的候选集易于存储、检查和部署。与需要为每个权衡点存储独立模型检查点的微调方法不同，本文的框架显著减少了存储和部署成本。另一个关键创新是引入了富反馈生成机制，将基础评估指标分解为包含自然语言解释或评估者推理轨迹的结构化反馈，为提案代理提供可解释的、可操作的指导。这种反馈由单独的LLM生成一次，避免手动、主观的反馈设计，确保了一致性。

方法步骤详情

方法分为三个明确阶段。第一阶段初始化将数据集划分为训练集和验证集，初始化提示池包含单个候选，即种子指令与本地模型的配对。此阶段使用基础反馈函数，它是隐私和效用评估指标的标量聚合，为探索提供粗粒度信号。第二阶段基础反馈预热应用标准GEPA，每次迭代通过隐私和效用目标的Pareto排序从池中选择多样、高性能的提示，提案代理分析选定提示在训练集小批量上的执行轨迹和关联反馈，提出有针对性的指令修改，生成新候选。新提示应用于同一训练集小批量，如果观察到改进则在验证集上使用基础反馈评估并加入池，通过Pareto剪枝移除被占优的候选。当预算耗尽或验证性能在连续迭代内平台期时，第二阶段终止，此早期停止标准为后续精炼保留预算。第三阶段富反馈精炼如果计算预算剩余，算法过渡到精炼阶段以逃离局部最优。此阶段引入两个新机制，富反馈生成和自适应验证采样。富反馈函数通过分解聚合分数从任务特定度量定义中导出，除了标量值外还可能包括自然语言解释或评估者推理轨迹。此反馈函数由单独的LLM为每个任务生成一次，确保一致性。自适应验证采样在采样的验证子集上评估候选提示，采样采用轮询策略优先考虑未评估的示例，在计算效率与覆盖多样性之间取得平衡。框架最终返回优化期间识别的最佳匿名化系统，即在指定隐私-效用配置下验证分数最高的系统。

技术新颖性

技术新颖性体现在多个方面。首先，本文将提示优化首次应用于隐私敏感的文本匿名化任务，填补了自动生成与显式隐私目标和效用约束对齐的任务特定匿名化指令的研究空白。其次，两阶段优化策略结合了预热阶段的快速初始收益和精炼阶段的决定性提升跳跃，能够在有限预算内达到高质量权衡。第三，富反馈机制使提案代理能够在较少评估下使用更大、更有针对性的行为更新，这与依赖主观手动工程的传统方法形成鲜明对比。最后，框架能够在单次优化运行中发现多个有效的匿名化策略，暴露完整的隐私-效用权衡前沿，这直接解决了现有匿名化系统通常只暴露一个操作点的核心局限性。

Overview of our approach
Figure 1: Overview of our approach
Learning behavior comparison of GEPA implementation
Figure 4: Learning behavior comparison of GEPA implementation

实验结果

实验在五个跨越不同领域、隐私威胁模型和效用要求的匿名化任务上全面评估了框架。在DB-Bio任务上，优化后的提示在保持近完美效用的同时显著改进了隐私保护。在SynthPAI任务上，Qwen3模型通过将uni days替换为weekdays成功消除了教育信号，同时几乎逐字保留周围内容，ROUGE-1达到0.87，而Gemma和Mistral虽然进行了词汇变化但仍保留了教育语义导致隐私失败。在TAB任务上，优化实现了隐私大幅提升同时保持语义相似度。在PUPA任务上，优化模型在隐私和效用上都接近最佳方法。在MedQA任务上，优化提示在保持诊断保真度的同时通过积极的样式混淆实现了强隐私保护。优化后的开源模型特别是Qwen3-30B-A3B在所有任务上与GPT-5基线竞争，在某些任务上甚至在隐私或效用上超越闭源模型。框架在单次优化运行中成功发现了跨越隐私优先配置和效用保持配置的一系列解决方案，暴露了完整的权衡前沿。模型表现出一致、明显的行为，Mistral表现出陡峭的隐私提升有时以效用为代价，Gemma偏向保守改进建立在种子提示建立的隐私行为之上，Qwen最稳健经常同时实现高隐私和高效用。

Results on open source models across all benchmark tasks
Table 1: Results on open source models across all benchmark tasks
Qualitative comparison on SYNTHPAI test sample
Table 3: Qualitative comparison on SYNTHPAI test sample
Performance of optimized Qwen3-30B-A3B compared to GPT-5 based methods
Table 2: Performance of optimized Qwen3-30B-A3B compared to GPT-5 based methods
Overview of the five anonymization tasks in our benchmark
Table 6: Overview of the five anonymization tasks in our benchmark
Performance comparison with DP-based rewriting methods
Table 7: Performance comparison with DP-based rewriting methods
Human evaluation of anonymization methods
Table 8: Human evaluation of anonymization methods
Additional qualitative examples for each text anonymization method
Table 9: Additional qualitative examples for each text anonymization method
Trade-off frontier visualization on three datasets across optimized models
Figure 2: Trade-off frontier visualization on three datasets across optimized models
查看结构化数据
任务指标本文基线提升
DB-Bio 隐私(重新识别保护)/效用(职业分类准确率) Qwen3-30B-A3B优化提示：65.5/100 AF(GPT-5)：78.0/92.1，OpenPII：57.6/98.1 相比OpenPII隐私提升8个百分点，效用保持完美。相比GPT-5 AF隐私略低但效用更优。
SynthPAI 隐私(属性推断防护)/效用(ROUGE-1 F-measure) Qwen3-30B-A3B优化提示：22.5/94.4 AF(GPT-5)：64.0/57.6，DP-Prompt(epsilon=100)：95.2/1.49 相比GPT-5 AF隐私降低但效用大幅提升。相比DP-Prompt效用保持优异同时隐私显著提升。
TAB 隐私(敏感span掩码recall)/效用(语义相似度) Qwen3-30B-A3B优化提示：92.3/56.2 AF(GPT-5)：59.9/42.5，OpenPII：87.1/32.2 相比GPT-5 AF隐私提升32个百分点，效用提升14个百分点。相比OpenPII隐私和效用全面提升。
PUPA 隐私(PII泄露率)/效用(响应质量) Qwen3-30B-A3B优化提示：98.0/79.3 AF(GPT-5)：94.2/46.0，DP-Prompt(epsilon=100)：84.2/49.1 相比GPT-5 AF隐私略优且效用大幅提升。相比DP-Prompt在两个维度上都显著优于最佳DP设置。
MedQA 隐私(样式混淆距离)/效用(医疗QA准确率) Qwen3-30B-A3B优化提示：24.6/45.9 AF(GPT-5)：24.4/45.8，DP-Prompt(epsilon=100)：51.6/9.82 与GPT-5 AF性能相当。相比DP-Prompt虽然隐私较低但效用大幅领先。

局限与改进

作者承认的局限性包括，首先隐私和效用主要通过未加权的度量聚合进行组合，虽然这种公式足以暴露广泛的权衡范围，但没有明确建模替代决策规则如词典排序、加权目标或硬隐私约束。其次该方法需要为每个任务提供少量标注的训练和验证集来引导优化，这引入了额外的计算开销，虽然即使有限的监督也能实现 substantially 更强的隐私-效用操作点。第三尽管框架支持本地部署的开源模型进行匿名化，但评估管道仍依赖闭源LLM进行某些隐私和效用度量。这种依赖部分通过优化期间所需的小量标注示例得到缓解，限制了必须离开本地边界的敏感数据量，但确定哪些匿名化文本本身可以安全地与外部评估者共享仍然是一个未完全解决的问题。第四研究排除了推理导向的模型如依赖测试时的扩展思维链推理，虽然这些模型原则上可以通过上下文推理导出有效的匿名化策略，但它们需要为每个输入独立重新导出这些策略，导致每实例计算成本显著更高。最后LLM生成的固有非确定性可能在优化期间引入不稳定性，偶尔导致训练轨迹或收敛行为的方差。

独立分析的弱点

独立分析的弱点包括，第一隐私评估依赖LLM-as-a-Judge可能编码评估者偏见和不稳定性，自动化LLM评估器可能掩盖某些失败模式或系统性低估罕见但后果严重的隐私泄露。第二优化后的匿名化提示可能被滥用来故意混淆问责、归属或来源，在需要透明度的语境中造成风险。第三样式混淆和上下文混淆虽然对隐私保护有效，但可能移除对取证分析、内容审核或安全监控有价值的信号。第四在小型模型如Qwen-2.5-7B上，优化虽然带来一致的隐私改进，但经常表现出更强的隐私-效用耦合，表明较小模型在同时执行复杂重写和严格内容保持方面的能力较弱。第五框架需要为每个任务设计特定的隐私和效用评估函数，这在某些领域可能需要领域专业知识。改进方向包括探索词典排序或加权目标等替代公式以更好对齐领域或监管特定要求，减少对标注数据的依赖以支持更多零样本场景，结合轻量级推理模型与提示优化以互补优势，以及开发更稳定和可复现的优化程序。

未来方向

未来研究方向包括，第一探索替代的隐私-效用组合公式如词典排序、加权目标或硬隐私约束，以进一步对齐优化过程与领域或监管特定要求。第二减少监督要求，开发更多零样本或少样本的匿名化管道，虽然有限的监督能够实现 substantially 更强的隐私-效用操作点。第三研究小型推理模型或混合方法结合提示优化与有限的测试时推理是否能提供互补优势。第四改善稳定性和可复现性，解决LLM生成的固有非确定性引入的优化不稳定性问题。第五扩展到多语言和多模态场景，当前框架主要关注英文文本匿名化。第六研究隐私评估的自动化和标准化，减少对闭源LLM评估器的依赖。第七探索更细粒度的隐私-效用权衡空间建模如根据数据敏感度动态调整策略。第八研究匿名化文本的长期鲁棒性评估其对不断进步的攻击方法的抵抗力。

复现评估

论文的可复现性评估，作者已开源代码、数据和优化提示在GitHub，使用DSPy框架实现。实验在两块Nvidia Quadro RTX 6000 GPU 24GB显存和Intel Xeon Silver 4114 CPU上进行。使用的主要库包括DSPy 3.0.4、HuggingFace transformers 4.57.1、datasets 4.4.1和sentence-transformers 5.1.2。数据集使用情况，TAB MIT许可、PUPA MIT许可、DB-Bio、LUAR Apache 2.0、SynthPAI CC-BY-NC-SA-4.0、MedQA CC-BY-SA 4.0，均采用明确的开放许可。模型方面Mistral-Small和Qwen3采用Apache 2.0许可，Gemma-3采用其专用使用条款。计算成本方面使用开源模型运行完整优化管道的本地成本仅约每任务每模型1美元，而GPT-5基线方法每任务约8美元。配置使用固定rollout预算B等于1500次LLM前向传播，早停耐心n等于5次迭代，自适应验证采样比例alpha等于0.3，训练和验证各111个示例。所有对比基线OpenPII、DP-Prompt、AF、RUPTA的实现细节在附录中提供。总体而言论文在开源代码、数据、模型和详细配置方面提供了良好的可复现性支持，但评估依赖的闭源评估器可能引入版本变化风险。

论文图表

Figure 3: Optimized anonymization prompt for Qwen3-30B-A3B on the MedQA task

该图展示了Qwen3-30B-A3B在MedQA任务上发现的优化匿名化提示的完整文本。提示明确将诊断不变性与样式混淆分离，强制执行强隐私保护以防止基于LLM的推断攻击，同时保持临床推理。诊断保真度通过要求保留病理征象、临床上有意义的关系以及对得出正确诊断必不可少的时间或解剖模式来维护。从隐私角度看提示通过积极定位样式泄露超越了标准去标识化，结合显式标识符移除与结构重写句法变化和非必要内容的词汇替换。提示还包括最终验证问题，医生是否仍然能够识别正确诊断，写作风格分析器是否会无法检测到这是近克隆，如果任一答案是否则匿名化失败。

这张图对于理解框架如何自动学习复杂的任务特定的匿名化策略至关重要。它展示了优化后的提示如何显式编码隐私和效用失败模式，使LLM能够发现有效平衡匿名性和临床保真度的策略。这种详细程度还揭示了提示优化相对于手动工程的优势，通过自然语言表达的复杂多方面的指令自动适应医疗场景的独特约束。