从大语言模型蒸馏人类对齐的隐私敏感度评估能力 Distilling Human-Aligned Privacy Sensitivity Assessment from Large Language Models
把675B的隐私判断蒸馏到150M编码器，本地即可超越教师的人类一致性
前置知识
知识蒸馏（Knowledge Distillation）
知识蒸馏是一种模型压缩范式，核心思想是用一个参数量大、能力强的「教师」模型的输出去监督训练一个轻量的「学生」模型。形式上，给定输入 $x$，教师给出软标签分布 $p_T(y|x)$，学生通过最小化交叉熵或 KL 散度 $\mathcal{L}_{KD} = -\sum_i p_T(y_i|x) \log p_S(y_i|x)$ 来逼近教师行为。在标签不可得的黑盒场景下（如本文的 LLM），蒸馏退化为硬标签学习，即 $\mathcal{L} = -\sum_i \log p_S(y_i|x)$，其中 $y$ 是教师的离散预测。Hinton 等 2015 年提出此框架后已被广泛用于 BERT→DistilBERT、大模型→小分类器等场景。
本文的核心方法就是将 675B 的 Mistral Large 3 对隐私等级的判断蒸馏到 150M 的 Ettin 等编码器。理解蒸馏的基本机制（教师生成伪标签、学生在伪标签上监督训练）才能把握论文训练流程的设计动机和「蒸馏为何能超越教师」这一反直觉现象。
LLM-as-a-Judge 范式
LLM-as-a-Judge 指用大语言模型充当评估器，对其他模型或文本在质量、安全、隐私等维度上进行打分或排序。其优势在于可扩展性强、能模拟专家判断、避免昂贵的人工标注；劣势在于 API 调用成本高、判断存在随机性、且对被评估的敏感数据本身构成二次暴露风险。在隐私评估领域，Meisenbacher 等 2025 年在 10 个数据集、677 名人类标注者上验证了 LLM 能够逼近「全球人类隐私感知」，与人类聚合标注的 Krippendorff α 超过人际一致性。
本文正是建立在 LLM-as-a-Judge 在隐私评估上有效性这一前提之上，但又直面其部署瓶颈（成本和隐私悖论）。理解这一范式才能体会为什么需要蒸馏——并非质疑 LLM 的能力，而是把已有能力压缩到可部署的形态。
Krippendorff α 一致性系数
Krippendorff α 是衡量评分者间信度（inter-rater reliability）的统计量，定义为 $\alpha = 1 - D_o / D_e$，其中 $D_o$ 是观测到的分歧，$D_e$ 是随机期望的分歧。$\alpha = 1$ 表示完全一致，$\alpha = 0$ 表示与随机无异，负值表示系统不一致。它支持多种数据类型（名义、有序、区间、比率）和任意数量的评分者，特别适合评估「聚合人类评分」作为黄金标准时模型的一致性。Meisenbacher 等 2025 年在隐私基准上报告了 0.716 的人机 α，本文将其作为衡量蒸馏模型是否保留人类对齐能力的核心指标。
论文中所有「与人类一致性」的论断都基于这一系数。理解 α 的含义和取值范围（0.54 为人际基线、0.7+ 为强对齐）才能解读 Table 5 的实验结果，也才能理解「学生模型 α=0.737 超过教师 α=0.716」这一非平凡结论的意义。
去标识化（De-identification）与 TAB 基准
去标识化指从文本中移除或替换直接标识符（如姓名、身份证号）和准标识符（如年龄、职业、地点组合），以降低再识别风险。Text Anonymization Benchmark (TAB) 是 Pilán 等 2022 年提出的英文法律文书去标识化基准，包含欧洲人权法院判决，专家标注了直接标识符（1,612 个）、准标识符（19,197 个）和无需掩码的实体。常用评估维度包括实体级召回率、再识别风险、语义保持度等，本文创新性地把「模型感知到的隐私敏感度变化」作为去标识化质量的整体性指标。
论文第三个贡献是用蒸馏出的隐私评估器作为去标识化系统的自动评价指标，并通过 TAB 上「掩直接标识符 Δ=0.34 vs 掩准标识符 Δ=0.23」的差异证明分类器确实捕捉了隐私相关信息而非机械响应 [REDACTED] token。理解 TAB 的结构和四类文档变体才能理解 Table 6 的实验设计。
研究动机
文本数据的隐私敏感度量化长期缺乏统一定义。形式化方法如差分隐私（Dwork, 2006）只针对特定威胁模型给出严格保证，攻击成功率、信息论度量等代理指标也只反映「可被推断」的特定侧面，而无法捕捉人类对「什么算敏感」这种语境化的整体感知。基于此，Meisenbacher 等 2025 年将 LLM-as-a-Judge 范式引入隐私评估，在 10 个数据集、677 名人类标注者上证明 LLM 能以 Krippendorff α=0.716 逼近聚合人类判断，甚至超过人际一致性 0.54。然而，部署此类前沿 LLM 存在两个根本障碍：一是算力和 API 成本使其无法对大规模语料（数十万到百万级文本）做批量评估；二是「用第三方 API 评估隐私数据」本身构成隐私悖论——被评估的正是不能对外泄露的敏感文本，调用云端 LLM 等于把数据再次暴露。现有基于实体重命名质量的评估（如 Lison 等 2021、Pilán 等 2022、Loiseau 等 2025 的 Tau-Eval）只关注实体级替换效果，不直接度量文本级隐私敏感度与人类感知的对齐。
本文的目标是本文的具体目标是把 675B 参数的 Mistral Large 3 在隐私评估上的判断能力蒸馏到参数规模小 4500 倍以上的轻量编码器（约 150M），并验证三件事：(1) 蒸馏学生模型在 200,000 文本的 5 分类任务上能达到可比甚至超过教师的人类对齐水平；(2) 学生模型能在本地、完全脱机下高效推理，绕开 API 成本和隐私悖论；(3) 学生模型可作为去标识化系统的可扩展自动评价指标，量化不同掩码策略带来的隐私下降。最终落地形态是 150M 参数的 Ettin 编码器，在 250 条人类标注基准上达到 α=0.737，超过教师的 0.716。
与已有工作不同的是，本文的独特切入角度是「用蒸馏把 LLM 隐私评估器变成可部署的工件」，而不是改进 LLM 本身或提出新的隐私度量。已有工作在三条线上都留下空白：评估方法上，Meisenbacher 等的 LLM-as-a-Judge 虽强但不可大规模部署；模型压缩上，Hinton 范式虽然在 LLM 通用能力上屡试不爽（Sanh 等 2019 的 DistilBERT、Chen 等 2024 的黑盒蒸馏），但还没有人把它专门用于隐私判断这种「主观、语境化」的任务；去标识化评估上，主流方法停留在攻击成功率、语义相似度等代理，缺乏直接对齐人类感知的标量度量。本文在交集中找到了「用蒸馏把人类对齐的隐私评估器压缩到本地模型」这一具体落点，并在标准 5 点 Likert 量表上验证了「小模型可以保留甚至去噪教师判断」这一反直觉但有充分实验支撑的结论。
核心方法
本文的整体思路分三步：先用大模型当教师给大规模语料打伪标签，再训练小编码器复现这些标签，最后用两类外部基准验证学生模型确实继承了「人类对齐」的能力而非简单模仿教师。直觉上，我们假设如果教师 LLM 已经在 10 个领域、200K 文本上对隐私敏感度给出了与人类高度一致（α=0.716）的评分，那么这些评分就构成一个相对可靠的训练信号；学生模型在大规模伪标签上做有监督学习，相当于在「已被压缩」的人类判断分布上做函数逼近，有望学到比单次提示更稳定的决策边界。技术上，整个流水线借鉴 Meisenbacher 等 2025 的 5 点 Likert 框架（1=Harmless 到 5=Extremely private），复用其结构化提示模板让 Mistral Large 3 输出离散整数评级，再用交叉熵微调 Ettin-150M、Ettin-17M、BERT-base、ModernBERT-base 四种学生编码器，最后在 Meisenbacher 发布的 250 文本/677 标注者人类基准以及 TAB 去标识化基准上做外部验证。
本文的核心创新是把「隐私评估」这一主观、人类中心、原本需要大模型才能胜任的任务，通过蒸馏转化成一个普通的 5 分类有监督学习问题，并用 200K 伪标签规模去平滑教师提示的随机性。关键设计决策有四个：(1) 选择 Mistral Large 3 而非 GPT-4 等闭源模型作为教师，确保可复现且可商用；(2) 显式训练多种规模/架构的学生模型（17M 到 150M），证明能力转移不依赖特定架构；(3) 用五点有序 Likert 量表而非二元隐私判定，保留语境化的敏感度梯度；(4) 同时报告「vs 聚合人类 α」和「vs 单个标注者 α」两类一致性，前者衡量总体判断对齐，后者衡量个体级预测稳定性——后者甚至更接近「代理人」场景。这与 Meisenbacher 等原始 LLM-as-a-Judge 工作的本质区别在于：原文依赖 API 在线推理，本文产出可独立部署的离线模型。
方法步骤详情
方法分五步。(1) 数据聚合：10 个英文用户文本集各采 20K 条共 200K 条，覆盖博客/邮件/医学问答/Reddit/心理健康/Trustpilot/Twitter/Yelp。(2) 教师标注：Mistral Large 3 用 Meisenbacher 等的 5 点 Likert 提示（附录 B）输出 1-5 整数，得 Harmless 46.01%、Extremely private 6.38% 的长尾伪标签。(3) 学生微调：200K 数据 90/5/5 切分，超参 $\eta=2\times10^{-5}$、warmup 10%、batch 16、3 epoch，按验证 macro F1 选最优；候选学生为 Ettin-150M、ModernBERT-base、BERT-base、Ettin-17M。(4) 人类一致性验证：在 Meisenbacher 250 文本/677 标注者基准上算 Krippendorff α。(5) 去标识化应用：TAB 555 文书上生成原始/掩直接/掩准/全掩/随机掩五版本，统计 $\Delta$ 与 C1 比例。
技术新颖性
本文的技术新颖性主要体现在「首次系统把蒸馏范式系统性地应用于 LLM 隐私评估」这一场景，而非提出新的网络架构或训练损失。具体新颖性包括：(1) 在规模上，构造了迄今最大的隐私标注语料之一（200K 文本 × 10 领域），为后续小模型隐私评估研究提供了可复用的资源；(2) 在反直觉发现上，论文观察到 150M 的 Ettin 学生模型以 α=0.737 超过 675B 教师 Mistral Large 3 的 0.716，作者将其归因于蒸馏在大规模伪标签上「去噪」了教师提示的随机性，相当于把概率性推理压缩为确定性决策边界；(3) 在评估设计上，把学生模型直接接到 TAB 去标识化基准，展示了从「评估指标」到「实际应用」的全链路；(4) 在方法论上，验证了「主观、语境化的人类判断」也能被小模型高保真复现这一假设，对部署边缘或本地隐私守护工具具有直接指导意义。当然，需要承认本文在方法层面（标准 5 分类 + 交叉熵）相对朴素，新颖性更多落在任务组合和应用洞察上。
实验结果
实验三层面验证有效性。5 分类任务（Table 4）：Ettin-150M 在 10K 留出测试上达 74.9% acc、68.1% macro F1、MAE 0.28，远超多数类基线（45.9%/12.5%），与 ModernBERT-base（73.7%/67.2%）相当，超过 BERT-base 与 Ettin-17M；逐类 F1 C1=91.5 最强、C5=68.6 次之、C2-C4 中间 58-64，MAE 表明错误以相邻一档为主。人类一致性（Table 5）：Ettin-150M 与聚合人类 α=0.737，超过教师 0.716 与 Mistral-7B 的 0.563；与单标注者配对 α=0.514±0.265 接近人际 0.54。去标识化评估（Table 6）：原始 TAB 平均 3.25，掩直接 1,612 实体降至 2.91（Δ=0.34），掩准 19,197 实体降至 3.02（Δ=0.23），全掩骤降至 1.39（Δ=1.86，84.1% 归 Harmless），三掩叠加 0.57 远小于 1.86；随机掩 30% 反推至 3.56（Δ=-0.31）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 5分类隐私敏感度（留出测试集） | 准确率 / Macro F1 | Ettin-150M: 74.9% / 68.1% | ModernBERT-base: 73.7% / 67.2%；多数类基线: 45.9% / 12.5% | +29.0pp acc / +55.6pp F1 vs 多数类基线 |
| 5分类隐私敏感度（留出测试集） | MAE（有序1-5距离） | Ettin-150M: 0.28 | Ettin-17M: 0.34；多数类基线 ≈ 0.54 | 约 -48% MAE 相对17M学生，错误集中在相邻类 |
| 人类一致性（250文本基准） | Krippendorff α vs 聚合人类 | Ettin-150M: 0.737 | Mistral Large 3 教师: 0.716；Mistral-7B: 0.563；人际配对: 0.54 | +0.021 超过675B教师，+0.174 超过7B蒸馏基线 |
| 人类一致性（250文本基准） | Krippendorff α vs 单个标注者 | Ettin-150M: 0.514 ± 0.265 | Mistral Large 3: 0.502 ± 0.264；人际配对: 0.54 | 个体级一致性已逼近人际水平 |
| 去标识化评估（TAB法律文书） | 平均敏感度变化 Δ | 全掩 Δ=1.86；掩直接 Δ=0.34（1612实体）；掩准 Δ=0.23（19197实体） | 随机掩30% Δ=-0.31（隐私不降反升） | 直接标识符单位效应 ≈ 12.4× 准标识符，体现层级化隐私贡献 |
| 去标识化评估（TAB法律文书） | 归为Harmless（C1）比例 | 全掩 84.1% | 原始 25.2%；随机掩30% 仅 17.3% | 全掩后C1比例提高 3.3 倍，验证有效掩码 vs 噪声掩码的可区分性 |
局限与改进
作者坦诚指出四点局限。第一，数据和语言单一：训练语料全部为英文，10 个数据集均为英语用户生成文本，跨语言迁移能力未经验证。第二，隐私概念被压缩成单一 1-5 敏感度得分，可能混淆「可识别性」（identifiability）和「主题敏感性」（topic sensitivity）两个本应区分的维度。第三，上下文无关：评分时模型只看单条文本，不考虑受众、目的、发布场景等 Nissenbaum 2004 提出的「语境完整性」因素。第四，标签噪声：教师 LLM 输出本身存在随机性（Song 等 2025 指出 LLM 评估的非确定性），用单一教师一次性标注会引入系统性偏差。其他可观察的局限还包括：5 类中 C2-C4 F1 仅 58-64%，说明模型对「中等敏感」边界仍模糊；250 文本的人类基准样本量有限，α 估计的置信区间可能较宽；隐私评估器不能等同于「形式化隐私保证」或「对抗再识别风险」，任何「硬门控」使用都需要人类监督。
独立分析的弱点
独立审视有几点不足。(1) 类别不平衡未显式处理：训练集 46% 为 Harmless，Extremely private 仅 6.38%，中间类 F1 明显偏低（58-64），可引入 focal loss、class-balanced sampling 或两阶段分类。(2) 教师单一：仅用 Mistral Large 3 一次性标注，未做多教师集成或人机协同校准，作者也承认此为未来方向。(3) 规模上限 150M，未探索 1B 编码器或小型生成式 LLM（如 Qwen2.5-0.5B）。(4) 依赖特定 Likert 量表和提示模板，换量表（如二元或 7 点）效果未知。(5) 评价指标只有 acc、macro F1 和 MAE，macro F1 忽略类别顺序，可引入 Quadratic Weighted Kappa。(6) 去标识化评估仅在 TAB 一个英文法律集上做，跨域（医疗、社交媒体）泛化未验证。
未来方向
作者明确提出的未来方向包括四个方面：(1) 探索更细致的隐私信号分解——用 attribution 和 counterfactual 编辑区分「可识别性线索」（姓名、地点、独特事件）与「主题敏感性」（健康、法律、心理健康），而非把两者压成单一标量；(2) 把隐私评分作为训练信号——结合效用度量（如语义相似度）定义隐私-效用权衡，支持搜索或学习「最小改动降低敏感度」的改写方案；(3) 超越单一「全球」隐私观——引入受众、目的、场景等上下文信息，并通过少量用户偏好数据做个性化校准；(4) 鲁棒性研究——校准评分分布、处理域外输入、审计与人口统计学相关的失败模式。基于成果可延伸的方向还包括：把 5 类标量评分转成连续概率分布以更好刻画边界；构建多语言隐私评估器；与 PII 检测器、差分隐私机制做对比分析；在联邦学习或端侧 LLM 场景下作为隐私过滤的第一道关卡。
复现评估
复现条件整体较好。代码、模型、数据已在 https://github.com/gabrielloiseau/privacy-distillation 公开，附录 A 列 10 个源数据集的 HuggingFace 链接和样本数（enron 362,180、medical QA 246,678、Yelp 6,990,280 等），附录 B 给完整教师提示模板。训练超参（lr=$2 \times 10^{-5}$、warmup 10%、batch=16、epoch=3、90/5/5 切分）描述清晰，按验证 macro F1 选最优 checkpoint 的早停规则已说明。算力瓶颈在教师标注：Mistral Large 3 标 200K 文本需相当推理预算（粗估数十到数百 GPU 小时）；学生微调仅需单卡 A100 几小时。潜在难点：API 输出可能微变导致伪标签不完全可复现；250 文本人类基准需先获取；Ettin 架构需从 Weller 等 2025 的 Seq-vs-Seq 仓库加载。整体对有 LLM 推理经验的团队为中等难度。
论文图表