一加一大于二：面向 LLM 上下文完整性的互补式自蒸馏 It Takes Two: Complementary Self-Distillation for Contextual Integrity in LLMs
用两个互补自蒸馏教师逼向效用与隐私的交集，无需外部监督即可兼顾两者
前置知识
Contextual Integrity (CI, 上下文完整性)
由 Nissenbaum 提出的隐私理论，把隐私定义为「受上下文特定规范约束的恰当信息流动」而非单纯隐藏信息。同一条用户属性（如护照号）在不同场景下时禁时允，取决于发送方、接收方、任务目的与传输规范。本文把任务下可访问信息划分为允许集 $A_T$ 与禁止集 $D_T$，前者是完成任务的最小充分子集。
本文的全部目标就是让 LLM 智能体按 CI 行事：最大化 $A_T$ 召回、最小化 $D_T$ 泄露，二者必须同时成立。
Self-Distillation (自蒸馏)
学生与教师共享同一份参数，但教师额外看一段「特权上下文」$c$，训练目标是让学生的逐 token 分布向带特权上下文的教师对齐的 KL 散度。因教师学生同源，提供密集 logit 级监督的同时贴近模型已有能力，不易把预训练能力蒸馏掉。
SELFCI 的教师都从学生自身参数构造，这是它无需外部大模型、规避曝光偏差的关键机制。
Reverse KL 与 Product-of-Experts (PoE)
反向 KL 对「学生有概率而教师无概率」的区域施重罚，是 mode-seeking 的。对两个固定教师做加权反向 KL，等价于对它们的乘积（专家之积 PoE）目标做反向 KL 匹配，把概率质量集中到两位教师共同支持的交集区域。
这正是 SELFCI 把「既任务完整又最小披露」形式化成交集约束的数学根基，附录 F、G 给出严格推导。
在线强化学习 GRPO 与标量奖励
GRPO 是组相对策略优化，对同一 prompt 采多条 rollout 用组内相对优势替代 critic。CI-RL 基线用标量奖励（允许属性召回减禁止属性召回）训练，每 prompt 采 16 条。优点 on-policy，缺点是奖励稀疏且把任务成功与披露合规压成单一标量。
理解 SELFCI 为何更强，必须先理解它要取代的在线 RL 基线为何因稀疏标量奖励而低效。
Differential Privacy (DP) 不变性视角
差分隐私要求模型输出在单条记录增删时几乎不变，是上下文无关的记录级不变性。本文借鉴该思想，但提出 CI 需要上下文相关的不变性：对当前任务禁止的信息应不变，对任务所需信息却要敏感，即对禁止集 $D_T$ 注入后分布不变。
这一理想 CI 状态（Def. 2.1）是整篇论文的概念支点，也是 Eq.1 与 SELFCI 教师设计的出发点。
研究动机
LLM 个人智能体在处理私密文档、对话历史和长期记忆时面临核心隐私挑战：问题不在于信息是否要保密，而在于披露是否合乎上下文。CI 把隐私定义为受上下文规范约束的恰当信息流——同一条用户属性（如护照号）在不同场景下时禁时允。现有对齐方法都难以满足这种联合要求：监督微调（SFT）能提供密集 token 级监督，但大规模构造合规响应代价高昂，且模型测试时一旦生成偏离训练分布就会暴露偏差（exposure bias）；在线强化学习（如 GRPO/CI-RL）绕开了分布瓶颈，却用稀疏的序列级标量奖励替代密集监督，把任务成功与披露合规纠缠在同一个标量里，无法裁决「每个属性该不该传递」这种依赖传输规范的细粒度决策。两者都把 CI 压缩成单一目标，丢失了「利用必要信息同时抑制不必要信息」的非对称结构。在 CI-RL 测试集上，未对齐 Qwen2.5-7B-Instruct 的 Complete 仅 23.29%；CI-RL 把 Integrity 拉到 73.70% 却把 Utility 拖到 61.10%，Complete 仅 43.29%——正是「单一标量导致非此即彼」的典型病症。
本文的目标是本文目标是构建一个无需昂贵外部监督的 CI 对齐框架，让 LLM 同时满足「任务完整性」与「最小披露」。可量化的目标包括：在 CI-RL 测试集上显著提升 Integrity（抑制违规属性）与 Complete（同时满足效用与隐私）分数，同时尽量不损失甚至提升 Utility；在域外 PrivacyLens 智能体场景下降低敏感信息泄露率（LR/ALR）并保持或提高 Helpful 评分；在累积记忆的 CIMemories 场景下把累积违规率 Violation@5 控制在低位。理想情况下实现「隐私提升不以效用损失为代价」的帕累托改进，并要求比在线 RL 更高的样本效率与更低的算力开销——即在更少 epoch、更短 GPU 时间内达到更高的 Complete 分数。
与已有工作不同的是，作者抓住了被现有工作忽视的关键点：CI 对齐本质上是一种「上下文相关的不变性」。借鉴差分隐私的思路，但 CI 要求的不是记录级不变性，而是上下文相关的不变性——模型对当前任务禁止的信息应当不变，对任务所需信息却要敏感。已有方法把保留与抑制这对非对称压力压成单一标量，丢失了结构。作者的独特切入是：与其从外部寻找特权上下文（昂贵且未必能可靠表达披露规范），不如让模型自己为每条属性生成「为什么该/不该披露」的辩护理由（feedback），据此从模型自身参数构造两个互补的条件教师分布——一个偏向效用、一个偏向隐私，再通过对两者求乘积得到的 Product-of-Experts 目标逼向交集。这样既显式保留了非对称结构，又无需外部教师，且教师与学生同源、同分布，从根上规避了曝光偏差与分布不匹配。
核心方法
直觉上，SELFCI 像「让一个模型扮演两个立场相反的导师来教自己」：模型先为每个允许/禁止的属性分别写一段基于传输规范的辩护理由（feedback），然后让同一个模型分别「代入」两种立场——只看允许属性的理由时它是「任务完成专家」$\pi_{allow}$，只看禁止属性的理由时它是「隐私守护专家」$\pi_{disallow}$。学生则被要求同时向两位老师靠拢，由于只有两位老师意见一致的「交集」区域才能拿到高概率，学生自然学到既不泄露又不漏信息的行为。技术上，SELFCI 是一个互补式自蒸馏框架：先用反馈生成模块从合成数据产生属性级理由，再把两组理由作为特权上下文分别条件化同一个模型得到两个教师，最后让学生对这两个教师分别求反向 KL 散度并加权求和进行优化。在教师固定的前提下，这个加权反向 KL 目标等价于对一个 PoE 目标 $\propto \pi_{allow}^{\lambda}\pi_{disallow}^{1-\lambda}$ 做反向 KL 匹配，把概率质量集中到两位教师共同支持的 token 上，对应「既任务完整又最小披露」的交集。
核心创新是把「保留/抑制」这对非对称压力显式解耦成两个独立、互补、基于反馈的条件教师分布，再通过对两者求乘积（PoE）逼向交集，而非像以往那样把 CI 当单一标量目标优化。这与已有方法有本质区别：SFT 用单一教师轨迹（曝光偏差）、RL 用单一标量奖励（稀疏且把效用与隐私纠缠）、传统上下文蒸馏用单一外部大教师（分布不匹配且需拼接所有上下文）。SELFCI 的两个教师共享同一份学生参数（只多几次教师前向），通过 EMA 慢更新保持略超前于学生且 on-policy；而反馈把「哪些属性该用、为何该用」这种 CI 真正关心的细粒度规范注入教师，使「抑制」不是盲目压制、「保留」也不是无脑复述。PoE 的乘积形式保证学生只能落在两位老师都支持的区域——这正是 CI 想要的交集，从根本上避免了「过度允许」或「过度保守」两种失败模式，也让它成为一个有理论保证（附录 F、G 推导）的优化目标而非启发式。
方法步骤详情
完整流程分四步。①反馈生成：用模板 $I_{allow}$、$I_{disallow}$ 分别填入允许属性 $a^{(i)}\in A_T$ 与禁止属性 $d^{(i)}\in D_T$ 及三类传输规范，由模型采样辩护理由，再按组拼接成聚合反馈 $\tilde{f}_{allow}$、$\tilde{f}_{disallow}$。②教师构造：把聚合反馈作为特权上下文拼到基础 CI-CoT 提示后缀，条件化同一模型得到效用教师 $\pi_{allow}$ 与隐私教师 $\pi_{disallow}$；教师用 EMA（更新率 0.001）初始化自学生并慢更新。③学生采样：学生用完整上下文 on-policy 采样响应 $y$，温度 0.7。④优化：在 $y$ 每个 token 上算加权反向 KL（默认 $\lambda=0.5$）；用 AdamW（$\eta=10^{-6}$）、LoRA（$r=32$、$\alpha=64$）训练 30 个 epoch，按验证集 Complete 选 checkpoint，基于 TRL + vLLM 在单卡 H200 上完成。
技术新颖性
技术新颖性在于三点结合。第一，用模型自生成的、基于三类传输规范（机密性、比例性、同意）的「理由」作为特权上下文，而非外部大模型补全或人工标注——这让教师既 on-policy 又能精确表达「为何保留/为何抑制」。第二，把传统自蒸馏的单教师目标拆成两个互补教师，并在附录 F 证明加权反向 KL 在固定教师下严格等价于对 PoE 目标做反向 KL 匹配，从而把「逼向交集」落到了有理论保证的优化目标上；附录 G 进一步说明 Eq.5 是理想 CI 目标 Eq.1 的实用代理。第三，相比 CI-RL 每个 prompt 采 16 条 rollout，SELFCI 只需 1 条 rollout 即可提供密集 logit 级监督，每步 GPU 时间几乎减半（7.77s vs 15.02s），同时样本效率大幅提升（3 个 epoch 即破 40% Complete，CI-RL 要 15 个）。与外部教师蒸馏相比，同分布自教师规避了曝光偏差；Tab.4 还表明即便换成更强的 32B 固定教师，分布不匹配也会抵消其容量优势。
实验结果
主结果（Tab.1）在 7 个骨干上全面验证 SELFCI 的帕累托改进：Qwen2.5-7B-Instruct 上 Integrity 35.34→83.56、Complete 23.29→53.42、Utility 仅微降到 62.19；Llama-3.1-8B-Instruct 上 Complete 66.30 全面优于 CI-RL；Olmo-3-7B-Instruct 上 Integrity 高达 90.70。推理模型上 SELFCI 在所有骨干拿最高 Complete（Qwen3-4B 26.03→57.26）。Fig.3 显示 SELFCI 的 $D_{KL}$ 最低（0.333），第 3 个 epoch 即破 40% Complete（CI-RL 要 15 个），每步 7.77s vs 15.02s 减半。域外 PrivacyLens 上 Qwen3-4B 的 ALR 52.23→42.37、Helpful 1.92 最高。累积记忆 CIMemories（Fig.4）中基线 Violation@5 随任务增长到 21%~26%，SELFCI 始终低于 5%。消融显示反馈 vs 关键词差 12.05pp、双教师 vs 单教师差 3.29pp、$\lambda=0.5$ 且 PoE 教师最优、SELFCI 在 0.6B→8B 全尺度稳定提升而 CI-RL 停滞。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CI-RL 测试集 Complete（Qwen2.5-7B-Instruct） | Complete (%) | 53.42 | CI-RL 43.29 | +10.13pp，且 Integrity 83.56 高于 CI-RL 的 73.70 |
| CI-RL 测试集 Complete（Qwen3-4B 推理模型） | Complete (%) | 57.26 | CI-RL 26.85 | +30.41pp，Integrity 32.88→82.19 |
| CI-RL 测试集 Integrity（Olmo-3-7B-Instruct） | Integrity (%) | 90.70 | Initial 62.47 | +28.23pp，且 Utility 与 Helpful 均反超 |
| PrivacyLens 域外泄露率（Qwen3-4B） | ALR (%) | 42.37 | Initial 52.23 | -9.86pp，同时 Helpful 1.92 全场最高 |
| CIMemories 累积违规率 @48 任务（Qwen3-4B-Instruct） | Violation@5 (%) | <5 | CI-RL ~21 | 基线随任务数线性增长，SELFCI 全程稳定低位 |
| 训练样本效率（Qwen3-4B-Instruct） | 达到 40% Complete 所需 epoch | 3 | CI-RL 15 | 样本效率约 5 倍，每步 GPU 时间 7.77s vs 15.02s 减半 |
局限与改进
作者承认的局限：①依赖带显式属性标注的结构化合成数据（CI-RL），可能无法完全覆盖真实 CI 规范的模糊性与多样性；②像所有自蒸馏方法一样，依赖模型的上下文学习能力，小模型（如 Qwen3-0.6B）收益偏小；③用静态 $\lambda$ 平衡两个教师，自适应选择留待未来；④只评估最终响应，未分析推理轨迹或中间工具调用中的泄露。我独立观察到的局限：合成数据集规模很小（仅 729 实例、73 测试），Complete 指标用归一化字符串匹配判定，对措辞高度敏感，可能高估或低估真实鲁棒性；PrivacyLens 与 CIMemories 的标注由 GPT-5/GPT-5-mini 判定，引入了评判模型偏差；多数骨干的 Helpful 分数本身偏低（<2.0），说明任务基线就很弱，相对提升的绝对意义有限；论文未做任何对抗鲁棒性测试，作者也承认对 prompt injection 脆弱，这对实际部署是硬伤。
独立分析的弱点
弱点一：反馈生成依赖合成数据集提供的「允许/禁止」标注与固定的三类规范（机密性/比例性/同意），而真实世界的 CI 规范远不止三类且高度情境化、甚至相互冲突。改进方向是从用户反馈或宪法式（constitutional）自批判中动态挖掘规范，扩展规范类型并对自生成反馈做去偏。弱点二：静态 $\lambda=0.5$ 是全局折中，但不同任务、不同属性对效用/隐私的容忍度差异巨大（紧急求助 vs 闲聊），可做属性级或任务级自适应 $\lambda$，甚至用元学习或上下文 bandit 在线调整。弱点三：模型只对最终响应评估，推理模型（带 块）的推理链可能在生成过程中先泄露隐私再「收回」，对最终答案不可见——应把 KL 监督扩展到推理 token，或对推理链做独立的泄露检测。弱点四：评估用 GPT 判官与字符串匹配，鲁棒性存疑；建议引入人工标注或对抗红队，尤其针对 prompt injection。弱点五：单卡 H200 对社区仍偏高，且 EMA 教师需多一次前向，在更小卡上开销不轻；可探索教师 KV 缓存复用或稀疏更新以降低成本。
未来方向
作者明确提出：自适应 $\lambda$ 选择、推理轨迹与中间工具状态中的泄露分析、以及对抗鲁棒性（prompt injection）研究。基于本成果可延伸的方向：把 SELFCI 的「双互补教师 + PoE」范式推广到其他需要非对称约束的对齐任务，如安全 vs 有用、幻觉抑制 vs 信息保留、毒性规避 vs 创造力，因为它们本质上都是「逼向交集」问题；把反馈从属性级扩展到多轮对话级，建模规范随会话漂移；与宪法 AI（Constitutional AI）结合，让模型自写规范而非依赖固定三准则；把 PoE 目标与直接偏好优化（DPO）结合，将标量奖励细化成多专家乘积；在系统层面把 SELFCI 嵌入 Model Context Protocol（MCP）层，做运行时隐私治理而非仅离线对齐。
复现评估
复现友好度较高。代码已开源（github.com/sw-programmer/SelfCI），骨干均为公开模型（Qwen2.5/3、Llama-3.1、Olmo-3、DeepSeek-R1-Distill），主数据集 CI-RL 公开可用，PrivacyLens、CIMemories 也公开。训练仅需单卡 NVIDIA H200，LoRA 微调、30 epoch，CI-RL 仅 729 实例，数据规模小、算力门槛相对低；基于 TRL + vLLM 实现，工程栈主流、文档齐全。超参完整披露（$\eta=10^{-6}$、$\lambda=0.5$、EMA 0.001、LoRA $r=32$/$\alpha=64$、温度 0.7）。需注意 ContextDistill 基线需要 32B~70B 外部教师（Tab.6），普通用户难复现该基线，但 SELFCI 本身只需学生模型，可独立复现。潜在坑：评估依赖字符串匹配和 GPT-5-mini 判官，复现时需固定判官 prompt 与版本，否则数值会漂移；多裁判重标注（CIMemories）也会引入标注噪声。总体属中等偏易复现。
论文图表
以酒店预订为例，展示 CI 对齐助手应对任务相关且被允许的信息（入住日期）保持敏感、对被禁止的信息（护照号）保持不变：无论护照号是否出现在可访问信息中，理想输出都应只包含「1 月 15 日的双床房」，即对禁止信息呈现不变性。
这张图用最直观的例子锚定了全文核心概念——上下文相关的不变性，读者若不理解它就无法理解 SELFCI 为何要解耦保留与抑制。