蒸馏博弈：自适应攻击与高效防御

通过博弈论框架研究蒸馏攻击与防御，提出自适应评估和PoE防御方法。

前置知识

模型蒸馏

模型蒸馏是一种通过让一个学生模型学习教师模型的行为来实现知识迁移的技术。学生模型通过在教师模型的输出上进行监督学习来模仿教师的能力，通常用于模型压缩或知识转移。在蒸馏攻击场景中，攻击者通过访问教师模型的接口（如推理结果、推理轨迹等）来收集训练数据，然后用这些数据训练自己的学生模型，从而复制教师模型的能力。

本文核心研究对象是蒸馏攻击，理解模型蒸馏的工作原理是理解攻击者如何复制模型能力的基础。

KL散度

KL散度，全称为Kullback-Leibler散度，是衡量两个概率分布之间差异的非对称度量。对于两个分布P和Q，KL散度定义为求和P(x)乘以log(P(x)/Q(x))。在本文中，KL散度被用来约束教师和学生模型的允许偏离程度：教师的发布模型必须与参考教师保持较小的KL散度以保持保真度，而学生的有效分布必须与发布教师保持较小的KL散度以限制适应能力。

本文使用KL散度作为保真度和适应预算的约束工具，理解这个概念对于理解教师如何平衡防御强度和输出质量至关重要。

极大极小博弈

极大极小博弈是一种博弈论框架，其中一方试图最小化某个目标函数，另一方试图最大化同一目标函数。在本文中，教师试图最小化学生能够获得的价值，而学生试图最大化从教师输出中获得的价值。教师选择在保真预算内最小化学生价值的发布模型，而学生选择在适应预算内最大化从教师获得价值的有效训练分布。这个框架为设计蒸馏防御提供了方法论基础。

本文使用极大极小博弈作为统一框架来研究蒸馏攻击与防御，理解这个框架对于理解为什么自适应评估和教师防御具有特定的形式是必要的。

Product-of-Experts

Product-of-Experts是一种概率模型组合方法，通过将多个专家模型的概率密度相乘来得到联合分布。在本文中，PoE被用作教师防御方法：在生成过程中，教师模型与代理学生模型的log概率进行几何混合，即发布模型的概率与参考模型概率的1减gamma次方乘以学生模型概率的gamma次方成正比，其中gamma在0到1之间是混合权重。这种方法抑制教师在某些输出上的概率优势，从而减少可蒸馏的信息，同时保持推理轨迹的质量。

PoE是本文提出的核心防御方法，理解其工作原理对于理解如何在保持输出质量的同时降低可蒸馏性至关重要。

研究动机

现有蒸馏防御研究存在两个关键问题。第一，防御方法通常只针对被动学生进行评估，即假设攻击者会均匀地在所有发布的数据上训练学生模型。然而，现实的攻击者具有自适应能力：在观察到防御输出后，可以过滤、重加权或专注于那些学习价值最高的样本。例如，在GSM8K数据集上，当前最先进的ADS方法在被动评估下将学生准确率降低到34.33%，但这种评估方法没有考虑攻击者的自适应策略。第二，不同的防御方法隐含地编码了不同的理论假设，但缺乏统一的框架来比较它们或明确防御应该针对哪种价值概念。这种分离导致了一个猫鼠游戏循环，每个新防御方法只在其隐含假设的弱蒸馏器上进行测试。

本文的目标是本文的目标是通过一个统一的博弈论框架来研究蒸馏攻击与防御。具体而言，该框架需要同时回答两个问题：教师应该如何发布输出来防御蒸馏攻击？学生应该如何自适应地选择训练样本以最大化蒸馏效果？通过为双方提供明确的最佳响应规则，本文希望能够设计出更有效的防御方法，并提出更合理的评估协议来衡量防御的有效性。

与已有工作不同的是，本文的独特切入角度是将蒸馏攻击与防御建模为一个极大极小博弈，其中教师选择一个在保真预算内最小化学生价值的发布模型，而学生选择一个在适应预算内最大化从教师获得价值的有效训练分布。这种统一框架的创新之处在于：第一，它显式地将攻击者和防御者纳入一个可处理的模型中，为设计未来的蒸馏防御提供了方法论基础；第二，它直接从博弈框架推导出学生的自适应评估规则和教师的防御模板，而不是凭直觉设计防御方法；第三，它揭示了一个关键发现：在自适应评估下，防御方法的有效性大幅下降，这挑战了现有防御方法在被动评估下表现良好的结论。

核心方法

本文的方法从博弈论角度出发，将蒸馏攻击与防御建模为教师和学生之间的极大极小博弈。教师维护一个参考模型并选择一个发布模型，该模型必须在保真预算内通过KL散度约束与参考模型保持接近。学生观察发布模型的输出，并选择一个有效训练分布，该分布必须在适应预算内与发布模型保持接近。价值函数衡量样本对下游蒸馏的有用程度。在这个框架下，本文推导出双方的最佳响应规则：学生的最佳响应是对高价值样本进行指数重加权，而教师的最佳响应是对高价值输出进行指数抑制。基于这些理论结果，本文进一步提出了一个实用的防御方法PoE，它通过在生成时混合教师和代理学生的log概率来实现防御。

核心创新点是认识到蒸馏防御应该针对自适应学生而非被动学生进行评估和设计。被动学生均匀地在所有发布样本上训练，而自适应学生能够根据学习价值重新分配训练权重。通过博弈论框架，本文证明了学生的最佳响应形式为发布模型的概率乘以指数eta乘以价值函数，其中eta控制选择的锐度。这意味着学生会给高价值样本分配指数级更大的权重。相应的，教师的最佳响应形式为参考模型的概率乘以指数负lambda乘以价值函数，即抑制高价值输出。这个框架统一了现有的防御方法并指导新方法的设计。第二个核心创新点是提出了基于似然比价值的代理函数，它不需要梯度计算，从而导出了高效的PoE防御方法。

方法步骤详情

方法分为理论推导和实际应用两个层面。理论层面包括：第一步，定义问题设置，包括参考教师、发布教师和有效学生分布。第二步，定义教师保真集合和学生适应集合，使用KL散度约束来控制允许的偏离程度。第三步，定义极大极小目标，其中教师选择发布模型来最小化学生获得的价值，学生选择有效分布来最大化从教师获得的价值。第四步，求解学生和教师的最佳响应，得到指数倾斜形式的解。应用层面包括：第一步，选择梯度对齐价值函数，其中价值定义为下游任务损失梯度与学生log概率梯度的负内积。第二步，实现自适应评估协议，在每个训练步骤计算样本的价值分数并归一化权重。第三步，选择似然比价值函数作为廉价代理，该函数定义为教师log概率减去学生log概率。第四步，将似然比价值代入教师最佳响应，得到几何混合形式。第五步，实现PoE采样，在每个解码步骤混合教师和代理学生的log概率。

技术新颖性

技术新颖性体现在多个方面。第一，本文是首次将蒸馏攻击与防御统一在博弈论框架中的工作。此前的研究要么只设计防御方法，要么只评估特定攻击，缺乏统一的视角来理解双方的最优策略。第二，本文揭示了被动评估与自适应评估之间的巨大差距。在GSM8K上，自适应评估比被动评估揭示了约50%更多的泄漏，这挑战了现有防御方法的有效性。第三，本文提出的PoE防御方法采用了与现有方法不同的思路：它通过抑制教师在某些输出上的概率优势来实现防御，而不是直接对抗学生的学习信号。这种保守的防御偏差使得PoE在保持推理轨迹质量方面表现更好。第四，PoE的计算效率显著优于现有方法：在GSM8K上，PoE的开销为1.64倍教师时间，而ADS为2.93倍。第五，本文的框架具有通用性，可以通过选择不同的价值函数来设计不同的攻击和防御规则，为未来的研究提供了灵活的设计空间。

**Figure 2**: An adaptive student filters traces using downstream gradient alignment vgrad. High-value traces contain useful reasoning; low-value traces are repetitive or uninformative.

实验结果

本文的核心发现包括三个方面。首先，自适应评估揭示了比被动评估更多的蒸馏泄漏。在GSM8K数据集上，标准教师下的被动学生准确率为57.24%，自适应学生为56.74%，这表明标准教师在两种评估下都泄漏严重。然而，对于防御方法，差距巨大：ADS在被动评估下将学生准确率降至34.33%，但在自适应评估下学生达到51.50%；PoE在被动评估下为39.26%，在自适应评估下为49.46%。在MATH数据集上，标准教师下被动和自适应学生准确率分别为15.17%和15.29%，但ADS从8.96%上升到13.45%，PoE从9.00%上升到12.92%。这些结果说明，防御方法在自适应攻击下显著减弱。其次，在自适应评估下，ADS与PoE之间的鲁棒性差距大幅缩小。在被动评估下，ADS似乎比PoE更强，但在自适应评估下差距很小。考虑到运行开销，PoE更具优势：GSM8K上ADS的开销为2.93倍，而PoE为1.64倍。第三，PoE在保持推理轨迹质量方面优于ADS。使用基于rubric的Claude Sonnet 4.6 judge评估轨迹可审计性，PoE在GSM8K和MATH上都产生了更多高评分轨迹，且更接近标准教师。人类评估与LLM judge的一致性良好。

**Table 1**: Representative points on the utility-distillability frontier. Passive and adaptive columns report student accuracy after distillation; larger values indicate greater leakage.

**Figure 3**: Utility-distillability frontiers under passive and adaptive evaluation. Adaptive evaluation shifts the frontier upward, revealing substantially more leakage than passive evaluation.

**Figure 4**: Trace-quality distributions under our Claude Sonnet 4.6 rubric-based judge. PoE produces more high-scoring traces than ADS on both datasets and remains closer to the standard teacher.

**Figure 5**: Student accuracy after distillation from commercial frontier-model outputs under different exposure formats.

查看结构化数据

任务	指标	本文	基线	提升
GSM8K数学推理	学生准确率（蒸馏后）	标准教师：57.24%（被动）/56.74%（自适应）；ADS：34.33%（被动）/51.50%（自适应）；PoE：39.26%（被动）/49.46%（自适应）	基础学生（无蒸馏）：0.76%；仅问答监督：3.43%	相对于基础学生，标准教师下的学生准确率提升约75倍；自适应评估揭示防御方法的有效性下降约50%
GSM8K数学推理	教师准确率	标准教师：87.22%；ADS：82.13%；PoE：81.61%	无防御（标准教师）	防御方法以约5-6个百分点的教师准确率为代价，降低了可蒸馏性
MATH数学推理	学生准确率（蒸馏后）	标准教师：15.17%（被动）/15.29%（自适应）；ADS：8.96%（被动）/13.45%（自适应）；PoE：9.00%（被动）/12.92%（自适应）	基础学生（无蒸馏）：1.01%；仅问答监督：11.25%	相对于基础学生，标准教师下的学生准确率提升约15倍；自适应评估揭示防御方法的有效性下降约43-50%
MATH数学推理	教师准确率	标准教师：61.78%；ADS：61.16%；PoE：60.07%	无防御（标准教师）	防御方法以约1-2个百分点的教师准确率为代价，降低了可蒸馏性
计算开销	相对于标准教师的时间倍数	GSM8K：ADS 2.93倍，PoE 1.64倍；MATH：ADS 3.85倍，PoE 2.33倍	标准教师：1.00倍	PoE比ADS快约1.8-2.3倍
轨迹质量	LLM judge可审计性评分（1-5分）	PoE在GSM8K和MATH上产生更多高评分轨迹，更接近标准教师；ADS在GSM8K上轨迹长度显著增加	标准教师	PoE的轨迹质量优于ADS，同时保持相似的防御效果

局限与改进

本文的局限性包括几个方面。首先，框架只考虑了自适应重加权这种简单的攻击形式，而现实中的攻击者可能使用更复杂的自适应策略，如生成新的合成样本、主动查询、多轮交互等。其次，本文的实验主要集中在数学推理任务，这些任务的特点是需要多步推理且推理轨迹明确。在其他任务上，如代码生成、创意写作或开放式对话，价值函数的定义和防御效果可能不同。第三，本文的PoE防御依赖于代理学生模型的选择。实验中使用Qwen2.5-3B作为代理，而最终学生是Llama-3.2-3B，这种架构不匹配可能引入额外的防御强度。然而，如果攻击者的学生模型与代理学生相似，PoE的防御效果可能会减弱。第四，本文的价值函数基于似然比，这可能不是最优的价值估计。更好的价值函数可能需要更复杂的代理，如训练一个模型来预测样本对下游任务损失的影响。第五，本文的实验规模相对较小，虽然报告了标准误差，但更大规模的实验可能揭示更细微的差异。最后，本文的框架假设攻击者和防御者都有完美信息，这在现实中可能不完全成立。

独立分析的弱点

本文存在几个可以改进的弱点。首先，自适应评估协议依赖于价值函数的估计，而当前使用的梯度对齐价值需要梯度计算，这在实践中可能昂贵且不稳定。改进方向包括开发更廉价但有效的价值估计方法、使用批次级的归一化而非全局归一化、探索价值函数的在线学习。其次，PoE防御的混合权重是超参数，需要针对每个任务和数据集进行调整。改进方向包括开发自动调整权重的方法、引入输出级别的权重、探索更复杂的混合策略。第三，本文的框架只考虑了单轮蒸馏，而现实中的攻击可能进行多轮迭代。改进方向包括将框架扩展到多轮博弈、研究教师如何在不显著增加开销的情况下实现多轮防御、探索教师-学生共同进化的场景。第四，轨迹质量评估依赖于LLM judge，这可能存在偏差。改进方向包括扩大人类评估规模、开发更多维度的质量指标、研究不同质量指标与防御效果之间的权衡。

未来方向

未来研究方向可以沿多个方向展开。作者提出的方向包括更丰富的自适应攻击、更广泛的模型和任务族、以及更强的代理选择。基于本文成果，可延伸的方向包括将框架扩展到更多模态，如图像生成模型的蒸馏防御；研究防御方法对不同能力水平学生的影响；探索价值函数的自适应学习；研究防御方法与模型可解释性的关系；将框架与隐私保护技术结合；探索防御方法对模型其他特性的影响；研究蒸馏防御在实际部署中的挑战；开发更强大的自适应攻击。

复现评估

本文的复现性评估如下。开源情况：作者在GitHub上公开了代码，这是良好实践。数据：使用公开数据集GSM8K和MATH，这降低了复现门槛。然而，具体的数据划分细节需要在代码中确认。算力：实验在NVIDIA B200、H200和A100机器上运行，这些是高端GPU，可能不是所有研究者都能获得。计算规模：实验包括生成教师轨迹、训练多个学生模型、以及广泛的超参数扫描，这需要大量计算资源。难度：中等偏上。虽然代码开源，但实验涉及多个组件且需要仔细配置超参数。作者报告了3个随机种子的结果和标准误差，这有助于验证结果的一致性。改进建议包括提供更详细的实验配置脚本、提供预生成的教师轨迹、提供更全面的实验日志和中间结果、考虑提供轻量级实验配置、提供Docker镜像或Conda环境文件。总体而言，本文的复现性处于良好水平，但完整复现需要显著的计算资源。

蒸馏博弈：自适应攻击与高效防御 The Distillation Game: Adaptive Attacks & Efficient Defenses