语言模型知识蒸馏中的记忆动态研究 Memorization Dynamics in Knowledge Distillation for Language Models
知识蒸馏可将训练数据记忆减少50%以上，同时提升模型泛化能力
前置知识
知识蒸馏（Knowledge Distillation）
知识蒸馏是一种模型压缩技术，将大型教师模型（Teacher）的知识迁移到小型学生模型（Student）中。在语言模型场景下，学生模型通过最小化与教师模型输出分布之间的KL散度来学习。教师模型通常是一个参数量大、能力强的模型（如12B参数），而学生模型是一个更小、更高效的模型（如1.4B参数）。核心思想是教师模型的软标签（soft labels）包含比硬标签更丰富的信息，能够指导学生模型学到更好的表示。
本文研究的核心场景就是知识蒸馏过程中的记忆行为，理解KD的基本原理是理解整篇论文的前提
训练数据记忆（Training Data Memorization）
训练数据记忆是指模型在训练过程中无意间记住了特定的训练样本，能够在给定前缀的情况下精确复现后缀内容。本文采用Nasr等人（2023）提出的可发现记忆（discoverable memorization）定义：给定一个训练序列，将其分为50个token的前缀和50个token的后缀，如果模型的贪婪解码能精确生成后缀，则认为该样本被记忆。这种记忆可能导致隐私泄露风险，攻击者可以提取模型的训练数据。
理解记忆的定义和测量方法是理解本文实验设计和核心发现的关键
KL散度（Kullback-Leibler Divergence）
KL散度是衡量两个概率分布差异的指标。在知识蒸馏中，前向KL散度用于衡量学生模型分布与教师模型分布之间的差异。公式为 $\mathcal{L}_{KD} = T^2 \sum_{i=1}^{|V|} P_{teacher}^{\tau}(i) \log \frac{P_{teacher}^{\tau}(i)}{P_{student}^{\tau}(i)}$，其中 $T$ 是温度参数，$P^{\tau}(i)$ 是温度缩放后的softmax概率。与交叉熵损失不同，KL散度使用软目标（完整的概率分布）而非硬目标（one-hot标签），这使得学生模型在不确定时可以输出更平坦的分布。
KL散度损失是本文研究的核心训练目标，理解其与交叉熵损失的区别是理解记忆减少机制的关键
温度缩放（Temperature Scaling）
温度缩放是知识蒸馏中的重要技术，通过温度参数 $T$ 控制softmax输出的平滑程度。公式为 $P_T(i) = \text{softmax}(z_i/T) = \frac{\exp(z_i/T)}{\sum_{j=1}^{|V|} \exp(z_j/T)}$，其中 $z_i$ 是token $i$ 的logit值。较高的温度使输出分布更平滑，降低模型对单个token的置信度，从而增加知识迁移的信息量。在本文实验中，温度设为2.0。
温度参数直接影响记忆行为，本文发现提高温度可以减少学生模型的记忆
zlib熵（zlib Entropy）
zlib熵是一种基于压缩的信息论度量，通过测量文本序列的zlib压缩后的字节长度来评估其复杂性或可压缩性。具体方法是将tokenized序列解码回文本，然后计算其zlib压缩表示的字节长度。较低的zlib熵表示文本更容易被压缩，即模式更简单、更规则。在本文中，zlib熵被发现是预测学生模型记忆行为的最强特征（系数为-4.50），低熵样本更容易被记忆。
zlib熵是预测记忆风险的关键指标，也是理解哪些样本容易被记忆的重要线索
Shannon熵（Shannon Entropy）
Shannon熵衡量模型在每个位置对下一个token预测的不确定性，公式为 $H_t(x) = -\sum_{v \in V} p_\theta(v|x_{<t}) \log p_\theta(v|x_{<t})$。序列级平均Shannon熵为 $\bar{H}_\theta(x) = \frac{1}{K} \sum_{t=T-K}^{T-1} H_t(x)$，其中 $K=50$ 是计算平均的最后token数。高Shannon熵表示模型对预测不确定，低熵表示模型很自信。本文发现基线模型被迫记忆高熵样本，而蒸馏学生模型则避免了这种强制记忆。
Shannon熵是理解蒸馏如何作为正则化机制减少记忆的核心分析工具
研究动机
训练数据记忆是大语言模型面临的重要隐私风险。Carlini等人（2019）的研究表明，生成模型会无意间记住训练数据，攻击者可以通过特定提示提取这些数据。虽然记忆在标准预训练和微调场景中已被广泛研究，但在知识蒸馏设置中的记忆动力学仍不清楚。知识蒸馏常被引用为保护教师模型训练数据隐私的潜在防御机制（Papernot等人，2018），但这一假设缺乏系统性验证。现有研究如Dandekar等人（2024）发现机器翻译中的序列级蒸馏会导致学生继承教师的大量记忆，这与蒸馏的隐私保护假设相矛盾。此外，大规模教师模型（如671B参数的DeepSeek-R1）不可避免地记忆了大量训练数据，这些记忆是否会传递给小模型是亟待解决的问题。
本文的目标是本文旨在系统性地研究知识蒸馏过程中的训练数据记忆，回答四个关键问题：（1）蒸馏学生模型相比独立微调的基线模型，记忆了多少训练数据？学生继承了教师多少泛化能力与多少记忆？（2）哪些样本更容易被记忆？这些样本具有什么内在特征？（3）能否在蒸馏开始前预测学生模型将记忆哪些样本？（4）软蒸馏（logit级）与硬蒸馏（序列级）在记忆风险上有何差异？通过回答这些问题，为知识蒸馏的隐私安全性提供实证基础。
与已有工作不同的是，与以往研究不同，本文的独特切入角度体现在三个方面：第一，跨越整个KD流水线进行系统性追踪，同时分析教师模型、基线模型和学生模型的记忆行为，而非仅关注单个模型。第二，不仅量化记忆的数量，还深入分析记忆样本的特征，发现'易记忆样本'的存在及其内在属性（zlib熵、困惑度）。第三，提出了在蒸馏前预测记忆风险的方法，并验证了预先过滤高风险样本可以将记忆减少99.8%。此外，首次比较了软蒸馏和硬蒸馏在记忆继承方面的差异，发现硬蒸馏继承2.7倍更多的教师特定记忆。
核心方法
本文采用系统性的实验框架来研究知识蒸馏中的记忆。首先建立基线：使用Pythia 12B作为教师模型，Pythia 1.4B作为学生和基线模型，使用FineWeb数据集（100万样本，序列长度256 token）。教师模型使用交叉熵损失微调，基线模型也使用交叉熵损失独立微调，而学生模型使用前向KL散度损失在教师指导下训练。然后，采用Nasr等人（2023）的可发现记忆评估方法：将每个训练样本分为50 token前缀和50 token后缀，如果模型贪婪解码能精确生成后缀，则认为该样本被记忆。最后，通过对比分析三个模型的记忆行为，揭示蒸馏的记忆动力学。为确保发现的稳健性，还将实验扩展到OLMo-2和Qwen-3模型家族，以及WikiText和Nemotron-CC-v2数据集。
本文的核心创新在于发现并验证了一个反直觉的现象：知识蒸馏不仅减少记忆，而且学生模型仅继承教师0.9%的记忆，同时保持甚至超越教师的泛化能力。这与以往研究（如Dankers和Raunak（2025）在机器翻译中的发现）形成对比，他们认为学生通常会继承教师的记忆。本文的关键洞察是蒸馏损失（KL散度）相比交叉熵损失具有正则化效果：当学生模型对某些复杂样本不确定（高Shannon熵）时，KL散度允许学生输出更平坦的分布，而交叉熵则强制模型赋予高概率，导致'强制记忆'。这种机制解释了为什么蒸馏学生只记忆那些'容易'的样本（低熵、低困惑度），而基线模型会被迫记忆'困难'的样本。
方法步骤详情
实验分为五个阶段：（1）模型训练阶段：在FineWeb数据集上，分别训练教师模型（Pythia 12B，交叉熵）、基线模型（Pythia 1.4B，交叉熵）和学生模型（Pythia 1.4B，KL散度，温度T=2.0），所有模型使用学习率 $5 \times 10^{-5}$ 和余弦衰减。（2）记忆评估阶段：对100万训练样本进行可发现记忆评估，将样本分为50 token前缀和50 token后缀，检查贪婪解码是否精确匹配。（3）特征分析阶段：计算每个样本的zlib熵、教师困惑度、基线困惑度和KL散度损失，分析易记忆样本的内在特征。（4）记忆预测阶段：使用逻辑回归分类器，基于上述特征在蒸馏前预测学生将记忆哪些样本，AUC-ROC达到0.9997。（5）记忆过滤阶段：从训练集中移除预识别的高风险样本，使用清理后的数据集重新蒸馏，验证记忆减少效果。此外，还进行软蒸馏与硬蒸馏的对比实验，硬蒸馏使用教师生成的合成序列进行训练。
技术新颖性
本文的技术新颖性体现在多个层面。首先，首次系统性地量化了蒸馏过程中记忆的继承比例（仅0.9%），这与以往认为学生会大量继承教师记忆的观点截然不同。其次，发现了'易记忆样本'的概念及其跨模型的一致性：同一模型家族中，96%被1B模型记忆的样本也会被1.4B模型记忆，12B教师捕获约80%的1.4B基线记忆集。第三，提出了基于简单特征（zlib熵、困惑度、KL散度）的记忆预测方法，在蒸馏前即可识别高风险样本，这为隐私保护提供了新的技术路径。第四，首次将Shannon熵和对数概率结合，可视化地解释了蒸馏减少记忆的机制：基线模型对高熵样本进行'强制记忆'，而学生模型通过KL散度避免了这一问题。第五，系统比较了软蒸馏和硬蒸馏的记忆差异，发现硬蒸馏继承2.7倍更多的教师特定记忆。
实验结果
本文的核心发现可以归纳为四个方面。第一，蒸馏显著减少记忆：在FineWeb数据集上，学生模型的记忆率（0.07%）比基线模型（0.17%）低2.4倍；在WikiText上低2.1倍；在合成数据集Nemotron-CC-v2上低近一个数量级（0.0012% vs 0.0091%）。这一现象在OLMo-2和Qwen-3模型家族中同样稳健，学生模型的记忆率分别为0.09%和0.26%，均显著低于基线（0.40%和0.86%）。第二，学生仅继承教师0.9%的记忆：在1955个被教师记忆但未被基线记忆的样本中，学生仅继承了18个，这证实学生学习了教师的泛化能力而非特定记忆。第三，易记忆样本具有内在特征：通过zlib熵和困惑度分析，易记忆样本形成紧密聚类，具有显著更低的熵和困惑度。第四，记忆可预测：使用逻辑回归分类器，基于zlib熵、困惑度和KL散度等特征，AUC-ROC达到0.9997，召回率100%，精确率99.17%。预先过滤高风险样本后，记忆从1698个减少到4个（减少99.8%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 记忆率减少（FineWeb） | Memorization Rate (%) | Student: 0.07% | Baseline: 0.17% | 减少2.4倍（59%相对减少） |
| 记忆率减少（WikiText） | Memorization Rate (%) | Student: 0.10% | Baseline: 0.21% | 减少2.1倍（52%相对减少） |
| 记忆率减少（Nemotron-CC-v2） | Memorization Rate (%) | Student: 0.0012% | Baseline: 0.0091% | 减少7.6倍（87%相对减少） |
| 记忆率减少（OLMo-2 FineWeb） | Memorization Rate (%) | Student: 0.09% | Baseline: 0.40% | 减少4.4倍（78%相对减少） |
| 记忆率减少（Qwen-3 FineWeb） | Memorization Rate (%) | Student: 0.26% | Baseline: 0.86% | 减少3.3倍（70%相对减少） |
| 验证损失（Pythia FineWeb） | Validation Loss | Student: 2.85 | Baseline: 2.87 | 学生优于基线，泛化能力更强 |
| 困惑度（Pythia FineWeb） | Perplexity | Student: 17.31 | Baseline: 17.69 | 学生困惑度更低 |
| LAMBADA困惑度（硬蒸馏） | Perplexity | Hard Student: 6.43 | Baseline: 9.41 | 硬蒸馏学生优于基线 |
| LAMBADA准确率（硬蒸馏） | Accuracy (%) | Hard Student: 56.65% | Baseline: 51.85% | 提升4.8个百分点 |
| Winogrande准确率（硬蒸馏） | Accuracy (%) | Hard Student: 57.46% | Baseline: 55.72% | 提升1.74个百分点 |
局限与改进
本文存在几个值得关注的局限性。首先，实验主要聚焦于微调（fine-tuning）场景下的知识蒸馏，虽然附录中报告了预训练蒸馏的初步结果，但系统性分析不足。预训练场景中记忆动力学可能有所不同，因为预训练数据规模更大、分布更复杂。其次，模型规模的跨度有限：教师模型为12B参数，学生为1.4B，参数量比约为8.6倍。在更极端的压缩比下（如DeepSeek-R1的671B到1.5B，比值447倍），记忆行为可能发生变化。第三，记忆评估采用的是可发现记忆定义（50 token前缀生成50 token后缀），这是一种相对严格的定义，可能低估了实际记忆量。其他记忆定义（如成员推断攻击）可能得出不同结论。第四，数据集主要来自英文网络文本（FineWeb、WikiText），对于多语言或特定领域数据的泛化性有待验证。第五，虽然作者提出了记忆预测和过滤方法，但在实际部署中的可行性和成本效益分析不足。
独立分析的弱点
本文存在几个可以改进的弱点。第一，记忆预测模型仅使用了简单的逻辑回归分类器，尽管性能优异（AUC-ROC 0.9997），但未探索更复杂的模型（如神经网络）或更多特征（如样本的语义信息、来源等）。未来可以研究基于大语言模型本身的记忆风险评估方法。第二，温度实验（Figure 2）仅展示了温度对记忆的影响，但未深入分析最优温度选择的权衡：过高的温度可能降低模型性能，如何在记忆减少和性能保持之间找到平衡点值得进一步研究。第三，硬蒸馏与软蒸馏的比较中，硬蒸馏使用贪婪解码生成序列，未探索采样策略（如top-k、nucleus采样）对记忆的影响。不同的采样策略可能改变合成数据的分布，从而影响记忆行为。第四，论文未讨论记忆过滤后的数据分布变化及其对模型公平性的影响，过滤特定样本可能导致模型在某些领域的能力下降。
未来方向
基于本文的发现，未来研究可以在多个方向展开。第一，将记忆预测方法扩展到预训练场景，在更大规模、更长序列上验证其有效性。第二，研究记忆与模型能力之间的关系：是否存在某些记忆对模型能力是必要的？过度过滤可能损害模型的哪些能力？第三，探索差分隐私与知识蒸馏的结合，利用本文发现的记忆特征设计更高效的隐私保护机制。第四，在多模态模型（如视觉-语言模型）中研究记忆动力学，图像和文本的联合记忆可能呈现不同的模式。第五，研究指令微调（instruction tuning）和RLHF等后训练阶段的记忆行为，这些阶段在现代LLM训练中至关重要。第六，探索联邦学习场景下的蒸馏记忆问题，多个教师模型的聚合可能改变记忆传递模式。最后，可以研究记忆的时效性：随着训练的进行，模型是否会'遗忘'早期记忆？记忆的稳定性如何？
复现评估
本文在可复现性方面做得较好。作者使用了公开可用的模型家族（Pythia、OLMo-2、Qwen-3）和数据集（FineWeb、WikiText、Nemotron-CC-v2），实验设置清晰描述，包括学习率（$5 \times 10^{-5}$）、温度（2.0）、序列长度（256 token）等关键超参数。论文中多次提到'附录'包含更多细节（如A.1、A.2、A.3、A.4、A.6节），这些补充材料对于完整复现至关重要。然而，论文未明确说明是否开源代码和训练好的模型，这可能影响完全复现。此外，实验需要大量计算资源（多个12B和1.4B模型的训练和评估），对于资源有限的研究团队可能构成挑战。记忆评估本身需要对100万样本进行推理，计算成本较高。总体而言，具备足够计算资源的研究者应该能够复现主要结果。
论文图表
