KV-CoRE：基于数据依赖的低秩可压缩性评估框架用于LLM的KV缓存基准测试 KV-CoRE: Benchmarking Data-Dependent Low-Rank Compressibility of KV-Caches in LLMs
提出SVD框架量化KV缓存的低秩可压缩性，揭示跨层跨语言的压缩规律
前置知识
KV-Cache（键值缓存）
在Transformer架构的自回归解码过程中，为避免重复计算，模型会缓存每一层注意力机制中所有历史token的键（Key）和值（Value）向量。对于一个包含 $l$ 个token的序列，KV缓存的存储量与 $l$ 成正比，随着上下文长度增长，这些缓存会迅速占用GPU的高带宽内存（HBM），成为推理瓶颈。具体来说，每一层的键矩阵 $K \in \mathbb{R}^{l \times m \cdot h_{dh}}$，其中 $m$ 是注意力头数，$h_{dh}$ 是每个头的维度。
本文的核心目标就是压缩KV缓存，理解其结构是理解论文的基础
SVD（奇异值分解）
奇异值分解是矩阵分解的核心方法，任意矩阵 $K$ 可以分解为 $K = U\Sigma V^T$，其中 $U$ 和 $V$ 是正交矩阵，$\Sigma$ 是对角矩阵包含奇异值 $\sigma_1 \geq \sigma_2 \geq \cdots$。根据Eckart-Young-Mirsky定理，保留前 $k$ 个最大奇异值及其对应的奇异向量形成的 $K_k = U_k\Sigma_k V_k^T$ 是在Frobenius范数意义下的最优 $k$ 秩近似，近似误差为 $\sqrt{\sum_{j=k+1}^{r} \sigma_j^2}$。
KV-CoRE方法的核心就是基于SVD来分析和压缩KV缓存
低秩近似（Low-Rank Approximation）
低秩近似是用一个秩为 $k$ 的矩阵来近似原始矩阵的技术，目的是在可接受的误差范围内降低存储和计算成本。在KV缓存压缩中，通过找到最优的低秩投影矩阵 $\tilde{W}^K$，使得压缩后的键向量 $x_t W^K V_k V_k^T$ 能够在低维空间中高效存储，同时保持重建质量。这种方法可以将KV缓存从原始维度 $m \cdot h_{dh}$ 压缩到 $k$ 维。
本文方法的本质就是寻找数据依赖的最优低秩压缩矩阵
有效秩（Effective Rank）
有效秩是衡量矩阵秩利用程度的连续指标，定义为 $\text{erank}(K) = \exp\left(-\sum_{i=1}^{r} p_i \log p_i\right)$，其中 $p_i = \sigma_i / \sum_{j=1}^{r} \sigma_j$ 是归一化奇异值。这个指标基于信息熵的概念：当所有奇异值相等时（能量均匀分布），有效秩最大；当只有少数奇异值主导时（能量集中），有效秩小，表示矩阵更容易压缩。有效秩满足 $1 \leq \text{erank}(K) \leq r$。
归一化有效秩（NER）是本文提出的核心评估指标
数据依赖压缩（Data-Dependent Compression）
传统的KV缓存压缩方法（如MHA2MLA、PALU）直接对投影权重矩阵 $W^K$ 进行SVD分解，忽略了实际输入数据对键值激活的影响。数据依赖压缩则是基于实际数据计算出的键值特征 $K = XW^K$ 来进行分解，这样能够捕捉到真实输入引起的内在秩结构。研究表明，Transformer权重的秩通常高于其输出特征（键/值）的秩，因此数据依赖的压缩方法更加高效。
这是本文方法与已有方法的本质区别
研究动机
当前KV缓存压缩方法存在三个关键问题。首先，大多数方法忽略了KV缓存的数据依赖特性：例如MHA2MLA和PALU等方法直接对投影权重矩阵 $W^K$ 进行SVD分解，但已有研究表明Transformer权重的秩通常高于实际输出特征（键/值）的秩，这意味着基于权重的压缩无法充分利用数据中的低秩结构。其次，现有方法通常对所有层采用相同的压缩比例，忽略了不同层在压缩敏感性上的显著差异——实验显示中间层的归一化有效秩（NER）明显高于早期和晚期层，统一压缩可能导致高秩层过度压缩而低秩层压缩不足。第三，缺乏系统性的评估框架来量化和比较不同模型、不同数据集下KV缓存的可压缩性，使得压缩策略的设计缺乏理论依据。
本文的目标是本文旨在建立一个系统化的、数据依赖的KV缓存可压缩性评估框架。具体目标包括：提出一种高效的增量SVD算法，能够在大规模数据集上逐层计算键值特征的奇异值分解，获取全局最优的低秩近似；引入归一化有效秩（NER）作为轻量级的可压缩性指标，并验证其与模型性能退化的相关性；在多种开源LLM（包括Qwen3、Mistral、Gemma、Phi-3、LLaMA-2系列）、多个领域（通用指令、代码、医疗、函数调用）和15种语言上进行全面的基准测试，揭示KV缓存可压缩性与模型架构、训练数据、语言覆盖之间的系统性规律。
与已有工作不同的是，本文的独特切入角度在于三个方面。第一，与现有方法仅计算最优压缩矩阵不同，KV-CoRE显式地分解键值特征的长序列，恢复每层在给定数据集上的奇异值分布，这使得系统性的可压缩性评估成为可能。第二，方法设计上采用增量式协方差矩阵更新策略，只需维护一个 $m \cdot h_{dh} \times m \cdot h_{dh}$ 的协方差矩阵 $C = K^T K$，避免了对完整矩阵 $K \in \mathbb{R}^{l \times m \cdot h_{dh}}$ 的直接SVD，大幅降低了内存开销。第三，引入NER指标并通过归一化Delta困惑度（ND-PPL）建立端到端的验证链路，证明NER与模型在压缩下的性能退化高度相关（Pearson相关系数在值缓存上达到0.88），为动态压缩策略提供了可靠的代理指标。
核心方法
KV-CoRE方法的核心思路是：与其直接对投影权重进行低秩分解，不如基于实际数据计算出的键值激活来分析其内在的秩结构。方法分为三个层次：首先，通过增量SVD算法在大规模数据集上高效计算每层键值特征的奇异值分解，获取完整的奇异值谱；然后，基于奇异值计算归一化有效秩（NER）作为可压缩性的量化指标；最后，从SVD结果中直接恢复最优的数据依赖压缩矩阵，用于实际的KV缓存压缩。这种设计使得方法既是分析工具（评估可压缩性），又是实用工具（生成压缩矩阵），而且整个过程是无梯度的、可增量计算的。
KV-CoRE的核心创新在于将KV缓存压缩问题转化为数据矩阵的奇异值分析问题，并通过协方差矩阵的增量更新实现高效计算。与已有方法的本质区别体现在：（1）对比DRONE和SVD-LLM等方法只计算最优压缩矩阵，KV-CoRE显式地恢复键值特征的奇异值分布，使得可压缩性的系统性评估成为可能；（2）对比直接SVD需要 $O(l^2 \cdot m \cdot h_{dh})$ 的内存和计算量，KV-CoRE通过维护协方差矩阵 $C \in \mathbb{R}^{m \cdot h_{dh} \times m \cdot h_{dh}}$ 将复杂度降到与token数 $l$ 线性相关；（3）引入NER指标，将可压缩性从定性描述提升为可量化的连续指标，且与模型性能退化高度相关。
方法步骤详情
方法的具体步骤如下：（1）初始化一个 $m \cdot h_{dh} \times m \cdot h_{dh}$ 的零矩阵 $C$ 作为协方差矩阵；（2）对于数据集中的每个token $t$，计算其键向量 $k_t = x_t W^K$，然后更新协方差矩阵 $C \leftarrow C + k_t^T k_t$；（3）遍历完所有 $l$ 个token后，得到完整的协方差矩阵 $C = K^T K = \sum_{t=1}^{l} k_t^T k_t$；（4）对协方差矩阵进行特征分解 $C = V\Sigma^2 V^T$，得到右奇异向量 $V$ 和奇异值 $\Sigma$；（5）基于奇异值计算NER指标：$\text{NER}(K) = \text{erank}(K)/r$，其中 $\text{erank}(K) = \exp(-\sum p_i \log p_i)$；（6）对于压缩应用，直接使用 $W^K V_k V_k^T$ 作为最优低秩压缩矩阵，将键向量从 $m \cdot h_{dh}$ 维压缩到 $k$ 维。整个过程对每一层独立执行，支持逐层分析。
技术新颖性
KV-CoRE的技术新颖性体现在多个层面。在算法层面，增量SVD的实现巧妙地利用了 $K^T K = (U\Sigma V^T)^T U\Sigma V^T = V\Sigma^2 V^T$ 的数学性质，使得通过协方差矩阵的特征分解就能获得与直接SVD数学等价的结果，这比SVD-LLM使用的Cholesky分解方法更加简洁直观。在指标设计层面，NER通过将有效秩归一化到 $[1/r, 1]$ 区间，消除了矩阵实际秩的影响，使得不同层、不同模型之间的可压缩性具有可比性。在评估方法论层面，ND-PPL指标的提出填补了端到端性能评估的空白，通过归一化不同保留比例下的困惑度变化，建立了NER与实际性能退化之间的定量关联。此外，方法的无梯度特性使其可以应用于任何预训练模型，无需微调或反向传播。
实验结果
实验在7个开源LLM（Qwen3-4B/8B、Mistral-7B、Gemma-2B/7B、Phi-3、LLaMA-2-7B）、5个英文数据集（Alpaca、MedAlpaca、CodeAlpaca、WizardCoder、FunctionCall）和15种语言上展开，揭示了四个核心发现。第一，键缓存比值缓存更易压缩：在所有模型和数据集上，键的NER值（NER-K）显著低于值的NER值（NER-V），例如Qwen3-4B在Alpaca上NER-K为0.428而NER-V为0.724，这表明键缓存具有更明显的低秩结构，针对键的压缩可以实现更高压缩比。第二，跨语言变化大于跨领域变化：英文不同领域数据集的NER值相对稳定（Qwen3-4B的NER-K在0.421-0.432之间），但跨语言差异显著（从阿拉伯语的0.337到捷克语的0.383），说明语言多样性、分词差异和训练数据覆盖对可压缩性的影响更大。第三，KV容量决定可压缩性：LLaMA-2-7B的NER极低（NER-K仅0.023-0.265），可能是因为其较大的键/值维度在训练中未被充分利用；Gemma-7B的NER（0.337）远低于Gemma-2B（0.597），因为其KV维度大16倍。第四，低资源语言出现秩坍缩：阿拉伯语、斯洛文尼亚语、芬兰语等训练数据较少的语言NER异常低，这可能反映了欠训练的token嵌入坍缩到低维子空间，可以作为诊断多语言预训练语料中代表性不足语言的信号。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| KV缓存可压缩性评估 | NER-K（键的归一化有效秩） | Qwen3-4B: 0.424 (英文均值)，LLaMA-2-7B: 0.088 (英文均值) | 无直接基线，首个大规模基准测试 | 建立了首个系统化的KV缓存可压缩性基准 |
| 压缩性能相关性验证 | Pearson相关系数（NER vs ND-PPL） | 值缓存: r=0.88，键缓存: r=0.64 | 无先验方法 | 验证了NER作为可压缩性代理指标的可靠性 |
| 模型压缩鲁棒性 | PPL变化（压缩比0.5时） | LLaMA-2-7B: PPL从6.04增至约6.50，Qwen3-4B: PPL从10.11增至约11.50 | 无压缩基线 | 量化了不同模型在压缩下的性能退化程度 |
| GPT评分验证 | GPT Score（二元等价判断） | LLaMA-2-7B在压缩比0.5时GPT Score约0.67-0.75 | Qwen3-4B在相同条件下仅0.45-0.63 | 通过LLM评估验证了压缩对生成质量的影响 |
局限与改进
本文存在以下局限性。首先，实验仅覆盖了7个开源模型系列，未包含更大规模的模型（如70B+参数），也未涉及闭源模型（如GPT-4、Claude等），因此结论的普适性有待验证。其次，NER指标虽然与PPL高度相关，但无法直接预测下游任务性能——论文中的GPT评估仅基于100条Alpaca指令，覆盖面有限，且GPT-4o评估本身存在主观性和成本问题。第三，增量SVD算法虽然避免了对完整矩阵的直接分解，但仍需存储 $m \cdot h_{dh} \times m \cdot h_{dh}$ 的协方差矩阵，对于KV维度特别大的模型可能仍有内存压力。第四，论文未讨论压缩后的实际推理加速效果——低秩压缩理论上可以减少内存带宽占用，但实际加速还取决于硬件实现和批处理策略。第五，方法假设每一层独立分析，未考虑跨层的联合优化潜力，例如某些层的冗余信息可能在其他层被补偿。
独立分析的弱点
本文存在几个值得改进的弱点。第一，协方差矩阵的存储开销：虽然避免了直接SVD大矩阵，但 $m \cdot h_{dh} \times m \cdot h_{dh}$ 的协方差矩阵在KV维度较大时仍可能成为瓶颈。改进建议是探索随机化SVD或在线PCA方法，在保持近似精度的同时进一步降低内存需求。第二，NER指标的局限性：NER仅基于奇异值分布，未考虑奇异向量的方向信息，可能导致在某些情况下误判可压缩性。可以探索结合奇异向量的条件数或其他矩阵性质的复合指标。第三，缺乏动态压缩策略：当前方法是静态分析，未实现根据输入内容动态调整压缩比例的机制。改进建议是设计轻量级的在线NER估计器，在推理时实时判断当前输入的压缩敏感性。第四，语言覆盖不均衡：15种语言的评估虽然全面，但缺少对中文、印地语等高资源语言的分析，且未探讨混合语言场景下的压缩特性。
未来方向
基于本文的成果，未来研究可以向多个方向延伸。第一，动态自适应压缩：利用NER的快速计算特性，设计根据输入序列实时调整每层压缩比例的推理系统，对NER低的层采用更激进的压缩，对NER高的层保留更多维度。第二，数据感知的模型设计：基于实验发现的「KV容量决定可压缩性」规律，在模型预训练阶段就引入秩利用率的正则化，避免出现类似LLaMA-2-7B那样的容量浪费。第三，多语言压缩策略优化：针对低资源语言的秩坍缩现象，可以设计语言感知的压缩方案，在检测到特定语言时自动调整压缩参数。第四，压缩与注意力机制的联合优化：将KV-CoRE的分析能力与MQA/GQA/MLA等注意力机制设计相结合，探索最优的注意力头配置与压缩策略的协同设计。第五，扩展到更长上下文：当前实验主要在相对标准的上下文长度下进行，未来需要验证在超长上下文（100K+ token）场景下NER的稳定性和方法的可扩展性。
复现评估
本文的复现条件较为友好。代码方面，论文未明确说明是否开源，但方法描述足够详细，特别是增量SVD算法（Algorithm 1）的伪代码完整清晰，可以独立实现。数据方面，使用的5个英文数据集（Alpaca、MedAlpaca、CodeAlpaca、WizardCoder、FunctionCall）都是公开可用的基准数据集，多语言数据来自VisR-Bench的多语言分割，也可获取。算力方面，论文说明实验在8×NVIDIA A800 GPU（80GB）上进行，但所有评估仅使用单GPU，没有分布式计算需求，这使得个人研究者或小团队也能复现。模型方面，使用的7个模型系列（Qwen3、Mistral、Gemma、Phi-3、LLaMA-2）都是公开的HuggingFace模型，可直接加载。复现难度主要在于实现增量SVD的数值稳定性，以及大规模多语言实验的计算时间成本。总体而言，复现难度中等偏低。
论文图表