POP：仅预填充阶段剪枝实现高效大模型推理 POP: Prefill-Only Pruning for Efficient Large Model Inference

POP 方法的完整流程分为以下步骤。第一步，层重要性分析。使用虚拟门机制，在校准数据集上分别计算每层在预填充和解码阶段的重要性分数 $\tilde{I}_l$。具体做法是：对每个校准样本，通过一次前向-反向传播计算 $\partial L / \partial g_l$ 的梯度，然后取梯度平方的期望值作为重要性估计。第二步，层选择。基于重要性分析的结果，选择深层（最后 1/3 层）作为剪枝目标集合 $S_{skip}$。这个比例是通过经验确定的平衡点——消融实验表明，20%-25% 的剪枝率可以保持甚至略微超越完整模型精度（如 Qwen3-VL 的 GSM8K 从 81.50% 提升到 83.09%），但加速有限；33% 在精度和加速之间取得了最佳平衡；超过 50% 则会导致性能急剧下降。第三步，预填充阶段执行。对前 $N-1$ 个 token，对不在 $S_{skip}$ 中的层执行完整的注意力和 FFN 计算；对在 $S_{skip}$ 中的层，仅执行独立 KV 投影生成缓存，然后直接将输入传递给下一层（$\hat{x}_{l+1} := x_l$）。第四步，边界处理。将第 $N$ 个 token（最后一个输入 token）的处理从预填充移到解码阶段，作为第一个解码步骤。第五步，解码阶段执行。对每个生成的 token，使用完整模型（所有层）进行计算，包括被跳过的层——这些层此时已有完整的 KV 缓存可供注意力计算使用。

POP 的技术新颖性体现在三个层面。首先，在方法论层面，它是第一个明确提出「阶段感知剪枝」概念的工作。此前所有结构化剪枝方法都隐含假设最优剪枝方案在预填充和解码阶段是相同的，POP 首次挑战了这一假设并通过虚拟门机制的定量分析给出了令人信服的证据。其次，在技术实现层面，独立 KV 投影机制是一个巧妙的设计：它利用了 KV 投影与完整注意力+FFN 计算之间的巨大计算量差异（小于 5% vs 100%），在几乎不增加计算开销的情况下解决了被剪枝层的缓存缺失问题。这与传统剪枝方法「要么全留要么全去」的思路形成鲜明对比。最后，在分析工具层面，虚拟门机制本身也具有独立价值——它通过 Fisher 信息近似，将逐层重要性估计的计算复杂度从 $O(L)$ 次完整推理降低到单次前向-反向传播，且能分别分析不同推理阶段的重要性，这为未来的模型分析和优化工作提供了有力工具。

第一个弱点是剪枝比例的固定性。论文采用经验选择的 1/3 剪枝比例，但不同模型和任务的最优比例可能差异很大。消融实验显示 20%-25% 的剪枝率甚至能略微提升精度（GSM8K 从 81.50% 升至 83.09%），而 50% 以上则急剧崩溃。改进方向：可以设计自适应剪枝策略，基于每层的实际重要性分数动态决定剪枝比例，而不是固定移除最后 1/3 层。第二个弱点是独立 KV 投影引入的表示漂移。论文附录 A 的实验表明，被剪枝层的隐藏状态余弦相似度从 1.0 下降到 0.71，KV 缓存中的 Value 状态甚至下降到 0.46。虽然注意力机制的加权聚合能部分平滑这种漂移（注意力输出相似度保持在 0.96 以上），但在长上下文场景下，累积的表示漂移可能会更显著。改进方向：可以考虑对被剪枝层的 KV 投影进行轻量级微调，使其更好地逼近完整层的输出分布。第三个弱点是短序列场景加速有限。输入长度为 32 token 时加速仅 1.02-1.22 倍，因为短序列预填充是显存带宽瓶颈，且边界处理要求最后一个 token 使用完整模型。改进方向：可以探索对短序列场景的专门优化，比如减少边界处理的开销，或者与量化方法结合降低显存访问成本。第四个弱点是缺乏对更大规模模型（如 70B、400B）的实验验证。论文仅在 8B 和 12B 规模的模型上进行了实验，尚不清楚 POP 的效果是否能迁移到更大规模的模型上。

论文作者提出了几个未来研究方向。首先是将 POP 适配到分布式推理系统（如 DistServe、Splitwise），这些系统将预填充和解码部署在不同硬件上，与 POP 的阶段感知设计天然契合，适配后有望进一步最大化集群级吞吐。其次是与其他加速技术的深度集成——论文附录 B 已经展示了 POP 与 FlexPrefill（稀疏注意力）和 LLMLingua-2（token 剪枝）的正交互补性，三者结合可在 Llama-3.1 上实现 1.56 倍加速。基于论文成果，还可以延伸以下方向：将 POP 的阶段感知思想推广到量化（如预填充用低精度、解码用高精度）；探索自适应层剪枝，根据输入内容动态决定哪些层需要剪枝；将虚拟门机制用于模型压缩的其他任务（如模型蒸馏中的层重要性分析）；在更大规模模型和更多模态（音频、视频）上验证 POP 的泛化性。

论文的复现条件较为理想。代码方面，论文基于 PyTorch 和 HuggingFace Transformers 库实现，这些都是广泛使用的开源框架。校准数据集方面，论文使用了公开可用的 WizardLM-V2-196K（文本任务）和 LLAVA-Instruct-150K（多模态任务），每个方法仅需 200 个校准样本，数据需求很低。算力方面，所有实验在 NVIDIA A100 80GB GPU 上进行，对于 8B-12B 规模的模型，单卡即可完成。评估框架使用了成熟的开源工具（LM-Evaluation-Harness、LongBench、LMMs-Eval）。方法本身不涉及训练，仅需一次前向-反向传播进行重要性估计，然后在推理时应用剪枝策略，复现难度较低。总体而言，复现难度为中等偏低——所需数据、工具和算力都是公开可用且门槛不高的。不过论文尚未明确说明是否会开源代码，如果不开源，需要自行实现虚拟门机制、独立 KV 投影和边界处理策略。