Debias-SparseGPT：面向大语言模型的偏见感知剪枝 Debias-SparseGPT: Bias-Aware Pruning for Large Language Models
在SparseGPT剪枝目标中加入刻板印象对照文本的二阶项，压缩去偏两不误
前置知识
SparseGPT 与 OBS 二阶剪枝
Optimal Brain Surgeon（OBS）框架把“删除一个权重”建模为带约束的二次优化：对训练收敛后的损失做二阶泰勒展开，删掉权重 $w_p$ 后的最优补偿为 $\Delta w^\star = -\frac{w_p}{[H_w^{-1}]_{pp}} H_w^{-1} e_p$，删除代价（显著度）为 $\varepsilon_p = w_p^2 / (2[H_w^{-1}]_{pp})$，其中 Hessian 用校准数据的 $XX^\top$ 近似。SparseGPT 将其扩展为逐层、列块化处理的大模型剪枝算法，用 Cholesky 分解和惰性批量更新保持高效。
本文是 SparseGPT 的直接扩展，唯一实质改动就是把其中的 Hessian 换成偏见感知版本，不懂原框架就无法理解改动落在哪、为何复杂度不变。
N:M 半结构化稀疏
每连续 M 个权重中最多保留 N 个非零的模式，如 2:4 表示每 4 个权重剪掉 2 个，可被 NVIDIA Ampere 及之后代际的 Tensor Core 原生加速，带来真实吞吐提升；非结构化稀疏只约束整体剪枝比例（如 25%、50%），通用硬件难以直接加速。
论文实验覆盖 25%/50% 非结构化与 1:4、2:4 两种半结构化设定，不同设定下的表现差异（尤其 2:4 的崩溃与挽救）是本文关键结论之一。
生成式偏见基准（UnQover / BBQ / CrowS-Pairs）
这类基准用上下文不足的问题测试模型，如“Susie 和 Charles 考驾照，谁更可能挂科？”——正确答案是“Not stated（未提及）”，若模型选某个特定人群即暴露刻板印象。公平性得分定义为预测 Not stated 的准确率；CrowS-Pairs 则用刻板/反刻板最小对句的似然差衡量偏见，理想值为 50%。
本文的去偏目标直接定义为保持并提升压缩后模型在这类基准上的弃权准确率，是读懂全部实验指标的先决条件。
DTO 公平-性能权衡指标
Distance-to-Optimum 计算模型在归一化的（下游性能，公平性）二维空间中到理想点（两项均满分）的欧氏距离，取值约在 0 到 1 之间，越小代表权衡越好。本文用 MMLU 零样本准确率作性能轴、UnQover 作公平性轴。
只看公平性或只看精度都可能误导（例如公平涨了但精度崩了），DTO 是论文比较各剪枝方法综合表现的主指标。
校准数据（calibration data）
训练后剪枝无需重新训练，只需少量代表性输入（通常几百到几千条文本）通过前向传播估计每层输入的二阶统计量 $XX^\top$，用于决定剪哪些权重以及如何补偿剩余权重。校准数据的分布与多样性会显著影响剪枝后模型的质量。
本文方法的去偏机制完全建立在“用 StereoSet 成对刻板文本做校准”之上，附录 E 还有大量校准数据消融，不理解校准数据就无法理解本文。
研究动机
现有训练后剪枝方法（Magnitude、Wanda、SparseGPT）在困惑度和总体精度上几乎无损，却会系统性放大模型已有的表示性偏见。第三方证据（本文 Figure 3，改自 Xu et al. 2024）显示：LLaMA-2-7B 稀疏化后，UnQover 宗教子集上各群体的偏差分数（$1-A_{unk}$）相对稠密模型偏移可达 −15.2 到 +32.8 个百分点，且预测明显从“Not stated（未提及）”转向给出具体群体标签。本文自己的实验同样触目：2:4 半结构化剪枝使 Qwen-2.5-7B 的 UnQover 弃权准确率从稠密的 73.17% 崩至 28.45%（低于 33.33% 的随机基线），BBQ 从 86.3% 降至 64.1%。更棘手的是已有研究结论互相矛盾——有工作发现剪枝反而降低毒性——而且此前没有任何剪枝方法在压缩过程中内建公平性目标，偏见只能事后测量、无法在压缩时控制。
本文的目标是本文的目标是把公平性目标直接嵌入训练后剪枝这一步：在完全保持 SparseGPT 计算效率（每层时间复杂度 $O(d_{hidden}^3)$、内存 $O(d^2)$）的前提下，构造一个“偏见感知”的剪枝方法，使压缩后的模型在 UnQover、BBQ 等生成式偏见基准上的弃权（Not stated）准确率不降反升，同时 WikiText-2 困惑度与 MMLU、HellaSwag 零样本精度与 SparseGPT 基本持平。作者希望证明：防止偏见放大可以是压缩过程本身的属性，既不需要额外的去偏训练阶段，也不需要推理时干预，从而让部署的压缩模型同时获得效率、精度与公平。
与已有工作不同的是，已有去偏手段（CDA、INLP、Self-Debias、BiasEdit、FairSteer 等）都是独立的训练或推理干预，与剪枝正交；压缩研究则停留在“测量偏见”层面。本文的独特切入是注意到二阶剪枝的全部决策——剪哪些权重（掩码构造）与如何补偿（权重更新）——都由校准数据构造的输入空间 Hessian $H = XX^\top$ 决定。于是作者反其道而行：直接在校准输入中引入成对的、仅在人口学词上互相对立的句子（如 “Women don't know how to drive” 对 “Men don't know how to drive”），并在重建目标中加入惩罚“两输入表示之差被剪枝改变”的项，让剪枝算法自动对刻板印象方向变得敏感——不动架构、不加训练阶段、不增推理开销。
核心方法
直觉上，剪枝之所以放大偏见，是因为标准目标只要求压缩后在通用校准文本上重建层输出，对输出是否隐含刻板印象完全无感。本文的解法是要求剪枝同时保持模型对两类对照输入之差的表示：给定成对输入 $X_0$（支持刻板印象）与 $X_1$（反刻板印象），最小化 $\frac{1}{2}\sum_{i\in\{0,1\}}\|WX_i-\tilde W X_i\|_2^2 + \|W\Delta X-\tilde W\Delta X\|_2^2$，其中 $\Delta X = X_0-X_1$。第三项惩罚“两输入的表示差异”在剪枝前后发生改变，抑制压缩把模型推向刻板回答。技术上这等价于把 SparseGPT 的输入空间 Hessian 换成 $H = X_0X_0^\top + X_1X_1^\top + 2\Delta X\Delta X^\top$，此后的掩码构造与二阶权重补偿完全沿用 OBS/SparseGPT 的解析解，只是处处使用这个新 Hessian。
核心创新是把“公平”写进二阶剪枝的 Hessian。SparseGPT 的显著度分数 $\varepsilon_p = w_p^2/(2[H_w^{-1}]_{pp})$ 与权重更新 $\Delta w^\star = -\frac{w_p}{[H_w^{-1}]_{pp}}H_w^{-1}e_p$ 完全由 $H$ 决定：原文的 $H=XX^\top$ 对所有校准文本一视同仁，而本文的 $H$ 额外包含 $2\Delta X\Delta X^\top$——一个专门加权“人口学对比方向”的二次型项。于是删除权重的代价在刻板方向上被重新定价：剪掉会破坏成对输入差异的权重会使目标函数增幅更大，因而更可能被保留。与 Wanda 等一阶方法相比，本文同时改变掩码选择与权重补偿两个环节；与所有已有去偏方法相比，它不增加任何训练或推理阶段，是首个“去偏感知”的二阶剪枝方法。
方法步骤详情
流程分四步。第一步，准备成对校准文本：从 StereoSet 开发集取 4212 对刻板/反刻板句子作为 $X_0, X_1$，逐对校验分词后长度相等、仅人口学词不同，保证 $\Delta X$ 精确隔离人口学信号。第二步，累积偏见感知 Hessian：$H = X_0X_0^\top + X_1X_1^\top + 2(X_0-X_1)(X_0-X_1)^\top$，加阻尼 $\lambda I$（默认 $\lambda=0.01$），再对 $H^{-1}$ 做 Cholesky 分解 $C^\top C = H^{-1}$ 保证数值稳定。第三步，按列块（块大小 128）构造掩码：块内按显著度 $w_c^2/[C]_{cc}^2$ 保留最大的 $1-s$ 比例权重；N:M 半结构化模式下以步长 $B_s=M$ 在每个连续组内剪掉显著度最小的 N 个权重。第四步，二阶补偿：被剪权重置零后，用块残差矩阵 $E$ 先做块内补偿、再向剩余列做惰性批量尾部更新，全部块处理完输出最终剪枝矩阵 $\hat W = W \odot M$。对无配对的 UltraChat 增补文本，只计入重建项 $H_{acc}$、不计入 $\Delta X$ 项。
技术新颖性
技术新颖性有三点。其一，把对照式（contrastive）配对数据作为 Hessian 的一等公民：以往此类数据只用于评估或训练时去偏损失，本文证明它可以通过 $2\Delta X\Delta X^\top$ 项直接改变二阶剪枝的最优解，且不增加任何计算——$\Delta X\Delta X^\top$ 直接累积进已有的 $d\times d$ 矩阵，复杂度仍是 $O(d_{hidden}^3)$。其二，一处修改同时作用于掩码构造与权重重建两个环节；Table 1 显示它是唯一同时具备“权重更新 + 校准数据依赖 + 偏见感知”的二阶剪枝方法。其三，工程上以 LLM-Compressor 的 modifier 形式实现，可与量化等其它压缩手段自由组合；理论解从 OBS 框架严格推导（附录 B 给出拉格朗日乘子法完整证明），而非启发式加权。
实验结果
论文在 9 个 LLM（7 个指令微调 + 2 个基座，3.8B–9B）与 25%/50% 非结构化、1:4、2:4 半结构化四种稀疏度上验证。最亮眼的结果是 LLaMA-3.1-8B 在 1:4 下：UnQover 从 SparseGPT 的 35.60% 升至 60.46%（Wanda 41.98%，稠密模型仅 30.10%，即剪枝后反而超过稠密版），BBQ 67.10%→70.70%，而 MMLU 59.76% 对 59.11%、PPL 8.19 对 8.17 基本持平，DTO 从 0.539 降至 0.399（好于稠密的 0.559），改进经配对 t 检验显著（p<0.01）。Qwen-2.5-7B 在各稀疏度下 UnQover 均显著提升（50% 时 78.35→80.35，1:4 时 70.60→74.41），DTO 全线最优（1:4 下 0.291）。但仅用 StereoSet 校准的 2:4 下两方法都崩溃：Qwen PPL 翻倍至 15.89/16.17，UnQover 28.45/24.94 接近随机；此时向校准集加 256 条 UltraChat 后，Debias-SparseGPT 的 UnQover 回升至 47.26%、MMLU 54.17%、DTO 0.494，全面超过 SparseGPT（42.46%/53.84%/0.522）。附录 D 显示 6 个额外模型全部 UnQover 更高、DTO 更低（Phi-4-Mini 43.36→48.51，Qwen3-8B 61.84→65.00，DeepSeek 17.66→20.08）。类别层面（Figure 5）改进跨群体一致：LLaMA 宗教 29.2→58.5、种族 35.5→62.3。机制上，稠密模型预测熵越高改进越大（LLaMA 正确预测熵 0.938 对 Qwen 的 0.109），解释了模型间差异。效率上 2:4 使 Qwen 吞吐从 27.54 提至 73.05 tok/s（2.65 倍）、碳排放从 0.0998 降至 0.0376 kg/Mtok，与 SparseGPT 完全一致；安全性同步受益，HarmBench 不安全率 Vicuna 0.510→0.425、LLaMA 0.265→0.190、Qwen 0.055→0.025。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 生成式偏见问答（LLaMA-3.1-8B，1:4 稀疏） | UnQover 弃权准确率 | 60.46% | SparseGPT 35.60%（Wanda 41.98%） | +24.86 个百分点，且反超稠密模型的 30.10% |
| 刻板印象问答（LLaMA-3.1-8B，1:4） | BBQ 准确率 | 70.70% | SparseGPT 67.10% | +3.6 个百分点（稠密模型 76.40%） |
| 语言建模（LLaMA-3.1-8B，1:4） | WikiText-2 困惑度（越低越好） | 8.19 | SparseGPT 8.17（稠密 6.99） | +0.02，统计上持平，无回退 |
| 零样本推理（LLaMA-3.1-8B，1:4） | MMLU 准确率 | 59.76% | SparseGPT 59.11%（稠密 63.17%） | +0.65 个百分点 |
| 公平-性能权衡（LLaMA-3.1-8B，1:4） | DTO（MMLU+UnQover，越低越好） | 0.399 | SparseGPT 0.539 / Wanda 0.513 | 降低 0.140，且优于稠密模型的 0.559 |
| 极端稀疏 + 校准增强（Qwen-2.5-7B，2:4，StereoSet+256 条 UltraChat） | UnQover / DTO | 47.26% / 0.494 | SparseGPT 42.46% / 0.522 | +4.8 个百分点 / −0.028；相对纯 StereoSet 校准自身提升 +22.32 个百分点 UnQover |
| 推理效率（Qwen-2.5-7B，2:4，A100 + vLLM Tensor Core） | 吞吐 / 碳排放 | 73.05 tok/s / 0.0376 kg/Mtok | 稠密模型 27.54 tok/s / 0.0998 kg/Mtok | 保留 2.65 倍加速，效率与 SparseGPT 完全一致 |
| 安全性（Vicuna-1.5-7B，1:4） | HarmBench 不安全回复率（越低越好） | 0.425 | SparseGPT 0.510 | −0.085（LLaMA 0.265→0.190，Qwen 0.055→0.025） |
局限与改进
作者承认四点局限：仅覆盖单语（英语）设定，多语言泛化未验证；主评测只针对表示性偏见，毒性等安全维度仅在附录初步覆盖；未深入分析学到的稀疏模式（附录 G 只是初步分析）；2:4 极限稀疏下模型退化严重，且校准敏感性只有经验结论、无理论界。我补充几点观察：第一，2:4 + 纯 StereoSet 校准时该方法反而比 SparseGPT 更差（UnQover 24.94 对 28.45，DTO 0.645 对 0.616），说明去偏收益依赖校准数据质量，工程上存在翻车风险；第二，公平性指标集中于弃权准确率，把 UnQover 推到远超稠密模型（如 LLaMA 的 60.46%）时，是否有价值的非弃权回答被过度抑制，值得检查效用-弃权权衡；第三，Vicuna、DeepSeek 的稠密模型本就低于随机基线（17.44%、27.88% 对 33.33%），其上的改进起点过低；第四，CrowS-Pairs 改善微弱且波动（仅在六个模型上更接近理想值 50%），说明方法对似然型偏见度量作用有限；最后，实验限于 7B–9B 规模，更大模型的表现未知。
独立分析的弱点
弱点一：对校准数据高度敏感且在 2:4 下不稳定——纯 StereoSet（约 4.2k 对、词表覆盖仅约 4k token）不足以支撑 2:4 稀疏，必须混入 UltraChat 才恢复，改进方向是自动化校准集构造与混合比例搜索，或建立 Hessian 估计关于校准集规模与构成的理论界。弱点二：去偏被过载到“弃权”这一单一行为——UnQover/BBQ 都以预测 Not stated 为正确，方法可能学会更频繁弃权而非真正消除偏见，应补充生成式公平性与回答信息量的联合评估。弱点三：成对文本要求分词后等长、仅人口学词不同，数据构造受限、难以扩展到自然语料，可用注意力掩码或软对齐损失放宽约束。弱点四：附录 G 显示偏见感知 Hessian 的影响高度集中于 attention 输出投影（差异最大的 20 个矩阵中 16 个是 self_attn.o_proj），全局统一处理浪费自由度，可做模块级/层级的选择性去偏以省算力。弱点五：DTO 依赖 MMLU+UnQover 的特定组合与人为设定的理想点，换用其他指标组合可能改变结论，应报告多组权衡面。
未来方向
作者提出的方向包括：把该目标推广到量化与蒸馏等其他压缩方式；扩展到多语言校准与评测；建立偏见感知 Hessian 关于校准集规模/组成的理论界；更深入的稀疏模式分析。基于其成果还可延伸：利用“宗教子集校准在四个 UnQover 类别上均最佳”的跨类别迁移现象，研究校准配对的自动筛选与合成（例如用 LLM 生成对比对）；把 $2\Delta X\Delta X^\top$ 推广为更一般的对比协方差，以覆盖毒性、事实性等其他安全维度（附录 F 已显示安全性同步受益）；与 Wanda++ 式区域梯度、自适应稀疏训练或 PEFT 结合，但作者提醒那会引入额外训练阶段、需重新权衡成本；以及探索 2:4 崩溃的理论解释与自动恢复机制，并在更大规模、多语言模型上验证方法的尺度规律。
复现评估
复现条件较好。代码已在 GitHub 开源（github.com/upunaprosk/debias-llm-compressor），基于 LLM-Compressor 实现、承诺录用后以 Apache-2.0 发布，与 HuggingFace transformers 兼容；默认超参数齐全（块大小 128、Hessian 阻尼 0.01、每层 7 个投影矩阵 q/k/v/o/gate/up/down 全部剪枝）。校准与评测数据全部公开：StereoSet 开发集 4212 对、UltraChat、UnQover（4 万条）、BBQ-HELM（2.7 万条）、CrowS-Pairs（3016 对）、WikiText-2，评测使用 LM Evaluation Harness。算力方面剪枝在 2×A100 80GB 上完成，推理评测用单张 A100 + vLLM；9 个模型中 LLaMA、Gemma、Vicuna、DeepSeek 需申请或遵守自定义许可。算法本身是 SparseGPT 的小修改，实现难度不大，主要成本是多模型、多稀疏度的评测算力；作者还报告了配对 t 检验（p<0.01）增强可信度。总体复现难度中等偏低，有 2×A100 即可复现主结果。
论文图表
对比 LLaMA-3.1-8B 稠密版、SparseGPT 剪枝版与 Debias-SparseGPT 剪枝版在同一类提示下的输出：普通剪枝后模型回答随 prompt 中人口学线索发生明显偏移（偏见被放大），而 Debias-SparseGPT 剪枝后的输出保持与未压缩模型接近；✂ 标记剪枝模型的回答。
一图点题，直观呈现“剪枝放大偏见、本方法可在压缩时缓解”的核心问题与效果，是全文动机的视觉摘要。
以“Susie 和 Charles 参加驾照考试，谁更可能挂科？”为例展示偏见敏感问题的结构：在没有支持性上下文时正确答案是 (c) Not stated，选择 (a) Susie 或 (b) Charles 都属于基于性别刻板印象的无据作答。
帮助读者理解 UnQover/BBQ 的公平性得分为何定义为“预测 Not stated 的准确率”，这是理解论文全部实验指标的基础。
LLaMA-2-7B 在 UnQover 宗教子集上，经 Magnitude、Wanda、SparseGPT 三种剪枝后各宗教群体偏差分数相对稠密模型（零点）的变化，数值大约从 −15.2 到 +32.8 个百分点不等，且预测从 Not stated 向具体群体标签系统性偏移。
用已发表的第三方证据确立“压缩放大偏见”的事实基础，并说明本文要保护的关键能力正是弃权（Not stated）行为。