SQS：基于稀疏量化子分布的贝叶斯深度神经网络压缩 SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions
用尖峰-滑块先验加高斯混合的变分学习同时剪枝与量化，压缩率更高且精度损失更小。
前置知识
变分学习（变分推断）
贝叶斯后验 $\pi(\theta|D)$ 通常不可解，变分学习从一族参数化分布 $\mathcal{F}$ 中选出与真实后验 KL 散度最小的分布：$q^*(\theta)=\arg\min_{q\in\mathcal{F}}\mathrm{KL}(q(\theta)\|\pi(\theta|D))$，该优化等价于最小化负证据下界（ELBO）。它把难以处理的积分问题转化为可用随机梯度下降求解的优化问题，是深度学习中近似贝叶斯推断的主流手段。
SQS 的整个训练过程就是最小化负 ELBO（式 7-8），不熟悉变分推断就无法理解其目标函数从何而来、为什么要做近似。
spike-and-slab 先验
一种两成分混合先验：spike 是位于零点的点质量 $\delta_0$，slab 是连续分布（本文为 $\mathcal{N}(0,\sigma_0^2)$），即 $\pi(\tilde\theta_i)=\lambda\mathcal{N}(0,\sigma_0^2)+(1-\lambda)\delta_0$。每个权重以概率 $1-\lambda$ 被推向恰好为零，从而诱导精确稀疏；$\lambda$ 直接对应目标非零比例，例如目标稀疏 90% 时设 $\lambda=0.1$。
SQS 的剪枝能力完全来自该先验，而 spike 的点质量正是导致后验 KL 无闭式解、必须做式 (8) 近似的原因。
高斯混合量化（GMM-based quantization）
把量化建模为连续分布 $Q(\theta_i)\approx\sum_{k=1}^K\phi_k(\theta_i)\mathcal{N}(\mu_k,\sigma_k^2)$：$K$ 个可学习的均值 $\mu_k$ 充当量化码本，$\phi_k$ 是带温度 $\tau$ 的 softmax 混合权重，当 $\tau\to0$ 时分布集中到单一分量、逼近离散多项分布，从而桥接连续与离散量化。相比直通估计器（STE）的硬舍入，这种连续建模避免了伪梯度带来的训练不稳定。
SQS 的 slab 部分就是 GMM，本文在 DGMS 的基础上把它与稀疏先验统一，并改进了逐层分窗拟合方式。
IQR 离群值规则
四分位距 $\mathrm{IQR}=q_3-q_1$ 是数据第三与第一四分位数之差，经典离群值检测把低于 $q_1-c\cdot\mathrm{IQR}$ 或高于 $q_3+c\cdot\mathrm{IQR}$ 的点视为离群值。大语言模型的权重呈长尾分布，存在少量大幅值离群权重，它们对性能至关重要，量化时若落入过宽窗口被粗粒度覆盖会显著掉点。
SQS 的 outlier-aware 分窗用 $5 imes\mathrm{IQR}$ 规则确定两个尾部窗口以保护这些离群权重，是其在 LLM 上超越等宽窗口策略的关键。
贝叶斯模型平均
推理时不取单点估计，而是从后验采样 $M$ 组参数 $\tilde\theta^1,\dots,\tilde\theta^M$，对预测取平均 $\hat y=\frac{1}{M}\sum_{m=1}^M f(x;\tilde\theta^m)$。多个略有差异的压缩模型共同投票可以平滑量化与剪枝引入的噪声、提升鲁棒性；$M=1$ 时退化为单个采样模型。
SQS 推理默认 $M=4$，其相对贪心推断的稳定增益（图 3）以及 $M$ 的边际收益规律（表 6）是理解其推理设计的核心。
研究动机
深度神经网络在资源受限设备上部署时内存与算力开销巨大，剪枝与低比特量化是最主流的两类压缩手段，但现有方法大多只单独使用其中一种，或将其顺序拼接：先按重要性剪枝、再对剩余权重量化。问题在于，无论剪枝还是量化都会使权重分布偏离原始全精度分布，激进压缩会带来严重性能下降，因此现有方法只能采取保守压缩率：ExactOBS 在 BERT-base 上压缩 4 倍 F1 就掉 6.43 分，PLATON 压缩 5 倍掉 2.20 分，纯 32-bit 剪枝的 GMP 压缩 2 倍 F1 暴跌 22.89 分。基于 GMM 的 DGMS 虽然统一了两步，但训练中缺乏有效的稀疏诱导机制，且无法自定义稀疏度，在权重呈长尾非高斯分布的 LLM 上表现崩溃：压缩 Llama3.2-1B 时精度暴跌 46.67%，Qwen2.5-0.5B 上掉 50.80%。如何在保持可接受性能的同时达到高压缩率，仍是开放问题。
本文的目标是本文目标是构建一个统一框架，把权重剪枝与低比特量化合并进同一个贝叶斯变分学习过程，在显著高于现有基线的压缩率下保持可接受的性能损失。具体而言，作者希望学到网络权重的稀疏量化子分布：每个权重既带有被保留的概率 $ ilde\lambda_i$（支持任意目标稀疏度的精确控制），又带有一个由 $K$ 个可学习量化值构成的非均匀码本（支持低比特表示）。同时希望给出理论保证——在温和条件下，变分后验以高概率收敛到真实的目标回归函数；并通过 ResNet、BERT-base、Llama3.2-1B、Qwen2.5-0.5B 上的大量实验证明：相同位宽下压缩率最高，相同压缩率下精度损失最小，尤其要在 2-bit、4-bit 场景以及权重含离群值的 LLM 上表现稳健。
与已有工作不同的是，本文的独特切入角度是把稀疏与量化统一成一个可做后验推断的变分分布族。此前联合压缩路线中，贝叶斯方法从单一先验同时导出两者但常需手动指定先验，MCMC 方法内存开销大；非贝叶斯方法依赖可微软门、二阶显著度或联合策略搜索；Bayesian Bits 用门控控制位宽逐倍翻番的残差链，剪枝只是 0-bit 特例，但其门作用在均匀网格上。SQS 的差异在于：spike-and-slab 先验的 spike 部分承担剪枝、GMM 建模的 slab 部分承担量化，码本本身（各高斯分量的均值 $\mu_k$）是逐层可学习的非均匀码本，每个权重还携带独立的保留概率，从而同时获得精确稀疏控制、非均匀码本和可用于贝叶斯平均的后验，这三点均为 DGMS 与 Bayesian Bits 所不具备。
核心方法
直觉上，SQS 把『删哪些权重』和『留下的权重放到哪些离散值上』变成对同一个后验分布的推断。形式化地，对每个权重引入二值指示变量 $\gamma_i\sim\mathrm{Bern}(\tilde\lambda_i)$：$\gamma_i=0$ 时权重取点质量 $\delta_0$（被剪枝），$\gamma_i=1$ 时权重从 $K$ 分量高斯混合 $\sum_k\phi_k(\theta_i)\mathcal{N}(\mu_k,\sigma_k^2)$ 中取值（被量化）。混合权重 $\phi_k$ 由温度 $\tau$ 缩放的 softmax 给出，$\tau\to0$ 时 GMM 收缩到单一分量、逼近离散分布。学习按负 ELBO 最小化，但因 $q(\tilde\theta_i)$ 与 spike-and-slab 先验 $\lambda\mathcal{N}(0,\sigma_0^2)+(1-\lambda)\delta_0$ 之间的 KL 散度无闭式解，作者推导了可计算的上界近似目标 $\Omega_{\mathrm{apx}}$（式 8），使整个流程可用普通 SGD 训练。
核心创新是尖峰-GMM 变分分布及其可解的近似目标。由于 $\mathrm{KL}(q\|\pi)$ 不可解，作者用后验均值 $\theta_{\mathrm{avg}}$（第 $i$ 个分量为 $\tilde\lambda_i\sum_k\mu_k\phi_k$）把期望对数似然替换为 plug-in 近似 $-\log p(D|\theta_{\mathrm{avg}})$；先验 KL 项则借助 Lemma 3 分解为可计算上界：每坐标的 $\mathrm{KL}(\mathrm{Bern}(\tilde\lambda_i)\|\mathrm{Bern}(\lambda))$，加上主导分量 $k_i^*=\arg\max_k\phi_k$ 对应的高斯 KL 项乘以 $\tilde\lambda_i$。这一分解让训练可扩展且保留后验结构。与 DGMS 把 GMM 仅当聚类机制不同，SQS 支持真正的后验推断与贝叶斯模型平均，把量化噪声显式建模进分布，在联合优化的解空间内避免两步法的次优性。
方法步骤详情
训练阶段：输入训练数据、全精度预训练权重、GMM 分量数 $K$、初始温度 $\tau$ 与先验方差 $\sigma_0^2$；初始化可学参数 $(\hat\mu_k,\hat\pi_k,\hat\sigma_k)$，循环计算式 (8) 的 $\Omega_{\mathrm{apx}}$ 并用 SGD 更新直至收敛，输出稀疏量化子分布 $\hat q(\tilde\theta)$。量化采用逐层分窗：每层权重分成 4 个窗口，用 $5\times\mathrm{IQR}$ 规则把尾部窗口定为 $[\min(\theta),q_1-5\mathrm{IQR}]$ 与 $[q_3+5\mathrm{IQR},\max(\theta)]$，每窗口各拟合一个 $K$ 分量 GMM。推理阶段：先按式 (9) 以概率 $\phi_k$ 从量化值集合中采样每个权重；再按用户指定的 Non-zero rate 对保留分数 $\hat\lambda_i$ 做分位数截断、确定性剪枝，实现精确稀疏控制；最后对 $M=4$ 个后验样本做贝叶斯平均得到预测输出。
技术新颖性
技术新颖性体现在四点。第一，剪枝与量化在同一变分族内联合优化，形成全局解空间，避免两步法各自的次优性。第二，近似目标 $\Omega_{\mathrm{apx}}$ 有理论支撑：Theorem 1 证明变分后验满足 $\int d^2(P_\theta,P_0)\hat q(\theta)d\theta\le C\varepsilon_n^{*2}+C'(r_n^*+\xi_n^*)$（Hellinger 距离），收敛速率由统计估计误差 $\varepsilon_n^*$、变分误差 $r_n^*$ 与逼近误差 $\xi_n^*$ 三项刻画。第三，Non-zero 分位数剪枝给出对稀疏度的精确控制，区别于随机剪枝无法保证固定稀疏率、常需额外剪枝步骤的做法。第四，离群值感知分窗在长尾权重上保留大幅值离群点，表 5 显示同设置下 Qwen2.5-0.5B 精度损失从等宽窗口的 5.40% 降到 2.46%。消融还表明 spike-and-slab 在 20% 保留率下比高斯先验少损失 38.45 个百分点（5.59% 对 44.04%）。
实验结果
核心结论是同位宽压缩率最高、同压缩率损失最小。ResNet 系列（CIFAR-10）：ResNet-20 上 SQS 2-bit/50% 非零达 32× 压缩、Top-1 掉 1.47%，优于 DGMS 的 29×/0.87%；ResNet-32 上 32×/1.29% 超过 DGMS 27×/1.30%；ResNet-56 上 32×/0.84% 超过 DGMS 31×/0.89%。BERT-base（SQuAD v1.1，基线 F1 88.68）：SQS 4-bit/25% 非零达 32×、F1 仅掉 1.66，优于 OBC 16×/2.33 与 GPTQ 11×/2.51。LLM（SST-2）：Llama3.2-1B 上 6-bit/25% 非零达 21×、掉 1.48%（AWQ 8×/0.46%，DGMS 7× 崩至 46.67%）；Qwen2.5-0.5B 上 11×/2.46%（AWQ 8×/1.54%，DGMS 掉 50.80%）。消融：spike-and-slab 全面优于高斯先验（20% 非零时 5.59% 对 44.04%）；贝叶斯平均优于贪心推断，$M$ 从 1 增到 50 使损失从 3.76% 降至 2.63%；对 Bayesian Bits，SQS 每权重有效比特 1.87 对 2.36，17×/0.84% 对 13.5×/6.79%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ResNet-56 图像分类（CIFAR-10，基线 Top-1 94.37%） | Top-1 精度损失 / 压缩率 | SQS：2-bit、50% 非零，32× 压缩，精度损失 0.84% | DGMS：2-bit、52% 非零，31×，损失 0.89%；TTQ：2-bit，16×，损失 1.06% | 压缩率提高约 3%，精度损失再降 0.05 个百分点 |
| BERT-base 问答（SQuAD v1.1，基线 F1 88.68） | F1 损失 / 压缩率 | SQS：4-bit、25% 非零，32× 压缩，F1 损失 1.66 | OBC：4-bit、50% 非零，16×，损失 2.33；GPTQ：3-bit，11×，损失 2.51 | 压缩率翻倍的同时 F1 损失更低（1.66 对 2.33） |
| Llama3.2-1B 情感分类（SST-2，基线 Top-1 94.72%） | Top-1 精度损失 / 压缩率 | SQS：6-bit、25% 非零，21× 压缩，精度损失 1.48% | AWQ：4-bit，8×，损失 0.46%；DGMS：6-bit、82% 非零，7×，损失 46.67% | 压缩率是 AWQ 的 2.6 倍，损失仍 ≤3%；较 DGMS 压缩率 3 倍且避免崩溃 |
| Qwen2.5-0.5B 情感分类（SST-2，基线 Top-1 92.60%） | Top-1 精度损失 / 压缩率 | SQS：6-bit、50% 非零，11× 压缩，精度损失 2.46% | AWQ：4-bit，8×，损失 1.54%；DGMS：6-bit、34% 非零，16×，损失 50.80% | 压缩率高于 AWQ 37.5%，损失 2.46% 保持在可接受范围 |
| ResNet-18 先验消融（CIFAR-100，基线 Top-1 79.26%，K=16，4-bit） | Top-1 精度损失 | spike-and-slab 先验：20% 非零（40× 压缩）下损失 5.59% | 高斯先验：同设置下损失 44.04% | 高稀疏度下领先 38.45 个百分点，验证 spike 成分的稀疏诱导能力 |
局限与改进
作者坦承两点局限：其一，LLM 实验中 Llama3.2-1B 与 Qwen2.5-0.5B 需先在 SST-2 上微调再压缩，省略该任务适配步骤会导致严重性能退化，因此结果只刻画对任务适配后模型的压缩，而非通用能力的保持，跨任务与分布偏移下的表现未评估；其二，理论分析限于回归任务与定宽全连接网络，不直接覆盖 transformer、分类设置或其他模型族。我自己的观察还有四点：压缩率公式 (17) 按基线惯例不收取稀疏掩码的存储比特，若按部署口径（位图或 CSR 索引）计费，所有剪枝方法的绝对压缩率都会下降；贝叶斯平均需 $M$ 次前向（默认 $M=4$），削弱压缩带来的延迟收益；LLM 实验用 6-bit 对比 AWQ 的 4-bit，位宽并不对齐，压缩率优势部分来自位宽与剪枝的组合；且仅评测 SST-2 分类，缺少困惑度或生成任务证据。
独立分析的弱点
独立分析的弱点：第一，任务依赖性强，压缩前必须用下游数据微调，少样本或无数据场景难以直接使用，改进方向是与少量校准集的后训练量化或无数据蒸馏结合。第二，贝叶斯平均的多次前向抵消压缩收益，可训练单样本学生网络蒸馏 $M$ 样本集成，或仅在敏感层做平均。第三，$M=5$ 已达 2.86% 损失而 $M=50$ 仅再降 0.23%，边际收益极小，说明收益主要来自平滑量化噪声而非信息增量，值得探究何时集成真正必要。第四，25%-50% 的非结构化稀疏在通用硬件上难以转化为实际加速，可探索与 2:4 结构化稀疏或块稀疏格式结合。第五，理论只覆盖全连接回归网络，与 transformer 实验脱节，注意力层长尾权重的收敛分析是明显空白。第六，LLM 对比位宽不对齐（6-bit 对 AWQ 4-bit），缺少同位宽公平对照。
未来方向
作者提出的方向包括：深入解释高斯先验在高稀疏度下为何失效（20% 保留率时精度损失高达 44.04%，而 spike-and-slab 仅 5.59%），作者明确把这一机制的细致研究留作未来工作；以及把收敛理论从全连接回归网络扩展到分类任务与 transformer 架构。基于本文成果可延伸的方向：把 outlier-aware 分窗与 SpinQuant 式可学习旋转结合，先旋转消除离群值再分窗量化，可能进一步压低位宽；将 SQS 的非均匀码本与硬件量化感知训练流水线对齐，研究 2-bit 极限位宽在 LLM 上的表现；利用后验采样的不确定性估计做压缩后模型的分布外检测或选择性预测；探索免微调的后训练版本，用少量校准数据估计 $ ilde\lambda_i$ 与码本，降低部署门槛；以及把非均匀码本思想移植到视觉语言模型的结构化剪枝。
复现评估
复现评估：论文提供了项目页 https://comeusr.github.io/SQS_Webpage/，与 Bayesian Bits 的对比使用 Qualcomm AI Research 官方实现并沿用其公开的 CIFAR-10 配方。实验设置描述较完整：所有方法从相同全精度预训练模型出发、统一超参、限时 24 小时，索引用 INT4 存储、计算用 FP32；例如 ResNet-56 上 SQS 从预训练模型训 11 epochs，而 Bayesian Bits 从头训 70 epochs 约 2 小时。但正文未给出各模型完整的 $K$、$ au$、$\sigma_0^2$、学习率与 LLM 微调协议（部分细节在附录 D），且 LLM 实验需先做 SST-2 微调；24 小时压缩预算对 Llama3.2-1B 级别模型仍需要较好的单卡 GPU。总体难度中等：ResNet 与 BERT 部分学术单卡可复现，LLM 部分对算力与调参经验有较高要求，建议先从 ResNet-20/CIFAR-10 入手验证实现。
论文图表
