← 返回 2026-03-10

Sparse-BitNet：1.58-bit 大模型天然兼容半结构化稀疏 Sparse-BitNet: 1.58-bit LLMs are Naturally Friendly to Semi-Structured Sparsity

Di Zhang, Xun Wu, Shaohan Huang, Yudong Wang, Hanyong Shao, Yingbo Hao, Zewen Chi, Li Dong, Ting Song, Yan Xia, Zhifang Sui, Furu Wei 📅 2026-03-05 👍 6 2026-07-13 08:35

BitNet N:M 稀疏大语言模型模型稀疏化模型量化

arXiv HuggingFace PDF

BitNet 1.58-bit 量化天然兼容 N:M 稀疏，同稀疏率下退化更小

前置知识

1.58-bit BitNet 量化

BitNet b1.58 是一种极端量化方法，把权重从 16-bit 浮点压缩到三值集合 $T=\{-1, 0, +1\}$，理论上每个参数只需 $\log_2 3 \approx 1.58$ 比特。实现上保留一个 BF16 主权重 $W$ 用于梯度累积，前向时按 $W_q = \text{RoundClip}(W/\gamma, -1, +1)$ 量化为三值，其中 $\gamma = \frac{1}{d_{out}\cdot d_{in}}\|W\|_1$ 是平均绝对值缩放因子。激活值另用 absmax 量化到 8-bit 整数。

论文的核心现象——'1.58-bit BitNet 天然有约 42% 的零权重'——直接来源于三值量化的定义，$\{-1, 0, +1\}$ 集合中 0 的天然存在让模型有内生稀疏结构。读者必须先理解 $W_q \in \{-1, 0, +1\}$ 的语义，才能理解为什么本文发现 BitNet 在 N:M 稀疏下退化更小。

半结构化 N:M 稀疏

N:M 稀疏要求在每 $M$ 个连续权重中至多保留 $N$ 个非零值。代表格式是 NVIDIA Tensor Core 加速所需的 2:4 模式（每 4 个中保留 2 个非零），本文重点研究 6:8 模式（每 8 个中保留 6 个非零，25% 稀疏率）作为精度-效率折中。形式化定义：对权重矩阵 $W$，存在二值掩码 $M \in \{0,1\}^{d_{out}\times d_{in}}$，使得每 $M$ 个连续位置的 $\|M_{group}\|_0 = N$，前向时计算 $y = (W \odot M)x$。

N:M 是本文与已有工作对比的基线范式。读者需要理解 N:M 模式与 unstructured 稀疏的差别（前者可直接利用 Sparse Tensor Core 硬件加速），才能体会为什么论文要专门研究 'BitNet + 6:8' 的组合，以及 1.30× 加速比的来源。

Straight-Through Estimator (STE)

STE 是一种在不可微操作（如量化、top-k 选择）处近似梯度传播的技巧。具体做法是把前向的离散/截断函数 $Q(\cdot)$ 在反向时替换为恒等映射，使得 $\partial \mathcal{L}/\partial W \approx \partial \mathcal{L}/\partial W_q$。本文的 'Dual STE' 进一步把 STE 推广到掩码选择器 $\Pi_{N:M}(\cdot)$ 上：被掩码掉的权重也允许获得梯度更新，区别于把梯度与掩码相乘的 stop-gradient 做法。

STE 是论文方法稳定训练的关键。Dual STE 让被剪枝的权重持续接收梯度反馈，从而有机会在后续步骤重新进入 top-N 集合，避免结构性坍缩。读者不熟悉 STE 的话，就无法理解为什么 'mask without grad' 这个消融变体会失败。

量化感知训练 (QAT) 与极化效应

QAT 指在训练过程中模拟量化的离散化约束，让模型参数主动适配低位表示。本文通过观察 latent weight 的近零质量 $P(|w|/\text{mean}(|w|) < 0.5)$ 演化发现：BF16 训练中近零权重占比保持较高，呈单峰分布；而 BitNet 训练中近零质量显著下降，权重主动向 $|w| \to 0$ 和 $|w| \to 1$ 两端极化，形成多峰分布。

极化效应是论文解释 '为什么 BitNet 更兼容稀疏' 的核心理论基础。多峰分布意味着 BitNet 训练过程天然把权重分成 '重要' 和 '冗余' 两类，从而 N:M 阈值可以安全地剪掉低幅值噪声而不损失关键信息。

研究动机

大语言模型（LLM）规模爆炸带来训练与推理成本急剧上升，量化（如 1.58-bit BitNet）和稀疏化（如 NVIDIA 2:4 模式的 Sparse Tensor Core 加速）是两条主流高效化路径，但此前研究几乎都是孤立推进。已有工作在 16-bit BF16 全精度模型上施加 2:4 半结构化稀疏时遇到显著瓶颈：在严格 N:M 约束下，全精度模型准确率退化很快——本文实验显示 BF16 在 2:4 (50% 稀疏率) 时归一化 PPL 上涨 +18.8%，跨过 10% 退化阈值；稀疏率到 4:8 即开始崩溃。同时，1.58-bit BitNet 把权重限制到三值 $\{-1, 0, +1\}$，虽然在大规模下与 BF16 性能接近，但同样面临高稀疏率下的鲁棒性问题。两条路线的孤立研究导致一个空白——'量化 + 稀疏' 的协同效应未被系统探索。

本文的目标是本文的核心目标有三：第一，建立统一框架 Sparse-BitNet，在训练时同时施加 1.58-bit 三值量化和动态 N:M 半结构化稀疏掩码，并保证从零训练稳定；第二，通过严格对照实验系统回答 '在相同 N:M 稀疏约束下，1.58-bit BitNet 是否比 BF16 更友好'；第三，结合定制 6:8 稀疏算子在 NVIDIA A100/B200 GPU 上验证端到端训练与推理加速。

与已有工作不同的是，切入角度是观察到 1.58-bit 预训练模型的权重量化后约有 42.2% 的值为 0（呈 quantization-valley 现象），即 BitNet 天然形成稀疏表示而无需显式剪枝。这一观察引出本文的关键研究问题：1.58-bit 量化的内生稀疏性是否与基于幅值的 N:M 选择天然兼容？具体而言，本文推断 ternary BitNet 的 latent weight 分布呈极化（重要/冗余二分），这与 N:M 阈值在低幅值区剪枝的需求高度吻合——稀疏边界与高幅值模式解耦，从而保护关键权重。本文既不是单纯剪枝工作，也不是单纯量化工作，而是首次系统研究两者交互，并提出可训练的联合框架。

核心方法

方法整体思路分三层直觉和一条技术路线。直觉上，1.58-bit 量化把权重收敛到三值，latent 主权重在 $\{-1, 0, +1\}$ 附近形成 '量化谷'，天然存在大量近零候选；N:M 稀疏按幅值排序剪掉 group 中幅值最低的成员。两者都偏好'低幅值不重要'这一假设，因此联合时存在天然协同。技术路线上，本文提出 Sparse-BitLinear 算子：在 BF16 master weight $W$ 上并行执行 (i) 幅值 top-N 掩码生成 $M_{N:M} = \Pi_{N:M}(|W|)$，(ii) 三值量化 $W_q = Q_t(W)$，(iii) 量化-后-掩码的稀疏组合 $W_{eff} = W_q \odot M_{N:M}$。每步重新计算掩码，梯度通过 Dual STE 完整回传到所有 master 权重（包括当前被掩的），配合 AdamW 余弦调度 + 50% warmup 在 RefineWeb 上从零预训练 50B tokens。

核心创新是 'quant-then-mask + dense gradient flow' 设计，与已有 N:M 剪枝工作的本质区别有三点。第一，掩码从连续 master weight 计算而非从三值权重计算——避免了 $\{-1, 0, +1\}$ 离散空间里大量 tie 带来的 top-N 不稳定（本文实验显示从 quantized weight 选掩码会让 PPL 从 26.31 暴涨到 32.23）。第二，被掩权重不被屏蔽梯度而是接收完整 STE 梯度——让被剪掉的权重有 '复活' 机会，避免结构早熟坍缩（mask without grad 变体 PPL 显著更高）。第三，掩码施加在量化后而非量化前——保证推理时的离散权重本身就符合 N:M 布局，便于 Sparse Tensor Core 部署。

方法步骤详情

训练流程（Algorithm 1）每步执行：(1) 从数据 $\mathcal{D}$ 采样 batch $B$；(2) 对当前 master weight $W$ 计算幅值 top-N 掩码 $M_{N:M} \leftarrow \Pi_{N:M}(|W|)$；(3) 激活 8-bit 量化 $\tilde{x} \leftarrow Q_a(\text{Norm}(x))$；(4) 主权重量化 $W_q \leftarrow Q_t(W)$ 到 $\{-1,0,+1\}$；(5) 稀疏有效权重 $W_{eff} \leftarrow W_q \odot M_{N:M}$；(6) 前向 $y \approx s \cdot W_{eff}\tilde{x}$，其中 $s$ 吸收量化缩放因子；(7) 反向时 STE 通过 $Q_t$ 和 $\Pi_{N:M}$ 两个不可微算子，梯度完整回传至所有 $W$（含被掩位置）；(8) AdamW 更新 $W$。超参：$\beta=(0.9, 0.95)$，$\epsilon=10^{-5}$，lr=$10^{-5}$，余弦调度，warmup 0.5，weight decay 0.1，micro-batch 16，grad accum 4，seq len 2048，grad clip 1.0，BF16 精度。主实验采用 6:8 模式（25% 稀疏率），与 2:4 模式对比。所有模型（0.5B/1.5B/3B Qwen2.5）从零训练 50B tokens，data 为 RefineWeb，使用 HellaSwag/ARC-E/PIQA/BoolQ/COPA 五个零样本 benchmark 评估。

技术新颖性

技术新颖性体现在三方面。第一是 '极化驱动稀疏友好' 的发现——通过图 4/5/6 实证 BitNet 训练让权重主动远离近零区域，形成可被 N:M 安全剪枝的 '冗余层'，而 BF16 权重则被结构性纠缠在近零主峰里，稀疏化不得不切割信号区。第二是 'Dual STE' 训练范式——传统 N:M 训练要么 stop-gradient（限制探索）要么 dense 但不稳定，本文通过 (master-weight) 掩码 + dense 梯度 + 量化后掩码的三重组合，首次在 1.58-bit 量化空间内实现稳定从零预训练。第三是 '6:8 优于 2:4' 的工程洞察——在低比特场景下，6:8 (25% 稀疏) 比 2:4 (50% 稀疏) 保留更多信号但仍能利用 Sparse Tensor Core，达到 1.30× 加速；而 2:4 在 BF16 上已崩溃。

**Figure 3**: Ablation on training design choices for dynamic 6:8 sparsity (Qwen2.5-0.5B)

**Figure 4**: Polarization trend under ternary QAT

**Figure 6**: Overlay of $|w|$ density and per-block threshold $t$ (dense training)

实验结果

核心发现分四块。第一，PPL 鲁棒性：在 6:8 稀疏下，Qwen2.5-0.5B/1.5B/3B 三种规模，BitNet 的 PPL 增量分别为 +0.32/+0.24/+0.17，远低于 BF16 的 +1.20/+0.60/+0.45（表 2）；且 PPL 增量随模型规模缩小，符合'大模型更鲁棒'规律。第二，下游任务鲁棒性：5 个 zero-shot benchmark（HellaSwag/ARC-E/PIQA/BoolQ/COPA）平均分下降，0.5B/1.5B/3B 三种规模 BitNet 分别为 -1.15/-3.79/-0.80 分，BF16 为 -3.02/-7.71/-3.20 分（表 1），BitNet 优势贯穿所有规模。第三，延迟崩溃（图 2/表 6）：在 N:8 扫描中（8:8/7:8/6:8/5:8/4:8/3:8/2:8 加 2:4），以 10% PPL 上涨为崩溃阈值，BF16 在 4:8 即跨过阈值（+18.8% 出现在 2:4），BitNet 一直保持到 3:8 仍稳定（2:4 时仅 +5.7%），可用稀疏范围显著更宽。第四，硬件加速（表 3）：A100 prefill 阶段，6:8 稀疏 Qwen2.5-3B 在 seq len 4096 时达到 52.2k tokens/s，对应 1.28× 加速；seq len 65536 时达到 55.5k tokens/s、1.30× 加速。B200 decode 阶段 batch=128 时达到 20.4k tokens/s、1.18× 加速。

**Table 1**: Downstream task performance evaluation

**Table 2**: Perplexity (PPL) degradation analysis

**Table 4**: Effect of dense-to-sparse schedule on validation PPL (6:8, Qwen2.5-0.5B)

**Table 5**: Training hyperparameters for all experiments

**Table 6**: Raw validation PPL for the N:8 sparsity sweep on Qwen2.5-0.5B

**Figure 2**: Comparison of N:M sparsity friendliness between 1.58-bit BitNet and full-precision models

查看结构化数据

任务	指标	本文	基线	提升
Qwen2.5-0.5B HellaSwag 6:8 稀疏后精度	Accuracy (%)	34.95	Sparse BF16 (6:8) = 39.21；Dense BitNet = 35.27	Δ = -1.15 vs Dense BitNet，远小于 BF16 的 Δ = -3.02
Qwen2.5-1.5B 5 项任务平均 6:8 稀疏	Average Score (%)	53.60	Sparse BF16 (6:8) = 52.63	Δ = -3.79 vs Dense BitNet，BF16 退化 Δ = -7.71
Qwen2.5-3B 5 项任务平均 6:8 稀疏	Average Score (%)	57.96	Sparse BF16 (6:8) = 60.18	Δ = -0.80 vs Dense BitNet，BF16 退化 Δ = -3.20
Qwen2.5-0.5B 验证集 PPL (6:8 稀疏增量)	Perplexity (↓)	26.31 (+0.32)	Sparse BF16 = 23.11 (+1.20)	PPL 增量缩小 3.75 倍
Qwen2.5-3B 验证集 PPL (6:8 稀疏增量)	Perplexity (↓)	17.87 (+0.17)	Sparse BF16 = 16.48 (+0.45)	PPL 增量缩小 2.65 倍
Qwen2.5-3B A100 Prefill 加速 (seq=4096)	Throughput (k tok/s) / Speedup	52.2k / 1.28×	Dense BF16 = 40.9k	1.28× 加速
Qwen2.5-3B A100 Prefill 加速 (seq=65536)	Throughput (k tok/s) / Speedup	55.5k / 1.30×	Dense BF16 = 42.7k	1.30× 加速 (峰值)
Qwen2.5-3B B200 Decode 加速 (batch=128)	Throughput (k tok/s) / Speedup	20.4k / 1.18×	Dense BF16 = 17.2k	1.18× 加速

局限与改进

作者承认的局限：(1) 实验规模上限为 3B 参数，未验证在 7B+ 模型上的极化趋势是否仍成立；(2) 6:8 模式只在 NVIDIA A100/B200 验证，未报告 AMD/Habana 等硬件上的可用性；(3) dense-to-sparse schedule 显示延迟切换稀疏会持续降低质量（25% 稀疏预算 PPL 27.48 vs 100% 26.31），意味着该方法要求大算力预算，无法直接复用于小资源场景。我的额外观察：(4) 论文只对 Qwen2.5 架构做了实验，BitNet 与其他架构（如 LLaMA、MPT）的兼容性未知；(5) 训练数据仅用 RefineWeb 一个来源，未测试在代码/多语言数据上的极化稳定性；(6) 1.30× 加速比的边际效益有限，论文未提供端到端 wall-clock 训练时间对比，仅给 throughput；(7) Table 1 显示 Dense BitNet 绝对精度 (53.86/57.39/58.76) 仍低于 Dense BF16 (56.78/60.34/63.38)，即 'sparse-friendly' 不等于 'sparse-best'，实用价值取决于部署时是否能容忍基线本身的小幅精度损失。

独立分析的弱点

独立分析的方法弱点和改进方向。第一，'quant-then-mask' 的实现次序虽然理论优雅，但每步重新计算 top-N 掩码会带来额外显存和计算开销（需要对 $|W|$ 排序），特别是对大模型来说耗时不可忽略。改进方向可考虑 (a) 周期性更新掩码（如每 100 步）、(b) 用近似 top-N（如 gumbel-top-k）替代精确排序。第二，Dual STE 让被掩权重也接收梯度，理论上参数更新更 '民主'，但可能导致训练末期掩码 flip rate（图 3b）仍偏高，收敛不彻底。改进方向可加 mask 熵正则或 warm-up 后冻结掩码。第三，仅在 50B tokens 上从零训练，未与 continue-training 路径对比；现有 LLM 训练动辄数 T tokens，本文结果是否在更大预算下保持优势未知。第四，加速比 1.30× 偏低——6:8 理论加速比可达到 8/6=1.33×（理想情况），实际值接近上限但仍受限于 8-bit 激活量化和其他开销。改进方向可考虑把激活量化压到 4-bit 或用 4:8 (50% 稀疏) 模式探索更高加速。第五，论文未提供与 2-bit 或 4-bit 量化（如 GPTQ、AWQ）的对比——'BitNet + 稀疏' 是否真的优于 '传统 4-bit 量化' 仍待回答。

未来方向

作者提出的方向：(1) 探索更大模型规模（如 7B/13B/70B）下 BitNet 的稀疏友好性是否保持；(2) 把 6:8 稀疏算子推广到 attention 之外的 MoE 专家路由场景；(3) 与其他极低比特技术（如二值/三值激活）组合进一步压缩。我基于成果可延伸的方向：(4) 把 '极化诱导稀疏' 思想用到 BitNet 之外——例如用 QAT 训练出 'N:M 友好' 的全精度模型，再施加 6:8 稀疏；(5) 探索非 6:8、非 2:4 的中间稀疏模式（如 5:8、3:4），寻找 accuracy-throughput Pareto 曲线上的最优点；(6) 把 Sparse-BitLinear 整合到主流推理引擎（vLLM、TensorRT-LLM）并发布即用 kernel；(7) 研究 BitNet 在多模态 LLM（视觉/语音）上的稀疏化效果，验证极化趋势是否跨模态成立；(8) 与 speculative decoding 结合——把 6:8 稀疏模型当 draft model，进一步降推理延迟。

复现评估

复现评估：作者明确开源代码（https://github.com/AAzdi/Sparse-BitNet），但权重未在论文中给出明确下载链接。数据上，仅使用 RefineWeb 公开数据集，pipeline 透明。算力方面，主实验为 Qwen2.5-{0.5B, 1.5B, 3B} × 4 variants (Dense/Sparse × BF16/BitNet) × 50B tokens，加上 N:8 扫描（7 个模式 × 至少 2 精度）和 ablation 共 4 variants，总训练量约 1-2T tokens，单卡 A100 80G 跑 0.5B 大约需要数千小时，推荐使用 8-64 卡 A100/H100 集群。复现难度中等：核心算法明确（Algorithm 1/2 给了伪代码），但需自实现 6:8 稀疏 CUDA kernel、BitLinear STE、动态 top-N 掩码三个组件，对工程实现要求较高。超参数（表 5）全部公开，公平性控制良好（相同 token 数、相同数据、相同架构），唯一变动是量化/稀疏算子。

论文图表

**Figure 1**: Intrinsic Sparsity in 1.58-bit BitNet
双子图展示 1.58-bit BitNet 预训练模型（2B）的权重统计。(A) 归一化 latent weight 分布呈明显的 quantization-valley 结构——大多数值落在 [-0.5, 0.5] 取整区间内，分布呈深谷形；(B) 量化到三值 $\{-1, 0, +1\}$ 后的离散状态概率，0 占约 42.2%，+1 和 -1 各占约 28.9%。

这是论文的'现象发现'核心图，直接证明 1.58-bit BitNet 天然有约 42% 的零权重，为'BitNet 更稀疏友好'的中心论点提供第一手数据证据，读者必须先理解这张图才能理解后续所有 sparsity-friendliness 结论。

Table 3: End-to-End Performance: Qwen2.5-3B (Dense vs 6:8 Sparse)

6:8 稀疏 Qwen2.5-3B 在 A100 prefill 和 B200 decode 阶段的吞吐量。Prefill 在 seq=65536 时达到 55.5k tokens/s, 1.30× 加速；Decode 在 batch=128 时达到 20.4k tokens/s, 1.18× 加速。

这是论文的'实用化'证据——证明 6:8 稀疏不只是理论上的 PPL 友好，还能在真实硬件上拿到 1.30× 加速，方法具有工程价值。