QuantLRM：基于微调信号的大推理模型量化 QuantLRM: Quantization of Large Reasoning Models via Fine-Tuning Signals
利用微调中的权重更新信号优化大推理模型的3-bit量化
前置知识
权重量化（Weight-Only Quantization）
权重量化是一种模型压缩技术，将模型权重从高精度（如FP16）映射到低精度表示（如4-bit或3-bit整数）。在只量化权重的方法中，激活值保持高精度不变，这样可以大幅减少模型存储空间和内存占用。量化的关键是设计映射函数，使得量化误差最小化。典型的量化过程包括：确定缩放因子（scaling factor）和零点（zero point），然后将权重四舍五入到最近的量化值。3-bit量化意味着每个权重仅用3个比特表示，理论上可将模型大小压缩到原来的约1/5。
本文的核心目标就是提升3-bit权重量化的精度，理解权重量化的基本原理是理解本文方法的基础
后训练量化（Post-Training Quantization, PTQ）
后训练量化是指在模型训练完成后，直接对模型权重进行量化而不需要重新训练的方法。PTQ通常需要一个小的校准数据集（calibration dataset），通过前向传播来收集激活分布等统计信息，从而做出量化决策。相比量化感知训练（QAT），PTQ的计算成本更低，更适合大规模模型。当前主流的PTQ方法包括：GPTQ使用近似二阶信息、AWQ基于激活分布、GPTAQ优化量化层输出的校准、ANY4/ANY3使用非均匀4-bit或3-bit数值表示。
本文提出的QuantLRM属于PTQ方法，理解PTQ的工作机制有助于理解本文方法与已有基线的区别
大推理模型（Large Reasoning Models, LRMs）
大推理模型是指经过专门训练以增强推理能力的大语言模型，通常通过监督微调（SFT）、直接偏好优化（DPO）或强化学习（RL）等方法进行后训练。典型的LRM包括DeepSeek-R1蒸馏模型、OLMo-3系列、Qwen-3系列等。这些模型在数学推理、逻辑推理、科学问答等复杂任务上表现出色，但模型规模通常很大（7B到70B参数），部署成本高昂。
本文专门针对LRM进行量化优化，因为LRM的微调过程会留下有价值的权重更新痕迹，这是本文方法的核心信号来源
权重更新（Weight Updates）
权重更新是指模型在微调过程中，权重从预训练状态到微调后状态的变化量，通常表示为 $\Delta W = |W' - W|$，其中 $W'$ 是微调后的权重，$W$ 是微调前的权重。权重更新的大小反映了微调过程中该权重被调整的程度。在大模型中，不同权重的更新幅度差异很大，有些权重几乎没有变化（$\Delta w = 0$），有些则经历了显著的调整。
本文的核心创新就是利用权重更新的分布特性来指导量化，理解权重更新的概念是理解本文方法的关键
通道重要性（Channel Importance）
在神经网络的线性层中，每个输入或输出通道（channel）包含一组权重。通道重要性用于衡量某个通道对模型性能的贡献程度。在量化过程中，更重要通道的权重应该被更精确地保留（如保持高精度），而较不重要的通道可以接受更激进的量化。常见的通道重要性计算方法包括基于激活分布的方法和基于二阶信息的方法。
本文通过计算通道重要性来指导混合精度量化和缩放因子搜索，这是方法的核心技术组件
受限二次函数（Restricted Quadratic Functions）
本文设计的映射函数采用两段受限的二次函数形式，将权重更新的幅度映射到重要性得分。具体而言，对于给定的权重更新 $\Delta w$，函数在中位数 $\Delta w_{mid}$ 处分为两段，分别对左右两端进行映射，使得最小和最大的权重更新获得最高的重要性得分（$y_{max} = 10$），而中位数附近的更新获得最低得分（$y_{min} = 1$）。这种设计的数学形式为：当 $\Delta w \leq \Delta w_{mid}$ 时，$f(\Delta w) = y_{min} + (y_{max} - y_{min}) \cdot \left(\frac{\Delta w_{mid} - \Delta w}{\Delta w_{mid} - \Delta w_{min}}\right)^2$。
这是本文方法的核心数学设计，理解这个函数的形式和设计动机是理解本文创新的关键
研究动机
现有的后训练量化（PTQ）方法在处理大推理模型（LRM）时面临严重挑战。根据最新研究分析，AWQ、GPTQ等主流PTQ方法最初是为通用大语言模型设计的，在LRM的超低比特量化（如W3A16，即3-bit权重16-bit激活）上表现欠佳。具体而言，在R1-Distill-Qwen-32B模型上，GPTQ的3-bit量化平均准确率仅为68.15%，AWQ为70.50%，相比16-bit基线的75.18%存在显著下降。更严重的是，在较小的R1-Qwen3-8B模型上，GPTQ的3-bit量化平均准确率暴跌至51.08%，ANY3甚至降至42.18%，几乎无法正常工作。这些数据表明，现有PTQ方法在处理经过复杂微调流程的LRM时，未能充分利用微调过程中蕴含的丰富信息，导致量化后模型的推理能力大幅下降。特别是对于数学推理任务（AIME-120），量化后的性能损失最为严重，这对LRM的实际部署构成了重大障碍。
本文的目标是本文的具体目标是开发一种专门针对大推理模型的权重量化方法，通过利用微调过程中产生的权重更新信号来提升量化质量。作者希望解决以下关键问题：第一，验证权重更新的幅度分布是否可以作为量化重要性的有效指标；第二，设计一种能够保护极端权重更新（最小和最大更新）的量化策略；第三，使该方法能够支持不同类型的微调流程（SFT、DPO、RL）；第四，在3-bit量化下实现接近4-bit甚至接近16-bit的推理性能；第五，确保方法的实用性和兼容性，能够与现有推理框架（如vLLM）和量化内核（如AWQ kernel）无缝集成。
与已有工作不同的是，本文的独特切入角度在于从经典幅度剪枝（magnitude pruning）中汲取灵感，但进行了关键创新。传统幅度剪枝认为权重的绝对值大小决定其重要性，而本文提出假设：权重更新的幅度分布比绝对值更有意义。具体而言，作者发现最小和最大的权重更新比中间幅度的更新更重要，这一现象被称为"保护两端"（protecting both ends）。这一假设的直觉是：极小的更新可能表明该权重对模型的通用能力（如语言理解和指令遵循）至关重要，因此微调过程几乎不修改它；而极大的更新则表明该权重编码了最丰富的下游任务信息。现有方法忽略了微调过程中留下的这些丰富痕迹，而本文正是填补了这一空白，首次系统地探索利用微调信号进行PTQ的可能性。
核心方法
QuantLRM的方法整体思路可以分为三个阶段：信号收集、重要性计算和量化注入。在信号收集阶段，通过计算微调后模型与预微调模型之间的权重差异 $\Delta W = |W' - W|$ 来获取微调信号。在重要性计算阶段，设计受限二次函数将权重更新映射到重要性得分，并通过统计零值更新的数量来放大通道重要性。在量化注入阶段，将计算得到的通道重要性作为缩放因子注入到AWQ风格的量化损失函数中，通过搜索最优参数 $\alpha$ 来最小化量化误差。整个过程的直觉是：微调过程会留下"痕迹"，这些痕迹告诉我们哪些权重更重要，我们应该在量化时更好地保护它们。通过这种方式，QuantLRM将微调信息与传统PTQ方法相结合，实现了对LRM更精确的量化。
QuantLRM的核心创新点在于提出并验证了"保护两端"（protecting both ends）的假设。与已有方法的本质区别体现在三个方面。首先，现有PTQ方法（如AWQ使用激活分布、GPTQ使用二阶信息）完全忽略了微调过程中蕴含的信息，而QuantLRM首次将微调信号引入PTQ流程。其次，传统方法假设所有权重同等重要或仅基于前向传播的统计量评估重要性，而QuantLRM发现权重更新的分布呈现"U型"特征，即最小和最大的更新比中间幅度的更新更重要。第三，通过统计零值更新的数量（$Z_{cm\ell}$），QuantLRM能够捕捉到通道中"沉默"权重的比例，这在以往方法中从未被考虑。这种创新使得QuantLRM在仅使用5%的混合精度保护时，就能实现平均1.83%的性能提升，远超基于激活的信号方法。
方法步骤详情
QuantLRM的方法步骤如下。第一步，信号收集：对于给定的LRM，获取其预微调权重 $W$ 和微调后权重 $W'$，计算每个线性模块 $m$ 在每一层 $\ell$ 上的权重更新 $\Delta W_{m\ell} = |W'_{m\ell} - W_{m\ell}|$。第二步，全局统计：计算所有权重更新的中位数 $\Delta w_{mid}$、最小值 $\Delta w_{min}$ 和最大值 $\Delta w_{max}$，其中零值更新被单独处理。第三步，映射函数设计：使用两段受限二次函数 $f(\Delta w)$ 将权重更新映射到重要性得分，输出范围为 $[y_{min}, y_{max}] = [1, 10]$，使得 $\Delta w_{mid}$ 对应最低得分，而 $\Delta w_{min}$ 和 $\Delta w_{max}$ 对应最高得分。第四步，零值更新计数：统计每个通道中零值更新的数量 $Z_{cm\ell}$，用于放大通道重要性。第五步，通道重要性计算：对每个通道 $c$，计算 $I_{cm\ell} = \frac{1}{N} \sum_{n=1}^{N} f(\Delta w_{c,(n)m\ell}) \cdot (Z_{cm\ell} + 1)$，其中 $N$ 是通道中的权重数量。第六步，缩放因子注入：将通道重要性 $I_{m\ell}^\alpha$ 作为缩放因子，通过搜索最优参数 $\alpha$ 来最小化量化损失 $L(s) = \|Q(W' \cdot \text{diag}(s)) \cdot \text{diag}(s)^{-1} \cdot X - W'X\|$。第七步，实际量化：使用优化后的缩放因子对权重进行缩放，然后应用标准量化函数完成3-bit或4-bit量化。
技术新颖性
QuantLRM的技术新颖性体现在多个层面。在理论层面，本文首次提出了"保护两端"的假设，并通过严谨的实验验证了其有效性，这为理解微调过程与量化之间的关系提供了新的理论视角。在方法层面，创新性地设计了受限二次函数作为映射函数，这种函数形式既简单又有效，能够同时处理正向和负向的极端更新。特别是对零值更新的单独处理和计数机制，是以往量化工作中从未出现的技术。在信号来源层面，本文首次系统地探索了从SFT、DPO和RL三种不同微调流程中收集量化信号的可能性，并发现这些信号具有显著的共性。在实用性层面，当预微调检查点不可用时，本文提出通过伪微调（pseudo-fine-tuning）来收集信号，这种"按需微调"的策略极大地扩展了方法的适用范围。此外，QuantLRM与现有AWQ内核完全兼容，无需修改推理基础设施即可获得性能提升，这种设计哲学在量化研究中是少见的。
实验结果
QuantLRM在多个实验设置下展现出一致且显著的性能提升。在3-bit量化（W3A16）的综合评估中，QuantLRM在所有测试模型和微调类型上均优于最强基线。在SFT微调模型上，R1-Llama-70B的平均准确率从AWQ的69.18%提升至71.30%（+2.12%），R1-Qwen-32B从ANY3的70.55%提升至73.58%（+3.03%），R1-Qwen3-8B从AWQ的64.48%提升至66.13%（+1.65%）。在RL微调模型Olmo-3-7B-Think上，提升最为显著，从GPTQ的56.68%提升至63.23%（+6.55%）。在DPO微调模型上，从AWQ的58.18%提升至58.40%（+0.22%）。消融实验（Table 3）验证了各组件的重要性：在R1-Qwen-32B上，不处理零值更新的"保护两端"方法平均得分仅62.88%，加入零值更新计数后提升至70.28%（+7.40%）。混合精度实验（Table 1）显示，保护5%的权重在16-bit精度下，"保护两端"方法在R1-Distill-Qwen-32B上达到70.28%的平均得分，远超激活信号的68.45%。4-bit量化实验（Table 4）表明，QuantLRM在W4A16上同样具有竞争力，R1-Llama-70B达到75.35%，略低于AWQ的75.60%但高于GPTQ的74.63%。效率实验（Table 5）显示，QuantLRM仅需2分27秒的额外准备时间，量化搜索时间与AWQ相当（6分35秒 vs 6分28秒），推理速度完全相同（30.33 vs 30.24 tokens/s）。伪微调实验（Figure 3）表明，随着训练步数增加，QuantLRM的性能持续提升，在1956步后开始匹配或超越AWQ。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME-120（数学推理） | 准确率 | R1-Llama-70B: 49.2%, R1-Qwen-32B: 53.3%, R1-Qwen3-8B: 40.0%, Olmo-3-7B-Think RL: 38.3% | R1-Llama-70B AWQ: 44.2%, R1-Qwen-32B AWQ: 50.0%, R1-Qwen3-8B AWQ: 34.2%, Olmo-3-7B-Think GPTQ: 21.7% | SFT模型平均提升4.05%，RL模型提升16.6% |
| FOLIO（逻辑推理） | 准确率 | R1-Llama-70B: 78.3%, R1-Qwen-32B: 80.8%, R1-Qwen3-8B: 76.8%, Olmo-3-7B-Think RL: 74.4% | R1-Llama-70B AWQ: 74.9%, R1-Qwen-32B ANY3: 80.3%, R1-Qwen3-8B AWQ: 77.8%, Olmo-3-7B-Think AWQ: 76.4% | SFT模型平均提升0.45%，RL模型下降2.0%（相对基线） |
| Temporal Sequences（时序推理） | 准确率 | R1-Llama-70B: 99.6%, R1-Qwen-32B: 99.6%, R1-Qwen3-8B: 99.2%, Olmo-3-7B-Think RL: 96.8% | R1-Llama-70B AWQ: 100.0%, R1-Qwen-32B AWQ: 99.6%, R1-Qwen3-8B AWQ: 98.4%, Olmo-3-7B-Think AWQ: 84.0% | RL模型提升12.8%，SFT模型基本持平 |
| GPQA-Diamond（科学推理） | 准确率 | R1-Llama-70B: 58.1%, R1-Qwen-32B: 60.6%, R1-Qwen3-8B: 48.5%, Olmo-3-7B-Think RL: 43.4% | R1-Llama-70B AWQ: 57.6%, R1-Qwen-32B ANY3: 58.1%, R1-Qwen3-8B AWQ: 47.5%, Olmo-3-7B-Think AWQ: 35.9% | SFT模型平均提升1.68%，RL模型提升7.5% |
局限与改进
本文的局限性主要体现在以下几个方面。首先，方法的有效性依赖于可用的微调信号，当预微调检查点不可用时，需要额外的伪微调步骤，这增加了计算成本和时间开销。虽然作者建议运行几千步的伪微调，但这对于资源受限的用户可能仍是一个障碍。其次，本文主要聚焦于3-bit量化，对4-bit量化的改进有限，因为在4-bit精度下现有方法已经接近无损，这限制了方法在更广泛应用场景中的价值。第三，实验覆盖的模型规模有限，主要测试了7B到70B的模型，对于更大规模模型（如100B+）的表现尚不明确。第四，本文的消融实验（Table 3）显示，零值更新的处理方式在不同模型间存在差异：在R1-Llama-8B上，不单独处理零值更新反而略优（44.18% vs 43.38%），这表明方法的最优配置可能因模型而异，缺乏统一的理论指导。第五，作者未充分讨论权重更新信号与其他重要性信号（如激活分布、二阶信息）的融合可能性，错失了探索多信号融合的机会。最后，论文的推理速度测试仅使用了7个短提示，测试集规模较小，可能无法充分反映真实应用场景下的性能表现。
独立分析的弱点
本文存在几个值得深入分析的弱点。首先，受限二次函数的设计虽然简洁，但缺乏理论依据来证明其最优性。函数形式的选择主要基于经验观察，作者未提供为什么二次函数优于其他形式（如指数函数、分段线性函数）的分析。改进方向可以是探索自适应的映射函数，根据权重更新的分布特性自动调整函数形式。其次，零值更新的处理机制存在不一致性：在R1-Llama-8B上，不计数零值更新的效果反而更好，这暴露了方法的脆弱性。改进方向可以是设计模型自适应的零值处理策略，或引入正则化来稳定不同模型间的表现。第三，缩放因子搜索的计算成本虽然可接受，但仍需遍历20个候选值，效率有提升空间。改进方向可以是采用更高效的搜索策略，如贝叶斯优化或梯度下降。第四，方法对校准数据集的选择敏感，虽然作者使用了AWQ的默认校准集，但未探索不同校准数据对性能的影响，这可能限制方法在特定领域应用中的泛化能力。第五，伪微调的停止时机缺乏明确指导，作者仅建议"运行几千步"，这种模糊的建议可能导致用户在实践中难以获得最优结果。
未来方向
基于本文的成果，未来研究可以从多个方向展开。首先，多信号融合是一个重要方向：可以探索将权重更新信号与激活分布、二阶信息、梯度信息等多种信号相结合，设计自适应的融合策略，可能进一步提升量化质量。其次，跨模型迁移：研究在某个模型上学到的量化策略能否迁移到其他模型，减少每个模型的调优成本。第三，动态量化：基于本文的通道重要性思想，探索在推理过程中动态调整量化精度的可能性，对不同层或不同输入采用不同的量化策略。第四，扩展到更多微调方法：本文仅测试了SFT、DPO和RL三种微调方式，未来可以探索其他微调方法（如PPO、RAFT、DPO变体）的信号特性。第五，理论分析：深入研究为什么"保护两端"有效，建立权重更新分布与量化误差之间的理论联系。第六，硬件感知优化：针对特定硬件平台（如GPU、TPU、边缘设备）优化量化策略，充分利用硬件特性。第七，探索量化与剪枝的联合优化：权重更新信号可能同时指导量化和剪枝，实现更激进的模型压缩。
复现评估
本文的复现性评估如下。在开源方面，作者提供了GitHub代码仓库（https://github.com/psunlpgroup/QuantLRM），这为复现提供了良好基础。在数据方面，使用的基准数据集（AIME、FOLIO、BIG-Bench Hard、GPQA-Diamond）均为公开数据集，校准数据集使用AWQ的默认配置，数据获取无明显障碍。在算力方面，作者测试的最大模型为R1-Llama-70B（70B参数），在3-bit量化下仍需约17.5GB存储空间，加上中间计算的内存需求，估计需要至少24GB显存的GPU。伪微调实验需要运行几千步训练，对于7B模型可能需要数小时到一天的GPU时间。在实现难度方面，方法的核心逻辑相对简单，主要是受限二次函数的实现和通道重要性的计算，但需要处理多个技术细节（如零值更新的处理、大模型的切片计算、溢出防护等）。作者在论文中提到了针对不同模型的适应性调整（如将MLP模块的 $\Delta W$ 切片处理），这些细节对复现至关重要。总体而言，具备中等以上深度学习经验的研究者应该能够在1-2周内完成复现，但要完全匹配论文中的所有结果可能需要仔细调整各种超参数和适应性策略。
论文图表