量化进化策略：以低精度成本实现量化大模型的高精度微调 Quantized Evolution Strategies: High-precision Fine-tuning of Quantized LLMs at Low-precision Cost
通过累积误差反馈和无状态种子重放，直接在量化空间对大模型进行全参数微调
前置知识
Post-Training Quantization (PTQ)
训练后量化是指在模型训练完成后，将模型权重从高精度浮点数（如FP32或FP16）压缩到低精度整数表示（如INT4、INT8）的技术。典型方法包括GPTQ、AWQ和SmoothQuant等。PTQ可以将3-4位精度的推理做到性能损失几乎可以忽略，使大模型能够部署在消费级硬件上。然而，量化后的模型参数空间是离散的、不可微分的，这使得标准的微调方法无法直接应用。
本文的核心研究对象就是量化后模型的微调问题，理解PTQ的基本原理和限制是理解本文动机的关键。
Evolution Strategies (ES)
进化策略是一类无梯度优化方法，通过在参数空间中添加随机扰动来估计梯度方向。标准ES通过高斯平滑目标函数，然后用N个扰动样本的奖励加权平均来估计梯度。ES的优势在于只需要前向传播，不需要反向传播，因此内存消耗远低于传统训练方法。在标准连续设置中，ES通过优化高斯平滑目标来近似梯度，梯度估计公式为各扰动方向乘以对应奖励的加权平均。
QES是基于ES的改进，理解标准ES的工作机制是理解QES创新点的前提。
Delta-Sigma调制
Delta-Sigma调制是信号处理中的经典技术，用于将连续信号转换为离散数字信号。其核心思想是：量化产生的误差不会被丢弃，而是被累积并反馈到后续的量化步骤中。这种机制被称为噪声整形（noise shaping），虽然单个步骤可能很粗糙，但系统的时间平均行为能够准确跟踪连续轨迹。在梯度压缩领域，这一原理被实例化为残差累积或误差反馈机制。
本文的核心创新——累积误差反馈机制——直接借鉴了Delta-Sigma调制的原理，是理解QES技术新颖性的关键。
Zeroth-Order (ZO) 优化
零阶优化是一类不需要计算梯度的优化方法，通过函数值的有限差分来估计梯度方向。MeZO方法将ZO-SGD扩展到了十亿参数模型的规模。在量化模型微调场景中，ZO方法是天然的选择，因为量化参数空间不可微分。然而，现有的ZO方法（如QuZO、QZO）在离散参数空间中面临梯度信号消失的问题，尤其是在推理任务上效果有限。
QES的直接竞争对手就是ZO优化方法，特别是QuZO，理解ZO方法的局限性是理解本文贡献的必要条件。
Straight-Through Estimation (STE)
直通估计器是一种在量化感知训练中常用的梯度近似方法。在前向传播中使用量化权重，但在反向传播时直接将梯度传过量化操作符，仿佛量化操作是恒等函数。STE存在两个关键限制：(1) 估计是有偏的；(2) 需要全精度的潜在权重和优化器状态，这会削弱量化模型带来的内存优势。
STE是QES要替代的主要方法之一，理解其局限性有助于理解为什么需要QES这样的新范式。
研究动机
大语言模型的规模扩展带来了数学推理、代码生成等领域的涌现能力，但部署这些模型需要巨大的计算资源。训练后量化（PTQ）技术（如GPTQ、AWQ、SmoothQuant）使得3-4位精度的推理成为可能，模型可以部署在消费级硬件上。然而，量化后的模型变成了静态制品——标准的微调范式（包括强化学习）从根本上依赖于反向传播和连续权重来计算梯度，因此无法直接用于量化模型。现有的零阶优化方法（如QuZO）虽然提供了无反向传播的替代方案，但在离散参数空间中面临严重的梯度消失问题。具体来说，量化参数空间的离散性质导致梯度信号消失，引发优化过程的崩溃；此外，离散化误差导致的不准确梯度信号严重降低了优化效率。在Qwen2.5-1.5B INT4模型上，QuZO在Countdown任务上仅比基线提升1.75个百分点，在GSM8K上完全没有改进。
本文的目标是本文的目标是开发一种新的优化范式，能够在量化空间中直接对大语言模型进行全参数微调，同时满足三个要求：(1) 保持高精度的学习动态，避免梯度消失导致的优化停滞；(2) 将GPU内存需求降低到量化推理的水平，而不是全精度训练的水平；(3) 在推理任务上实现有效的收敛，克服现有方法在推理任务上失败的问题。
与已有工作不同的是，本文的独特切入角度是将量化优化问题与信号处理中的Delta-Sigma调制原理联系起来。现有方法要么试图绕过量化（如QLoRA冻结量化权重只训练适配器），要么在离散空间中直接应用连续空间的优化方法（如QuZO）。QES则提出：量化过程引入的误差不应被丢弃，而应被累积并反馈到后续步骤中。这种累积误差反馈机制使得优化器能够在超低位设置（如INT4）中感知和遍历高精度更新轨迹。此外，通过无状态种子重放机制，QES在不需要存储高精度优化器状态的情况下实现了这一目标，将内存需求保持在推理水平。
核心方法
QES的整体思路可以分两层理解。第一层是直觉层面：在量化空间中优化就像用粗糙的刻度尺测量微小的距离——每次测量可能只有0或1的读数，但如果我们把多次测量的误差累积起来，当累积误差超过半个刻度时就能触发一次有意义的读数变化。这个累积误差的过程就是Delta-Sigma调制的核心思想。第二层是技术层面：QES在标准进化策略的基础上引入了高精度误差向量（通常是FP16），将每次更新的量化误差累积起来。当累积误差使更新量超过量化阈值时，触发离散权重更新。同时，为了不增加内存开销，QES通过重放历史随机种子来重建误差状态，而不是显式存储误差向量。
QES的核心创新点与已有方法的本质区别在于对误差的处理方式。QuZO等方法在应用梯度更新时直接舍入，这导致两种失败模式：(1) 当更新量小于量化步长时，舍入后更新量为零，优化完全停滞；(2) 舍入引入的误差在时间上累积为随机游走，产生噪声底噪，淹没微调信号。QES则引入虚拟连续参数，使得离散参数的演化在时间上等价于连续空间的优化轨迹。具体来说，QES的更新规则使得虚拟参数按照理想的高精度梯度上升方式演化。物理量化权重与理想轨迹的偏差仅由最终残差决定，且被严格限制在网格分辨率范围内。
方法步骤详情
QES的方法步骤如下：(1) 输入量化整数权重，其中B是位宽，d是参数数量。初始化残差为FP16格式的零向量。(2) 对于每个优化步骤t，生成N个随机扰动。每个扰动通过随机舍入高斯噪声得到：delta = floor(sigma * epsilon) + b，其中b服从伯努利分布。记录生成扰动的随机种子。(3) 对每个扰动应用边界门控，确保权重不越界：如果扰动后权重在有效范围内则应用，否则保持不变。(4) 执行推理并计算每个扰动的奖励，按照RLVR框架评估。(5) 估计梯度方向：各扰动方向乘以对应奖励的加权平均。(6) 应用累积误差反馈：计算期望更新为学习率乘以梯度加上衰减因子乘以历史误差。(7) 离散化更新：对期望更新进行四舍五入。(8) 更新累积误差：期望更新减去离散化后的实际更新。(9) 更新权重：当前权重加上离散化后的更新。无状态种子重放变体不显式存储误差向量，而是维护历史缓冲区，包含过去K步的随机种子和标量奖励。在更新时，从假设的零误差状态开始，重放历史步骤来重建误差累积过程。
技术新颖性
QES的技术新颖性体现在三个层面。首先，将信号处理中的Delta-Sigma调制原理首次应用于无反向传播的量化优化场景。虽然误差反馈机制在1-bit SGD等梯度压缩方法中已有应用，但那些方法仍依赖反向传播。QES将其适应到严格的无反向传播约束下，这是一个本质性的技术挑战。其次，无状态种子重放机制将优化器状态的内存复杂度从O(d)降低到O(K)，其中K通常是50左右，而d可能超过10^9。这使得全参数学习能够在原本只能进行量化推理的硬件上进行。第三，QES证明了虚拟连续参数的演化动力学与理想高精度梯度上升等价，提供了理论保证：量化模型永远不会偏离理想高精度轨迹超过半个网格步长。
实验结果
QES在三个任务家族上进行了评估：分类式监督微调、算术推理和小学数学。在RoBERTa-large的SFT任务上，QES（W8精度）在四个基准测试上平均达到44.4%的准确率，显著优于QuZO的34.2%和W8第一阶梯度STE的41.0%。值得注意的是，QES甚至超越了全精度MeZO（FP32，36.5%），表明误差反馈比平滑零阶估计恢复了更多有用的更新信号。在推理任务上，QES的优势更加显著。在Qwen2.5-3B W8A8配置的GSM8K任务上，QuZO崩溃到4.40%，而QES达到80.82%——这是76.42个百分点的巨大差距。在Countdown任务上，QES在Qwen2.5-1.5B INT4上达到16.00%（QuZO仅5.25%），在Qwen2.5-3B INT4上达到31.85%（QuZO仅14.25%）。消融研究表明，无状态种子重放与全残差存储变体在大多数配置上相差几个百分点，在三个配置中的六个中甚至匹配或超越了全残差oracle。在GSM8K上，Qwen2.5-3B W8A8的全残差变体为81.58%，QES为80.82%，差距仅为0.76个百分点。在更大规模上，Llama-3.1-8B INT4在GSM8K上从64.14%的基础性能达到82.64%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SNLI (RoBERTa-large W8 SFT) | 准确率(%) | 55.6 | 32.3 (QuZO), 50.0 (STE) | 较QuZO提升23.3个百分点，较STE提升5.6个百分点 |
| MNLI (RoBERTa-large W8 SFT) | 准确率(%) | 42.4 | 40.3 (QuZO), 44.4 (STE) | 较QuZO提升2.1个百分点 |
| RTE (RoBERTa-large W8 SFT) | 准确率(%) | 55.2 | 44.8 (QuZO), 49.0 (STE) | 较QuZO提升10.4个百分点，较STE提升6.2个百分点 |
| SST-5 (RoBERTa-large W8 SFT) | 准确率(%) | 24.4 | 19.6 (QuZO), 20.4 (STE) | 较QuZO提升4.8个百分点 |
| Countdown (Qwen2.5-1.5B INT4) | 准确率(%) | 16.00 | 3.50 (Base), 5.25 (QuZO) | 较基线提升12.50个百分点，较QuZO提升10.75个百分点 |
| GSM8K (Qwen2.5-3B W8A8) | 准确率(%) | 80.82 | 24.49 (Base), 4.40 (QuZO) | 较基线提升56.33个百分点，较QuZO提升76.42个百分点 |
| GSM8K (Llama-3.1-8B INT4) | 准确率(%) | 82.64 | 64.14 (Base) | 较基线提升18.50个百分点 |
局限与改进
QES的局限性主要体现在以下几个方面。首先，本文仅关注标准线性整数量化（INT4、INT8、W8A8），尚未扩展到更激进和非均匀的量化范式，如二值网络和浮点格式（如FP4）。其次，当前的无状态重放依赖固定的回溯窗口K来管理计算-内存权衡，需要手动选择超参数。消融研究显示，当K从50缩小到10且使用激进的衰减率时，准确率从16.00%崩溃到4.55%。第三，无状态种子重放的计算成本与K线性增长，在A100上总训练时间比无重放oracle增加约16.7%（1.5B模型）和12.5%（3B模型）。第四，虽然QES在推理任务上取得了显著进步，但与全精度第一阶梯度方法（FP32第一阶，57.3%平均SFT准确率）仍有明显差距，QES为44.4%，反映了在离散格子上仅用前向传播评估的固有成本。此外，边界门控使用当前权重而非历史权重引入了重建误差，虽然实验显示这种误差在实践中可以忽略（更新比率约为10的负2次方，边界命中率小于10的负5次方）。
独立分析的弱点
QES存在几个值得改进的弱点。第一，累积误差反馈机制中的衰减因子和回溯窗口K是需要手动调优的超参数，且它们之间存在耦合关系。消融研究显示，在固定衰减因子为0.90时，K=10仍能保持13.05%的准确率，但在缩放衰减因子时K=10会崩溃到4.55%。这表明超参数选择对性能影响很大，自动化调优机制是必要的改进方向。第二，无状态重放的计算开销在大模型上可能成为瓶颈。虽然12.5-16.7%的时间增加看起来不大，但对于大规模训练来说，这个开销会随着模型规模增长而增加。改进方向包括开发自适应重放策略，根据当前优化状态动态调整K。第三，QES目前只在RLVR（基于可验证奖励的强化学习）框架下进行了评估，尚未探索更复杂的奖励模型或偏好学习场景。第四，论文中关于时间等价性的理论分析假设了高斯平滑目标函数，但实际推理任务的目标函数可能不满足这个假设，理论保证在实践中的适用范围需要进一步研究。
未来方向
作者提出了几个明确的未来方向。首先，将QES扩展到更激进的量化范式，如二值网络和FP4浮点格式，这将允许在更极端的内存约束下进行微调。其次，开发自适应算法自动调节回溯窗口和衰减因子，基于实时收敛稳定性或可用硬件资源，消除手动超参数选择的需要。第三，QES开启了一个新的可能性：在相同硬件上，可以量化一个参数数量显著更多的模型，然后用QES直接在量化空间中训练。具体来说，INT4可以提供四倍的参数容量，加上QES仅需推理级别的内存（约是反向传播的1/12），这两个优势叠加可能使训练大一到两个数量级的模型成为可能。基于当前成果可以延伸的方向包括：(1) 将QES与参数高效微调方法（如LoRA）结合，在保持量化内存优势的同时进一步降低优化维度；(2) 探索QES在多模态模型上的应用；(3) 研究QES与其他无梯度优化方法（如贝叶斯优化）的结合。
复现评估
QES的复现条件相对良好。作者已将源代码开源在GitHub，这大大降低了复现门槛。实验使用的模型（Qwen2.5-1.5B、Qwen2.5-3B、RoBERTa-large、Llama-3.1-8B）和量化工具（GPTQ、LLM-Compressor）都是公开可用的。评估基准（SNLI、MNLI、RTE、SST-5、Countdown、GSM8K）也都是标准数据集。然而，复现需要注意以下几点：(1) 实验在A100 GPU上进行，需要相当的算力资源；(2) QES涉及多个超参数，虽然论文提供了一些默认值，但最优配置可能因任务而异；(3) 无状态种子重放的实现需要仔细管理随机数生成器的状态，确保重放的精确性。总体而言，复现难度中等，主要挑战在于算力需求和超参数调优。
论文图表
该图展示了QES的整体框架。左半部分展示了优化目标：在离散参数空间中直接优化量化大模型。中间部分说明了误差残差如何在迭代间累积，直到达到触发离散变化的阈值。右半部分展示了QES实现的两个关键特性：时间等价性（与高精度优化轨迹等价）和内存效率（保持推理级别量化模型的内存需求）。
这张图是理解QES整体设计思路的关键，直观展示了累积误差反馈机制的核心思想，以及QES如何在保持内存效率的同时实现高精度优化轨迹。