ECO: 无需全精度主权重的量化训练 ECO: Quantized Training without Full-Precision Master Weights
通过将量化误差注入优化器动量缓冲区，实现无主权重的高效量化训练
前置知识
量化训练（Quantized Training）
量化训练是指在模型训练过程中使用低精度数值格式（如FP8、INT4）来表示模型权重、激活值和梯度，从而减少内存占用并加速计算。与训练后量化（PTQ）不同，量化训练从一开始就使用低精度格式，可以更好地保持模型精度。然而，现有方法通常仍需保留一份高精度的主权重（master weights，通常为FP32）来累积梯度更新，这限制了内存节省效果。
本文的核心目标是消除对主权重的依赖，因此理解量化训练的基本概念和现有局限是理解本文贡献的前提。
主权重（Master Weights）
主权重是训练过程中存储的高精度参数副本（通常为FP32）。在量化训练中，前向和反向传播使用量化后的低精度权重，但梯度更新仍累积到主权重上。这样可以防止小更新因量化精度不足而消失，保证训练稳定性。主权重的存在意味着即使前向/反向传播已量化，权重内存占用仍与高精度基线相当。
本文提出的方法正是要消除主权重这一内存瓶颈，因此理解主权重的作用和移除它带来的挑战是理解本文的关键。
误差反馈（Error Feedback）
误差反馈是一种在分布式优化和梯度压缩中常用的技术，用于缓解压缩或量化引入的偏差。其核心思想是累积量化残差，并在后续步骤中将其加回，从而保证更新的总和在时间上保持一致。传统误差反馈方法需要存储一个独立的误差缓冲区，这与内存减少的目标相冲突。
ECO的核心创新在于将误差反馈机制与优化器动量缓冲区结合，避免了额外内存开销，因此理解传统误差反馈是理解ECO创新点的基础。
SGD动量（SGD with Momentum）
SGD动量是一种优化算法，通过累积历史梯度来加速收敛并减少震荡。其更新规则为 $m_{t+1} = \beta m_t + (1-\beta)\nabla f(\theta_t)$，其中 $m_t$ 是动量缓冲区，$\beta$ 是动量系数。动量缓冲区本质上是梯度的指数移动平均，它帮助优化器在相关方向上加速，同时抑制噪声。
ECO将量化误差注入动量缓冲区，利用动量的累积特性来携带误差并在后续步骤中补偿，因此理解动量机制是理解ECO工作原理的关键。
稀疏混合专家模型（Sparse Mixture of Experts, SMoE）
SMoE是一种模型架构，包含多个专家子网络，但每个输入token只激活其中一部分专家。这种设计允许模型拥有大量参数（提高容量）同时保持较低的计算成本。例如，本文实验中的2.1B参数SMoE模型有32个专家，每个token只激活4个。然而，所有专家的权重都必须驻留在内存中，使得主权重的内存开销在SMoE模型中尤为突出。
SMoE模型是ECO的主要应用场景之一，因为其内存瓶颈主要来自权重和优化器状态，而非激活值，这使得消除主权重能带来显著的内存节省。
研究动机
现有量化训练方法虽然能有效减少激活内存并加速前向/反向传播，但仍然依赖高精度主权重（通常为FP32）来累积梯度更新。这一限制源于一个根本问题：许多梯度更新的幅度小于低精度格式的离散化间隔，直接应用到量化权重上会导致更新消失或引入大量量化噪声。因此，即使前向和反向传播已经高度量化，模型权重的内存占用往往与高精度基线相当。以SMoE模型为例，由于每个token只激活部分专家，但所有专家的主权重都必须驻留在内存中，这使得权重和优化器状态主导了内存使用。具体来说，对于一个2.1B参数的SMoE模型，将主权重从FP32降低到FP8可以将峰值内存从每个参数12字节降低到9字节，减少约25%。现有尝试避免高精度累积的工作要么无法扩展到大语言模型训练（如Lin et al. (2022)仅在256KB内存的卷积网络上验证），要么仅在狭窄的设置中有效（如ELMO仅对LLM头部层应用BF16/FP8累积）。
本文的目标是本文的目标是提出一种通用、可扩展的方法，能够在不牺牲收敛性且不引入额外内存开销的情况下，消除量化训练中对主权重的依赖。具体而言，ECO旨在：（1）实现零额外内存开销的误差补偿；（2）在多种模型规模（从30M到16B参数）和架构（稠密Transformer、SMoE）上验证有效性；（3）提供理论收敛保证，证明ECO能收敛到最优点的常数半径邻域内；（4）在FP8和INT4精度下均能稳定工作，匹配使用主权重的基线性能。
与已有工作不同的是，本文的独特切入角度在于将误差反馈机制与优化器的动量缓冲区创造性地结合。传统误差反馈需要存储独立的误差缓冲区，这与内存减少目标冲突。ECO的关键洞察是：量化误差 $e_{t+1}$ 和前一步误差 $e_t$ 在实践中高度相似（论文通过实验验证了这一点），因此可以用当前步的误差近似前一步的误差。基于这一观察，ECO将量化误差注入动量缓冲区，利用动量的累积特性来携带误差并在后续步骤中补偿，从而在不增加任何内存的情况下实现误差反馈。这种方法与现有优化器状态量化工作（量化第一和第二矩）形成互补：ECO针对的是主权重这一不同的瓶颈。
核心方法
ECO的核心思路是将量化误差注入优化器的动量缓冲区，形成一个误差反馈循环。直觉上，当我们将梯度更新应用到量化权重时，由于量化精度限制，部分更新会丢失。ECO的做法是：在每个训练步骤中，先计算临时的高精度参数更新，然后量化得到低精度权重，同时将量化误差注入到动量缓冲区中。这样，丢失的更新被携带到下一步，在后续的参数更新中得到补偿。技术路线上，ECO对SGD动量和Adam优化器分别给出了具体的注入规则，其中注入强度 $\alpha = \frac{1}{\eta}(1 - \frac{1}{\beta})$（SGDM）或使用Adam的元素级自适应步长。整个过程不需要额外的内存缓冲区，也不需要调整超参数。
ECO的核心创新在于用动量缓冲区替代传统的误差缓冲区来存储量化误差。传统误差反馈方法需要一个额外的缓冲区来存储前一步的量化误差 $e_t$，这会增加内存开销。ECO的关键观察是：（1）连续步骤的量化误差 $e_t$ 和 $e_{t+1}$ 在实践中高度相似（论文通过实验验证，余弦相似度接近1，相对范数接近1）；（2）这一直觉源于：当前权重 $\hat{\theta}_t$ 已经在量化网格上，移动到下一个迭代点只量化增量 $u_t$，而增量主要由动量主导，因此变化缓慢。基于这一观察，ECO用当前误差 $e_{t+1}$ 近似前一步误差 $e_t$，得到内存友好的注入规则：$m \leftarrow m + \frac{1}{\eta}(1 - \frac{1}{\beta}) e_{t+1}$。这与已有方法的本质区别是：既不需要存储主权重，也不需要存储误差缓冲区，仅复用优化器已有的动量缓冲区。
方法步骤详情
ECO的训练步骤可以分为两个阶段：优化步骤和量化误差注入步骤。在第 $t$ 步：（1）输入量化参数 $\hat{\theta}_t$ 和优化器状态 $\hat{s}_t$；（2）执行标准优化步骤，计算临时迭代点 $\tilde{\theta}_{t+1} = \hat{\theta}_t + u_t$（其中 $u_t$ 是优化器更新，主要由动量主导）；（3）量化临时迭代点得到 $\hat{\theta}_{t+1} = q(\tilde{\theta}_{t+1})$；（4）计算量化误差 $e_{t+1} = \tilde{\theta}_{t+1} - \hat{\theta}_{t+1}$；（5）将误差注入动量缓冲区：对于SGDM，$\hat{m}_{t+1} = \tilde{m}_{t+1} + \frac{1}{\eta}(1 - \frac{1}{\beta}) e_{t+1}$；对于Adam，注入规则类似但使用Adam的元素级自适应步长 $\eta_t = \frac{\eta}{(1-\beta_1^t)(\sqrt{v_{t+1}/(1-\beta_2^t)} + \epsilon)}$；（6）返回更新后的量化参数和优化器状态。
技术新颖性
ECO的技术新颖性体现在以下几个方面：（1）首次提出将误差反馈与优化器动量缓冲区结合，避免了传统误差反馈的额外内存开销；（2）理论上证明了在标准非凸假设和衰减学习率下，ECO收敛到最优点的常数半径邻域，且该半径仅比使用主权重的最优界差 $\frac{1}{1-\beta^2}$ 因子；（3）构造了一个二次函数例子，证明该界是紧的（仅差常数因子），同时证明了朴素移除主权重（无误差注入）会导致误差与学习率成反比，在学习率衰减时发散；（4）对SGDM和Adam分别给出了具体的注入规则，其中Adam的注入使用元素级自适应步长，这是一个非平凡的推广；（5）实验验证了连续量化误差高度相似的假设，为方法的合理性提供了经验支持。
实验结果
本文在多个实验设置中验证了ECO的有效性。在30M-800M参数的缩放定律实验中，ECO+随机舍入（SR）在所有模型规模上几乎匹配使用主权重的FP8基线（例如800M模型：ECO+SR为2.5399 vs FP8 w/ MW + SR为N/A，ECO+RTN为2.6046 vs FP8 w/ MW + RTN为2.5343）。相比之下，朴素移除主权重+RTN在所有设置下都发散，朴素移除主权重+SR的损失显著更高（800M模型：2.9471 vs 2.5399）。在Gemma-3 1B预训练实验中，ECO+SR的验证损失（2.7615）接近FP8 w/ MW + SR（2.7554），而朴素方法的损失明显更高（2.7671）。在2.1B参数SMoE模型预训练中，ECO+SR（2.9232）接近FP8 w/ MW + SR（2.9177），朴素方法（2.9144）和（3.0997）表现较差。在DeepSeek-MoE-16B的INT4微调实验中，朴素移除主权重在RTN和SR下都发散，而ECO匹配了使用主权重的基线。在零样本基准测试中，ECO甚至在某些指标上略微超过了主权重基线（例如ARC-C：ECO+RTN为49.15 vs 基线48.29）。内存方面，ECO可减少高达25%的静态内存使用，显著改善了内存与验证损失的帕累托前沿。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 缩放定律实验（800M参数模型） | 验证损失 | ECO+SR: 2.5399 | FP8 w/ MW + RTN: 2.5343 | 几乎无损匹配主权重基线，相比朴素移除主权重+SR（2.9471）降低14% |
| Gemma-3 1B预训练 | 验证损失 | ECO+SR: 2.7615 | FP8 w/ MW + SR: 2.7554 | 接近无损，相比朴素移除主权重+SR（2.7671）更优 |
| SMoE 2.1B预训练 | 验证损失 | ECO+SR: 2.9232 | FP8 w/ MW + SR: 2.9177 | 接近无损匹配 |
| DeepSeek-MoE-16B INT4微调 | 零样本准确率（ARC-C） | ECO+RTN: 49.15% | INT4 w/ MW + RTN: 48.29% | 略微超过主权重基线 |
| DeepSeek-MoE-16B INT4微调 | 零样本准确率（MMLU） | ECO+RTN: 38.63% | INT4 w/ MW + RTN: 37.87% | 略微超过主权重基线 |
| 静态内存使用 | 峰值内存 | ECO: 9 bytes/param (FP8) | FP32主权重: 12 bytes/param | 减少约25%内存使用 |
局限与改进
作者承认的局限性包括：（1）ECO在随机舍入（SR）下表现最佳，而SR在某些硬件上不可用，仅支持RTN的设备上ECO仍优于朴素方法但噪声底更高；（2）当主权重可用时，RTN通常略优于SR，而ECO依赖SR的无偏性获得最强保证，这导致相对于最佳RTN主权重基线存在轻微精度上限；（3）论文中的理论分析假设了L-光滑性、无偏量化和有界梯度等标准条件，实际训练中这些条件可能不完全满足。此外，我个人观察到：（4）实验主要在相对较小的模型规模上验证（最大16B参数），对于更大规模的模型（如70B+）的有效性尚未验证；（5）论文未讨论ECO与其他内存优化技术（如梯度检查点、ZeRO优化）的组合效果；（6）注入强度 $\alpha$ 的公式依赖于学习率 $\eta$ 和动量系数 $\beta$，在这些超参数动态变化时的行为需要进一步研究。
独立分析的弱点
（1）实验规模有限：论文最大验证到16B参数的DeepSeek-MoE模型，对于当前主流的大规模LLM（70B-175B+）的有效性未知。建议在更大规模模型上进行验证，特别是多节点分布式训练场景。（2）硬件支持假设：ECO假设可以高效执行低精度运算，但论文未讨论在不同硬件（如GPU、TPU、专用AI芯片）上的实际性能差异。建议提供更详细的硬件适配分析和实际运行时间对比。（3）超参数敏感性分析不足：虽然作者声称无需额外超参数调优，但注入强度 $\alpha$ 依赖于 $\eta$ 和 $\beta$，论文未充分讨论这些超参数变化时ECO的鲁棒性。建议增加超参数敏感性实验。（4）与其他优化技术的组合：论文未讨论ECO与梯度检查点、ZeRO优化、激活重计算等内存优化技术的组合效果。在实际大规模训练中，这些技术通常需要配合使用。（5）理论与实践的差距：理论分析假设了无偏量化，但RTN是有偏的，论文虽然讨论了确定性舍入的情况，但理论界更宽松。建议进一步分析有偏量化下的收敛行为。
未来方向
作者提出的未来方向包括：（1）探索ECO在更多硬件平台上的实现，特别是仅支持RTN的设备上的优化；（2）研究ECO与其他量化技术（如激活量化、梯度量化）的结合。基于本文成果可延伸的方向包括：（3）将ECO应用于更大规模的模型训练（70B+），验证其在分布式训练中的效果；（4）探索ECO与参数高效微调方法（如LoRA、QLoRA）的结合，在微调场景中进一步减少内存占用；（5）研究ECO在其他优化器（如LAMB、Adafactor）上的推广；（6）开发硬件友好的ECO实现，充分利用现代GPU/TPU的低精度计算单元；（7）探索ECO在训练后量化（PTQ）或量化感知微调中的应用，为部署阶段提供内存优化。
复现评估
论文的复现性较好：（1）代码和数据：论文使用公开数据集（C4、LM1B、OpenAssistant-Guanaco）和公开模型（Gemma-3、DeepSeek-MoE），降低了复现门槛；（2）算力需求：缩放定律实验（30M-800M）相对轻量，但Gemma-3 1B和DeepSeek-MoE-16B的实验需要显著算力（特别是16B模型的INT4微调）；（3）方法实现：ECO的核心算法非常简单（仅需在优化步骤后添加误差注入），实现复杂度低；（4）超参数：论文明确指出无需额外超参数调优，使用标准AdamW设置即可；（5）开源情况：论文未明确说明是否开源代码，但方法描述足够详细，可以独立复现；（6）难度评估：对于熟悉PyTorch和量化训练的研究者，复现难度中等，主要挑战在于大规模模型的训练资源。
论文图表