均值偏置的诅咒与祝福：FP4量化大语言模型训练

通过均值-残差分解隔离激活异常值，实现稳定高效的FP4训练

前置知识

FP4量化

FP4是4位浮点数格式，相比FP8可将内存消耗降低1.8倍，通用矩阵乘法（GeMM）加速7倍。NVIDIA的NVFP4格式采用E2M1编码（2位指数、1位尾数），在Hopper和Blackwell GPU上支持硬件加速。FP4训练要求权重、激活和梯度均用4位表示，是当前模型训练的最前沿低比特方案。

理解FP4的位宽限制和数值精度约束，是理解本文为何要解决激活异常值问题的前提。

块量化（Blockwise Quantization）

块量化将张量分成固定大小的块，每个块共享一个缩放因子，将连续浮点值映射到离散的低比特表示。量化尺度由块内最大绝对值决定，因此少数极大异常值会主导整个块的缩放因子，压缩其余值的表示精度。这种机制是FP4训练中激活异常值造成精度损失的核心原因。

本文的核心问题源于块量化对异常值的敏感性，理解这一机制才能理解均值偏置为何有害。

激活异常值（Activation Outliers）

大语言模型中，某些激活值的绝对幅度远大于其他值，形成所谓的"异常值"。这些异常值在深层和后期训练阶段尤为显著。它们会膨胀量化范围，将正常值压缩到狭窄的数值区间内，同时影响前向传播的表示精度和反向传播的梯度质量。

本文正是要解释这些异常值的来源——并非随机稀疏事件，而是由一致的秩一均值偏置引起的。

奇异值分解（SVD）与频谱分析

奇异值分解将矩阵分解为 $X = \sum_{k=1}^r \sigma_k u_k v_k^\top$，其中 $\sigma_k$ 是奇异值，$u_k$ 和 $v_k$ 分别是左/右奇异向量。频谱分析用于研究矩阵的各向异性结构。在LLM激活中，通常存在主导奇异值，表明激活空间具有强烈的各向异性。

论文发现均值偏置与主导频谱方向紧密对齐，这一发现是理解均值偏置数学性质的关键。

Hadamard变换（Hadamard Transform）

Hadamard变换是一种正交变换，用于在元素空间内平滑激活异常值。NVIDIA的方案将激活重塑为 $[l, m/16, 16]$ 并沿最后一个维度应用 $16 \times 16$ Hadamard变换，将集中的能量分散到更多维度上。这是当前FP4训练中处理异常值的主流方法。

本文将Averis与Hadamard方法进行对比和组合，展示两种互补的异常值处理策略。

GeMM（通用矩阵乘法）

GeMM是深度学习中的核心计算原语，包括前向传播的 $Y = XW$（激活乘权重）、反向传播的输入梯度 $\frac{\partial L}{\partial X} = DW^\top$ 和权重梯度 $\frac{\partial L}{\partial W} = X^\top D$。在FP4训练中，这三个GeMM均需用4位表示，任何一个的精度损失都会影响训练质量。

Averis在前向和反向的所有GeMM中均应用均值-残差分解，这是方法覆盖范围的关键。

研究动机

FP4训练面临严重的激活异常值问题。在块量化框架下，少数极大激活值会设定整个块的缩放因子，膨胀动态范围，将普通长尾信号压缩到狭窄的数值区间内。这同时损害前向表示精度和反向梯度传播质量。现有两类方法各有局限：元素空间方法（如NVIDIA的Hadamard变换，即HALO/QuaRot）在每个瓦片内平滑异常值，但对整体动态范围的压缩能力有限，无法消除主导异常值；频谱空间方法（如Metis的SVD控制）可获得更低量化误差，但计算开销大且与现代加速器硬件不匹配。在实际端到端训练中，vanilla NVFP4相比BF16会产生2.70%的训练损失差距，Hadamard方法可缩小至2.05%，但仍存在显著精度损失。

本文的目标是本文的目标是找到激活异常值的结构性根源，并基于这一发现设计一种计算高效、与硬件对齐的FP4训练量化方法。具体而言，作者希望：（1）解释为什么FP4训练中存在极端激活值，而非简单地将其视为随机事件；（2）提出一种仅需均值计算和逐元素减法的方法，在前向和反向GeMM中隔离均值偏置；（3）在Qwen3-0.6B Dense和Qwen3-7B-A1.5B MoE两个模型规模上实现W4A4G4 FP4训练，使训练损失差距和下游任务差距最小化。

与已有工作不同的是，本文的独特切入角度在于发现了一个反直觉的结构性事实：主导激活异常值并非任意稀疏事件，而是由一致的秩一均值偏置主导引起的。这一均值偏置对应于激活矩阵的特征均值向量，在所有token间共享一个偏移方向，并与主导各向异性频谱成分对齐。此前的工作（如QuaRot、HALO、Metis）在元素空间或频谱空间中处理异常值，但没有认识到异常值的秩一均值结构。这一发现使得一个看似复杂的异常值抑制问题可以迎刃而解：只需在量化前隔离一致的均值分量即可。

核心方法

Averis（Averaging-Induced Residual Splitting）的核心直觉是：既然激活异常值主要由一致的秩一均值偏置驱动，那么在量化前将这一均值分量分离出来，就可以显著降低残差流中的动态范围膨胀。技术路线非常简洁：对前向GeMM中的激活和反向GeMM中的输出梯度，分别计算列均值向量 $\mu_X$ 和 $\mu_D$，然后从原矩阵中减去均值得到零均值残差 $X_R$ 和 $D_R$，最后对均值向量和残差分别独立量化。这一方法仅涉及均值归约和逐元素减法两种基本操作，与现代GPU的硬件执行模式高度对齐，计算开销极低。

Averis与已有方法的本质区别在于它在均值空间而非元素空间或频谱空间中处理异常值。具体来说，Hadamard变换在元素空间中分散异常值能量，但不改变整体动态范围；SVD方法（如Metis）在频谱空间中控制奇异值，计算开销大。Averis发现并利用了一个此前被忽视的结构：主导异常值的根源是秩一均值偏置 $\mu_X = \frac{1}{l} X^\top \mathbf{1}$，它与主导右奇异向量 $v_1$ 的余弦相似度接近0.99，在深层后期训练阶段，top-0.1%激活条目的中位数均方均值贡献率飙升至约95%。基于此，Averis只需移除这一秩一分量，就能大幅降低残差的量化敏感性，无需昂贵的频谱分解。

方法步骤详情

Averis方法包含前向和反向两个阶段的操作。前向传播阶段：给定权重矩阵 $W \in \mathbb{R}^{m \times n}$ 和输入激活张量 $X \in \mathbb{R}^{b \times s \times m}$（重塑为矩阵 $X \in \mathbb{R}^{l \times m}$），首先计算激活列均值向量 $\mu_X = \frac{1}{l} \mathbf{1}^\top_l X \in \mathbb{R}^m$，然后从原激活中减去均值得到零均值残差 $X_R = X - \mathbf{1}_l \mu_X$，接着独立量化均值向量和残差：$\bar{\mu}_X = Q_b(\mu_X)$，$\bar{X}_R = Q_b(X_R)$，$\bar{W} = Q_b(W)$，最后量化前向GeMM为 $\hat{Y} = \mathbf{1}_l (\bar{\mu}_X \bar{W}) + \bar{X}_R \bar{W}$，其中第一个项通过广播沿token维度展开。反向传播阶段分为输入梯度和权重梯度两个GeMM：对于输入梯度，对输出梯度 $D$ 同样计算列均值 $\mu_D$ 和零均值残差 $D_R$，然后 $\frac{\partial L}{\partial X} = \mathbf{1}_l (\bar{\mu}_D \bar{W}^\top) + \bar{D}_R \bar{W}^\top$；对于权重梯度，由于 $X_R$ 和 $D_R$ 均为零均值，交叉项 $X_R^\top (\mathbf{1}_l \mu_D) = 0$ 和 $(\mathbf{1}_l \mu_X)^\top D_R = 0$ 自然消失，因此 $\frac{\partial L}{\partial W} = \bar{X}_R^\top \bar{D}_R + l \bar{\mu}_X^\top \bar{\mu}_D$，仅需两个独立的量化GeMM。

技术新颖性

Averis的技术新颖性体现在三个层面。第一，理论层面：论文首次证明了均值偏置与主导激活异常值之间的因果关系，定理1表明在高阈值区域，非零列均值将超阈值概率相对于零均值基线指数放大，放大系数为 $\exp\left(\frac{2t|m_j| - m_j^2}{2\tau_j^2}\right)$。第二，方法层面：Averis仅使用均值归约和逐元素减法两种基础操作实现均值-残差分解，端到端开销仅2.20%（约为NVIDIA Hadamard方案的29%），在 $(512 \times 2048, 8192)$ 的激活形状上比Hadamard预处理快4.72倍。第三，组合层面：Averis与Hadamard变换正交且可叠加使用，在Qwen3-0.6B上组合使用可将损失差距进一步降至0.94%，表明两者分别处理均值空间和元素空间中的不同异常值成分。

**Figure 2**: Qwen3-0.6B激活中均值偏置在深度和训练阶段上的演化

实验结果

本文在两个模型规模上进行了全面实验，核心发现如下。在Qwen3-0.6B Dense模型（100B tokens训练）上，vanilla NVFP4的BF16损失差距为2.70%，NVIDIA Hadamard方法为2.05%，Averis将其显著缩小至1.19%，Averis-Hadamard组合进一步降至0.94%。在Qwen3-7B-A1.5B MoE模型（50B tokens训练）上，所有低比特方法差距更小，Averis仍以0.81%的差距优于vanilla NVFP4的1.03%和Hadamard的1.10%。下游任务方面，Qwen3-0.6B上Averis将平均精度差距从vanilla NVFP4的1.26点缩小至0.89点，Averis-Hadamard组合进一步缩小至0.73点；Qwen3-7B-A1.5B上Averis以56.22的平均分数取得所有低比特方法中的最佳表现，差距仅0.71点。运行时开销方面，Averis在Blackwell GPU上仅增加2.01%（0.6B）和2.20%（7B）的端到端训练延迟，分别是Hadamard方案的29.6%和28.9%。在大激活形状的预处理延迟对比中，Averis比Hadamard快4.47至4.72倍。这些结果表明Averis以极低的计算代价实现了显著的训练质量提升，且与Hadamard变换具有互补性。

**Table 1**: Qwen3-0.6B和Qwen3-7B-A1.5B训练损失与下游性能对比

**Table 2**: Tiled Hadamard预处理与Averis均值提取的运行时开销对比

**Table 3**: Blackwell GPU上Qwen3-0.6B和Qwen3-7B-A1.5B的端到端训练步延迟

查看结构化数据

任务	指标	本文	基线	提升
Qwen3-0.6B 训练损失	BF16损失差距（Loss Gap）	Averis: 1.19%，Averis-Hadamard: 0.94%	vanilla NVFP4: 2.70%，NVFP4-Hadamard: 2.05%	Averis相比vanilla NVFP4缩小1.51个百分点，相比Hadamard缩小0.86个百分点
Qwen3-7B-A1.5B 训练损失	BF16损失差距（Loss Gap）	Averis: 0.81%	vanilla NVFP4: 1.03%，NVFP4-Hadamard: 1.10%	Averis相比vanilla NVFP4缩小0.22个百分点，比Hadamard低0.29个百分点
Qwen3-0.6B 下游平均精度	6个任务平均精度差距（点）	Averis: 0.89点差距，Averis-Hadamard: 0.73点差距	vanilla NVFP4: 1.26点差距，NVFP4-Hadamard: 0.98点差距	Averis-Hadamard组合取得最小差距0.73点
Qwen3-7B-A1.5B 下游平均精度	6个任务平均精度（分）	Averis: 56.22（0.71点差距）	BF16: 56.93，vanilla NVFP4: 55.56，NVFP4-Hadamard: 55.45	Averis取得所有低比特方法中最高平均精度
端到端训练延迟	相对vanilla NVFP4的开销百分比	Qwen3-0.6B: 2.01%，Qwen3-7B-A1.5B: 2.20%	NVFP4-Hadamard: 0.6B: 6.80%，7B: 7.62%	Averis开销仅为Hadamard方案的约29%
预处理延迟对比	平均延迟（毫秒）与加速比	Averis: 2.0494ms (4096d), 3.9927ms (8192d)	Tiled Hadamard: 9.1614ms (4096d), 18.8421ms (8192d)	大激活形状下Averis快4.47×至4.72×

局限与改进

论文承认了以下局限性：首先，由于计算资源限制，长周期训练实验使用FP4模拟而非在Blackwell GPU上直接端到端执行，这可能与实际硬件上的量化行为存在差异。其次，更广泛的验证——包括更多模型规模、数据分布和架构变体——尚未完成，当前仅在Qwen3-0.6B Dense和Qwen3-7B-A1.5B MoE两个规模上进行了实验。第三，作者观察到输出梯度中的均值偏置现象不如激活中显著，因此未提供专门的梯度输出均值偏置消融或设计，将更自适应的反向传播处理留作未来探索。此外，论文未在更大规模模型（如70B+）上验证Averis的有效性，也未涉及其他量化格式（如INT4、MXFP4）的适用性分析。从更广泛的角度看，Averis依赖于均值偏置是主导异常值来源的假设，在某些架构或训练配置中，如果异常值来源不同（如纯粹的稀疏极端事件），方法的效果可能会受到影响。

独立分析的弱点

Averis存在几个值得改进的弱点。第一，方法假设列均值是异常值的主要来源，但论文指出在浅层训练早期阶段，top-0.1%激活主要由残差主导，这意味着在这些场景下Averis的收益可能有限。一个改进方向是设计自适应机制，在训练过程中动态调整均值分离的强度。第二，Averis对输出梯度的均值偏置处理较为粗糙，作者承认输出梯度中的偏置不如激活显著，但仍进行了简单应用。未来可针对不同张量类型（激活、权重、梯度）设计差异化的均值处理策略。第三，当前的列均值计算在token维度上进行全局平均，未考虑序列内不同位置的异质性。局部均值（如按层或按注意力头计算均值）可能提供更精细的异常值分离。第四，方法仅在FP4（E2M1）格式上验证，未探索在其他低比特格式（如MXFP4、INT4）上的适用性。

未来方向

作者和论文成果可延伸出多个未来研究方向。作者明确提出的方向包括：（1）在更多模型规模、数据分布和架构变体上进行更广泛的验证；（2）设计更自适应的反向传播均值偏置处理策略，因为输出梯度的偏置特性与激活不同。基于Averis成果的自然延伸包括：（3）将均值-残差分解思想扩展到训练过程中的其他张量，如注意力分数矩阵和LayerNorm的输入；（4）探索自适应均值分离，根据训练阶段和层深度动态调整；（5）将Averis与更多类型的频谱控制方法（如Metis的SVD方法）组合使用，探索更全面的异常值处理框架；（6）在推理场景中应用均值-残差分解思想，因为训练后的模型激活中可能保留了均值偏置的结构特征；（7）研究均值偏置的形成机制，从模型初始化到训练动态的理论分析，为设计从根本上避免均值偏置的架构提供指导。

复现评估

论文提供了匿名代码仓库（https://anonymous.4open.science/r/averis-504D），包含方法实现代码。数据方面，训练使用DCLM数据集，这是一个公开可用的大规模预训练数据集。模型使用Qwen3系列，也是公开的开源模型。计算资源方面，训练质量实验在Hopper GPU上进行FP4模拟，端到端开销测量在Blackwell GPU上进行，这意味着复现完整实验需要NVIDIA最新一代GPU。不过，由于Averis方法本身非常简单（仅涉及均值计算和逐元素减法），核心算法的复现难度较低。论文还提供了详细的消融实验和理论分析（附录），有助于理解方法的设计选择。总体而言，复现的技术难度不高，但硬件资源要求较高。

均值偏置的诅咒与祝福：FP4量化大语言模型训练 The Curse and Blessing of Mean Bias in FP4-Quantized LLM Training