MASQuant：面向多模态大语言模型的模态感知平滑量化方法 MASQuant: Modality-Aware Smoothing Quantization for Multimodal Large Language Models
通过为每种模态学习独立平滑因子并用低秩补偿统一量化权重，解决多模态LLM量化难题
前置知识
后训练量化（Post-Training Quantization, PTQ）
PTQ是一种模型压缩技术，无需重新训练即可将高精度浮点权重（如FP16）映射到低精度整数（如INT4/INT8）。核心公式为 $\hat{x}_N = \text{clamp}(\lfloor \frac{x}{\Delta} + z \rceil, q_{min}, q_{max}) \cdot \Delta$，其中 $\Delta$ 是缩放因子，$z$ 是零点。PTQ的优势在于只需少量校准数据即可完成量化，大幅降低部署成本。相比量化感知训练（QAT），PTQ更实用但精度损失更大。
本文改进的是PTQ中的通道级平滑方法，理解PTQ基本原理是理解本文创新点的前提。
通道级平滑（Channel-wise Smoothing）
SmoothQuant等方法通过引入对角矩阵 $S$ 实现计算不变性：$Y = XW = (XS^{-1})(SW)$。平滑因子 $s_i$ 通过 $s_i = \frac{\max_t |x_{t,i}|^\beta}{\max_j |w_{j,i}|^{1-\beta}}$ 计算，将激活值中的异常值转移到权重上，因为权重更容易量化。这种变换保持数学等价性但改善了量化特性。
本文发现这种统一平滑策略在多模态场景下存在根本性缺陷，是论文要解决的核心问题。
计算不变性（Computational Invariance）
计算不变性指对于线性层 $Y = XW$，存在变换矩阵 $S$ 使得 $Y = (XS^{-1})(SW)$ 保持数学等价。这意味着可以在推理时应用不同的平滑/旋转策略，而不改变模型输出。PTQ方法利用这一性质来重新分布激活值和权重的数值范围，使其更适合低精度表示。
MASQuant的核心挑战是如何在保持单一量化权重的同时实现模态特定的平滑，这直接涉及计算不变性的保持。
SVD白化（SVD-based Whitening）
给定激活矩阵 $X$，通过协方差分解 $P\Lambda P^\top = \text{SVD}(X^\top X)$ 得到白化矩阵 $T = (P\Lambda^{1/2})^\top$。白化后的激活 $XT$ 满足 $(XT^{-1})^\top(XT^{-1}) = I$，即正交化。SVD-LLM等方法利用白化进行低秩权重压缩，通过截断SVD分解 $W' = T^{-1}U_rS_rV_r^\top$ 最小化重构误差。
本文创新性地将SVD白化应用于跨模态权重差异的低秩补偿，这是CMC模块的技术基础。
信号量化噪声比（SQNR）
SQNR衡量量化质量，定义为 $\text{SQNR}(x_t) = 10 \log_{10} \frac{\|x_t\|_2^2}{\|x_t - Q(x_t)\|_2^2}$，单位为dB。SQNR越高表示量化误差越小。在通道级平滑下，当激活值远大于量化步长时，SQNR与 $\frac{\sum_i x_{t,i}^2 s_i^2}{d \cdot \Delta_t^2/12}$ 成正比。本文通过SQNR分析证明了平滑错位导致的量化质量下降。
论文使用SQNR作为核心指标来量化平滑错位的影响，并验证MAS和CMC的有效性。
研究动机
现有通道级平滑量化方法（如SmoothQuant、AWQ、MBQ）在多模态大语言模型（MLLMs）上存在根本性的「平滑错位」（Smoothing Misalignment）问题。具体而言，MLLMs处理多种模态（文本、视觉、音频）时，各模态的激活值范围差异巨大：视觉token的激活值范围通常是文本的10-100倍，音频token则更小。当这些不同分布的激活值通过同一层时，SmoothQuant等方法计算的统一平滑因子会被主导模态（通常是视觉）的较大激活值所支配。公式上，统一平滑因子 $s_i^{uni} \propto R_i^{m^*}$，其中 $m^* = \arg\max_m R_i^m$ 是主导模态。这导致非主导模态的激活值被过度平滑（over-smoothed），其信号被压缩，产生严重的量化误差。例如，在W4A8量化下，SmoothQuant在Qwen2.5-Omni-3B上的Librispeech词错误率（WER）从FP16的3.9%飙升至77.4%，性能完全崩溃。这种失败模式在激进量化（如W4A6）时尤为严重，因为此时量化精度对平滑质量极为敏感。
本文的目标是本文的目标是设计一种新的量化框架，能够同时解决平滑错位和跨模态计算不变性问题，使得通道级平滑PTQ方法能够成功应用于MLLMs。具体目标包括：（1）为每种模态学习独立的最优平滑因子，消除模态间的相互干扰；（2）在保持单一量化权重（不增加存储开销）的前提下，实现模态特定的平滑效果；（3）在双模态（视觉-语言）和三模态（视觉-音频-语言）MLLMs上实现稳定的量化性能，在W4A8等激进设置下相比现有方法有显著提升。
与已有工作不同的是，本文的独特切入点在于发现了平滑错位是阻碍通道级平滑应用于MLLMs的根本障碍，并首次从理论和实践两个层面系统性地解决这一问题。此前的工作如MBQ虽然观察到视觉和文本token对量化误差的贡献不均衡，但仍使用统一的平滑因子；MQuant发现视觉token激活值更高，但未解决平滑错位问题。本文的关键洞察是：（1）为不同模态学习独立平滑因子看似简单，但会破坏计算不变性，导致需要存储多份量化权重；（2）跨模态的激活差异在白化后呈现低秩结构，这使得可以用紧凑的低秩矩阵进行补偿。基于这两个洞察，MASQuant实现了「独立平滑、统一存储」的优雅设计。
核心方法
MASQuant的核心思路可以用一个类比来理解：想象一个翻译团队需要将中文、英文、日文翻译成法文。传统方法（SmoothQuant）是用同一个翻译官处理所有语言，结果中文翻译得很好，但日文完全走样。MASQuant的做法是：为每种语言配备专业翻译官（模态感知平滑），但在出版时只印刷一个版本（统一量化权重），通过附页（低秩补偿）来修正其他语言的翻译差异。具体技术路线分为两步：首先，Modality-Aware Smoothing（MAS）为每种模态 $m \in \mathcal{M}$ 学习独立的平滑矩阵 $S_m$，通过最小化模态特定的量化重构MAE损失 $\mathcal{L}_{MAE}$ 来优化；其次，Cross-Modal Compensation（CMC）以文本平滑权重 $Q(S_t W)$ 为基准，通过SVD白化将视觉/音频平滑权重的差异 $\Delta W = S_v W - S_t W$ 转换为低秩形式，用轻量级矩阵 $L_1, L_2$ 进行补偿。
本文最核心的创新在于发现了「跨模态激活差异在白化后呈现低秩结构」这一性质，并据此设计了CMC模块。传统方法认为不同模态的权重差异是稠密的，无法用低秩近似有效表示。但本文证明（Theorem 2），通过SVD白化变换 $T = (P\Lambda^{1/2})^\top$，白化后的权重差异 $T(\Delta W)$ 具有强烈的低秩结构。这意味着只需要存储两个小矩阵 $L_1 = T^{-1}U_r$ 和 $L_2 = \Sigma_r V_r^\top$（其中 $r$ 是截断秩），就能有效补偿模态间的差异。这与已有方法的本质区别是：SmoothQuant/AWQ/MBQ都使用统一平滑因子，本质上是「一刀切」；MASQuant则实现了「分而治之，统一存储」——每种模态有自己的最优平滑，但推理时只用一套量化权重加轻量低秩补偿。
方法步骤详情
MASQuant的完整流程分为校准阶段和推理阶段。**校准阶段**：（1）收集各模态的校准数据 $\{X_m\}_{m \in \mathcal{M}}$；（2）为每种模态计算初始平滑因子 $s_{m,i} = \frac{\max_t |x_{m,t,i}|}{\max_j |w_{j,i}|}$，组成对角矩阵 $S_m$；（3）通过最小化加权MAE损失 $\min_{\{S_m\}} \sum_{m \in \mathcal{M}} \lambda_m \cdot \mathcal{L}_{MAE}(S_m, X_m, W)$ 优化平滑因子，其中 $\lambda_m$ 是模态损失权重（实验中设为1.0效果最佳）；（4）选择文本模态作为基准，计算文本平滑权重 $S_t W$ 并量化为 $Q(S_t W)$；（5）对其他模态，计算权重差异 $\Delta W_m = S_m W - S_t W$，执行SVD白化 $\text{SVD}(X_m S_m^{-1})^\top(X_m S_m^{-1}) = P\Lambda P^\top$，然后对 $T(\Delta W_m)$ 做截断SVD得到低秩近似 $L_1^m = T^{-1}U_r^m, L_2^m = \Sigma_r^m V_r^{m\top}$。**推理阶段**：对于文本输入，直接计算 $Y = Q(X_t S_t^{-1}) \cdot Q(S_t W)$；对于其他模态，计算 $Y = Q(X_m S_m^{-1}) \cdot Q(S_t W) + X_m S_m^{-1} \cdot L_1^m L_2^m$。
技术新颖性
MASQuant的技术新颖性体现在三个方面。**第一**，首次系统性地形式化并解决了「平滑错位」问题。论文通过Theorem 1证明了统一平滑导致的SQNR退化公式：$\text{SQNR}(s^{uni}, x'_t) = \text{SQNR}(s_{m'}, x'_t) - 10\log_{10}\left(\frac{1}{d(\min_i \alpha_i)^2} \sum_{i=1}^d \frac{(\alpha_i)^2}{1}\right)$，其中 $\alpha_i = R_i^m / R_i^{m'}$ 是范围比。这个理论分析首次量化了平滑错位的影响。**第二**，首次将SVD白化应用于跨模态权重补偿。此前SVD白化只用于权重压缩（如SVD-LLM），本文发现白化能诱导低秩结构，使得跨模态差异可以用紧凑矩阵表示。**第三**，实现了「多模态平滑、单模态存储」的设计。通过将文本设为基准模态，推理时只需一套量化权重，额外开销仅为两个小矩阵（Table 6显示额外计算为 $2rd$，额外存储为 $2mrd$，其中 $r$ 是秩，$d$ 是隐藏维度，$m$ 是额外模态数）。
实验结果
MASQuant在多个基准测试中展示了稳定的性能提升，核心发现如下。**视觉-语言任务**（Table 1）：在Qwen2.5-VL-3B上，W8A8设置下MASQuant达到46.6% MMMU准确率，超越FP16基线（42.2%）4.4个百分点，这表明适当的量化甚至可以带来正则化收益；W4A8下达到46.7% MMMU，远超SmoothQuant的25.6%（完全崩溃）和MBQ的41.2%。在Qwen2.5-VL-7B上，W8A8平均准确率74.4%与FP16的74.5%持平。**全模态任务**（Table 2）：在Qwen2.5-Omni-3B上，W4A8下SmoothQuant的Librispeech WER从3.9%飙升至77.4%（20倍退化），而MASQuant保持在3.6%，几乎无损；Wenetspeech上SmoothQuant从7.5%恶化至94.2%，MASQuant为8.7%。在7B模型上，W4A8下MASQuant的OmniBench准确率43.8%，超越MBQ的40.6%。**平滑因子分析**（Figure 4）：视觉token在注意力层和MLP层中占据主导地位，平滑因子被视觉分布所支配，验证了平滑错位的普遍性。**有效秩分析**（Figure 5）：SVD白化后权重差异的有效秩显著降低，证实了CMC的理论基础。**消融实验**（Table 3）：MAS单独使用时，Omni-3B的Librispeech WER从77.4%降至3.8%；结合可学习优化后进一步降至3.6%。**推理速度**（Table 7）：MASQuant在RTX 4090上实现2.5倍加速（相比FP16），相比MBQ仅增加5-10%延迟开销。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视觉问答（MMMU） | 准确率(%) | 46.7 | 41.2 (MBQ) | +5.5 |
| 视觉问答（MMMU） | 准确率(%) | 46.6 | 42.2 (FP16) | +4.4 (超越FP16) |
| 语音识别（Librispeech） | WER(%) | 3.6 | 77.4 (SmoothQuant) | WER降低95.3% |
| 全模态推理（OmniBench） | 准确率(%) | 46.9 | 42.6 (MBQ) | +4.3 |
| 文本VQA（TextVQA） | 准确率(%) | 69.2 | 73.4 (MBQ) | -4.2 (略低) |
| 推理速度 | Prefill延迟(ms) | 71.62 | 191.82 (FP16) | 2.67倍加速 |
局限与改进
尽管MASQuant取得了显著成果，但仍存在一些局限性。**首先**，CMC模块引入了额外的计算开销。虽然Table 6显示额外计算仅为 $2rd$，但在实际部署中，低秩矩阵乘法 $X_m S_m^{-1} \cdot L_1^m L_2^m$ 需要额外的内存访问和计算周期，Table 7显示相比MBQ增加了5-10%的延迟。**其次**，低秩近似不可避免地引入近似误差。Figure 6显示CMC在低秩比（<0.1）时表现优异，但随着量化精度降低（如W4A6），需要更高的秩比才能达到最优SQNR，这会增加存储和计算成本。**第三**，方法目前仅在Qwen2.5系列模型上验证，对于其他架构（如LLaVA、InternVL）的泛化性尚未充分证明。**第四**，校准过程需要多模态数据，且需要为每种模态分别优化平滑因子，增加了校准时间和复杂度。**第五**，论文选择文本作为基准模态是基于Table 6的效率考量，但这可能不是最优选择——在某些以视觉为中心的任务中，以视觉为基准可能更合适。
独立分析的弱点
基于独立分析，我认为MASQuant存在以下弱点和改进方向。**弱点1：模态选择的静态性**。当前方法固定选择文本作为基准模态，但在不同任务中主导模态可能不同（如图像描述任务中视觉更重要）。改进方向：可以设计自适应基准选择机制，根据输入动态选择基准模态，或者学习一个跨模态的「中心」平滑因子。**弱点2：低秩近似的固定截断**。CMC使用固定的截断秩 $r$，但不同层、不同模态对的最优秩可能不同。改进方向：可以引入逐层自适应秩选择，根据每层的重构误差动态调整截断秩，在精度和效率间取得更好平衡。**弱点3：校准数据需求**。MAS需要多模态校准数据，且损失权重 $\lambda_m$ 需要手动调整（论文设为1.0）。改进方向：可以探索无监督的平滑因子学习，或使用代理任务自动确定最优权重。**弱点4：仅验证于Qwen系列**。Qwen2.5-VL和Qwen2.5-Omni有相似的架构设计，对于异构架构（如混合专家MoE）的适用性未知。改进方向：在更多样化的MLLM架构上验证，包括LLaVA、InternVL、CogVLM等。
未来方向
论文和基于成果可延伸的未来研究方向包括。**方向1：扩展到更多模态**。当前验证了双模态（视觉-语言）和三模态（视觉-音频-语言），未来可探索更多模态（如深度、红外、点云）的量化，特别是自动驾驶和机器人场景中的多传感器融合模型。**方向2：与量化感知训练（QAT）结合**。MASQuant是PTQ方法，如果将模态感知平滑的思想融入QAT训练过程，可能进一步提升量化精度，尤其是在极低比特（如W2A4）设置下。**方向3：动态量化**。当前方法使用静态平滑因子，未来可以探索输入依赖的动态平滑——根据实际输入的模态组成实时调整平滑策略，这在模态缺失或不平衡的场景中可能特别有价值。**方向4：与权重稀疏化结合**。CMC产生的低秩矩阵天然具有稀疏性，可以与剪枝、稀疏量化等技术结合，实现更高的压缩比。**方向5：硬件协同设计**。Table 7显示MASQuant需要条件执行（文本模态跳过CMC），未来可以设计专用硬件单元来高效处理这种多模态条件计算。
复现评估
从复现角度来看，MASQuant具有较好的可复现性。**开源情况**：论文提供了GitHub仓库链接（https://github.com/alibaba/EfficientAI），代码应该可以获取。**数据集**：使用了公开基准（Librispeech、Wenetspeech、OCRBench、TextVQA、Vizwiz、ScienceQA、MMMU、OmniBench），无需私有数据。**算力需求**：实验在Desktop RTX 4090上进行推理速度测试，说明单卡即可完成推理；校准阶段的具体算力需求未明确说明，但基于32个样本的校准规模应该在单GPU上可在数小时内完成。**复现难度**：中等。主要挑战包括：（1）需要正确实现自定义CUDA kernel以获得报告的推理加速；（2）模态损失权重 $\lambda_m$ 和训练epoch（论文使用2个epoch）需要调优；（3）SVD白化和低秩截断的实现需要仔细处理数值稳定性。总体而言，对于有量化经验的研究团队，复现应该在1-2周内完成。
论文图表
图(a)展示了FP16 MLLM推理时不同模态的激活分布：文本和视觉token在不同层中交替成为主导模态，激活值范围差异显著。图(b)展示了SmoothQuant统一平滑因子在W4A8量化下的问题：SQNR仅为5.31，PPL高达18.19，视觉信号被过度平滑（'Over Smoothed'）。图(c)展示了MASQuant通过模态感知平滑和CMC的组合，SQNR提升至8.25，PPL降至15.90，正确识别出'Coca-Cola'。
这张图直观地展示了平滑错位问题的本质——不同模态的激活分布差异导致统一平滑失败，是理解论文动机的关键。
图(a)和(b)分别展示了Qwen2.5-Omni-3B和Qwen2.5-VL-3B中，统一平滑因子来自不同模态的比例。结果显示：在注意力层（self_attn.q/k/v/o）和MLP层（mlp.up/gate）中，视觉模态（橙色）占据绝对主导地位，占比接近100%。图(c)和(d)展示了范围比 $\alpha_i = R_i^m / R_i^{m'}$ 的分布，呈现非均匀分布，验证了MAS的理论基础。
这张图直接证实了平滑错位的根源——视觉模态主导了平滑因子计算，导致文本和音频被过度平滑。
该表分析了不同基准模态选择下的额外计算和内存开销。关键发现：（1）文本作为基准模态时，额外计算为0，额外内存为0；（2）其他模态作为基准时，额外计算为 $2rd$，额外内存为 $2mrd$（$r$为秩，$d$为隐藏维度，$m$为额外模态数）；（3）这解释了为何选择文本作为基准——在推理时最高效。
这张表量化了MASQuant的效率开销，证明了方法的实用性——额外成本极低。
该表在Desktop RTX 4090上测试了Qwen2.5-VL-7B在W4A4设置下的预填充性能（序列长度2048）。关键发现：（1）FP16：191.82ms，内存13.73GB；（2）MBQ：68.65ms，加速2.79倍，内存4.85GB（节省2.83倍）；（3）MASQuant（秩比0.01）：71.62ms，加速2.67倍，内存4.97GB（节省2.76倍）；（4）MASQuant相比MBQ仅增加5%延迟，增加2.5%内存。
这张表验证了MASQuant的实际推理效率，证明了方法在真实硬件上的加速效果和低开销。