QuantVLA：面向视觉-语言-动作模型的尺度校准训练后量化 QuantVLA: Scale-Calibrated Post-Training Quantization for Vision-Language-Action Models
首个VLA模型训练后量化框架，通过选择性量化和轻量校准实现70%内存节省且超越全精度性能
前置知识
Vision-Language-Action (VLA) 模型
VLA模型是一类将视觉感知、语言理解和动作生成统一在单一策略网络中的具身智能系统。它接收RGB图像帧和自然语言指令作为输入，通过预训练的视觉编码器（如SigLIP2、DINOv2）提取视觉特征，语言骨干网络处理文本指令，最终由策略头生成可执行的机器人动作序列。典型的VLA架构包括OpenVLA、π0.5和GR00T N1.5，它们代表了从感知到控制的端到端学习范式。
理解VLA的架构组成（视觉编码器、语言骨干、动作头）是理解本文量化策略选择性布局的基础，因为不同模块对量化的敏感性差异巨大。
Diffusion Transformer (DiT)
DiT是结合扩散模型和Transformer架构的生成模型。在VLA中作为动作头使用，它通过迭代去噪过程将随机噪声逐步转化为精确的动作序列。具体来说，DiT以视觉-语言特征$F_{VL}$、机器人本体感知和扩散时间步$t$为条件，按照$x_{t-1} = f_{\theta}(x_t, F_{VL}, t)$的公式更新动作潜变量，经过$T$步精炼后解码为离散动作token。Flow matching是其训练目标，将迭代精炼视为条件ODE。
DiT动作头是本文量化的主要难点和创新点所在。论文首次成功将PTQ应用于DiT动作头，揭示了其对上游量化的特殊敏感性机制。
训练后量化 (Post-Training Quantization, PTQ)
PTQ是一种无需重新训练即可降低模型精度的技术，通过将浮点权重和激活值映射到低位宽整数（如4-bit权重、8-bit激活的W4A8设置）来减少内存占用和计算开销。基本流程包括：使用小型未标注校准缓冲区统计激活分布，计算量化尺度$\Delta_X$和零点$z_X$，将浮点值四舍五入到最近的整数网格点。DuQuant等方法通过块正交旋转和通道置换来重新分布异常值，提高低位宽下的鲁棒性。
本文的核心贡献是首个适用于VLA模型的PTQ框架，理解PTQ的基本原理和现有方法（如SmoothQuant、DuQuant）的局限是理解本文创新的前提。
注意力温度 (Attention Temperature)
注意力温度通过$T_{eff} = \sqrt{d}/(s_q s_k)$控制softmax分布的锐度，其中$d$是头维度，$s_q$和$s_k$是查询和键的反量化尺度。温度越高，注意力分布越平滑（entropy越大）；温度越低，注意力越集中在少数token上。在量化设置下，$s_q s_k$的误差会改变有效温度，导致注意力分布偏离教师模型，进而影响下游的残差流能量和层归一化操作点。
论文发现量化导致的尺度漂移会改变有效注意力温度，这是DiT动作头脆弱性的根本原因之一。注意力温度匹配(ATM)是本文的核心校准机制。
尺度校准 (Scale Calibration)
尺度校准是QuantVLA的核心思想，指在量化后通过轻量级的标量校正来恢复关键统计量。具体包括：(1) 注意力温度匹配(ATM)，为每个注意力头学习一个标量$\alpha$来对齐教师和量化模型的logits标准差；(2) 输出头平衡(OHB)，为每层学习一个标量$\beta$来匹配输出投影后的RMS能量。这些标量从校准缓冲区估计一次后折叠到反量化尺度中，不引入新算子，不改变原始算子调度。
这是本文解决VLA量化敏感性的核心技术路线，理解尺度校准的动机和实现方式是掌握QuantVLA框架的关键。
研究动机
VLA模型在实际部署中面临严重的计算和内存瓶颈。性能分析研究显示，主要的计算开销并非来自视觉感知，而是来自下游的推理和控制模块，其中语言骨干网络和基于扩散的策略头占据了绝大部分计算资源。以π0.5为例，其LLM+DiT组件占用4.27GB内存。现有的VLA效率优化方法（如TinyVLA、EfficientVLA、VLA-Cache、MoLe-VLA）主要针对视觉编码器进行优化，通过层剪枝、token缓存、动态路由等机制加速推理，但都没有直接处理语言骨干和DiT动作头的效率问题。更重要的是，将现有的PTQ方法（如SmoothQuant、DuQuant）直接应用于VLA模型会导致严重性能下降：DuQuant在π0.5上的平均成功率从97.1%暴跌至76.3%，在GR00T N1.5上从86.5%降至70.0%。这种失败源于VLA管道中多模态推理与扩散动作生成的紧耦合特性，量化引起的尺度漂移会扭曲有效的注意力logits温度和残差流能量，使得稳定的低位宽控制远比单模态Transformer困难。
本文的目标是本文的目标是设计一个专门针对VLA模型的训练后量化框架，在不进行任何重新训练的前提下实现显著的内存节省，同时保持甚至超越全精度基线的任务成功率。具体而言，框架需要满足：(1) 采用W4A8的激进量化设置（4-bit权重、8-bit激活）；(2) 将LLM+DiT组件的内存占用降低约70%；(3) 在LIBERO基准的四个任务套件（Spatial、Object、Goal、Long）上维持高成功率；(4) 保持原始模型架构和算子调度不变，仅需小型未标注校准缓冲区。
与已有工作不同的是，本文的独特视角在于首次系统性地分析了VLA模型中DiT动作头的量化敏感性机制。论文通过一阶误差传播分析揭示了两个关键的失败模式：(1) 量化引起Q和K的方差变化改变了注意力logits的尺度，从而偏移了softmax的有效温度；(2) 多头拼接和输出投影后，注意力输出的振幅发生系统性变化，改变了残差注入增益和层归一化的操作点。这两个漂移通过残差连接和归一化在深层DiT堆栈中累积，导致性能退化。基于这一理论分析，论文提出了针对性的选择性量化布局和两个轻量级校准机制，填补了VLA模型量化领域的空白。
核心方法
QuantVLA的思路可以用"精准打击，轻量修复"来概括。想象VLA模型是一条流水线：语言骨干负责理解任务指令，DiT动作头负责生成精确的机器人动作。现有PTQ方法像是对整条流水线进行粗暴的精度削减，结果导致下游的动作生成严重失真。QuantVLA的策略是：只对相对"耐受"的部分进行激进量化（语言骨干的全部线性层和DiT的MLP层），而对最"脆弱"的部分保持浮点精度（DiT的注意力投影Q、K、V、O）。在此基础上，通过两个轻量级的尺度校正机制来修复上游量化引入的误差：注意力温度匹配(ATM)校正logits分布的锐度，输出头平衡(OHB)校正残差流的能量。整个过程无需重新训练，仅需128步校准即可完成。技术路线遵循：理论分析（识别失败模式）→ 选择性量化布局（避免最脆弱接口）→ 轻量校准（修复跨模块漂移）的三步策略。
QuantVLA最本质的创新是揭示并解决了VLA模型中语言骨干与DiT动作头之间的尺度耦合问题。与现有PTQ方法（如DuQuant、SmoothQuant）针对单模态或松耦合模型设计不同，QuantVLA认识到VLA管道的特殊性：语言骨干的量化误差会通过$F_{VL}$条件化传播到DiT动作头，而DiT必须输出精确的动作token来控制真实机器人，微小的舍入和尺度不匹配就会转化为控制错误。具体而言，论文发现反量化尺度$s_q s_k$控制着注意力的有效温度$T_{eff} = \sqrt{d}/(s_q s_k)$，而$s_v s_o$主要决定注入残差流的能量。当上游量化扰动这些尺度时，注意力分布会变得过锐或过平，残差流能量会发生漂移，两者在深层DiT堆栈中累积导致性能崩溃。基于这一洞察，QuantVLA设计了选择性量化布局（避开最敏感的注意力投影）和ATM/OHB校准（修复已发生的尺度漂移），这是首次有人从尺度耦合的角度理解并解决VLA量化问题。
方法步骤详情
QuantVLA的执行分为三个阶段。第一阶段是选择性量化布局，将DuQuant的重参数化（通道平滑、块正交旋转、Zigzag置换）应用于VLA模型的所有目标线性层：语言骨干的全部线性层和DiT的MLP层被整数化为W4A8，而DiT的注意力投影$W_q$、$W_k$、$W_v$、$W_o$保持浮点精度。这一布局通过避免在最脆弱的接口处复合误差来缓解跨模块漂移。第二阶段是注意力温度匹配(ATM)校准，从校准缓冲区收集教师模型和量化模型的logits标准差，计算每头的原始校正因子$\alpha_{raw} = Std(L_T) / (Std(L_Q) + 10^{-6})$，将其裁剪到安全范围$[\alpha_{min}, \alpha_{max}]$（论文中为±0.4），并应用中性带$\varepsilon=0.03$过滤噪声，最终将$\alpha$折叠到查询的反量化尺度中。第三阶段是输出头平衡(OHB)校准，测量每层教师和量化输出的RMS能量，计算$\beta_{raw}(l) = RMS(Z_{T,l}) / (RMS(Z_{Q,l}) + 10^{-6})$，同样裁剪和应用中性带后，将$\beta$应用于模块输出的残差路径。所有标量在校准阶段估计一次后折叠到反量化尺度中，推理时无额外开销。
技术新颖性
QuantVLA的技术新颖性体现在三个层面。首先，它是首个将PTQ成功应用于VLA模型的框架，填补了具身智能模型量化的研究空白，特别是首次量化了DiT动作头这一此前被认为"紧密耦合且难以修改"的组件。其次，论文首次对VLA模型的量化敏感性进行了系统性的一阶误差传播分析，揭示了注意力温度漂移和残差流能量漂移两个关键失败模式，这为理解多模态-扩散耦合系统的量化行为提供了理论基础。第三，ATM和OHB校准机制的设计极具巧思：它们是极轻量的逐头/逐层标量，从校准缓冲区估计一次后折叠到反量化尺度中，不引入新算子、不改变算子调度、不增加GEMM计算开销，却能有效修复跨模块的尺度漂移。与SmoothQuant的通道重缩放、DuQuant的块正交旋转、SVDQuant的低秩残差分支等方法相比，QuantVLA的校准机制专门针对VLA管道的语言-动作接口设计，具有更强的针对性和更低的计算开销。
实验结果
QuantVLA在LIBERO基准的两个代表性VLA模型上取得了突破性结果。在OpenPI π0.5模型上，QuantVLA以W4A8精度实现了97.6%的平均成功率，不仅与FP16基线（97.1%）持平，甚至在某些任务套件上有所超越（Long任务从93.5%提升至96.0%），同时将LLM+DiT组件的内存占用从4.27GB降至1.28GB，实现了70.0%的相对内存节省。在GR00T N1.5模型上，QuantVLA达到88.0%的平均成功率，超越FP16基线的86.5%，内存从2.02GB降至0.91GB，节省55.0%。相比之下，直接应用DuQuant会导致严重性能崩溃：π0.5上平均成功率降至76.3%（Long任务仅50.0%），GR00T N1.5上降至70.0%。选择性量化布局的消融实验（Table 1）验证了论文的理论分析：量化整个动作头或全栈会导致最大退化，特别是Long任务；而量化LLM+DiT MLP的组合最接近基线，同时保留了整数计算的内存收益。ATM和OHB的校准效果（Figure 3）显示，ATM将logits标准差对齐到教师模型，OHB将输出投影后的RMS能量对齐到教师模型，两者在深层尤其有效。鲁棒性分析表明，即使在更激进的W4A4设置下，QuantVLA仍保持95.3%的平均成功率；在不同去噪步数（8步和16步）下也表现稳定（88.0%和88.5%）。在Simpler基准的Pick-and-Can任务上，QuantVLA达到27/50的成功率，显著优于SmoothQuant的16/50。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO-Spatial (π0.5) | Success Rate | 98.5% | 98.5% (FP16) | 持平 |
| LIBERO-Object (π0.5) | Success Rate | 98.0% | 99.0% (FP16) | -1.0% |
| LIBERO-Goal (π0.5) | Success Rate | 98.0% | 97.5% (FP16) | +0.5% |
| LIBERO-Long (π0.5) | Success Rate | 96.0% | 93.5% (FP16) | +2.5% |
| LIBERO-Avg (π0.5) | Success Rate | 97.6% | 97.1% (FP16) | +0.5% |
| Memory (π0.5) | GB (LLM+DiT) | 1.28 GB | 4.27 GB (FP16) | 70.0% 节省 |
| LIBERO-Spatial (GR00T N1.5) | Success Rate | 96.0% | 92.0% (FP16) | +4.0% |
| LIBERO-Object (GR00T N1.5) | Success Rate | 92.0% | 92.0% (FP16) | 持平 |
| LIBERO-Goal (GR00T N1.5) | Success Rate | 90.0% | 86.0% (FP16) | +4.0% |
| LIBERO-Long (GR00T N1.5) | Success Rate | 74.0% | 76.0% (FP16) | -2.0% |
| LIBERO-Avg (GR00T N1.5) | Success Rate | 88.0% | 86.5% (FP16) | +1.5% |
| Memory (GR00T N1.5) | GB (LLM+DiT) | 0.91 GB | 2.02 GB (FP16) | 55.0% 节省 |
局限与改进
尽管QuantVLA取得了突破性成果，但仍存在若干局限性。首先，评估主要在LIBERO模拟器上进行，虽然涵盖了四个任务套件（Spatial、Object、Goal、Long），但模拟环境与真实机器人部署之间存在sim-to-real gap，论文未在物理机器人上验证量化后的控制精度和安全性。其次，选择性量化布局意味着DiT的注意力投影（Q、K、V、O）保持浮点精度，这限制了进一步的内存压缩潜力，如果能安全地量化这些组件，内存节省可能更大。第三，ATM和OHB的校准需要小型未标注缓冲区（128步，最多5次尝试），虽然开销很小，但在某些边缘部署场景下可能难以获取。第四，论文主要评估了W4A8设置，在更激进的W4A4下虽保持95.3%成功率，但与FP16基线仍有差距，表明极端低位宽下仍有改进空间。第五，论文承认在GR00T N1.5的Long任务上（74.0% vs 76.0%）存在轻微性能下降，这可能与长时序控制中误差累积的敏感性有关。此外，论文未探讨量化对模型泛化能力的影响，特别是面对训练分布外的物体或场景时的表现。
独立分析的弱点
基于对论文的深入分析，我识别出以下几个值得关注的弱点。首先，选择性量化布局虽然有效，但保留注意力投影为浮点精度是一种"保守策略"，在更严格的内存预算下可能成为瓶颈。改进方向可以探索自适应的精度分配策略，根据每层的实际敏感性动态决定是否量化注意力投影，而不是统一保留浮点。其次，ATM和OHB的校准标量是逐头/逐层的，但未考虑不同任务或不同动作类型（移动、旋转、抓取）可能需要不同的校准因子。可以探索条件化的校准机制，根据当前任务上下文或动作类型动态调整标量。第三，论文的理论分析假设一阶近似，忽略了高阶交互项，这在深层堆栈中可能累积显著误差。可以考虑引入二阶校正或迭代精炼机制。第四，校准缓冲区的128步和5次尝试是固定的超参数，未讨论其对校准质量和推理速度的影响，缺乏敏感性分析。改进方向可以引入自适应的校准步数选择和早停机制。
未来方向
QuantVLA为VLA模型的高效部署开辟了多个值得探索的研究方向。首先，可以将QuantVLA与其他VLA效率方法组合使用，如与TinyVLA的紧凑架构设计、EfficientVLA的层剪枝、VLA-Cache的KV缓存复用等方法结合，探索协同优化的潜力。其次，可以将QuantVLA扩展到更低位宽（如W2A4、W4A4）或混合精度设置，通过学习最优的精度分配策略进一步压缩模型。第三，可以将QuantVLA的尺度校准思想推广到其他多模态-扩散耦合系统，如文本到图像生成、视频预测等领域的DiT模型。第四，可以探索量化感知微调（QAT）与PTQ的结合，在少量微调后进一步提升低位宽性能。第五，可以研究量化对VLA模型安全性和鲁棒性的影响，特别是在长时序控制和动态环境中的行为稳定性。此外，将QuantVLA部署到真实的机器人硬件上，评估在边缘设备（如NVIDIA Jetson）上的实际推理速度和功耗节省，也是重要的未来工作方向。
复现评估
从复现性角度来看，QuantVLA具有较好的可复现性。论文使用了公开可用的VLA模型（OpenPI π0.5和GR00T N1.5）和标准基准（LIBERO），评估协议遵循标准的LIBERO成功率报告格式。量化框架基于DuQuant的开源实现，ATM和OHB的实现相对简单（逐头/逐层标量校正）。论文提供了详细的超参数设置（权重位宽4、激活位宽8、块大小64、激活百分位99.9、校准批次32、校准步数128、标量裁剪范围±0.4、中性带0.03），这些细节有助于复现实验。然而，复现面临的主要挑战包括：(1) 需要NVIDIA A100 GPU进行实验，硬件门槛较高；(2) 需要获取和加载两个VLA基座模型，涉及较大的模型下载和配置工作；(3) LIBERO模拟器的环境配置和任务设置需要额外的依赖安装。总体而言，有经验的研究团队在具备A100资源的情况下，预计可以在1-2周内完成核心结果的复现。
论文图表
该图对比了五种VLA效率框架在语言、动作和视觉组件上的优化策略：(1) TinyVLA使用紧凑Transformer和轻量扩散策略头；(2) EfficientVLA通过层剪枝和特征复用加速推理；(3) VLA-Cache通过KV复用和静态视觉token缓存提高吞吐；(4) MoLe-VLA采用层混合路由动态跳过计算；(5) QuantVLA引入无训练PTQ框架，低比特量化语言和动作模块而不改变架构。表格显示了各方法在注意力、MLP、动作注意力、动作MLP和视觉组件上的处理方式。
这张图对理解论文的定位至关重要，清晰展示了QuantVLA与现有VLA效率方法的本质区别：其他方法主要通过架构修改或缓存机制优化，而QuantVLA是首个直接操作数值精度的PTQ框架。