世界模型量化的实证研究 An Empirical Study of World Model Quantization
系统评估 PTQ 对视觉规划世界模型的影响，揭示五条关键量化洞察
前置知识
世界模型（World Model）
世界模型是一类学习环境内部动态表示的神经网络，使智能体能够在紧凑的潜空间中模拟和推理未来状态。以本文研究的 DINO-WM 为例，它由三个核心组件构成：视觉编码器（基于 DINO 预训练特征提取器）将观测图像映射到潜空间表示 $z_t$；预测器（Transformer 架构）根据当前状态 $z_t$ 和候选动作 $a_t$ 推演未来状态 $z_{t+1}$；解码器将潜空间表示重建为可视化观测。规划过程通过迭代展开多条候选动作序列，选择使预测状态与目标观测差异最小的轨迹，这是一种无需任务特定奖励函数的零样本规划范式。
本文的核心研究对象就是量化对世界模型规划性能的影响。理解世界模型的编码器-预测器-解码器架构及其迭代推演机制，是理解量化误差如何在规划时域上累积并导致任务失败的前提。
后训练量化（Post-Training Quantization, PTQ）
PTQ 是一种无需重新训练即可将预训练模型的权重和激活从高精度浮点数（如 FP32）转换为低比特整数表示的模型压缩技术。量化过程可形式化为 $Q(\mathbf{x}) = \text{clip}\left(\lfloor \frac{\mathbf{x}}{s} \rceil + z, 0, 2^b - 1\right)$，其中 $s$ 是缩放因子，$z$ 是零点，$b$ 是量化比特数。PTQ 通过少量校准数据（本文使用随机种子采样的 2 步规划轨迹）确定量化参数，避免了量化感知训练的高昂成本。常见的 PTQ 方法包括 RTN（直接舍入）、OMSE（最小化均方误差）、AWQ（激活感知权重量化）、SmoothQuant（平滑激活异常值）和 OmniQuant（联合优化量化参数）。
PTQ 是本文的核心技术手段。论文系统评估了多种 PTQ 方法在世界模型上的表现，理解 PTQ 的基本原理是解读实验结果中不同方法性能差异的基础。
量化粒度（Quantization Granularity）
量化粒度决定了缩放因子 $s$ 的计算范围，直接影响量化精度。对于权重量化，粒度分为 per-tensor（整个张量共享一个缩放因子）、per-channel（每个输出通道一个缩放因子）和 per-group（每 $g$ 个连续权重共享缩放因子，本文使用 $g=128$）。更细的粒度能更好地适应权重的局部分布特征。对于激活量化，粒度分为 per-tensor（整层激活共享缩放因子）和 per-token（每个 token 位置独立计算缩放因子）。per-token 量化能更好地处理激活的逐位置分布差异，但增加了计算和存储开销。
量化粒度是本文的核心研究变量之一。论文发现 per-group 权重量化在 4 比特下能显著提升规划稳定性，而 per-token 激活量化并未带来一致的收益，这一反直觉的发现需要理解粒度的概念才能解读。
规划时域与推演展开（Planning Horizon and Rollout）
在世界模型规划中，规划时域 $T$ 指智能体向前推演的步数。每一步推演中，模型根据当前潜状态 $z_t$ 和候选动作 $a_t$ 计算下一状态 $z_{t+1} = \text{Predictor}(z_t, a_t)$，并评估预测状态与目标观测的距离。规划时域越长，智能体需要进行越多的前向推理，累积误差也越大。本文评估了从 0 到 50 步的规划时域，覆盖短时域和长时域规划行为。推演展开过程中的误差累积是世界模型量化面临的核心挑战——不同于单次推理任务，量化引入的小扰动会在迭代推演中逐步放大。
理解规划时域和推演展开机制是解读本文实验结果的关键。论文的核心发现之一就是量化误差在长时域规划中会累积，导致不同比特宽、不同量化方法在短时域和长时域下表现差异巨大。
研究动机
世界模型驱动的视觉规划范式在机器人控制和大规模仿真等任务中展现出强大性能，但其计算效率面临严峻挑战。以 DINO-WM 为例，每次规划步骤需要对候选轨迹进行多次前向推理来评估，计算成本和内存占用随规划时域线性增长。在机器人实时部署场景中，一个需要 50 步推演的规划任务意味着模型被调用数十次，每步涉及编码器和预测器的完整前向传播。虽然 FP16 等降低精度的推理已被广泛采用以缓解计算和内存开销，但对于长时域规划（每轮推理执行数十次）来说仍然不足。更根本的问题在于，PTQ 的行为已在判别式视觉任务和自回归语言建模中被广泛研究，但在世界模型的迭代规划场景中几乎未被探索。不同于单次推理任务，世界模型规划涉及误差的时间累积——量化引入的小数值扰动可能在规划迭代中逐步放大，严重影响长时域性能。
本文的目标是本文的核心目标是系统性地揭示 PTQ 在世界模型规划场景中的量化效应，超越标准精度与比特宽之间的简单权衡。具体而言，作者希望回答三个关键问题：(1) 激进的低比特量化如何影响世界模型在长时域规划中的性能和稳定性；(2) 不同 PTQ 策略和量化粒度（如 per-channel vs. per-group 权重、per-tensor vs. per-token 激活）如何影响推演动态和规划鲁棒性；(3) 世界模型的编码器和预测器模块对量化噪声的敏感性差异，哪个模块构成低比特部署的主要瓶颈。通过回答这些问题，论文旨在为在严格计算约束下部署量化世界模型提供实用指导。
与已有工作不同的是，本文的独特切入角度在于：之前关于量化的研究主要关注判别式任务（如图像分类）或自回归任务（如语言建模），这些任务具有单次推理的特性，量化误差不会在推理过程中累积。而世界模型规划涉及迭代潜空间推演，量化引入的误差会在每个规划步骤中累积——这是一个全新的、尚未被系统研究的挑战。此外，世界模型的编码器和预测器模块在功能上截然不同（前者负责表示提取，后者负责动态预测），但之前的量化研究并未针对这种不对称性进行深入分析。本文首次以 DINO-WM 为代表性案例，系统评估了多种 PTQ 方法在不同比特宽、量化粒度和规划时域下的表现，揭示了世界模型特有的量化失效模式——包括表示级坍塌和规划级几何失配两种截然不同的失败机制。
核心方法
本文的研究方法是系统性的实证评估，而非提出新的量化算法。整体思路是：选择 DINO-WM 作为代表性的世界模型架构，在两个标准视觉规划环境（Wall 和 PushT）上，全面评估多种 PTQ 方法在不同量化配置下的规划性能。研究设计遵循控制变量原则——固定预训练模型和评估协议，仅改变量化方法、比特宽和量化粒度，以隔离各因素的影响。实验覆盖了权重仅量化（3/4/8 比特）和权重-激活联合量化（W8A8/W6A6/W4A8/W4A4）两种设置，并通过分离编码器和预测器的量化来分析模块敏感性的不对称性。定量评估使用任务成功率（Success Rate）作为主要指标，同时通过 MSE 距离分析规划损失的变化趋势，辅以开环推演的定性可视化来直观展示量化对预测质量的影响。
本文的核心创新不在于提出新算法，而在于揭示了世界模型量化中被忽视的五个关键洞察。与已有量化研究的本质区别在于：第一，世界模型的量化效应远超标准的精度-比特宽权衡——量化不仅影响单步预测精度，更破坏了规划目标与任务成功之间的对齐关系，导致增加规划迭代反而无法改善甚至恶化性能。第二，编码器和预测器模块的量化敏感性存在显著不对称性：编码器量化导致表示级失真，误差不可逆地传播到所有后续推演步骤；而预测器量化主要影响时间一致性，其影响可通过增加规划时域部分补偿。第三，任务之间存在不同的失效模式——PushT 表现出规划级几何失配（重建观测仍然视觉合理但规划失败），而 Wall 表现出表示级坍塌（重建观测严重退化）。
方法步骤详情
研究方法分为五个步骤。第一步，基线模型准备：使用公开发布的 DINO-WM 预训练检查点，不区分不同模型规模，确保所有量化方法应用于同一预训练模型以保证公平比较。第二步，量化参数校准：收集与评估数据严格分离的校准轨迹（使用不同随机种子与环境交互，固定规划时域为 2 步），利用校准过程中的观测和中间激活来估计权重和激活的量化参数（缩放因子 $s$ 和零点 $z$）。第三步，多维度量化评估：在 3/4/8 比特宽下评估 RTN、OMSE、AWQ、OmniQuant 等权重仅量化方法，在 W8A8/W6A6/W4A8/W4A4 配置下评估包含 SmoothQuant 在内的权重-激活联合量化方法，分别使用 per-channel 和 per-group（$g=128$）权重粒度以及 per-tensor 和 per-token 激活粒度。第四步，模块分离实验：将编码器和预测器分别量化到不同比特宽（如编码器 4 比特、预测器 8 比特），分析各模块对量化的独立敏感性。第五步，多维度分析：在 0 到 50 步的规划时域上报告成功率，通过 MSE 距离分析规划损失变化趋势，使用开环推演可视化定性展示量化对预测质量的影响。
技术新颖性
本文的技术新颖性体现在三个层面。首先，这是首个系统性研究世界模型量化的实证工作——之前的研究要么关注判别式任务的量化，要么关注世界模型的架构设计，但没有人系统研究量化对迭代潜空间推演的影响。其次，本文揭示了世界模型特有的量化失效机制：量化不仅降低预测精度，还破坏了规划目标的结构，使得优化式规划变得无效。这一发现挑战了“更多规划迭代总能补偿量化误差”的直觉。第三，编码器-预测器不对称敏感性的发现具有重要的实践指导意义——它建议在部署量化世界模型时应优先保护编码器精度，而非均匀量化所有模块。此外，PushT 和 Wall 两种环境展现出截然不同的失效模式（规划级失配 vs. 表示级坍塌），这一发现揭示了量化效应的任务依赖性，为不同场景下的量化策略选择提供了依据。
实验结果
实验结果揭示了五条核心洞察。在权重仅量化方面，8 比特量化下所有方法在 Wall 和 PushT 上均表现接近 FP32 基线（Wall 上 RTN 8-bit 达到 0.96 成功率@50 步，FP32 为 0.94），表明中等量化引入的失真可忽略。但 4 比特下性能显著下降：Wall 上 RTN 4-bit per-channel 仅达到 0.42@50 步，而 OmniQuant 4-bit per-group（$g=128$）恢复到 0.94@50 步，接近 FP32。然而 3 比特下性能完全崩溃，所有方法成功率接近零，分组策略不再有效。在权重-激活联合量化方面，W8A8 配置下性能接近 FP32（Wall 上 OMSE W8A8 达到 0.98@50 步），W6A6 下开始下降但部分方法仍可接受（OmniQuant W6A6 达到 0.94@50 步），W4A8 和 W4A4 下性能严重退化。关键发现是 per-token 激活量化并未一致优于 per-tensor：在 Wall 上 W8A8 配置下，per-token OMSE 达到 0.96@50 步而 per-tensor OMSE 为 0.96@50 步，差异不显著；在低比特下 per-token 甚至可能引入额外不稳定性。模块分离实验显示编码器量化的敏感性远高于预测器：Wall 上 RTN 编码器 4 比特+预测器 8 比特仅达到 0.64@50 步，而编码器 8 比特+预测器 4 比特（含 4 比特激活）达到 0.60@50 步，差距显著。MSE 距离分析显示在激进量化设置下，规划损失随迭代次数增加反而上升，表明量化破坏了规划目标与任务成功之间的对齐关系。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Wall 环境权重仅量化（4-bit per-group） | 成功率@50步 | OmniQuant 4-bit $g=128$: 0.94 | FP32: 0.94, RTN 4-bit per-channel: 0.42 | OmniQuant 4-bit per-group 比 RTN 4-bit per-channel 提升 0.52（从 0.42 到 0.94），恢复到 FP32 水平 |
| Wall 环境权重-激活联合量化 | 成功率@50步 | OmniQuant W6A6: 0.94, SmoothQuant W4A8: 0.84 | FP32: 0.94, RTN W4A4: 0.08 | W6A6 配置下 OmniQuant 保持接近 FP32 性能；W4A8 配置下 SmoothQuant 比 RTN 提升 0.76 |
| PushT 环境权重仅量化 | 成功率@30步 | RTN 8-bit per-channel: 0.90 | FP32: 0.94, RTN 4-bit per-channel: 0.10 | 8-bit 量化保持接近 FP32 性能；4-bit per-group 下 AWQ 达到 0.50（比 per-channel 的 0.10 提升 0.40） |
| 编码器 vs 预测器量化敏感性（Wall） | 成功率@50步 | 编码器 8-bit+预测器 4-bit: 0.60（RTN） | 编码器 4-bit+预测器 8-bit: 0.64（RTN） | 编码器量化导致更严重退化，但 SmoothQuant 编码器 8-bit+预测器 4-bit 达到 0.74，比 RTN 的 0.60 提升 0.14 |
局限与改进
本文存在若干局限性。首先，研究仅基于 DINO-WM 这一个世界模型架构，虽然作者声称方法可迁移到其他架构，但未提供实验验证——不同的世界模型（如 Dreamer、PlaNet 等）可能对量化有不同的敏感性模式。其次，评估仅在 Wall 和 PushT 两个环境上进行，这两个环境的视觉复杂度相对较低（主要是简单几何体），在高保真视觉环境（如真实机器人操作或复杂 3D 场景）中量化效应可能更加严重。第三，校准策略固定使用 2 步规划时域的短轨迹，这可能无法充分覆盖长时域规划中出现的激活分布——更复杂的校准策略可能改善低比特性能。第四，论文未探索量化感知训练（QAT）或混合精度策略——这些方法可能突破 PTQ 在 3-4 比特下的性能瓶颈。此外，论文主要关注任务成功率，未深入分析量化对计算延迟和内存占用的实际改善程度——在实际部署中，量化带来的效率收益与性能损失之间的权衡需要更全面的评估。
独立分析的弱点
本文的一个显著弱点是评估环境的多样性不足——Wall 和 PushT 都是相对简单的 2D 控制任务，其视觉观测主要是简单几何形状，难以代表真实机器人操作或自动驾驶等高保真视觉场景。在这些复杂场景中，编码器需要处理更丰富的视觉特征，量化效应可能更加剧烈。另一个弱点是缺乏与量化感知训练（QAT）的对比——PTQ 的性能瓶颈在 3-4 比特下已经显现，但 QAT 可能通过在训练阶段模拟量化噪声来突破这一限制。此外，论文未探索混合精度量化策略——根据编码器-预测器不对称敏感性的发现，一个自然的改进方向是为不同模块分配不同的量化精度（如编码器用 6-8 比特，预测器用 4 比特），但论文仅进行了分离实验而未提出自适应混合精度方案。最后，论文未分析量化后的实际推理加速和内存节省——这些是实际部署中最关心的指标。
未来方向
基于本文的发现，有多个有前景的研究方向。第一，混合精度量化策略：根据编码器-预测器不对称敏感性，可以设计自适应的模块级精度分配方案，优先保护编码器精度而对预测器使用更激进的量化。第二，量化感知训练（QAT）：将本文发现的量化失效模式反馈到训练过程中，使模型在训练阶段就学会对量化噪声鲁棒的表示。第三，任务感知量化：根据 PushT 和 Wall 展示的不同失效模式（规划级失配 vs. 表示级坍塌），可以针对不同任务特性设计定制化的量化策略。第四，扩展到更多世界模型架构：将本文的实证方法应用于 Dreamer、IRIS、GameNGen 等不同的世界模型，验证本文发现的普适性。第五，结合剪枝和知识蒸馏等其他压缩技术，探索与量化协同的多维度模型压缩方案。作者也指出，希望本文能激励未来研究开发显式考虑长时域规划动态的量化策略。
复现评估
本文的可复现性较好。作者承诺代码将开源在 GitHub（huawei-noah/noah-research/tree/master/QuantWM），DINO-WM 使用公开发布的预训练检查点。评估环境 Wall 和 PushT 来自标准的 embodied control benchmarks，评估协议遵循 DINO-WM 原始论文。实验所需的计算资源主要是量化过程中的校准（使用 2 步规划轨迹）和评估（最多 50 步规划），计算成本相对可控。不过，论文未详细说明校准数据的具体规模和采集方式，也未提供量化的具体超参数设置（如 SmoothQuant 的 $\alpha$ 参数选择），这些细节可能影响复现结果的精确匹配。此外，论文涉及的量化方法（RTN、OMSE、AWQ、SmoothQuant、OmniQuant）都有公开实现，但需要确认使用的具体版本和实现细节。
论文图表