E-PMQ：基于专家引导与合并权重锚定的合并后量化框架 E-PMQ: Expert-Guided Post-Merge Quantization with Merged-Weight Anchoring

完整流程分四步。第一步是校准集准备：对 $K$ 个专家分别采 $n$ 个样本（CLIP 默认 256/任务，FLAN-T5 同样），在当前部分量化模型上前向收集每层激活 $X_i^\ell$。第二步是逐层量化（forward order）：对第 $\ell$ 层，先计算 $H_\ell^i = X_i^\ell (X_i^\ell)^\top$ 与 $H_\ell^q = \sum_i H_\ell^i$，再用式 (13) 的自适应锚定强度 $\lambda_\ell = \alpha \sum_i \mathrm{Tr}(X_i^\ell (X_i^\ell)^\top) / d_\ell$ 算出当层锚定权重。然后构造 GPTQ 等价的有效曲率 $H_\ell^{E-PMQ} = H_\ell^q + \lambda_\ell I$ 和右端项 $R_\ell^{E-PMQ} = \sum_i W_i^\ell H_\ell^i + \lambda_\ell W_m^\ell$，分别对应\u201c专家引导的输出目标\u201d和\u201c锚定的合并权重\u201d。第三步是 sequential rounding：用 GPTQ 的逐列贪心算法在 $Q_b$ 空间内逐列量化，量化过程中利用 $H_\ell^{E-PMQ}$ 把误差投到剩余列上，相当于求解带约束的二次规划。$\alpha$ 在 Task Arithmetic 下取 0.1、TIES 下取 0.01，作者通过 ablation 验证这个区间是稳定的（Figure 2c）。第四步是部署：量化完成后，模型与 GPTQ 输出完全等价的 4-bit 形式，无需保留任何专家或额外模块。论文附录 B 给出完整算法伪代码，附录 C 给出连续松弛 $\tilde Q^\ell = (\sum_i W_i^\ell H_\ell^i + \lambda_\ell W_m^\ell)(H_\ell^q + \lambda_\ell I)^{-1}$ 与闭式解。

技术新颖性主要体现在四个层面。第一，问题形式化层面，把 PMQ 作为独立的低比特部署设定提出，并把\u201c合并偏差 + 量化偏差\u201d的累积机制写成了论文式 (9) 的分解，这在 PTQ 文献中是从未有过的诊断方式。第二，目标函数层面，把 GPTQ 经典的 $\|Q X - W X\|_F^2$ 改写成 $\sum_i \|Q X_i - W_i X_i\|_F^2 + \lambda \|Q - W_m\|_F^2$，并证明其 GPTQ 等价形式可分解为 $H^q + \lambda I$ 和 $\sum W_i H^i + \lambda W_m$，揭示了\u201c专家引导\u201d与\u201c锚定\u201d在 GPTQ 求解器中各自扮演的角色。第三，activation-adaptive 锚定 $\lambda_\ell = \alpha \sum_i \mathrm{Tr}(X_i^\ell (X_i^\ell)^\top)/d_\ell$ 让不同激活尺度的层共享同一超参 $\alpha$，避免了逐层手动调参。第四，消融中验证无锚定 (α=0) 时模型几乎完全崩溃（TA: 5.37，TIES: 4.57），反向证明了\u201c专家引导 + 锚定\u201d必须成对出现，这是把该方法从\u201c经验技巧\u201d提升为\u201c系统设计\u201d的关键证据。

独立分析论文的弱点可以归纳为四点。第一，超参 α 仍需按合并方法手动调（TA=0.1, TIES=0.01），且对量化位宽与任务数不敏感性的研究不够充分，作者仅给出一条 sensitivity 曲线（Figure 2c），未在 3-bit 或 20-task 下重新校准 α。第二，校准成本随 $K$ 线性放大，20-task 下需要 $256 \times 20 = 5120$ 张校准图，比 GPTQ 的 256 张多 20 倍；尽管论文强调\u201c部署零开销\u201d，但量化阶段的存储与时间成本对中小团队仍是门槛。第三，目标函数中的 $\sum_i W_i^\ell H_\ell^i$ 对所有专家等权，但在多任务合并中不同专家的可靠度不同（如 WUDI-Merging 的实验中 FP 已达 84.5，留给 E-PMQ 的提升空间只剩 2.1 点），等权处理可能稀释引导信号。第四，论文对源专家的隐私/许可约束讨论不足，这在实际部署尤其是跨组织合并场景中是无法回避的问题。改进方向：可学习权重 $\pi_i^\ell$ 替代等权（$\sum_i \pi_i^\ell W_i^\ell H_\ell^i$），自动决定每个专家对当层的贡献；引入基于 Fisher 信息或合并不确定性的专家权重估计，让 $\alpha$ 也成为可学习量。

未来研究可从以下方向展开。第一，作者在 limitation 中暗示 PMQ 难度随任务数放大，可推广到 50+ 任务甚至 100+ 任务的极端合并场景，并探索分层/分组专家引导以降低 $K$ 的线性开销。第二，把 E-PMQ 与更激进的 PTQ（如 AWQ 的 activation-aware scaling、OmniQuant 的可学习等价变换）结合，可能进一步压低 3-bit 与 2-bit 下的退化幅度。第三，把\u201c专家引导\u201d的概念推广到非合并场景，例如把原始全精度模型视为\u201c自身专家\u201d，看 E-PMQ 框架能否在 vanilla PTQ 上也带来收益（论文已暗示 anchor ablation 的成功部分源于自洽性约束）。第四，与差分隐私或安全多方计算结合，使源专家权重在量化阶段不可被反推，从而打通跨组织合并的合规壁垒。第五，作者提出的 GPTQ 等价改造 $H_\ell^q + \lambda_\ell I$、$R_\ell^{E-PMQ} = \sum_i W_i^\ell H_\ell^i + \lambda_\ell W_m^\ell$ 是数学上可扩展的\u2014\u2014未来可以探索把 MoE 路由权重、教师模型知识等更广义\u201c专家\u201d纳入 $R^\ell$，使 E-PMQ 框架从合并后量化扩展到知识蒸馏式量化。

论文给出了较为完整的复现条件：作者承诺开源代码（github.com/wwjzhy/E-PMQ），主实验基于公开数据集 FusionBench（含 CLIP-ViT-B/32/L/14 的 8/14/20 任务套件、FLAN-T5-base GLUE 八任务）与 Llama-3.1-3B/8B 的 GSM8K/MATH500/ARC-C/IFEval/HumanEval/MBPP+ 评测，所有位宽（3/4/6/8-bit）的实验都已报告。超参方面，α 在 TA 下取 0.1、TIES 下取 0.01，论文给出了 sensitivity 曲线（Figure 2c）表明在 0.01~1 区间内性能稳定，调参难度较低；校准样本数 256/任务（64 是 budget study 的特例），组大小 (group size) 与 batch size 等实现细节在附录 G 给出。算力方面，量化阶段 E-PMQ 比 GPTQ 慢 1.8~3.0 倍（Table 6），但单卡可完成 8-task CLIP-B/32 量化的全流程（Table 6 中 GPTQ 71.0s、E-PMQ 172.2s）；Llama-3.1-8B 4-bit 量化的算力未明确给出但与 GPTQ 同量级。整体复现难度中等：核心是 GPTQ 的 sequential rounding 实现改造，加上 $K$ 组专家激活收集，工程量集中在论文附录 B 的算法伪代码落地。