不确定性驱动量化大语言模型中的社会偏见变化 Uncertainty Drives Social Bias Changes in Quantized Large Language Models
量化后LLM偏见变化由不确定性驱动，聚合指标掩盖21%响应翻转
前置知识
训练后量化(Post-Training Quantization, PTQ)
训练后量化是一种在模型训练完成后压缩参数精度的技术。它将模型权重从原始的16位浮点数(FP16)近似为更低比特的表示，如8位整数(W8A16)或4位整数(W4A16)。PTQ逐模块操作，在不重新训练模型的情况下降低计算成本和内存占用。常见方法包括Round-to-Nearest(RTN，直接四舍五入)、GPTQ(基于二阶信息的逐层量化)、AWQ(基于激活感知的权重量化)和SmoothQuant(激活平滑量化)。量化强度越大(如4比特对比8比特)，计算效率越高，但信息损失也越大，可能引发下游行为改变。
本文的核心研究对象就是PTQ对社会偏见的影响。理解不同量化方法(RTN、GPTQ、AWQ、SmoothQuant)和不同量化强度(4-bit vs 8-bit)的区别，是理解实验设计和结果分析的基础。
归一化香农熵(Normalized Shannon Entropy)
香农熵是衡量概率分布不确定性的经典指标。对于有 $K$ 个选项的分类任务，设模型对各选项的几何平均概率为 $p_1, p_2, \ldots, p_K$，则熵为 $H = -\sum_{k=1}^{K} p_k \log p_k$。归一化后 $H_{norm} = H / \log K$，取值范围为 $[0, 1]$：$H_{norm} = 0$ 表示模型对某选项完全确定，$H_{norm} = 1$ 表示最大不确定性。本文用归一化香农熵来量化模型对每个问题的自信程度，并以此分析不确定性与响应翻转的关系。
本文最关键的发现是：高不确定性(熵 > 0.66)的响应在量化后翻转的概率是低不确定性(熵 < 0.33)响应的3-11倍。理解熵的计算方式和含义是把握全文核心论点的前提。
配对评估(Paired Evaluation)
配对评估是本文提出的核心评估范式。传统评估分别在量化前后的模型上运行基准测试，然后比较聚合指标。配对评估则确保同一问题在量化前后的响应严格配对，使得可以直接在响应级别观察量化引起的个体变化。这允许使用置换检验(permutation test)来判断变化是否具有统计显著性，而非仅依赖聚合分数的表面差异。在零假设下，量化前后的配对响应是可交换的，通过随机交换模拟零分布来计算p值。
配对评估是本文方法论的核心创新。正是通过这种配对设计，作者发现了聚合指标稳定但响应大面积翻转的'遮蔽偏见翻转'现象，这是传统评估范式无法检测到的。
几何平均token概率(Geometric Mean Token Probability)
对于闭合式问题的 $K$ 个选项，每个选项 $C_k$ 由 $l_k$ 个token组成，几何平均概率定义为 $$\text{GeoMean}(C_k|Q) = \left(\prod_{i=1}^{l_k} P_{\text{LLM}}(t_{k,i}|Q, t_{k,1}, \ldots, t_{k,i-1})\right)^{1/l_k}$$ 这等价于选择困惑度(perplexity)最低的选项。相比直接使用第一个token的概率，几何平均概率考虑了整个响应序列的条件概率，能更全面地反映模型对各选项的偏好和不确定性。该方法被广泛用于lm-eval框架和偏好优化算法中。
本文采用几何平均token概率作为闭合式数据集的响应选择方法，而非简单的next-token概率。这一选择直接影响了不确定性度量和响应翻转的判定，是实验设计的关键技术细节。
置换检验(Permutation Test)
置换检验是一种非参数统计检验方法，不依赖于数据分布的假设。在本文中，零假设是量化前后的响应是可交换的(即量化没有系统性影响)。检验过程为：随机交换配对响应的标签，计算交换后的统计量(如偏见指标差值)，重复1000次模拟零分布，双侧p值为观测值在零分布中的极端比例。效应量使用Cohen's $d$ 度量，多重比较校正采用Benjamini-Hochberg FDR($\alpha = 0.05$)。
置换检验使本文能够区分量化引起的真实偏见变化与随机波动。正是通过这一严格统计框架，作者发现只有17.8%的量化变化在统计上显著，校正后降至11.4%，但21%的响应在个体层面发生了翻转。
偏好优化(Preference Optimization)
偏好优化(如SimPO)是一类让语言模型学习偏好排序的微调方法。给定偏好对(接受的响应 $y_w$ 和拒绝的响应 $y_l$)，通过最大化以下目标来调整模型： $$\mathcal{L}_{\text{SimPO}} = -\log \sigma\left(\frac{\beta}{|y_w|}\log p(y_w|x) - \frac{\beta}{|y_l|}\log p(y_l|x) - \gamma\right)$$ 其中 $\beta$ 是温度参数，$\gamma$ 是目标奖励差额。本文创造性地将偏好优化用于调控模型的预量化不确定性：通过选择不确定响应为偏好、刻板回答为拒绝，可以降低不确定性；通过最大化熵目标(EntropyMax)则可以增加不确定性。
偏好优化实验是本文建立'不确定性→响应翻转'因果关系的关键证据。通过干预模型的不确定性水平，作者展示了剂量-反应关系：不确定性越高，量化后翻转率越高。
研究动机
训练后量化(PTQ)是使大语言模型在资源受限环境中实用化的关键技术，但对其社会偏见影响的了解极为有限。现有研究存在三个严重问题。首先，不同研究使用不同的模型(仅限LLaMA 7B/13B)、数据集和评估方法，导致结论相互矛盾：Gonçalves和Strubell(2023)观察到偏见减少，Ramesh等人(2023)在CrowS-Pairs和StereoSet上发现混合结果，Kirsten等人(2024)在DiscrimEval和DT-Stereotyping上发现偏见增加但在Adult和RealToxicityPrompts上无效果，Hong等人(2024)在BBQ上发现年龄偏见增加。其次，响应提取方法不统一——有的使用下一个token概率选择，有的解析生成文本，解析失败时的处理(丢弃、视为拒绝或失败)各不相同，可能引入问题不对称性。第三，现有评估全部依赖聚合指标，无法检测个体响应级别的变化模式。这些方法论缺陷使得从业者在高风险领域(医疗、法律)部署量化模型时缺乏可操作的指导。
本文的目标是本文的具体目标有三个层面。第一，构建PostTrainingBiasBench——一个统一的评估框架，标准化配对响应提取和偏见指标比较，覆盖13个数据集(9个闭合式和4个开放式)。第二，利用该框架在10个指令微调模型和50个量化变体(共60个模型)上开展最大规模的系统研究，评估5.1百万个响应。第三，建立模型不确定性与量化引起的偏见变化之间的因果关系，通过偏好优化实验干预不确定性水平，揭示'量化诱导的遮蔽偏见翻转'现象。
与已有工作不同的是，本文的独特切入角度在于从不确定性(uncertainty)的视角重新审视量化对偏见的影响。传统研究关注聚合偏见分数是否变化，而本文发现真正的风险隐藏在聚合指标之下。具体来说，作者识别出一种新现象——'量化诱导的遮蔽偏见翻转'(quantization-induced masked bias flipping)：高达21%的响应在量化后在偏见和无偏见状态之间翻转，但聚合指标却不显示任何变化。这一现象由模型不确定性驱动：高不确定性(熵 > 0.66)的响应翻转概率是低不确定性(熵 < 0.33)响应的3-11倍。这一视角的转变解释了为何先前研究结论矛盾——当聚合指标掩盖了方向相反的群体级变化时，不同数据集和模型的表面结果自然不一致。
核心方法
PostTrainingBiasBench的整体思路可以从直觉和技术路线两个层面理解。直觉层面：如果量化真的改变了模型的偏见行为，那么量化前后对同一问题的响应应该有可观测的差异。但这种差异可能被聚合指标平均掉——某些群体偏见增加，另一些减少，加总后看似不变。因此，关键不是看聚合分数，而是逐个问题配对比较。技术路线：首先构建一个标准化的评估框架，统一响应提取方式(闭合式用几何平均token概率，开放式用贪心解码)，确保量化前后响应始终配对。然后在10个模型(从0.5B到14B参数)上应用5种量化方法(RTN W8、RTN W4、GPTQ W4、AWQ W4、SmoothQuant W4)，产生50个量化变体。对每个模型-量化对，在13个偏见数据集上生成配对响应。最后，通过置换检验在聚合层面检测偏见变化，同时在个体层面追踪响应翻转模式，分析其与模型不确定性、量化强度和社会群体的关系。
本文的核心创新是发现并量化了一种新现象——'量化诱导的遮蔽偏见翻转'，其本质区别在于从聚合评估范式转向了响应级别配对评估范式。已有方法的工作方式是：分别在原始模型和量化模型上运行基准测试，计算聚合偏见分数，然后比较两个分数。如果差异不显著，就认为量化没有影响偏见。本文揭示了这种方法的根本缺陷：当量化导致某些响应从偏见变为无偏见、同时另一些从无偏见变为偏见时，聚合指标可以保持不变，但实际的偏见模式已被彻底改变。具体数据显示，BBQ数据集上21%的高不确定性响应发生翻转，而聚合指标差异约为0。这种遮蔽效应还具有不对称性：某些社会群体偏见恶化最多18.6%，另一些改善14.1%，聚合后看似中性。这解释了为什么先前研究得出矛盾结论——它们都在观察被遮蔽的信号。
方法步骤详情
PostTrainingBiasBench的方法分为五个完整步骤。第一步：数据集选择与能力分类。选择13个数据集，按三种能力分组——能力1(偏见识别，检测有害内容)包含CEB-Recognition和Jigsaw；能力2(信息语境下的平等结果)包含Adult、Credit和Jigsaw；能力3(对偏见提示的拒绝/不确定性偏好)包含BiasLens-Choices、SocialStigmaQA、BBQ(歧义语境)、IAT、StereoSet(句子间)、BiasLens-GenWhy、CEB-Continuation、CEB-Conversation和FMT10K(干扰错误信息)。第二步：响应生成。闭合式数据集(9个)使用几何平均token概率选择最佳选项：对每个选项的每个token计算条件概率，取几何平均(等价于最低困惑度)；开放式数据集(4个)使用贪心自回归解码(top_k=1，最大512 token)，FMT10K为5轮对话每轮150 token。所有模型使用各自的聊天模板(CEB-Continuation和CEB-Conversation除外)。第三步：配对评估。将量化前后的响应严格配对，检测个体响应翻转(response flipping)——响应选项是否改变；检测偏见翻转(bias flipping)——在有偏见/无偏见标签的数据集中，响应是否在两者间切换；对生成文本使用LLaMA Guard 3 8B检测有害响应。第四步：聚合偏见指标与显著性检验。每个数据集的偏见分数归一化到$[0, 1]$，通过置换检验(1000次模拟)判断显著性，效应量用Cohen's $d$，多重比较用Benjamini-Hochberg FDR校正($\alpha = 0.05$)。第五步：偏好优化实验。以Qwen 2.5 0.5B为参考模型，从BBQ数据集采样5322个问题构建偏好数据(不确定响应为偏好，刻板回答为拒绝)，用SimPO降低不确定性、EntropyMax增加不确定性，建立不确定性与翻转率的因果关系。
技术新颖性
本文的技术新颖性体现在多个层面。第一，概念创新：首次提出'量化诱导的遮蔽偏见翻转'概念，将量化评估从聚合指标层面深入到响应级别配对分析。第二，方法论创新：构建了PostTrainingBiasBench统一评估框架，标准化了跨13个异构数据集的响应提取和配对比较流程，采用置换检验而非简单分数比较来判断统计显著性。第三，因果验证创新：通过偏好优化(SimPO和EntropyMax)干预模型的预量化不确定性，建立了不确定性和响应翻转之间的剂量-反应因果关系，这在压缩-偏见研究中是首次。第四，规模创新：评估了10个模型架构(涵盖LLaMA、Qwen、Ministral系列，从0.5B到14B)和5种量化方法(RTN W8/W4、GPTQ W4、AWQ W4、SmoothQuant W4)，共产生5.1百万个响应，是迄今最大规模的量化偏见研究。第五，发现创新：揭示了量化对社会群体的不对称影响——同一模型中某些群体偏见恶化18.6%、另一些改善14.1%，以及模型大小与量化鲁棒性之间不存在单调关系(14B模型不比0.5B模型更鲁棒)。
实验结果
本文在PostTrainingBiasBench上评估5.1百万个响应后得出四个核心发现。第一，不确定性是响应翻转的主要驱动因素。如图2a所示，高不确定性(熵 > 0.66)的响应在量化后翻转率高达10-20%，而低不确定性(熵 < 0.33)的响应翻转率不足2%。BBQ数据集最为极端：21%的高不确定性响应发生翻转。作为对照，SocialStigmaQA中模型以近乎完全确定(熵≡0)的方式选择'无法回答'，翻转率不足1%。第二，聚合指标具有欺骗性。置换检验发现只有17.8%的量化变化在统计上显著(校正后11.4%)，效应量Cohen's $d$ 以零为中心对称分布。但即使聚合指标稳定，BBQ上仍有13-14%的响应翻转，FMT10K上高达21%的翻转(图3c)。第三，量化强度和方法的影响呈现清晰梯度。8-bit RTN W8A16的行为变化率仅约2%，而4-bit方法大幅升高：GPTQ W4A16为9%、AWQ W4A16为11%、RTN W4A16为12%、SmoothQuant W4A16为13%(图4a)。第四，社会群体受到不对称影响。图5b显示，聚合层面'矮个子'群体偏见变化-1.1%、'男性'+1.6%，看似微小；但在Qwen 2.5 14B的量化变体中，'矮个子'为-10.3%、'男性'为+7%。极端情况下，GPTQ W4A16量化的Qwen 2.5 14B对'矮个子'偏见改善-14.1%，RTN W4A16量化的Qwen 2.5 0.5B对'男性'偏见恶化+18.6%。偏好优化实验进一步确认因果关系：增加预量化不确定性直接导致更高的量化后翻转率(图6b-c)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BBQ数据集(歧义语境下偏见评估) | 高不确定性响应翻转率(熵 > 0.66) | 21% | 低不确定性响应翻转率 < 2% | 不确定性解释了10-20倍的翻转率差异 |
| 聚合偏见指标显著性检验(全部数据集×量化方法) | 校正后显著变化比例(BH FDR, α=0.05) | 11.4% | 未校正时17.8% | 揭示聚合指标掩盖了88.6%的量化效应 |
| 8-bit vs 4-bit量化行为变化率(跨数据集平均) | 行为翻转百分比 | RTN W8A16: ~2% | 4-bit方法: 9%-13% | 8-bit量化行为变化减少4-6倍 |
| 社会群体不对称偏见影响(同一模型内) | 偏见响应变化百分比 | 部分群体-14.1%到+18.6% | 聚合层面看似中性(约0%) | 揭示最大33个百分点的群体间差异 |
| 偏好优化因果验证(Qwen 2.5 0.5B + BBQ) | 不确定性调控后翻转率变化 | SimPO降低不确定性→翻转率降低 | EntropyMax增加不确定性→翻转率增加 | 建立了不确定性和翻转的剂量-反应因果关系 |
| 模型大小与量化鲁棒性关系 | 行为翻转率(跨模型比较) | Qwen 2.5系列(0.5B-14B): 无单调关系 | 直觉假设更大模型更鲁棒 | 14B模型不比0.5B模型更鲁棒，推翻规模安全假设 |
局限与改进
作者在论文中坦诚承认了多项局限性。第一，所有选定的基准数据集均限于英语，且多为假设性情境而非真实对话场景，这可能限制研究发现在真实部署环境、多语言设置和交叉分析中的普适性。第二，LLaMA Guard 3 8B在部分数据集上过度检测偏见变化(BiasLens-GenWhy和CEB-Continuation的PPV仅40-55%)，使得报告的翻转率是这些数据集的上界估计，尽管高NPV(88%)验证了稳定性声明的有效性。第三，虽然使用Cohen's $d$量化效应量，但实际显著性需要结合部署场景和利益相关方进行领域特定评估。第四，分析基于确定性生成(贪心解码/温度0)，排除了非确定性生成环境中的偏见评估，这是一个重要的未来方向。此外，从独立观察的角度看，本文还存在以下局限：偏好优化实验仅在Qwen 2.5 0.5B和BBQ数据集上进行，因果验证的泛化性有待在更多模型和数据集上确认；对'偏见'的定义和检测依赖LLaMA Guard的判断，可能引入模型自身的偏见；文章未深入探讨如何在实际部署中利用不确定性信号进行预筛选的具体方案。
独立分析的弱点
本文存在几个值得关注的弱点。首先，偏好优化因果实验仅在最小模型(Qwen 2.5 0.5B)和单一数据集(BBQ)上进行，虽然展示了剂量-反应关系，但因果结论的泛化性有限。改进方向：在多个模型规模(如7B、14B)和多个数据集(如IAT、StereoSet)上重复偏好优化实验，验证不确定性-翻转关系的模型规模不变性。其次，开放式数据集的偏见检测依赖LLaMA Guard 3 8B，但该模型在BiasLens-GenWhy和CEB-Continuation上PPV仅40-55%，存在大量假阳性，使得这些数据集上的翻转率估计不够可靠。改进方向：开发更精确的偏见检测方法，或结合多个检测器进行集成判断，降低假阳性率。第三，本文评估了5种量化方法但未探索量化感知训练(Quantization-Aware Training, QAT)的影响，QAT可能在量化过程中保留更多偏见相关特征。改进方向：将QAT纳入评估框架，比较训练时感知量化与训练后量化的偏见影响差异。第四，所有评估使用确定性生成(temperature=0)，但实际部署中常使用采样策略，非确定性生成下的偏见模式可能不同。改进方向：在不同温度(如0.3、0.7、1.0)下评估翻转率，考察不确定性在采样环境中的作用。
未来方向
作者在结论中提出了多个未来研究方向。第一，基于不确定性作为量化安全的预筛选工具——作者发现的强相关性暗示置信度校准可用于在量化前识别高风险预测，但需要开发具体的不确定性阈值设定方法和预筛选流程。第二，任务特定而非基准通用的评估——本文揭示偏见变化高度依赖数据集和问题构建方式，未来应根据下游实际应用场景定制评估基准。第三，子群体级别的评估标准——现有的数据集级聚合指标严重误导，需要建立子群体粒度的评估协议。第四，非确定性生成环境下的偏见评估——本文仅覆盖贪心解码，采样策略(如top-p、top-k)下的偏见模式尚属未知。基于本文成果还可延伸的方向包括：(1)将不确定性分析扩展到其他压缩技术(剪枝、知识蒸馏)对偏见的影响；(2)开发基于不确定性的量化时偏见干预机制，如在高不确定性问题上保留全精度权重；(3)研究量化引起的偏见变化在多轮对话中的累积效应；(4)将PostTrainingBiasBench扩展到多语言场景，验证跨语言的偏见翻转模式是否一致。
复现评估
本文的可复现性较好。作者在论文中声明代码和数据已在GitHub开源(https://github.com/stan-hua/PostTrainingBiasBenchmark)，提供了完整的评估框架。数据方面，13个偏见数据集均为公开数据集(Adult、Credit、BBQ、StereoSet、IAT等)，模型均为公开可用的指令微调模型(LLaMA 3.1/3.2、Qwen 2/2.5、Ministral)，量化模型的HuggingFace路径在论文补充材料Table S7中列出。实验规模方面，共评估5.1百万个响应，10个基础模型×5种量化方法=60个模型配置，每个在13个数据集上评估，计算需求较大但通过PostTrainingBiasBench的标准化流程可降低复现门槛。偏好优化实验基于Qwen 2.5 0.5B，使用BBQ数据集的5322个采样问题(各半用于训练和测试)，计算需求相对较低。整体而言，复现的核心挑战在于推理60个模型配置的计算量，但所有资源(代码、数据、模型权重)均公开可获取。
论文图表
