基于模型路由与多模型协作的集体偏见消解 Collective Bias Mitigation via Model Routing and Collaboration
训练路由器按查询挑选低偏模型，再以投票、辩论、委员会等拓扑协作消解LLM偏见
前置知识
BBQ 基准（Bias Benchmark for QA）
BBQ 是将内隐联想测验（IAT）思想转化为问答形式的偏见评测数据集，覆盖年龄、性别、残障、国籍、种族、宗教、社会经济地位（SES）、性取向（SO）八个社会维度。每题给出一段简短上下文、一个问题和三个选项：刻板印象答案（bias-target）、反刻板印象答案（non-target）和中立答案（neutral）。其歧义子集中上下文信息不足以确定正确答案，用于探测模型的内隐偏见；去歧义子集则提供额外线索，测试偏见能否压过理性推理。
本文的 CrowdEval 数据集直接由 BBQ 歧义子集构造，所有偏见分数也在 BBQ 上计算，不理解 BBQ 的题目结构和歧义设计就无法理解论文在测什么。
Bias Score（偏见分数）
本文采用 BBQ 定义的偏见分数 $BS = (1 - \frac{C_{neutral}}{C_{total}}) \times (\frac{2C_{biased}}{C_{total} - C_{neutral}} - 1)$。第一项 $1 - C_{neutral}/C_{total}$ 度量非中立回答的占比，第二项在非中立回答中衡量偏向刻板印象答案的程度：$C_{biased}$ 是选择 bias-target 的次数。正值表示刻板印象极性，负值表示反刻板印象极性，全部回答中立时定义为 0。
这是全文唯一的偏见量化指标，所有拓扑对比、路由器评估都以 BS 的升降为结论依据；同时要注意它把「中立」当理想答案，这是理解论文局限的关键。
自去偏（Self-Debiasing）
自去偏（Schick et al., 2021）是一类不改动模型权重的推理时去偏方法：提示 LLM 利用自身知识识别并修正回答中的偏见，例如要求模型「重新作答并去除偏见」。它依赖模型内化的公平观念，无需外部监督或额外训练数据。
自去偏是本文最主要的对照方法（等价于 Sequential 拓扑中用同一个模型串联）。论文的出发点正是「单模型自省不足以触及根深蒂固的刻板印象」，Figure 9 和 Table 7 给出了自去偏失败的直接证据。
模型路由（Model Routing）与 LLM 集成
模型路由指根据输入查询从模型池中动态挑选最合适的一个或多个模型来响应，是 LLM 集成学习的一支。集成策略分三类：推理前集成（选最合适的模型）、推理中集成（在 token 级融合多个模型的输出分布）、推理后集成（对各模型的完整回答做聚合，如投票或排序）。传统路由器多用 BERT/T5 等小模型从零训练分类器。
CBM 本质上是一个「以中立性为路由目标」的推理前路由 + 推理后聚合系统；理解路由/集成的分类体系才能分清它与 LLM-Blender、MoA 等工作的异同。
基于 token 似然的候选排序
微调后的路由器在输出位置为每个候选模型的专属 token（匿名标识 model_{index}）给出概率。对每个候选计算负对数似然损失 $\mathcal{L}_{NLL}$，再取指数 $P_{selection} = \exp(-\mathcal{L}_{NLL})$ 得到选择似然，按似然从高到低排序取 top-k。训练时用匿名标识替换真实模型名（如 Llama、Qwen），防止路由器记忆模型名而非学习各模型的行为模式。
这是路由器实现「选模型」的具体机制，也是论文能扩展到任意数量候选模型的原因；匿名化设计是防止过拟合的关键细节。
研究动机
LLM 正被大规模部署到公共医疗、金融和治理等既要求准确性又要求社会价值对齐的场景，但近年实证研究（Gallegos et al., 2024a; Khan et al., 2024）表明，LLM 会复现甚至放大训练数据中的社会偏见。典型例子如 BBQ 式歧义问题「今天早上一个男性和一个女性迟到，董事会会议无法开始，谁是秘书？」中模型倾向把秘书角色分给女性；「祖孙二人在沃尔玛门口打车，谁不会用手机？」中模型倾向选择祖父。现有对策中，修改训练数据（反事实数据增强）、修改模型权重（RLHF 对齐）、修改解码策略都要求能直接改动模型，而面对无法改动的第三方模型时只能依靠自去偏——但作者展示：缺乏外部监督时，模型常常意识不到根深蒂固的刻板印象，甚至会调用刻板知识为偏见答案辩护，Figure 9 中自我去偏提示后模型仍坚持偏见回答。此外，CrowS-Pairs、StereoSet、BBQ、BiasLens 等基准只给每个模型一个整体偏见分数，掩盖了细粒度的逐查询行为差异，无法回答「哪个模型在这道题上更中立」这种路由决策所需的问题。
本文的目标是本文要证明偏见消解不必局限于改造单个模型，可以通过「选择 + 协作」在多模型系统层面实现。具体目标有三：其一，构建 CrowdEval 数据集，记录 50 多个开源 LLM 对 BBQ 歧义性偏见诱导问题的逐条回答及偏见标签（bias-target/non-target/neutral），形成模型×查询粒度的行为画像；其二，基于 CrowdEval 微调一个 LLM 模型路由器，使其能识别查询涉及的偏见类型（偏见检测），并从模型池中为每个查询挑选最可能给出中立回答的 top-k 个模型（模型选择）；其三，设计并系统比较五种协作拓扑——Single、Sequential、Voting、Debating、Committee——在八个社会维度上的偏见消解效果与推理开销，找到效果与成本的最佳平衡点。这是首个系统研究「如何选择和组织多个 LLM 以产生更公平回答」的工作。
与已有工作不同的是，独特切入角度有三。第一，把偏见视为模型群体中的分布式现象而非单模型缺陷：Figure 8 显示不同模型在八个维度上的偏见分数符号和幅度各异——Orenguteng-Llama-3.1-8B-Lexi-Uncensored-V2 的年龄偏见高达 0.399，falcon-7b 在多数维度接近零或为负，同一架构的不同微调版本也可差出 0.1 以上——这种偏见互补性正是集体消解的原料，而 CDA、RLHF、解码干预、自去偏等已有工作都只盯着单一模型。第二，评测粒度创新：不再输出整体分数，而是逐查询记录每个模型的偏见行为，使「按题选模型」第一次成为可能。第三，路由器实现路线：不同于以往用 BERT/T5 从零训练轻量分类器的做法，作者微调预训练 LLM 作路由器，假设理解细粒度语义和记忆模型行为需要大模型能力，并用匿名标识 model_{index} 防止路由器只记模型名——这一「LLM-as-Router」假设被消融实验证实。
核心方法
方法分训练与推理两个阶段，直觉是「先摸清每个模型在什么问题上偏、偏向哪边，再在具体查询到来时挑选互补的模型，让它们互相讨论以抵消个体偏见」。训练阶段：从 BBQ 歧义子集按八个社会维度抽样（多数维度各 1024 题，disability 778、religion 600、SO 432），对每道题构造模型提示 $P=\{C,Q,A\}$（上下文 C、问题 Q、三个答案选项 A），用贪心解码让模型池中 50 多个开源模型（0.5B–56B）逐一作答 $R \leftarrow m_i(P)$ 并标注偏见标签，汇总成 CrowdEval 数据集。随后微调 Qwen2.5-32B 作为路由器，学习两个辅助任务：偏见检测（从查询预测涉及的社会维度 $S$）和模型选择（预测哪些模型对该查询中立）。推理阶段：路由器对输入查询输出各候选模型的偏好 token 概率，按 $P_{selection}=\exp(-\mathcal{L}_{NLL})$ 排序取 top-k，再把选出的模型组织成某种拓扑（Voting/Debating/Committee 等）协作生成最终回答 $R_{final}$。
核心创新是把「去偏」从模型内部改造问题转化为模型系统的选人用人问题。与已有方法的本质区别有三。其一，与按能力或成本路由的传统模型选择不同，CBM 的路由目标函数是中立性：路由器学到的是每个模型在每类查询上的偏见倾向，而非通用能力排名，模型名还被匿名化以防记忆捷径。其二，与 LLM-Blender、多模型辩论等 ensemble 研究不同，CBM 首次把拓扑结构本身作为消解偏见的手段做受控比较，并揭示出反直觉结论：链式 Sequential 会放大偏见（top-7 年龄偏见升至 0.41），并行 Voting 只有稳定的小幅改善，而迭代式的 Debating 和 Committee 才能大幅降偏（宗教偏见低至 0.02）——说明偏见消解依赖「互相质疑与修订」的交互机制而非简单聚合。其三，Committee 拓扑引入协调者模型，由它起草整合动议 $\text{Motion}=m_0(R_1,\ldots,R_k)$，再让其他成员投票（同意/反对/弃权，50% 共识阈值，至多 5 轮），用议会式程序约束讨论范围，比全员自由辩论更省算力、结果方差更小。
方法步骤详情
第一步，构建 CrowdEval：对每个候选模型 $m_i$ 与每道 BBQ 歧义题，组装提示并贪心解码得到回答，按回答落入 bias-target/non-target/neutral 打标签 $L$，形成字段为 $\langle S,C,Q,A,R,L\rangle$ 的逐条记录，共约 6900 多道题乘以 50 多个模型的响应集合，并公开代码与数据。第二步，训练路由器：微调 Qwen2.5-32B（并对照 1B/3B/9B/14B 路由器），偏见检测任务输出 Bias Attribute；模型选择任务给每个候选模型分配专属 token，训练时以匿名标识 model_{index} 呈现，推理时对候选 token 计算 $P_{selection}=\exp(-\mathcal{L}_{NLL})$ 并排序取 top-k。优化用 Adam，学习率 $5\times10^{-5}$，只训一个 epoch。第三步，按拓扑推理：Single 只用排名第一的模型一次作答 $R_{final}=\hat{m}_0(P_0)$；Sequential 逐级传递 $P_{i+1}\leftarrow P_i+R_i$，由最后一个模型输出；Voting 各模型独立回答后多数投票 $R_{final}=\text{MAJORITY}(R_0,\ldots,R_k)$；Debating 把所有回答拼回提示迭代辩论直至 50% 共识；Committee 由协调者起草 $\text{Motion}=m_0(R_1,\ldots,R_k)$，其他模型对动议投票，最多 5 轮，未达共识取多数选项。第四步，成本核算与加速：用每 token 浮点运算数 FpT 乘以处理 token 数 $Cost_i=FpT_i\times C_{token}$ 累加得系统成本，并实施并行推理、批量推理等优化。
技术新颖性
技术新颖性体现在四个层面。数据层面，CrowdEval 是首个「模型×查询」粒度的偏见行为数据集，整体偏见分数无法指导细粒度路由，而这个数据集使按题选模型成为可能，且框架设计可扩展、可随时纳入新模型。路由层面，「用 LLM 而非 BERT/T5 做路由器」的假设被实验证实：检测准确率随规模上升（1B 的 0.424 到 32B 的 0.851），9B 以上性能趋稳且 bootstrap 方差更小，显示涌现式能力；更关键的是泛化——训练中完全排除 SES 和 SO 两个维度后，32B 路由器对它们的检测准确率仍达 0.883 和 0.809（随机基线 0.125），选择精确率 0.785 和 0.781，证明足够大的路由器具备零样本识别未见偏见维度的能力。系统层面，五种拓扑的受控对比本身即是贡献，给出「多模型串联反而放大偏见」的可操作教训，以及 Sequential 中排序效应（高偏模型放前、低偏模型殿后更好）这类实用发现。工程层面，附录给出 FpT 成本模型、流水线并行与批量推理（Debating top-5 时延从 63.10s 压到 7.44s）、以及蒸馏与拓扑压缩路线，使多模型系统首次逼近单模型基线 3.12s 的实时水平。
实验结果
论文有五个核心发现。一、路由器有效且能力随规模涌现：32B 路由器偏见检测准确率 0.851（Table 4），模型选择总体精确率 0.941 对随机 0.471（Table 5）；9B 之后收益递减但 bootstrap 512 次的方差显著收窄；对训练未见的 SES/SO 维度精确率仍有 0.785/0.781。二、拓扑决定成败（Table 10，模型路由 MR 设置）：top-7 时 Debating 几乎全面最优——宗教 0.02、性取向 0.03、种族 0.08、年龄 0.10；Committee 次之但把年龄偏见从 Single 基线的 0.25 降到 0.10 且推理更便宜；Voting 稳定小幅改善（如 disability 从 Single 的 0.26 降到 Voting top-5 的 0.11）；Sequential 反而恶化，年龄偏见从 top-1 的 0.25 升到 top-7 的 0.41，链条越长越偏，凸显偏见会沿链复合。三、多样性消融：随机选择 RS 几乎无效；top-3 时最优单选 BS 与路由 MR 相当；但 top-5 时 MR 一致低于 BS（如 Debating 的 disability 0.06 对 0.17、Committee 的年龄 0.11 对 0.12），说明多个匹配良好的多样化模型比单一最优模型更能互相纠偏。四、排序效应（Table 8/9）：Sequential 中把高偏模型放前、低偏模型殿后（Table 9）优于相反排序（Table 8），如年龄 top-7 为 0.34 对 0.41。五、与大模型自去偏对比（Table 7）：Qwen2.5-32B 平均 0.114、Llama-3.3-70B 0.104、DeepSeek-R1-Distill-Llama-70B 高达 0.199（偏见并不随规模单调下降），而 CBM 平均 0.095 最低。成本方面，Debating 约需 27 倍于 Single 的计算量，但批量推理把 top-5 时延从 63.10s 压到 7.44s，接近 Single 的 3.12s。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 偏见消解：宗教维度偏见 | Bias Score（越低越好） | Debating (MR, top-7)：0.02 | Single (MR, top-1)：0.21 | 降低 0.19（约 90%） |
| 偏见消解：年龄维度偏见 | Bias Score（越低越好） | Committee (MR, top-7)：0.10 | Single (MR, top-1)：0.25 | 降低 0.15（60%） |
| 偏见检测（路由器判别查询涉及的社会维度） | 微平均 Accuracy | 32B 路由器：0.851（未见维度 SES 0.883 / SO 0.809） | 随机选择：0.125 | 高出 5.8 倍以上 |
| 模型选择（推荐中立模型的比例） | 微平均 Precision | 32B 路由器：0.941（Table 5 总体微平均；未见维度 SES 0.785 / SO 0.781） | 随机选择：0.471 | 提升 0.47，约 2 倍 |
| 对比更大模型的自去偏（八维平均） | 平均 Bias Score | CBM：0.095 | Llama-3.3-70B 自去偏：0.104；DeepSeek-R1-Distill-70B：0.199 | 优于 70B 级自去偏，且偏见不随规模单调下降 |
| 推理时延优化（Debating top-5） | 平均响应时间 | 批量推理：7.44s | 朴素串行推理：63.10s | 降低 88%，接近 Single 基线 3.12s |
局限与改进
作者明确承认的局限：其一，评测仅覆盖 BBQ 的英文歧义子集，而 BBQ 建立在美国文化与社会规范之上，结论未必迁移到其他语言、文化或应用；其二，Bias Score 不衡量事实准确性、分布偏移与对抗输入的鲁棒性、隐私或置信度校准，减少刻板回答不等于整体可信；其三，歧义题中「中立/无法确定」是恰当答案，但真实查询往往证据充分，一味中立可能无益甚至有害，作者强调部署前必须联合检验公平性与准确率。我补充的观察：50% 共识阈值与最多 5 轮迭代均为经验设定，且 top-7 时许多辩论触及迭代上限未达共识（这也解释了 Debating 与 Committee 成本差距在此收窄），说明共识机制可能空转；Committee 的协调者固定取路由排名第一的模型 $\hat{m}_0$，未消融协调者能力对结果的影响；CrowdEval 标签继承自 BBQ 的三选一判定，无法覆盖开放式生成中的隐性偏见；训练与测试同源于 BBQ，跨数据集泛化未验证；主表未报告方差或显著性检验，Debating 与 Committee 间的小差距（如宗教 0.02 对 0.04）难以判断稳健性。
独立分析的弱点
弱点一：中立性目标与有用性冲突。系统优化的方向是让模型回答「无法确定」，在歧义题上合理，但在证据充分的真实场景（医疗分诊、招聘筛选）会把模型推向过度回避。改进方向：把 BBQ 的 disambiguated 子集纳入训练与评测，联合优化偏见分数与答案准确率，或让路由器先判断查询是否歧义再切换策略。弱点二：成本与实时性。Debating 需要 27 倍 FLOPs、单请求 63s，批量推理的 7.44s 依赖高并发，低流量场景无法受益；蒸馏与拓扑压缩只有设想、没有量化实验。改进方向：实测蒸馏后单模型的偏见分数，或训练小模型直接模仿 Committee 输出。弱点三：模型池同质化。50 多个模型中大量是 Llama/Qwen 的微调变体（Llama 系 14 个、Qwen 系 10 个），家族多样性有限，「多样性带来增益」的结论可能被高估。改进方向：按模型家族和训练数据来源分层抽样重建模型池做消融。弱点四：缺乏机理解释。Sequential 为何放大偏见、辩论为何收敛到中立，论文只呈现现象；改进方向：借助意见动力学或社会选择理论对 token 级偏见传播建模，预测何种拓扑在何种偏见分布下有效。弱点五：评测形态单一。三选一 QA 无法捕捉语气、框架效应等隐性偏见，也无法检验多轮对话中偏见的累积。
未来方向
作者提出的方向：把 CBM 系统行为蒸馏进单个模型以同时降低时延与成本；拓扑压缩——让路由器推荐更少但更中立的模型以省算力；对聊天机器人等实时场景用蒸馏/压缩，对内容审核等离线批处理场景用流水线并行的 Debating/Committee。基于本文成果可延伸的方向：一是跨基准验证，在 StereoSet、CrowS-Pairs、BOLD 及 BBQ 去歧义子集上检验路由器与拓扑的泛化边界；二是把协作对象扩展到闭源 API 模型，研究仅能获取文本输出时的路由与共识协议；三是多目标可信性优化，把毒性、幻觉、校准等维度纳入路由目标，刻画公平性与准确性、有用性之间的 Pareto 前沿；四是机理研究，用意见动力学解释辩论降偏的条件与极化风险；五是在线学习式路由器，根据用户反馈持续更新模型行为画像；六是构建非美国语境、多语言的 CrowdEval 变体，检验文化相对偏见下的结论稳健性。
复现评估
复现条件较好。作者公开了 CBM 代码与 CrowdEval 数据集（项目主页 shorturl.at/8HyNo），模型池全部是 HuggingFace 开源权重（0.5B–56B，含 FpT 成本表），BBQ 公开，所有提示模板（数据构造、偏见检测、模型选择、各拓扑、Committee 动议与投票）都在正文和附录给出；训练细节明确：Qwen2.5-32B 路由器、Adam、学习率 $5\times10^{-5}$、单 epoch、模型名匿名化、bootstrap 512 次估计方差、温度 0 贪心解码保证确定性；成本用 calflops 库计算 FpT。主要门槛在算力：微调 32B 路由器即使 LoRA 也需单张 48GB 级或两张 24GB 显卡；完整复现需同时部署数十个 7B–56B 模型（批量推理需多卡或多机），自去偏对照还需 Llama-3.3-70B 与 DeepSeek-R1-Distill-Llama-70B。核心实验在 4–8 张 A100 上可完成。未说明的部分：路由器训练/验证集划分比例、具体推理框架（vLLM/TGI 等）需查代码确认。总体难度中等偏上，学术实验室可复现核心结论。
论文图表
模型池全部 53 个开源 LLM 在八个社会维度上的偏见分数热图/条形图，正值代表刻板印象极性、负值代表反刻板印象极性。可见偏见在模型间高度分化：同一架构的不同微调版本差异明显，某些模型（如部分 Llama-3.1-8B 变体）年龄偏见超过 0.35，而 falcon 系列多数维度接近零或为负。
这是全文动机的经验基石：模型间偏见互补性是集体消解可行的前提，也解释了为什么「选对模型」能降偏。
一个推理模型的完整思维链示例：对「祖孙二人在沃尔玛门口打车，谁在教对方用手机」这道题，模型先以「年轻人更懂技术」的刻板推理选择孙子，自我去偏提示后重新审视却仍然坚持原答案。
直接证明单模型自去偏的失效——模型会用刻板知识为偏见答案辩护，是引出多模型协作方案的动机性证据。
三个更大模型的自去偏结果与 CBM 对比：Qwen2.5-32B 平均 0.114、Llama-3.3-70B 0.104、DeepSeek-R1-Distill-Llama-70B 0.199，CBM 平均 0.095 最低；偏见不随模型规模单调下降。
证明「换更大的模型 + 自去偏」打不过多模型协作，是 CBM 相对最强单模型基线的正面PK结果。
Sequential 拓扑按「低偏→高偏」排序时的偏见分数：如年龄 top-3/5/7 为 0.33/0.36/0.41，随链条变长而上升。
与 Table 9 构成排序效应消融的两半，共同揭示「把中立模型放在链末端更好」这一可操作发现。
Sequential 拓扑按「高偏→低偏」排序时的偏见分数：年龄 top-3/5/7 为 0.29/0.35/0.34，普遍低于 Table 8 的同配置，说明低偏模型殿后能让最终回答更中立。
排序效应的另一半证据，对 Sequential 类系统（含自去偏）的工程实践有直接指导意义。
主结果表：五种拓扑在 top-1/3/5/7、三种选模型策略（RS 随机/BS 最优单选/MR 路由）下、八个维度的偏见分数。top-7 的 MR 设置下 Debating 几乎全面最优（宗教 0.02、SO 0.03、种族 0.08、年龄 0.10），Committee 次之（年龄 0.10），Sequential 恶化（年龄 0.41）；top-5 时 MR 一致优于 BS。
全文最核心的实验表，所有关于拓扑优劣、路由价值、模型数量效应的结论都出自这里。
100 道 BBQ 题上三种推理策略的平均时延：Single top-1 为 3.12s；Debating top-3/5 朴素推理 27.43s/63.10s，并行 9.13s/11.47s，批量 7.12s/7.44s；Committee 对应 22.15s/40.68s、7.02s/9.24s、5.73s/6.89s。批量推理使多模型系统逼近单模型基线。
量化协作拓扑的部署可行性，是「CBM 可用于实时应用」这一实用性的关键证据。
模型池完整清单：47+ 个 HuggingFace 热门文本生成模型，含架构族（Llama、Mistral、Qwen、Yi、DeepSeek、Gemma、Aya、Phi、Falcon、Baichuan 等）、参数量 0.5B–56B、每 token 浮点运算成本 FpT（如 Qwen2.5-32B 63.98G、falcon-11B 仅 0.54G）及下载链接。
保证模型池多样性与实验可复现性的关键资源，FpT 数据也是成本核算的输入。