用于认知-偶然不确定性分解的信度概念瓶颈模型 Credal Concept Bottleneck Models for Epistemic-Aleatoric Uncertainty Decomposition
CREDENCE：把概念层不确定性拆成认知（集成分歧）与偶然（监督歧义头），变成可执行路由决策。
前置知识
概念瓶颈模型 (Concept Bottleneck Model, CBM)
Koh et al. (2020) 提出的网络结构，输入先经过 encoder 得到隐藏表示 h，再过一个可解释的概念层 c∈[0,1]^K 显式预测 K 个语义属性（如「服务好」「食物好」），最后由线性分类器 f_cls 从概念得到最终标签 ŷ。它的核心价值是中间概念层既可被人类读取，又允许干预（直接把某些概念值替换为真值，校正下游预测）。
本文的不确定性分解正是在 CBM 的概念层上做的——比在输出标签上做分解更有可操作性，因为每个不确定性信号可以绑定到具体语义属性。
认知不确定性 vs 偶然不确定性 (Epistemic vs Aleatoric Uncertainty)
认知不确定性指模型「没学过」——可随训练数据增加而降低，反映模型对自身知识的边界；偶然不确定性指输入本身「说不清」——即使给定无限数据也无法消除，例如标注者分歧、文本歧义。Kendall & Gal (2017) 在视觉中首先形式化这一区分；本文延续 Shaker & Hüllermeier (2020) 的处理并扩展到概念层。
本文的中心论点正是这两类不确定性需要不同来源——认知来自集成分歧、偶然来自监督信号——否则它们会塌缩成同一个分数，无法触发不同干预。
信度集与区间概率 (Credal Sets / Imprecise Probabilities)
Walley (1991) 的不精确概率理论：不承诺单一概率值，而给一个区间 [p, p̄]（或更一般地一个凸的概率分布集合），用以表达「证据不足以精确断言」的情境。区间宽度即不精确度 (imprecision)，中点仍可作为最佳估计。本文用 min/max 集成头预测构造概念层 credal set。
Credal 公式是 CREDENCE 把点估计升级为概率区间的理论基础，也为后续基于 Γ-Maximin 等原则的可执行决策 (E-admissibility) 提供数学工具。
深度集成与 MC Dropout (Deep Ensemble / MC Dropout)
深度集成训练 H 个独立随机初始化模型，预测时取平均；MC Dropout 在测试时保留 dropout 做 50 次随机前向，近似贝叶斯推断。两者都通过「预测分歧」近似认知不确定性，是本文的主要基线。
理解基线才能看出 CREDENCE 的不同：基线只从「一个分量」(集成分歧) 提取认知不确定性，且常把它和偶然不确定性混在一起报告。
LoRA 低秩适配 (Low-Rank Adaptation)
Hu et al. (2021) 提出的参数高效微调方法：在冻结的预训练权重上加入低秩分解 ΔW = BA，训练时只更新 A、B。本文把每个集成 head 实现为不同 rank (r∈{4,8,16,32,64}) 的 LoRA 适配器，无需重训上亿参数即可获得 H 个「结构不同」的预测器。
LoRA 不同 rank 引入的功能多样性是 CREDENCE 认知信号可靠性的关键——rank 越多样，集成分歧越能反映模型结构差异而非训练随机性。
研究动机
现有 NLP 不确定性方法几乎都输出一个标量置信度，无论它来自 softmax 最大值、MC Dropout 预测方差还是 Deep Ensemble 平均分歧，这个单一数字都把两类性质截然不同的不确定性混在一起：模型「没学过」的认知不确定性与输入「说不清」的偶然不确定性。结果是同一个高置信度分数可能对应两种相反的场景——一段明确的文本但模型从未见过类似模式 (epistemic)，或一段本身就有争议、标注者都分歧的文本 (aleatoric)——而下游没有任何信息去区分它们。在情感、毒性、情绪这类本质上主观的任务中，这种混淆尤其致命，因为「ground truth」本身已经是争议性人类判断的合成，没有分解的置信度无法告诉从业者「该去补数据还是该把样本送去人工」。具体来说，标准 CBM (Koh et al., 2020) 在概念层只输出点概率 p̂_k，概率熵同时反映了模型未见过的特征和文本歧义，使概念干预无从下手；现有 CBM 扩展如 P-CBM (Kim et al., 2023)、CB-LLMs (Sun et al., 2025) 也只把概念变为随机嵌入或校准后验，仍然是单分量信号，无法回答「这一不确定性来自模型本身还是来自数据本身」。
本文的目标是本文的目标是把概念层不确定性「拆成两个可执行的信号」：认知不确定性 = 集成头之间分歧，衡量「模型是否困惑」；偶然不确定性 = 由一个专用头预测输入本身的歧义性，衡量「文本是否本身就是含糊的」。两个信号必须来自结构上不同的参数——这是为了避免它们在训练中塌缩成同一个量。一旦拆分成立，作者期望：(i) 认知不确定性在错分样本上显著高于正确样本（可作为拒绝预测的信号），(ii) 偶然不确定性在标注者本身分歧的样本上显著更高（可作为「送人工」的依据），并最终把这两类信号落地为四象限的样本路由决策：低低自动、高低补数据、低高送人工、高高弃权。
与已有工作不同的是，此前不确定性的认知-偶然分解几乎只在视觉 (Kendall & Gal 2017; Depeweg et al. 2018) 和结构化输出上做；NLP 内的分解工作如 Xiao & Wang (2019) 仅依赖集成分歧这一个来源，既无法在标注缺失时估计偶然分量，也容易让两类信号塌缩。CBM 领域虽然天然有「概念」这一可解释中间层，但从未被用来承载分离式的不确定性信号。文献空白正是「中间表示 + 双源不确定性 + 决策可执行性」三者的交集——本文切入点就是利用 credal set 在概念层显式构造概率区间 [p_k, p̄_k]，让不确定性可度量、可计算、可路由，并首次在 CBM 框架内把认知（集成分歧）与偶然（专用监督头）从结构上分离。
核心方法
直觉上，模型对一段文本的「不知道」分两种——「这种句式我没见过」(epistemic) 和「这句子写的就是模棱两可」(aleatoric)。前者可以通过看多个「不同视角的预测器」是否同意来量化——如果它们都同意，模型确实学到了；如果彼此打架，说明这是模型盲区。后者必须用一个专门的「歧义检测器」来学，因为只有人类自己知道哪些文本会引发分歧——这就是为什么作者训练一个额外 head，用标注者的「unknown」标签作为监督。技术上，CREDENCE 在标准 CBM 的概念层做了两件事：(1) 用 H=5 个不同 rank 的 LoRA head 取代单个概念预测器，并对这 H 个预测在每个概念 k 上取 min/max 形成 credal 区间 C_k=[p_k, p̄_k]；(2) 增加一个独立的 aleatoric head σ_θ^(k)(h)，用 BCE 损失对照标注者的 I[unknown_k] 监督。整条流水线是：冻结 encoder → H 个 LoRA 头 + 1 个 aleatoric 头 → 取 min/max 形成 credal set → 计算 U_epi^(k)=Var_h[p̂_h^(k)] 和 U_ale^(k)=σ_θ^(k)(h) → 均值概念 p̄ 走线性分类器得 ŷ，可选地把 credal 界经区间算术传到 logit 层做决策。
核心创新不是某个具体算子，而是「结构分离」原则：认知不确定性只来自集成头间的方差 Var_h[p̂_h^(k)]，偶然不确定性只来自一个独立参数化的 sigmoid 头 σ_θ^(k)。两者的梯度路径、损失函数、监督信号全部独立，因此理论上不会塌缩成一个数。这一点和所有现有方法（标准 CBM、P-CBM、Evidential DL、CBM+Ensemble）都不同——后者要么只有一个置信度，要么把认知-偶然放在同一组参数里。其次，credal set 的构造 `[p_k, p̄_k] = [min_h p̂_h^(k), max_h p̂_h^(k)]` 比平均更保守，区间宽度直接成为认知信号的副产物，可用于后续 E-admissibility 决策。第三，多样性靠 LoRA 秩 + dropout + pooling 三种机制叠加实现——H=5 个 rank = {4,8,16,32,64} 的头在同一冻结 encoder 上学到结构不同而非仅初始化不同的预测器，是认知信号有效的关键。
方法步骤详情
训练阶段（Algorithm 1）：输入 batch (x, y, c, a)，先经冻结 encoder 得到 h = f_enc(x)，再并行通过 H=5 个 LoRA 头得 p̂_h^(k)=σ(g_h(h))_k，每个头 rank r_h ∈ {4,8,16,32,64}、dropout 在 0.05–0.25 间几何分布；同时通过 aleatoric 头 σ_θ^(k) 预测歧义。损失 L = L_task + λ_c L_concept + λ_a L_ale，其中 L_task = CE(f_cls(p̄), y) 用均值概念预测交叉熵，L_concept = (1/HK) Σ_h Σ_k BCE(p̂_h^(k), c_k) 监督所有 head 输出概念，L_ale = (1/K) Σ_k BCE(σ_θ^(k), I[unknown_k]) 用标注者分歧标签监督。超参 λ_c=1.0, λ_a=0.5；AdamW + 线性 warmup + 余弦衰减，encoder 模型 lr=1e-4 训练 40 epoch，LLM lr=2e-5 + LoRA r=16 训练 10 epoch。推理阶段（Algorithm 2）：对每个概念 k 算 credal 界 [min_h p̂_h^(k), max_h p̂_h^(k)]，认知信号 U_epi^(k)=Var_h[p̂_h^(k)]（也用宽度替代），偶然信号 U_ale^(k)=σ_θ^(k)(h)。最终预测用均值 p̄^(k) = (1/H) Σ_h p̂_h^(k) 走线性分类器 ŷ = argmax_j f_cls(p̄)_j；不确定性感知的决策则把 credal 界通过区间算术传到 logit 层 ℓ_j = Σ_{W_jk>0} W_jk p_k + Σ_{W_jk<0} W_jk p̄_k + b_j 及其上界，用于 Γ-Maximin 或 maximality 决策。
技术新颖性
新颖性有三个层次。第一是「双源分离」的架构原则：现有 CBM 的概率扩展如 P-CBM (Kim et al., 2023) 用变分嵌入，把所有不确定性挤在 latent 空间；Evidential DL 用 Dirichlet 分解 vacuity/dissonance，但参数同源；本文显式声明认知和偶然必须走不同的网络分支、监督信号和损失项，并用消融实验验证——移除 aleatoric 头会让 ρ_ale 从 0.785 跌到 0.356 而 ρ_epi 不动，反之亦然。第二是把 credal set 真正端到端地接到概念瓶颈模型上：之前 credal set 主要用于带 reject 的分类 (Corani & Zaffalon 2008) 或 set-valued prediction (Sale et al. 2023)，从未被嵌入 CBM 的可解释中间层；本文证明通过区间算术可严格传播 credal 界到 logit（Proposition 1 给出了紧性证明），且对二分类经单调 σ 函数可得到精确概率界。第三是「prescriptive routing」视角：现有不确定性论文的评估标准停留在「与错误率的相关性」，本文显式构建了四象限 (TRUST/DATA/REVIEW/ABSTAIN) 决策框架，并用 ∆Acc = Acc(corrected) − Acc(original) 评估「校正不确定性最高的前 5 个概念」带来的实际收益，把不确定性从「数字」升级为「行动建议」。
实验结果
核心结论是「分离有效」：在 CEBaB 上 CREDENCE-DeBERTa 取得 ρ_epi = 0.302（错误率相关）和 ρ_ale = 0.785（标注者分歧相关），后者是最佳基线 CBM+Ensemble 0.356 的 2.2 倍；CREDENCE-RoBERTa 同样骨干下 ρ_epi = 0.287 比 CBM+Ensemble 的 0.189 提升 52%。在四个数据集上 ρ_ale 的提升都达到 2× 以上（CEBaB 2.2×、GoEmotions 1.7×、HateXplain 1.6×、SST-2 也维持负相关不变）。重要的是结构性验证——SST-2 没有标注者分歧标签，ρ_ale 在所有方法上都是负值或近零，因为没有「人类歧义」可追踪，这是符合预期的 null 结果而非反相关，这一对比反过来证明 ρ_ale 的高值是真实信号而非过拟合。逐概念分析（Table 11）显示 ρ_ale 与概念歧义度正相关：Food 25% unknown → ρ=0.72，Service 45% → 0.78，Ambiance 63% → 0.81，Noise 75% → 0.83。干预实验（Table 3）给出最直接的实用证据——用 aleatoric 选前 5 概念替换为真值，在 CEBaB 上 ∆Acc = +18.7%，epistemic 选只 +6.4%，随机基线约 +4%；SST-2 上差距更悬殊（+19.1% vs +2.1%，9.1×），说明 aleatoric 选出的概念正是「对决策最关键、人类分歧最强」的概念。四象限路由（Table 4）显示 REVIEW 象限（低认知、高偶然）即使干预后仍达 85.7% 准确率——这些不是模型错的样本，而是「即使人类也合理分歧」的样本；DATA 象限（高认知、低偶然）干预后只有 56.6%，证明这些是可学习错误；TRUST 象限干预后 78.8%，是真正可自动化的样本。消融方面，H=1 时 ρ_epi 仅 0.052，H=5 跃升至 0.287 再到 H=15 的 0.312，而 ρ_ale 几乎不动（0.781→0.785→0.776），证实两类信号对头数的依赖不同；移除 LoRA rank 多样性 ρ_epi 从 0.287 降到 0.212，移除 aleatoric 监督 ρ_ale 从 0.785 跌到 0.356。计算开销方面，CREDENCE-H=5 在 RoBERTa-base 上仅多 1.2× 训练时间、1.4× 推理时间、1.18M 额外参数，比完整 CBM+Ensemble (5 个全模型，5× 训练、5× 推理) 节省一个数量级。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CEBaB 情感分类 | Acc (%) | 73.4 (CRED.-DeBERTa) / 71.6 (CRED.-RoBERTa) | 71.0 (CBM+Ensemble, RoBERTa 同骨干) / 71.1 (Deep Ensemble) | +2.4 / +0.6 — 主方法在同骨干下小幅提升，幅度不大说明 Acc 不是重点 |
| CEBaB 情感分类 | ρ_epi (Spearman, 错误率相关) | 0.302 (DeBERTa) / 0.287 (RoBERTa) | 0.189 (CBM+Ensemble, RoBERTa 同骨干) / 0.201 (Deep Ensemble) | +52% (同骨干 RoBERTa 比) — 认知信号显著更强 |
| CEBaB 情感分类 | ρ_ale (Spearman, 标注者分歧相关) | 0.785 (DeBERTa/RoBERTa) | 0.356 (CBM+Ensemble) / 0.345 (Deep Ensemble) | +120% (2.2×) — 偶然信号突破性提升 |
| GoEmotions 情绪分类 | Acc (%) | 51.2 (DeBERTa) | 48.2 (Deep Ensemble) | +3.0 |
| GoEmotions 情绪分类 | ρ_epi / ρ_ale | 0.095 / 0.198 | 0.056 / 0.118 (Deep Ensemble) | +70% / +68% — 多标签分类中分离同样成立 |
| HateXplain 毒性分类 | Acc (%) | 76.3 (DeBERTa) | 74.5 (Deep Ensemble) | +1.8 |
| HateXplain 毒性分类 | ρ_epi / ρ_ale | 0.289 / 0.463 | 0.195 / 0.267 (Deep Ensemble) | +48% / +73% |
| SST-2 情感分类 | Acc (%) | 91.2 (DeBERTa) | 90.6 (Standard CBM) | +0.6 — 数据集较饱和 |
| SST-2 情感分类 | ρ_epi / ρ_ale | 0.361 / -0.095 | 0.238 / -0.111 (Standard CBM) | +52% (epi) — 无标注分歧时 ρ_ale 保持负相关，验证 null 期望 |
| CEBaB 概念干预 (前 5 概念替换真值) | ∆Acc (aleatoric vs epistemic) | +18.7% / +6.4% | 随机选择约 +4% | 2.9× — aleatoric 选出的概念远更具干预价值 |
局限与改进
作者承认的局限性包括：(1) 需要概念级标注才能训练，这是 CBM 的固有瓶颈，新领域部署成本高；(2) 集成推理需要 H× 前向次数（虽然可并行），相比单头模型仍有额外开销；(3) 当标注者分歧标签不可得时 aleatoric 必须依赖无监督替代（heteroscedastic NLL），ρ_ale 从 0.785 降至 0.523，仍优于基线但弱于监督版本；(4) 边界错误 (ρ≈0.3) 表明认知信号并非万能，错分有时是认知和偶然共同作用。我自己的观察还包含：(5) ρ_ale 在 GoEmotions (0.198) 和 HateXplain (0.463) 之间差距很大，说明偶然信号对数据集本身的「主观性强弱」敏感——GoEmotions 28 类细粒度情绪可能本身就缺少显式「unknown」标注；(6) 四象限决策的阈值取中位数，这在数据分布变化时缺乏稳定性；(7) 干预实验只校正 top-5 概念，没有展示不同预算下的边际收益曲线；(8) CREDENCE 在 LLM 上 (Phi-3/Mistral/Llama-3) 相比 DeBERTa 没有取得 ρ_epi 优势——Mistral-7B 在 SST-2 上的 0.348 还略低于 DeBERTa 的 0.361，说明概念级 LoRA 在更大模型上的扩展性值得怀疑。
独立分析的弱点
独立分析下，最值得指出的弱点有三处。其一是**偶然信号对监督标签的依赖过强**：在 CEBaB 上 ρ_ale 达到 0.785，但完全相同的框架换到 SST-2（无 unknown 标签）就只有 -0.095，意味着偶然信号几乎无法迁移——作者给出的 heteroscedastic NLL 替代也只有 0.523，离监督版本差 33%。改进方向是引入预训练语言模型自身的歧义先验（如 masked language model 在该概念词位置上的熵）或 self-supervised 的标注者模拟。其二是**集成多样性的「配置税」**：作者花了大量篇幅调整 LoRA rank 集合、dropout 几何分布、pooling 策略才能让 ρ_epi 稳定上升，Geometric {4,8,16,32,64} 比 Uniform r=16 高 35%（ρ_epi 0.287 vs 0.212），这暗示如果用错配置，认知信号会退化；理想的做法应该是让多样性在训练中自动涌现（如 heads 间的对抗正则），而不是靠人工调 rank 序列。其三是**四象限决策的硬阈值与决策单调性假设**：把 epistemic 高的样本一律送去「补数据」是基于「认知不确定性源于数据不足」这一前提，但当数据已饱和时高认知可能源于模型容量不足或标签噪声；此时该走「重新设计模型」而非「加数据」。改进方向是为每个象限附加「原因溯源」信号，比如 epistemic 高 + aleatoric 低的样本进一步拆解是「数据不足」还是「架构误设」。
未来方向
作者明确指出的方向是：(1) 无监督偶然不确定性估计——摆脱对标注者 unknown 标签的依赖，迁移到新领域；(2) 把框架扩展到生成式任务（目前只覆盖分类），用于 LLM 的幻觉检测与事实性评估；(3) 学习式聚合——目前均值 p̄ 和 min/max credal 界都是简单统计，未来可以用 attention 或 routing network 聚合不同 head 的预测。基于本文成果可延伸的方向还包括：(4) 把四象限扩展为连续策略——例如在 TRUST 和 ABSTAIN 之间引入「低成本低风险 fallback」(如换成更简单的模型重试)，而不是只在 0/1 决策上跳；(5) 用 credal 区间和 Γ-Maximin 决策直接优化下游效用函数 (utility-discounted accuracy, Zaffalon et al. 2012)，把不确定性从「事后度量」变成「训练目标」；(6) 把 CREDENCE 接到 retrieval-augmented 或 tool-augmented 框架——认知高的样本自动触发 retrieval、偶然高的样本自动触发 human-in-the-loop；(7) 在多语言 / 多模态场景验证偶然信号是否仍然「追踪人类分歧」——这一性质若跨语言成立，将是非常强的证据。
复现评估
复现性评估整体较好。作者开源了代码（GitHub: Tankiit/Credal_Sets/tree/ensemble-credal-cbm），并给出了完整的超参数表（Table 10）、训练算法（Algorithm 1）和推理算法（Algorithm 2）。训练流程使用冻结 encoder + 轻量 LoRA 头，单卡 GPU 即可跑 66M–184M 的 encoder 模型；DeBERTa-v3-base 在 CEBaB 上训练 40 epoch 约 1–2 小时级别。LLM 实验需要更大算力，Mistral-7B + LoRA 需要约 24GB 显存（Phi-3-mini 8GB 即可）。每个实验跑 3 次取均值报告了标准差（Table 12 显示 aleatoric 干预 ±0.2pp、epistemic ±2.4pp），随机种子固定 42。数据方面，CEBaB、SST-2、GoEmotions、HateXplain 都是公开数据集。复现难度中等：主要挑战在于 (a) 标注者 unknown 标签需要从原始 CEBaB 标注文件自行抽取，(b) LoRA 头 rank 多样性的具体选择对结果敏感，(c) credal 区间通过区间算术传到 logit 需要按 W_jk 符号分桶的代码细节（Proposition 1 给出了形式化证明但实现要小心）。
论文图表
