迷失在折之间：当交叉验证不再是用于不确定性估计的深度集成 Lost in the Folds: When Cross-Validation Is Not a Deep Ensemble for Uncertainty Estimation
医图分割中交叉验证集成与深度集成在不确定性上不等价，应按任务择优。
前置知识
深度集成 (Deep Ensemble)
由 Lakshminarayanan 等人提出的不确定性估计方法：在同一完整训练集 $D$ 上用不同的随机初始化与随机优化轨迹训练 $M$ 个同结构网络，集成预测取成员平均 $\bar{p}=\frac{1}{M}\sum_m p_m$，成员间分歧即反映模型参数的后验不确定性。
本文的核心比较对象，必须分清它和 CV 集成的区别——前者训练集共享、后者不共享，这是全文分歧的根源。
K折交叉验证 (K-fold CV)
把数据集分成 K 个互斥折，第 k 个模型在剩余折 $D_{train}^k=D\setminus D_{val}^k$ 上训练、在第 k 折上验证。nnU-Net 默认 5 折且常被复用为集成。本文关键在于其成员训练集彼此不同。
理解为什么 CV 集成的分歧会混入'数据曝光不足'变异性，而非纯后验不确定性，才能跟上全文论证。
认识论不确定性 (Epistemic Uncertainty)
由模型/数据有限性引起、可通过增加数据降低的不确定性，与由数据噪声引起、不可消除的偶然不确定性相对。集成成员间分歧常被当作它的代理度量。
本文争论的正是哪种集成能更干净地代表它，理解这个分类才能跟上动机与结论。
nnU-Net
医学图像分割的事实标准框架，自动针对每个任务配置网络架构、预处理和训练超参，默认用 5 折 CV 评估并复用为集成。本文实验基于 v2.4.1 + ResEncM 预设。
CV-DE 术语-实现错配的主要发生地就是 nnU-Net 流水线，理解它的默认行为才能理解问题为何普遍。
BA-ECE / 体素校准
衡量预测置信度与实际准确率吻合程度的指标。BA-ECE 在体素级按置信度分箱并加权误差、对边界区域更敏感，常比标准 ECE 更能反映分割校准质量，值越低越好。
是 DE 优于 CV 的主要评估维度之一，看懂 Table 3 需要理解 ACE/BA-ECE 越低越好。
研究动机
医学图像分割里，集成模型间的分歧被广泛用作认识论不确定性的代理度量，尤其在临床部署这种可靠性至关重要的场景中。但很多研究图省事直接复用 nnU-Net 默认产出的 5 折交叉验证（CV）模型来算不确定性，却又把它们称作'深度集成'（DE）。作者通过文献调研发现这种术语-实现错配非常普遍：Table 1 的 14 篇 2020–2025 年研究中，7 篇宣称用了 DE 实际却用 5/10 折 CV，例如 Jungo 等人在脑 MRI 上称 DE 实为 10 折 CV，Khalili 等人在 CAMELYON16 上称 DE 实为 5 折 CV。症结在于：DE 所有成员在同一完整训练集 $D$ 上用不同随机种子训练，分歧反映给定全数据下的参数后验不确定性；而 CV 成员各自只在缺失一折的子集上训练，分歧把真实后验不确定性与'数据曝光不足'诱发的变异性混在一起。在罕见结构、罕见病理或折内分布不均的医学影像里，这种混淆会让被阈值化或排序后用于转诊、失败检测、质量控制的不确定性信号产生系统性误导。
本文的目标是本文要做的是系统厘清 CV 集成与 DE 这两种构造在不确定性估计上的本质差异，并回答两个核心问题：在相同网络结构、相同超参、相同训练预算（每个集成 5 个成员）的前提下，两种集成方式在分割精度、体素级校准、样本级失败检测、标注歧义建模以及分布外鲁棒性这五个维度上是否会产生系统性不同的不确定性行为？如果不同，应依据下游任务（如可靠性导向的选择性转诊 vs. 歧义建模）选择哪一种构造？为此作者在三个跨模态（MRI、CT、眼底）多标注者数据集 GoldAtlas、CURVAS、RIGA 上做受控对比，每个数据集都提供多个独立标注者以便分析歧义，并沿用 ValUES 框架的标准化评估场景。最终目标是给出可操作的任务相关推荐，并发布一个最小化的 nnU-Net 修改补丁，让社区能在默认流水线里直接训练符合原始定义的 DE。
与已有工作不同的是，以往的医学分割不确定性研究大多只比'哪种集成方法好'，而忽略了'集成构造本身'这个被默认等同的前提。本文的独特切入点是：不去争论 DE vs MC-Dropout 这类老问题，而是聚焦一个被默认为等价却被实际错用的细节——CV 折成员与 DE 种子成员的训练集是否相同。这一区分在过去被笼统地用'集成'二字掩盖。作者第一次用文献审计把术语-实现错配量化出来（Table 1），再用统一的 ValUES 框架在同一套架构（nnU-Net v2.4.1 + ResEncM）和同一套训练协议（固定 epoch、固定学习率、无早停、无验证集选模型）下做严格受控实验，让唯一变量就是'训练集是否共享'。同时引入多标注者数据集，首次把'CV 诱导的数据变异性'和'标注者间歧义'这两个此前被混为一谈的来源做对照。这种'先把混淆量化、再在受控条件下拆解因果'的思路是文献里长期缺失的。
核心方法
直觉上：DE 想逼近固定数据下的贝叶斯模型平均，分歧源于权重后验的不确定性；CV 集成则把 K 个在不同数据子集上训练的模型当混合体，分歧里额外混入了数据欠采样的变异性。作者的整体路线是'先审计再实验再落地'：第一步用文献审计证明问题真实存在；第二步在同一套 nnU-Net 配置下定义两种集成（CV-Ensemble 用默认 5 折划分每折训练 80% 数据；DE 训练 $M=5$ 个成员用全部数据、仅随机种子不同），两种配置除训练集是否共享外其余完全一致——同样的网络架构、训练时长、学习率调度、增强，推理用最终检查点而非验证集选模型；第三步用一组互补的指标（DSC 看分割、ACE/BA-ECE 看体素校准、NCC/GED 看歧义、AURC 看失败检测）评估；第四步用 B=10000 的非参数自举做配对显著性检验；最后给出任务相关的推荐并发布 nnU-Net 补丁。
核心创新不在于提出新模型，而在于把'集成构造'这个被默认为等价却被实际错用的维度显式拆解出来作为唯一变量。形式上 DE 成员 $\theta_m \sim P(\theta|D)$，CV 成员 $\theta_k \sim P(\theta|D_{train}^k)$，后者由于缺失验证折 $D_{val}^k$ 而引入额外的'数据曝光不足'变异性。与以往'集成 vs 单模型''DE vs MC-Dropout'这类比较的本质区别是：本文固定训练预算（都 5 个成员）、固定架构、固定数据池，只翻转'训练集是否共享'这一个开关，因此任何观察到的差异都只能归因于数据曝光而非种子、检查点或优化伪影。配合统一框架 ValUES 和多标注者数据集，本文第一次把'CV 的数据变异性'与'标注者间歧义'对照起来，发现二者在部分场景里呈现相似的分歧模式——这是文献里从未点破的洞察。
方法步骤详情
完整步骤：①数据准备——选三个多标注者数据集 GoldAtlas（19 例 T2w MRI、9 类、5 标注者）、CURVAS（89 例 CT、4 类、3 标注者）、RIGA（749 例眼底 RGB、2 类、6 标注者），每个（图像, 标注者）对当独立样本，按图像身份分组的 K 折划分防泄漏；②训练两种集成——CV 用 nnU-Net 默认 5 折，DE 训练 5 个全数据成员仅随机种子不同；③推理——每个成员算体素级 softmax $p_m$，集成预测取成员平均 $\bar{p}$，硬预测取最大概率类；④评估——DSC 算分割、ACE 与 BA-ECE 算体素校准、NCC 与 GED 算歧义、用模型间 Dice 分歧 $u$ 排序、风险 $r=1-\text{DSC}$ 做失败检测；⑤统计——B=10000 配对自举给 95% 置信区间；⑥OOD 评估——CURVAS 留 Group C（n=23）、RIGA 留 Magrabi 中心（n=95）、GoldAtlas 留站点 3（n=4）；⑦发布补丁与推荐表。
技术新颖性
技术新颖性体现在三层：①概念上——首次系统地把'集成构造'从'集成方法'里独立出来作为分析维度，并用文献审计量化术语-实现错配（Table 1 是此前从未出现的实证清单）；②实验设计上——通过固定架构、超参、训练预算和检查点策略，把唯一变量收敛到'训练集是否共享'，避免了过往比较里常见的混淆；③洞察上——首次发现 CV 诱导的数据变异性可以部分模仿标注者间歧义，并据此把'可靠性导向'与'歧义导向'两类下游任务区分对待。此外发布的 nnU-Net 补丁填补了 DE 训练的工程缺口，使社区无需重写流水线即可获得符合原始定义的 DE。整体看，新颖性更多在'重新框定问题'和'受控因果拆解'而非新模型新算法，但对一个被广泛错用的核心实践来说价值很高。
实验结果
核心发现五点。①分割精度几乎无差别——DE 与 CV 三集 DSC 基本持平（GoldAtlas 85.2 vs 84.6、CURVAS 93.6 vs 93.5、RIGA 93.2 vs 93.1），DE 不牺牲精度。②体素校准 DE 全面更优——ACE 三集分别降到 16.7 vs 19.3、18.3 vs 19.6、17.9 vs 19.9（多组达 $p<0.001$），BA-ECE 同步下降（如 RIGA 20.6 vs 21.5），Fig. 1 可见 DE 曲线整体低于 CV。③失败检测 DE 更强——AURC 三集均低于 CV（9.3 vs 9.7、4.4 vs 4.6、5.5 vs 5.7），Fig. 2 转诊曲线同覆盖率下 DE 风险更低。④歧义建模 CV 反占优——CURVAS、RIGA 上 CV 的 NCC 更高或 GED 更低（如 CURVAS NCC 50.3 vs 49.2，$p<0.05$），说明 CV 的数据变异性恰好模仿标注者分歧。⑤分布外鲁棒性二者总体相当、差异均不显著。结论：构造应依任务选——可靠性场景用 DE，歧义建模用 CV。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GoldAtlas 体素校准 | ACE (↓, ×100) | DE 16.7 (CI 14.7–18.7) | CV 19.3 (CI 17.5–21.1) | −2.6，配对自举 p<0.001，DE 显著更优 |
| RIGA 边界校准 | BA-ECE (↓, ×100) | DE 20.6 (CI 20.1–21.2) | CV 21.5 (CI 20.9–22.0) | −0.9，配对自举 p<0.001 |
| RIGA 样本级失败检测 | AURC (↓, ×100) | DE 5.5 | CV 5.7 | −0.2，DE 转诊曲线风险更低 |
| CURVAS 标注歧义建模 | NCC (↑, ×100) | CV 50.3 (CI 48.3–53.1) | DE 49.2 (CI 47.3–51.8) | CV 反占优 +1.1，p<0.05 |
| GoldAtlas 分割精度 | DSC (↑, ×100) | DE 85.2 | CV 84.6 | +0.6，基本持平，构造不影响精度 |
局限与改进
作者承认的局限：①只比较了 5 个成员，未研究集成规模 $M$ 与差异如何随规模缩放；②DE 在工程上额外成本高——必须额外训练而非复用参数搜索阶段产出的 CV 模型；③OOD 划分（GoldAtlas 仅 4 例、CURVAS 仅 23 例）样本偏小，结论统计效力有限；④只在三种模态三个数据集上验证，未覆盖更多任务。我自己的观察：a) 推荐表 Table 4 把'分布外鲁棒性'标为 DE 与 CV 都可，但实验里 OOD 差异本身就很小，这更像'无显著差异'而非'两者都好'；b) 文献审计 Table 1 缺少检索方法学细节（如何筛出 14 篇），可能存在选择偏差；c) 用 Dice 作为风险代理对边界误差不敏感，可能低估真实失败；d) 没有讨论 MC-Dropout 或 BNN 等其他不确定性方法的位置，对实践者的全景选择不够完整。
独立分析的弱点
独立分析的弱点与改进方向：①数据集规模小且模态少——GoldAtlas 仅 19 例，统计置信区间很宽（DSC CI 达 [74.3, 88.9]），结论难泛化。改进方向：纳入更大规模公开多标注者数据集（如 BraTS 多标注变体）并扩展到超声、病理全片等模态。②未研究集成规模效应——$M=2,3,5,10$ 的标定曲线如何随构造缩放尚不清楚，预算受限时如何选 M 也没答案。改进方向：做 M 的消融并给出成本-收益曲线。③CV 与 DE 的计算成本对比不彻底——DE 需额外训练全数据成员，但论文没量化相对 CV 的额外算力/时间。改进方向：给出 GPU·小时数和碳排放对照。④OOD 评估只用了中心/人群/病理子群三种 mild shift，没有真正的域外模态迁移或合成损坏。改进方向：加入跨模态硬 OOD 与损坏基准。⑤推荐表偏定性，缺乏自动化决策规则——改进方向：训练元学习器根据任务/数据特征自动选构造。
未来方向
作者明确提出的未来工作：①呼吁社区在论文中显式报告用于不确定性估计的集成构造（DE 还是 CV），并依据下游任务选择；②推广他们发布的 nnU-Net 补丁以方便训练 DE。基于本文成果可延伸的方向（我的补充）：a) 把分析扩展到非医学分割（如自动驾驶、遥感）验证结论的普适性；b) 研究混合构造——例如用 CV 成员补足标注稀疏区域、用 DE 成员稳住校准，构造一种兼顾歧义与可靠性的'任务自适应集成'；c) 把'数据曝光不足变异性'建模成可解释项，从总分歧里分解出纯后验分量与曝光分量，从而在不重训的情况下把 CV 集成的不确定性'修正'为 DE 风格；d) 与测试时增强（TTA）的交互——TTA 也引入变异性，它和 DE/CV 三者如何叠加尚不清楚；e) 探索小样本下用更便宜的近似（如 SWAG、Laplace）替代 DE。
复现评估
复现评估整体较好：①代码已开源在 https://github.com/Kirscher/LostInFolds，含实现 DE 的 nnU-Net 补丁；②数据全部为公开数据集（GoldAtlas、CURVAS、RIGA），但作者明确说明预处理产物、模型检查点和派生预测不在仓库重分发，需要用户自行按原始数据提供方条款获取；③实验协议描述详细——nnU-Net v2.4.1、ResEncM 预设、默认超参、固定 epoch、固定学习率调度、无早停、推理用最终检查点、B=10000 自举，这些都高度可复现；④三数据集都是多标注者且划分规则（按图像身份分组防泄漏、OOD 子集定义）都写清了；⑤困难点在于算力——每个数据集要训练 5（DE）+5（CV）共 10 个 nnU-Net 模型，3D MRI/CT 训练成本不低，单卡实验室可能吃力；⑥统计检验方法透明。综合给出较高复现性评级，主要不确定性来自数据获取门槛和未公开的预处理产物。
论文图表
三张子图展示 RIGA、CURVAS、GoldAtlas 的转诊曲线，x 轴为保留样本覆盖率（100% 降到 0%），y 轴为剩余样本的平均风险 $1-\text{Dice}$。曲线越靠下左越好（同覆盖率下风险更低）。三集上 DE 曲线都略低于 CV，但差距不大，RIGA 上最明显。
失败检测能力的直接可视化，对应 AURC 指标。它回答了'若把最不确定的样本转给人审能降多少风险'这个临床最关心的问题，是推荐 DE 用于可靠性场景的关键依据。