呼吸音分类的几何感知优化:用 SAM 优化的音频频谱 Transformer 提升敏感性 Geometry-Aware Optimization for Respiratory Sound Classification: Enhancing Sensitivity with SAM-Optimized Audio Spectrogram Transformers
SAM+AST 在 ICBHI 2017 数据集上实现 68.10% SOTA 分数
前置知识
Audio Spectrogram Transformer (AST)
AST 是一种将 Vision Transformer 架构应用到音频任务的模型。它将音频转换为 Log-Mel 频谱图,然后分割成小块(如 16×16),使用自注意力机制处理全局上下文,可以捕获整个呼吸周期中的长程时间依赖关系。AST 在 AudioSet 等大规模音频数据集上预训练,获得对音高、节奏等基本声学结构的理解。
本文的核心模型架构,需要理解它如何处理音频频谱图以及为什么相比 CNN 能更好地捕获全局上下文
Sharpness-Aware Minimization (SAM)
SAM 是一种几何感知优化算法,它将优化问题构建为 min-max 形式:在模型参数周围半径为 rho 的邻域内找到使损失最大的方向,然后沿着这个扰动点的梯度更新参数。数学表达为 min over w of L_SAM(w) equals max over epsilon with norm less than or equal to rho of L(w plus epsilon)。SAM 的两步计算是:先计算梯度方向并找到最陡峭上升方向的扰动 epsilon equals rho times gradient L(w) divided by norm of gradient L(w),然后在扰动点 w plus epsilon 计算梯度用于参数更新。
本文的核心创新点,需要理解它如何引导模型向平坦最小值收敛,以及为什么这能提高泛化能力
ICBHI 2017 Challenge Dataset
ICBHI 2017 是呼吸音分类的基准数据集,包含 920 条标注音频记录,来自 126 位受试者。数据集有四个类别:Normal(正常)、Crackle(爆裂音)、Wheeze(喘鸣音)、Both(同时有爆裂音和喘鸣音)。挑战赛的评估协议是二分类任务:正常 vs 异常(异常包括 Crackle、Wheeze、Both)。该数据集的特点是样本量小、类别严重不平衡、背景噪声高(包括听诊器摩擦音、心跳、语音等)。
本文的评估数据集,需要理解其特点和挑战,才能明白为什么需要 SAM 优化和加权采样策略
损失景观几何
损失景观是指损失函数在参数空间中的形状。尖锐最小值(sharp minima)是指损失函数在最小值附近变化剧烈的区域,模型在这些点对输入扰动非常敏感。平坦最小值(flat minima)是指损失函数在最小值附近变化平缓的区域,模型在这些点对输入扰动更鲁棒。Keskar 等人的研究表明,平坦最小值比尖锐最小值具有更好的泛化能力。
本文的理论基础,需要理解尖锐最小值和平坦最小值的区别,以及为什么 SAM 能引导模型向平坦最小值收敛
敏感性 vs 特异性
敏感性(Sensitivity,Sensitivity = TP/(TP+FN))衡量模型正确识别正例的能力,在医疗诊断中表示正确检出疾病患者的比例。特异性(Specificity,Specificity = TN/(TN+FP))衡量模型正确识别负例的能力,在医疗诊断中表示正确识别健康人的比例。平均分数 Score = (Sensitivity + Specificity)/2。在临床筛查中,高敏感性意味着低假阴性率,这对于不漏诊患者至关重要。
本文的核心评估指标,需要理解为什么作者将敏感性作为首要优化目标
研究动机
呼吸音分类任务面临严重的数据挑战。ICBHI 2017 基准数据集仅包含 920 条来自 126 位受试者的音频记录,样本量非常小。更严重的是类别高度不平衡,正常样本远多于病理样本。同时,数据集背景噪声极高,包括听诊器摩擦音、心跳、语音等干扰。这些因素使得深度学习模型,特别是缺乏归纳偏置的 Transformer 架构,容易过拟合训练数据。标准优化器(如 AdamW 或 SGD)在训练时只最小化训练损失,往往使模型收敛到损失景观中的尖锐最小值(sharp minima)。在这些尖锐最小值处,模型可能记住训练样本的特定背景噪声,但遇到微小输入扰动时性能急剧下降,这在临床环境中是常见情况,因为不同患者的生理特征、不同录音设备都会引入变异性。
本文的目标是本文的具体目标是解决 Transformer 在小规模、高噪声医疗数据集上的过拟合问题,通过几何感知优化引导模型向泛化能力更强的平坦最小值收敛,同时有效处理类别不平衡问题,最终提升呼吸音分类的敏感性。敏感性在临床筛查中至关重要,因为假阴性意味着漏诊患者,可能延误及时治疗。作者希望在 ICBHI 2017 基准数据集上超越现有的 CNN 和混合模型,实现更高的敏感性和总体分数。
与已有工作不同的是,现有方法大多采用复杂的多模态融合、先进的去噪模块或对比学习技术来处理噪声和类别不平衡问题。例如,Dong 等人提出的 ADD-AST 模型使用自适应差分去噪,RespireNet 使用广泛的数据增强。然而,这些方法往往专注于提高特异性,导致敏感性偏低(约 40-45%)。此外,大多数现有方法使用标准优化器,没有显式优化损失景观的几何形状。本文的独特切入角度是:不是通过预处理去除噪声,而是通过优化约束让模型学会区分噪声和病理特征。通过整合 SAM 几何感知优化,显式引导模型向平坦最小值收敛,这在呼吸音分类领域是一个新颖的尝试。
核心方法
本文提出的方法整体思路是将几何感知优化引入音频频谱 Transformer,通过优化损失景观的几何形状来提升模型泛化能力。直觉上,标准优化器只关注最小化训练损失,容易让模型记住训练数据的特定噪声模式。而 SAM 优化器同时最小化损失值和损失景观的尖锐程度,引导模型向平坦最小值收敛,在这些点上模型对输入扰动更鲁棒。技术路线上,整个框架包含三个关键组件:信号保持预处理策略、迁移学习的 Audio Spectrogram Transformer 骨干网络、以及 Sharpness-Aware Minimization 优化器。预处理阶段采用循环填充而非零填充,确保模型始终处理密集的信号输入。AST 模型从 AudioSet 大规模音频数据集迁移学习,获得基础声学结构理解。SAM 优化器在训练过程中显式优化损失几何,结合加权采样策略处理类别不平衡。
本文的核心创新点是将几何感知优化(SAM)与音频频谱 Transformer 结合,显式优化损失景观的几何形状,引导模型向平坦最小值收敛。与已有方法的本质区别在于:现有方法大多通过数据增强、对比学习或多模态融合来提高模型性能,但仍使用标准优化器;而本文从优化算法层面入手,通过 SAM 的 min-max 优化框架,在每轮训练中先找到使损失最大的扰动方向,然后沿着这个扰动点的梯度更新参数。这使得模型学到不变性病理特征而非记忆特定的背景噪声。另一个关键区别是本文采用信号保持策略,使用循环填充而非零填充,保留完整的声学信息,让模型学会区分噪声和病理特征,而不是通过预处理去除可能包含病理信息的信号。
方法步骤详情
方法步骤的完整描述如下:第一步是数据集和信号预处理。使用 ICBHI 2017 挑战数据集,包含 920 条标注音频记录。针对变长呼吸周期问题,采用循环填充策略而非零填充。对于目标输入时长 8 秒,短于该长度的信号重复填充直到达到目标,确保模型始终处理密集的信号输入,最大化病理模式(爆裂音和喘鸣音)的提取。第二步是模型架构选择,采用 Audio Spectrogram Transformer (AST)。原始音频首先转换为 Log-Mel 频谱图,这个声音的视觉表示被分割成 16x16 的小块序列。模型使用自注意力机制衡量不同小块的重要性,使其能够关注临床相关事件(如短促的爆裂音),无论它们在录音中的位置如何。第三步是迁移学习,AST 模型使用在 AudioSet 上预训练的权重初始化,AudioSet 包含超过 200 万个音频剪辑,提供模型对音高和节奏等声学结构的基础理解。第四步是几何感知优化,使用 SAM 优化器而非标准的 AdamW。每轮训练迭代包括两步:首先计算权重梯度的梯度,确定最陡峭上升方向,然后计算使损失最大化的扰动向量 epsilon equals rho times gradient L(w) divided by norm of gradient L(w),其中 rho 是定义邻域大小的超参数,设置为 0.05。接着基于在这个扰动状态(w plus epsilon)计算的梯度更新模型权重,有效引导优化轨迹向损失景观的平坦区域移动。第五步是处理类别不平衡,使用加权采样策略平衡训练过程中的类别分布。
技术新颖性
本文的技术新颖性体现在多个方面。首先,这是首次将几何感知优化(SAM)应用于呼吸音分类任务,显式优化损失景观的几何形状。虽然在计算机视觉领域 SAM 已经广泛应用,但在生物医学音频领域的应用仍然有限。其次,本文提出了一种独特的信号保持预处理策略,使用循环填充而非零填充,避免了人工静音段稀释诊断特征的问题。这与其他方法采用的零填充或去噪预处理形成鲜明对比。第三,本文通过消融研究系统地验证了每个组件的贡献,证明了 SAM 优化器是提升敏感性的主要驱动力,将敏感性从 63% 提升到 68%。第四,本文在保持相对简单架构的同时实现了 SOTA 性能,不需要复杂的多模态融合或大规模辅助数据。最后,本文提供了详细的视觉分析,包括 t-SNE 可视化和注意力图,为模型决策过程提供了可解释性支持。
实验结果
本文在 ICBHI 2017 基准数据集上进行了全面的实验,主要发现包括:首先,提出的 AST + SAM 方法达到了新的 SOTA 分数 68.10%,显著超越现有 CNN 和混合基线。具体来说,本文方法实现了 68.31% 的敏感性,这是所有比较方法中最高的,这对于最小化临床筛查中的假阴性至关重要。在基线比较中,ADD-AST (Dong et al. 2025) 达到 65.53% 分数,敏感性 45.94%;RespireNet 达到约 60% 分数,敏感性约 45%。本文方法在敏感性上的提升是巨大的(从 45% 提升到 68%),虽然在特异性上有所牺牲(67.89%),但平均分数仍然超越了所有比较方法。消融研究验证了每个组件的贡献:基线 AST 仅达到 67.64% 分数(敏感性 66%,特异性 70%);添加加权采样后分数降至 66.91%(敏感性 63%,特异性 71%);最终添加 SAM 优化器后分数提升到 68.10%(敏感性 68.31%,特异性 67.89%)。值得注意的是,SAM 优化器是提升敏感性的主要驱动力,消除了加权采样引入的验证损失方差,同时改善了整体性能。视觉分析包括 t-SNE 和混淆矩阵,表明模型学习到了鲁棒、判别性的特征而非记忆背景噪声。混淆矩阵显示模型在识别病理样本方面表现出强能力,敏感性达到 68%,大多数误分类发生在异常类别之间,按照 ICBHI 协议这些错误不会惩罚最终分数。t-SNE 可视化显示尽管数据集噪声水平和记录变异性高,正常和异常类别的测试样本在二维投影中形成明显的簇,证实了 SAM 优化器成功推动模型学习到鲁棒的、高层次声学特征。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 呼吸音分类(ICBHI 2017,正常 vs 异常) | 平均分数 Score = (Sensitivity + Specificity)/2 | 68.10% | ADD-AST (Dong et al. 2025): 65.53% | +2.57 个百分点 |
| 呼吸音分类(ICBHI 2017,正常 vs 异常) | 敏感性 Sensitivity | 68.31% | ADD-AST: 45.94%; RespireNet: ~45% | +22-23 个百分点 |
| 呼吸音分类(ICBHI 2017,正常 vs 异常) | 特异性 Specificity | 67.89% | ADD-AST: 85.13%; RespireNet: ~80% | 下降约 12-17 个百分点(敏感性优先的权衡) |
局限与改进
本文的局限性分析包括作者承认的不足以及独立观察到的限制。作者承认特异性 67.89% 相对较低,意味着较高的假阳性率,这可能是由于模型将高频噪声误认为喘鸣音。作者还提到数据集规模限制,ICBHI 2017 仅包含 920 条记录,这可能限制模型的泛化能力。独立观察到的限制包括:首先,方法的性能高度依赖于 SAM 优化器的超参数 rho(本文设置为 0.05),不同数据集可能需要调整这个参数,但论文没有提供详细的敏感性分析。其次,虽然本文实现了高敏感性,但特异性的下降意味着实际应用中可能会产生较多假阳性,增加临床验证的工作量。第三,本文仅在 ICBHI 2017 一个数据集上评估,缺乏在其他呼吸音数据集上的验证,这可能限制结论的普适性。第四,尽管提供了 t-SNE 可视化,但论文没有提供注意力图的具体示例,这使得对模型关注区域的直观理解不够充分。第五,方法相对简单,没有利用多模态信息(如患者元数据、影像学数据),这可能限制了进一步提升性能的潜力。最后,虽然代码已开源,但论文没有提供详细的计算开销分析,SAM 优化器需要两次梯度计算,训练时间可能比标准优化器增加约 2 倍,这对于实际部署可能是一个考虑因素。
独立分析的弱点
独立分析的弱点包括几个具体场景和改进方向。首先是特异性不足的问题,在临床实际应用中,高假阳性率可能导致不必要的进一步检查,增加医疗负担和患者焦虑。改进方向可以设计混合损失函数,在保持高敏感性的同时适度惩罚假阳性,例如引入特异性权重的损失项。其次是超参数敏感性,SAM 的邻域大小参数 rho 对性能有重要影响,但论文仅测试了 rho=0.05 一个值。改进方向可以进行系统的超参数敏感性分析,或者引入自适应 rho 的机制,让模型在训练过程中动态调整邻域大小。第三是单数据集评估,仅验证了 ICBHI 2017 数据集,缺乏泛化性验证。改进方向可以评估更多公开呼吸音数据集,如其他医院的临床数据集,验证方法在不同录音设备和患者群体上的性能。第四是单模态限制,仅使用音频信息,没有利用其他可用的临床信息(如患者年龄、性别、病史等)。改进方向可以探索多模态融合,将音频特征与临床元数据结合,进一步提升诊断准确性。第五是可解释性不足,虽然提供了 t-SNE 可视化,但缺乏对模型决策过程的细粒度解释。改进方向可以引入更详细的注意力可视化,或者使用可解释性工具(如 SHAP、LIME)分析模型对不同频段和时间区域的关注点。
未来方向
未来研究方向包括作者提出的以及基于成果可延伸的探索。作者明确提出的未来工作包括:探索混合损失函数,在不损害敏感性的前提下惩罚假阳性;在更大的未标注呼吸音数据集上使用自监督学习,提升模型的特征提取能力,缓解对小型 ICBHI 数据集的依赖。基于成果可延伸的方向包括:第一,将几何感知优化扩展到其他生物医学音频任务,如心音分类、语音障碍检测等,验证 SAM 在其他医疗音频领域的有效性。第二,探索更高级的几何感知优化变体,如 Adaptive SAM、LookSAM 或不同范数的 SAM(L1、L无穷大),可能在不同数据分布下表现更好。第三,研究 SAM 与其他正则化技术的结合,如 dropout、标签平滑、Mixup 等,可能进一步提升模型鲁棒性。第四,开发在线学习方法,让模型在新患者数据上持续学习,同时保持对旧数据的性能,这对于临床部署具有重要意义。第五,探索轻量化架构或蒸馏技术,使方法能够在边缘设备(如便携式数字听诊器)上实时运行,扩大实际应用范围。第六,结合临床医生反馈进行人机协作研究,探索如何将模型预测与专家诊断结合,提高临床决策的整体准确性。第七,研究模型在不同人群(不同年龄、性别、种族)上的公平性,确保模型在各种患者群体上都表现良好,避免潜在的偏见。
复现评估
复现性评估显示本文具有较好的开源情况和可复现性。作者已在 GitHub 公开源代码(https://github.com/Atakanisik/ICBHI-AST-SAM),包括信号保持预处理流水线、AST 模型架构和 SAM 优化脚本。实验环境使用 Google Colab 单个 NVIDIA Tesla L4 GPU,使用 PyTorch 框架,硬件要求相对亲民。所有随机种子固定,确保了可复现性。数据预处理流程描述详细,包括采样率 16 kHz、循环填充至 8 秒固定时长等具体参数。训练超参数明确列出:AdamW 优化器,学习率 1x10^-5,权重衰减 1x10^-4,训练 20 个 epoch,批大小 8,SAM 邻域大小 rho=0.05。评估协议严格遵循 ICBHI 2017 挑战赛官方协议,使用敏感性、特异性和平均分数三个指标。然而,复现难度仍有一些考虑:首先,ICBHI 2017 数据集的获取可能需要注册申请,不是完全开放的数据集。其次,论文没有提供预训练模型的下载链接,需要从 AudioSet 预训练权重开始微调,这可能需要额外的计算资源。第三,虽然代码已开源,但论文没有提供具体的运行脚本和环境配置文件(如 requirements.txt),这可能增加环境设置的难度。第四,SAM 优化器需要两次梯度计算,训练时间可能比标准优化器增加约 2 倍,这可能限制资源有限的研究者的复现能力。总体而言,本文的复现性评估为良好,开源代码和详细的超参数设置为复现提供了良好基础,但仍有一些改进空间,如提供预训练模型、详细的环境配置文件和运行脚本。
论文图表
该图展示了从 AST 编码器最终层提取的测试样本嵌入的 t-SNE 二维投影。图中不同颜色的点代表不同类别(Normal、Crackle、Wheeze、Both)。尽管 ICBHI 数据集噪声水平和记录变异性高,但图中显示正常和异常类别的测试样本形成了明显的簇,说明模型学习到了判别性的高层次特征。Crackle、Wheeze 和 Both 类别之间有一定重叠,这在临床上是可以理解的,因为这些病理往往共存并共享相似的频谱特征。
这张图对理解论文重要,因为它提供了模型特征学习能力的视觉证据。它证明了 SAM 优化器成功推动模型学习到鲁棒的、患者不变的声学特征,而非记忆训练样本的特定噪声或背景。t-SNE 的清晰簇分离也支持了平坦最小值比尖锐最小值泛化能力更好的理论观点。
该表展示了消融研究的结果,比较了三种配置的性能:1) 基线 AST(敏感性 66%,特异性 70%,分数 67.64%);2) AST + 加权采样(敏感性 63%,特异性 71%,分数 66.91%);3) AST + 加权采样 + SAM(本文提出的方法,敏感性 68.31%,特异性 67.89%,分数 68.10%)。从表中可以看出,添加加权采样平衡了类别分布,但增加了验证损失的方差并略微降低了敏感性。添加 SAM 优化器后,敏感性从 63% 显著提升到 68.31%,同时整体分数达到 68.10%,证明了 SAM 是提升性能的主要驱动力。
这个表格对理解论文重要,因为它系统地验证了每个组件的贡献,特别是证明了 SAM 优化器的关键作用。消融研究的结果支持了作者的核心假设:几何感知优化(通过引导模型向平坦最小值收敛)是提升 Transformer 在小规模医疗数据集上泛化能力的有效手段。