Whisper-RIR-Mega：用于评估ASR对室内声学鲁棒性的成对干净-混响语音基准 Whisper-RIR-Mega: A Paired Clean-Reverberant Speech Benchmark for ASR Robustness to Room Acoustics

具体步骤如下：第一步是语料准备，从 LibriSpeech test-clean 中选取 16 kHz 干净语音作为 $s(t)$；第二步是 RIR 选取，从 RIR-Mega 训练集中取一条 RIR $h(t)$，优先选择带 RT60/DRR 元数据的样本；第三步是分层配对，在 RT60 分位数桶内做确定性采样，使得 2000 对样本在 RT60 上分布均衡；第四步是信号生成，对 RIR 能量做归一化，然后做离散卷积 $y(t) = s(t) * h(t)$，再对输出做峰值归一化，保存为 16 kHz FLAC；第五步是数据组织，每条样本由唯一 sample_id 标识，附带 LibriSpeech ID、参考文本 text_ref，以及可选的 rir_RT60_T30_s、rir_DRR_dB 字段；第六步是切分，按确定性规则将 20% 划分为验证、80% 划分为测试（1600 条），并保持 RT60 分布一致；第七步是评估，对每条样本同时跑 clean 和 reverb 条件下的 Whisper 解码（beam=5、best_of=5、temperature=0、language=en、CPU），用 jiwer 库做归一化后算 WER/CER；第八步是统计，对每个模型计算两个条件下的均值以及 $\Delta\mathrm{WER}$、$\Delta\mathrm{CER}$，并可按 RT60/DRR 箱进一步做分布分析。

技术新颖性体现在三方面：第一是评测协议层面，引入严格配对加分层切分加公开 leaderboard 组合，使 $\Delta\mathrm{WER}$ 成为可被直接比较的指标，避免了不同说话人/语料的干扰；第二是元数据利用层面，把 RT60/DRR 从辅助信息升级为切分与可视化的主轴，给出 WER vs RT60 箱、WER vs DRR 箱的二维分析能力；第三是基线覆盖层面，单次提供 5 档 Whisper 在 1600 句上的完整 WER/CER 表，使得模型容量 vs 混响鲁棒性这一经验规律（$\Delta\mathrm{WER}$ 从 tiny 的 15.50 单调下降到 large-v3 的 2.31）第一次以可复现数据形式被记录下来。

独立分析可补充以下弱点并给出改进方向：(1) 缺乏加性噪声维度——真实场景常是混响加噪声叠加，论文只评估了纯混响，使得模型在安静客厅以外的泛化能力未被检验，改进方向是引入 DNS Challenge 之类的噪声集做 SNR 维度扫描；(2) 配对设计虽然消除了说话人变量，但每个样本只用一条 RIR，无法刻画同一句话在多房间的方差，建议扩展到 N 条 RIR/语音并报告 $\mathrm{std}(\Delta\mathrm{WER})$；(3) clean WER 都很高（tiny 54.88%、base 46.50%），说明 LibriSpeech test-clean 在 Whisper 上 baseline 已经偏难，$\Delta\mathrm{WER}$ 的可比性部分受绝对值影响，改进方向是报告相对退化率 $\Delta\mathrm{WER}/\mathrm{WER}_{\text{clean}}$；(4) 没有提供任何鲁棒化干预（去混响前端、多条件训练）的对比实验，因此基准本身只回答了鲁棒性如何而没有回答如何变鲁棒，可补充 DNN 去混响、SpecAugment、fine-tune on RIR-Mega-Speech 等基线；(5) 评测只在 CPU 上做，效率数字与实际部署不匹配，缺少 GPU 推理延迟、显存占用等更接近落地的指标。

作者在第 6 节已经建议了若干未来方向：用多条 RIR 重复配对、扩展到其他语言、加入加性噪声、邀请社区提交 leaderboard。基于实验结果可进一步延伸：(a) 在该基准上微调 Whisper 并报告 fine-tune 后 $\Delta\mathrm{WER}$ 是否进一步压缩；(b) 引入 DNN 去混响前端（如 DNN-WPE、FullSubNet+）做端到端对照；(c) 把 RT60 桶、DRR 桶做成评估子集，研究不同声学条件下模型退化曲线，识别鲁棒性拐点；(d) 跨语言、跨口音扩展（CommonVoice、Aishell 等）以验证 Whisper-large-v3 在非英语下是否仍保持小 $\Delta\mathrm{WER}$；(e) 引入更现代的 ASR（如 Conformer、Whisper 后继模型、SeamlessM4T）让 leaderboard 反映 SOTA 的真实鲁棒性。

复现友好度很高：作者明确将数据集托管在 Hugging Face (mandipgoswami/whisper-rirmega-bench)，评估代码与复现脚本放在 GitHub 仓库 mandipgoswami/Whisper_RIRMega，并提供 Hugging Face Space 形式的交互式 leaderboard 与提交接口。数据规模不大（2000 对约几百 MB FLAC），在 CPU 上跑五个 Whisper 模型在论文中已有数小时级别的可承受时长，论文还明确给出 beam=5、best_of=5、temperature=0、language=en、CPU、关闭 FP16 的解码设置，使得基线复现几乎不依赖昂贵算力。复现难度整体被控制在装库加下载模型加跑脚本级别。潜在风险是 RIR 卷积前的能量归一化细节、jiwer 文本归一化的开关等小参数在仓库中是否完全一致，需要读者逐项对照；总体而言可复现性评级为高。