SQuTR：声学噪声下语音查询到文本检索的鲁棒性基准 SQuTR: A Robustness Benchmark for Spoken Query to Text Retrieval under Acoustic Noise
构建大规模语音检索基准，系统评估噪声对语音查询检索系统的影响
前置知识
语音查询检索（Spoken Query Retrieval）
语音查询检索是指用户通过语音输入查询，系统在文本文档库中检索相关信息的任务。典型的应用场景包括智能音箱语音搜索、车载信息检索系统等。该任务通常有两种实现范式：级联系统（Cascaded System）先用自动语音识别（ASR）将语音转写为文本，再用文本检索模型进行检索；端到端系统（End-to-End System）则直接将语音信号映射到检索向量空间，跳过显式转写步骤。级联系统的优势在于模块化和可复用性，但ASR转写错误会传播到检索阶段。
本文的核心任务就是评估语音查询检索在噪声环境下的鲁棒性，理解这一任务范式是理解全文实验设计和结论的基础。
信噪比（Signal-to-Noise Ratio, SNR）
信噪比是衡量信号强度与噪声强度之比的物理量，单位为分贝（dB）。计算公式为 $\text{SNR}_{dB} = 20 \log_{10} \frac{\text{RMS}(s)}{\text{RMS}(d)}$，其中 $\text{RMS}(s)$ 是语音信号的均方根能量，$\text{RMS}(d)$ 是噪声信号的均方根能量。SNR越高表示噪声越小、语音越清晰。本文定义了四个声学条件：Clean（无噪声）、Low Noise（20dB，高信噪比）、Medium Noise（10dB，中等信噪比）、High Noise（0dB，低信噪比），分别模拟安静环境到嘈杂环境的不同噪声水平。
本文通过控制SNR来构建渐进式的噪声条件，这是整个基准评估框架的核心设计，决定了实验的可控性和可复现性。
词错误率（Word Error Rate, WER）和字错误率（Character Error Rate, CER）
WER是评估语音识别系统性能的标准指标，计算公式为 $\text{WER} = \frac{S + D + I}{N}$，其中 $S$ 是替换错误数，$D$ 是删除错误数，$I$ 是插入错误数，$N$ 是参考文本的总词数。CER是WER在中文场景下的对应指标，以字符为单位计算。WER/CER越低表示ASR系统性能越好。本文中，中文使用Paraformer-Large作为ASR前端（Clean时CER为2.71%，High Noise时升至7.14%），英文使用Whisper-Large-v3（Clean时WER为3.33%，High Noise时升至7.75%）。
WER/CER是连接ASR性能和下游检索性能的关键桥梁指标，本文实验的核心发现之一就是ASR错误如何传播并影响检索效果。
nDCG@10（Normalized Discounted Cumulative Gain at rank 10）
nDCG@10是信息检索领域最常用的排序质量评估指标。它衡量检索结果列表中前10个文档的排序质量，考虑了相关文档的位置——排在前面的相关文档得分更高。计算公式为 $\text{nDCG@10} = \frac{\text{DCG@10}}{\text{IDCG@10}}$，其中 $\text{DCG@10} = \sum_{i=1}^{10} \frac{2^{\text{rel}_i} - 1}{\log_2(i+1)}$，IDCG@10是理想排序下的DCG值。nDCG@10取值范围为[0,1]，越接近1表示检索质量越好。本文同时报告MRR@10（平均倒数排名）和Recall@10作为补充指标。
nDCG@10是本文所有实验结果的核心评估指标，理解这一指标才能准确解读各系统在不同噪声条件下的性能差异。
稠密检索（Dense Retrieval）与稀疏检索（Sparse Retrieval）
稀疏检索以BM25为代表，基于词频统计进行文档匹配，通过词项的精确匹配来计算查询与文档的相关性。稠密检索则使用神经网络编码器（如BERT、Qwen3等）将查询和文档映射到低维稠密向量空间，通过向量相似度（如余弦相似度）计算相关性。稠密检索的优势在于语义理解能力强，能够处理同义词替换、语序变化等复杂语义关系；劣势在于对输入质量更敏感，且需要大量训练数据。本文评估了12个检索后端，覆盖了从传统BM25到大规模稠密检索模型的完整谱系。
本文的核心发现之一是稀疏检索和稠密检索在噪声鲁棒性上存在显著差异——BM25方差小但绝对性能低，稠密检索性能高但对噪声更敏感。
研究动机
在现代信息检索系统中，语音查询已成为用户获取信息的重要交互方式，从智能家居设备中的语音助手到车载信息系统，用户越来越多地使用语音作为主要查询手段。然而，现实场景中的语音查询不可避免地受到背景噪声、环境干扰和说话人变异等因素的影响，这些因素会降低ASR系统的转写质量，而转写错误会进一步传播到下游检索系统，导致检索效果大幅下降。现有的评估实践存在严重碎片化问题：语音相关研究主要使用WER等转写级别指标评估ASR在噪声下的鲁棒性，将ASR视为孤立组件；而信息检索研究则假设查询是清晰无歧义的文本，大多数IR基准（如BEIR、MTEB）仅使用文本查询构建，语音基准（如LibriSpeech）则主要关注ASR性能而非下游检索性能。这种评估范式的错配使得难以在统一、受控的协议下比较语音查询检索系统，也限制了对系统在多样声学条件下鲁棒性的理解。
本文的目标是本文旨在构建一个大规模、可控、可复现的语音查询检索鲁棒性评估基准SQuTR，具体目标包括：（1）从六个广泛使用的中英文文本检索基准中聚合37,317个唯一查询，涵盖多个领域和多样查询类型，包括事实型问答、多跳问答和通用信息检索；（2）使用200个真实说话人的语音档案合成语音，并在受控的SNR水平下混合17类真实世界环境噪声，构建从安静到高度嘈杂的四个渐进式声学条件；（3）建立统一的评估协议，系统评估级联和端到端检索系统在不同声学条件下的性能退化模式，为未来的鲁棒性研究提供可复现的测试平台。
与已有工作不同的是，本文的独特切入角度在于弥合了语音处理和信息检索两个社区之间的评估鸿沟。此前最接近的工作是MSEB中的Simple Voice Questions（SVQ）子集，但SVQ存在三个关键局限：首先，其查询主要是单跳和事实导向的，问题形式相对标准化；其次，关联的语料库主要由Wikipedia等通用领域的短段落组成，限制了上下文和任务复杂度；第三，虽然在多种环境下采集了录音，但噪声强度未按分级的SNR水平显式控制。SQuTR通过三个关键设计填补了这一空白：保留原始IR基准的查询复杂性和相关性标注，使用真实环境噪声数据库（DEMAND和NOISEX-92）构建可复现的噪声条件，以及建立端到端的检索性能评估协议而非仅关注ASR转写质量。
核心方法
SQuTR的构建思路可以用一个类比来理解：如果要测试一辆汽车在不同天气条件下的行驶性能，你需要先有标准化的测试道路（基准数据集），然后精确控制雨雪雾等天气条件（声学条件），最后用统一的测试规程评估不同车型的表现（评估协议）。SQuTR正是按照这一逻辑构建的：它复用了六个成熟的IR基准作为'测试道路'，通过合成语音和噪声注入精确控制'天气条件'，并设计了统一的评估框架来比较不同检索系统的'行驶表现'。技术路线包括四个主要阶段：源查询选取（从六个IR基准获取查询和标注）、语音合成（使用CosyVoice-3和200个说话人档案）、声学条件构建（基于DEMAND和NOISEX-92数据库的四档SNR噪声注入）、以及质量控制（ASR验证加双LLM共识的两阶段筛选）。
SQuTR的核心创新在于提出了一个'保持查询复杂性、控制声学扰动'的基准构建范式。与以往工作不同，SQuTR不是从零构建新的语音查询数据集，而是系统性地将成熟的文本IR基准'语音化'。这一设计的本质区别在于：它保留了原始基准中精心构建的查询多样性（包括短关键词式查询和长自然语言问题）、文档相关性标注（包括二值和分级标注）、以及跨领域覆盖（金融、医疗、百科、开放域问答等），同时通过合成语音和噪声注入引入了可控的声学扰动变量。这意味着研究人员可以在保持其他变量不变的情况下，专门研究声学噪声对检索性能的影响，从而实现真正的'受控实验'。此外，使用合成语音而非录音的方式确保了完全的可复现性——任何人都可以使用相同参数重新生成完全一致的音频数据。
方法步骤详情
SQuTR的构建流程包含以下步骤：（1）源查询选取：从六个IR基准（FiQA、HotpotQA、NQ、MedicalRetrieval、DuRetrieval、T2Retrieval）中选取测试集查询，保留原始查询形式以保持自然语言特性和语义复杂度，共获得37,317个唯一查询，其中英文11,505个、中文25,812个。（2）语音合成：使用CosyVoice-3文本转语音模型，配合200个不同性别、年龄和口音的说话人档案合成语音。查询按语言分组，说话人均匀采样。每个查询生成三个候选版本，保留WER/CER最低的版本。音频参数固定为24kHz采样率、16-bit深度。（3）噪声注入：从DEMAND和NOISEX-92数据库采样17类真实环境噪声（包括地铁站、客厅、公园、走廊、河滨、广场、火车站、会议室、旷野、洗衣环境、自助餐厅、餐厅、街道交通、咖啡馆、厨房、公交车和混响噪声）。噪声通过全局RMS能量缩放方法注入，缩放因子 $\alpha = \frac{\text{RMS}(x)}{\text{RMS}(d)} \cdot 10^{-\text{SNR}_{dB}/20}$。（4）质量控制：采用两阶段筛选——客观一致性检查（使用Whisper-Large-v3转写并计算WER，阈值30%）和主观代理评估（使用Gemini和GPT两个LLM独立评分，阈值4分）。（5）评估实例构建：每个（查询，声学条件）对构成一个评估实例，四个声学条件共产生149,268个评估实例。
技术新颖性
SQuTR的技术新颖性体现在三个层面。第一，在基准设计理念上，它首次提出'语音化'现有IR基准的方法论，避免了从零构建数据集时查询类型单一、相关性标注不完整的问题。与MSEB-SVQ相比，SQuTR保留了原始基准的查询复杂性（包括多跳推理、领域专业术语等）和完整的相关性标注。第二，在噪声控制上，SQuTR采用基于全局RMS能量的精确SNR控制方法，确保噪声注入的可复现性。噪声来源涵盖17类真实环境录音，远超以往工作中的几种环境条件。第三，在评估框架上，SQuTR是首个同时覆盖级联和端到端检索范式、多种ASR前端、多种检索后端（12个级联系统加1个端到端系统）的统一评估基准，支持对系统各组件进行解耦分析。此外，整个基准完全基于合成语音构建，实现了100%的可复现性——这在语音检索基准中是前所未有的。
实验结果
SQuTR的实验结果揭示了几个重要发现。首先，随着噪声从Clean增加到High Noise（0dB），所有检索系统的性能都出现一致下降，但下降幅度因系统架构而异。以中文数据集为例，Qwen3-Embedding-8B的nDCG@10从Text的0.8033降至Clean的0.7760，再降至Low Noise的0.7741、Medium Noise的0.7686，最终降至High Noise的0.7302，总降幅达9.1%。英文数据集上，该模型从Text的0.6686降至High Noise的0.6120，降幅8.5%。其次，稀疏检索和稠密检索在鲁棒性上存在显著差异：BM25在不同条件下的标准差仅为σ=0.031，而基于BERT的稠密检索器如BGE-Base的σ=0.100，表明稠密检索对声学扰动更敏感。第三，模型规模和模态建模方式对鲁棒性有显著影响：在Qwen3系列中，从0.6B增加到8B参数量，方差从σ=0.094降至σ=0.070，同时平均性能提升。端到端模型Omni-Embed-Nemotron-3B（σ=0.054）进一步缩小了差距。第四，检索后端的选择比ASR模型大小更重要：最小的Whisper-Tiny配合稠密检索（Qwen3-Embedding-8B）在大多数条件下显著优于最大的Whisper-Large-v3配合BM25。例如在英文HotpotQA上，Whisper-Tiny+Qwen3-Embedding-8B在Clean时nDCG@10为0.5996，而Whisper-Large-v3+BM25为0.5464。最后，即使在Clean条件下，语音查询的检索性能也低于文本查询的上界，且这一差距随噪声增大而扩大。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 中文检索（综合DuRetrieval+MedicalRetrieval+T2Retrieval） | nDCG@10 | Qwen3-Embedding-8B: Text 0.8033, Clean 0.7760, High Noise 0.7302 | BM25: Text 0.4843, Clean 0.4380, High Noise 0.4061 | 稠密检索在Text上比BM25高65.9%，在High Noise上高79.8% |
| 英文检索（综合FiQA+HotpotQA+NQ） | nDCG@10 | Qwen3-Embedding-8B: Text 0.6686, Clean 0.6450, High Noise 0.6120 | BM25: Text 0.3912, Clean 0.3586, High Noise 0.3374 | 稠密检索在Text上比BM25高70.9%，在High Noise上高81.4% |
| ASR鲁棒性（中文，不同ASR前端+Qwen3-Embedding-8B） | nDCG@10 at High Noise | Qwen3-ASR-1.7B: 0.7351 | Whisper-Large-v3: 0.6128 | Qwen3-ASR比Whisper高19.9% |
| 稳定性分析 | σ (标准差) | Qwen3-Embedding-8B: 0.070 | BGE-Base: 0.100, BM25: 0.031 | 大模型比中小模型方差降低30%，但仍高于BM25 |
| 端到端vs级联系统 | nDCG@10 (中文Clean) | Omni-Embed-Nemotron-3B: 0.6648 | 级联最优 Qwen3-Embedding-8B: 0.7760 | 端到端系统仍落后级联最优14.4% |
局限与改进
SQuTR存在以下局限性。首先，语音合成虽然确保了可复现性，但与真实人声存在差异。论文承认合成语音的声学特性（如频谱分布、韵律模式）可能与实际语音查询不完全一致，这可能影响评估结果向真实场景的迁移。其次，噪声注入采用的是简单的加性混合模型 $y[n] = x[n] + \alpha \cdot d[n]$，未考虑混响、回声等复杂声学效应。虽然论文提到了更通用的模型 $y[n] = (x*h)[n] + \alpha \cdot d[n]$（包含房间脉冲响应卷积），但实际实验中未使用混响。第三，评估的检索系统主要集中在英文和中文两种语言，未覆盖其他语言（如日语、韩语、阿拉伯语等），限制了结论的跨语言泛化性。第四，端到端系统仅评估了一个模型（Omni-Embed-Nemotron-3B），难以全面代表端到端范式的现状。最后，论文未探讨混合检索（hybrid retrieval，结合稀疏和稠密检索）在噪声条件下的表现，这可能是实际系统中最常用的方案。
独立分析的弱点
从独立分析的角度，SQuTR存在以下几个可改进的弱点。第一，噪声注入模型过于简化：当前仅使用加性噪声混合，未建模真实场景中的混响、回声、多径传播等效应。改进方向是引入房间声学模拟（如使用Roomsim等工具生成房间脉冲响应），构建更逼真的声学环境。第二，合成语音的多样性不足：虽然使用了200个说话人，但CosyVoice-3作为单一TTS模型，其生成的语音可能存在系统性偏差（如发音过于标准、缺乏口音变异）。改进方向是引入多个TTS系统（如VITS、Bark等）生成语音，或结合少量真实录音。第三，评估的检索系统缺乏对最新混合检索方法的覆盖：当前仅评估了纯稀疏（BM25）和纯稠密检索，未涉及ColBERT、SPLADE等学习型稀疏检索方法，以及BM25+稠密检索的混合方案。第四，噪声条件的分级较为粗糙：仅设置了三个噪声级别（20dB、10dB、0dB），缺少对更细微噪声梯度的探索，也缺少对非平稳噪声（如突发性噪声）的评估。第五，端到端系统的评估不够充分：仅评估了一个3B参数的模型，缺少对更大规模端到端模型以及SpeechDPR等专用语音检索模型的评估。
未来方向
基于SQuTR基准，未来研究可以在以下方向展开。作者提出的方向包括：探索更先进的端到端语音检索架构以缩小与级联系统的差距；研究噪声鲁棒的语音表示学习方法；以及开发自适应检索策略，根据声学条件动态选择检索后端。基于本文成果可延伸的方向包括：（1）将基准扩展到更多语言（如日语、韩语、法语等），构建真正的多语言语音检索鲁棒性评估体系；（2）引入对抗性噪声攻击，评估系统在最坏情况下的鲁棒性；（3）研究检索增强的ASR方法，利用检索到的文档来辅助语音识别，形成闭环优化；（4）探索在噪声条件下训练鲁棒检索模型的方法，如噪声感知的对比学习、数据增强等；（5）将评估框架扩展到多模态检索场景，如语音查询检索图像或视频。
复现评估
SQuTR在可复现性方面表现优秀。论文已将代码和数据集开源在GitHub（https://github.com/ttoyekk1a/SQuTR-Spoken-Query-to-Text-Retrieval），所有音频均使用合成语音生成，关键生成参数（语速、音高、随机种子）固定，理论上任何人都可以重新生成完全一致的音频数据。噪声注入采用基于全局RMS能量的精确控制方法，SNR参数明确定义。评估协议标准化，使用NIST trec_eval计算nDCG@10。实验环境明确：NVIDIA A100-SXM4 80GB GPU、Ubuntu 24.04 LTS、PyTorch 2.5.1、Transformers v4.57.1。ASR推理使用FP16精度和贪心解码。复现的主要门槛在于：（1）需要GPU服务器来运行大规模检索模型推理；（2）完整的149,268个评估实例需要一定的计算时间；（3）部分被评估的模型（如Qwen3-Embedding-8B）需要较大的GPU显存。总体而言，中等规模的GPU集群即可完成主要实验的复现。
论文图表
该图展示了Algorithm 1的伪代码，描述了SQuTR的自动质量控制流程。流程包括两个阶段：第一阶段使用ASR模型（Whisper-v3用于英文、Paraformer用于中文）验证转写一致性，WER阈值设为30%；第二阶段使用双LLM共识（Gemini和GPT独立评估），质量分数阈值设为4分。只有同时通过两个阶段的样本才会被保留。
质量控制是SQuTR数据可靠性的关键保障，该图展示了完整的筛选逻辑，帮助读者理解基准数据的质量保证机制。
该图展示了用于双LLM质量评估的完整提示模板。模板要求LLM扮演'音频取证分析师'角色，按照逐步推理协议评估音频质量：首先进行听写和转写对比，然后检查致命错误（截断、幻觉、遗漏），最后评估信号质量。评分标准从1.0（严重失败）到5.0（完美），输出为严格的JSON格式。
该图展示了SQuTR质量控制中'主观代理评估'的具体实现，说明了如何利用LLM进行音频质量评估，是理解质量控制流程的重要补充。