← 返回 2026-06-30

一个模型，多种延迟：面向多样化实时应用的通用语音增强 One Model, Many Latencies: Universal Speech Enhancement for Diverse Real-Time Applications

Szu-Wei Fu, Rong Chao, Xuesong Yang, Sung-Feng Huang, Ante Jukić, Yu Tsao, Yu-Chiang Frank Wang 📅 2026-06-24 👍 22 2026-07-13 08:37
Early-exit 实时处理 延迟控制 语音增强 通用模型
arXiv HuggingFace PDF

单一模型通过并行卷积层和两阶段训练控制算法/计算延迟，适应不同实时语音应用需求

前置知识

算法延迟 vs 计算延迟

算法延迟是指模型产生第一个输出所需的输入数据量，对于基于频域的语音增强模型，等于STFT窗口大小w加上look-ahead帧数与跳长h的乘积，即算法延迟等于w加上look-ahead帧数乘以h。计算延迟是指模型在接收必要输入数据后生成输出所需的时间，取决于模型复杂度和部署硬件的计算能力。总延迟等于算法延迟加上计算延迟。

论文的核心目标是同时控制这两种延迟，使单一模型能够适应不同应用的延迟预算，理解这个区分是理解论文贡献的基础。

Early-exit机制

Early-exit是一种训练范式，允许网络在中间层产生预测，而不仅仅在最终输出层。通过在网络的不同深度设置输出点，模型可以根据部署条件如硬件性能、延迟约束动态调整计算深度，从而在精度和延迟之间进行权衡。这种机制通常需要精心设计退出策略和训练方法。

本文的核心创新之一就是利用early-exit机制来控制计算延迟，但作者发现传统early-exit在语音增强中存在性能损失，因此提出了两阶段训练策略来缓解这个问题。

因果卷积与Look-ahead

因果卷积确保输出仅依赖当前和过去的输入，不会使用未来信息，这是实时处理的必要条件。为了在保持因果性的同时获得更好的性能，可以引入有限数量的look-ahead帧，即允许模型看到未来少数帧的信息。例如，对于核大小为3的卷积层，要实现0、1、2个look-ahead帧，可以分别设置左右padding为(2,0)、(1,1)和(0,2)。

本文通过调整look-ahead帧数来控制算法延迟，这是实现一个模型，多种延迟的关键技术之一，理解这个机制对于理解论文的并行卷积层设计至关重要。

Mamba架构

Mamba是一种线性时间复杂度的序列建模架构，通过选择性状态空间模型实现类似RNN的推理能力。与Transformer的二次方复杂度不同，Mamba具有线性复杂度，非常适合实时部署场景。论文采用Mamba作为序列建模模块，因为其推理效率高，可以支持流式处理，满足实时语音增强的严格要求。

本文的模型架构基于Mamba，理解Mamba的特性有助于理解为什么它适合实时语音增强，以及论文如何在满足延迟约束的同时保持高性能。

研究动机

现有的实时语音增强方法面临一个根本性挑战：不同的实时语音应用有完全不同的延迟预算，往往需要为每个场景单独训练和部署专用的增强模型。例如，交互式语音应用如VoIP通话通常只能容忍50到150毫秒的延迟，而流式自动语音识别ASR系统通常在100到200毫秒的延迟预算内运行。此外，计算延迟还受到部署硬件计算能力的显著影响。这种多样化的需求意味着，单一因果模型无法同时满足不同应用场景，必须为每种延迟预算训练单独的模型，这大大增加了部署和维护成本。现有的通用语音增强模型如Miipher-2和RE-USE虽然能够处理多种退化条件，但大多采用非因果架构，无法应用于实时场景。即使支持实时处理的方法，也通常只能在固定的延迟设置下工作，缺乏灵活性。

本文的目标是本文的目标是开发一个万能一体的实时流式通用语音增强模型，该模型能够在一个统一的框架内显式控制算法延迟和计算延迟，从而适应广泛的延迟预算和部署条件。具体来说，算法延迟应该可以通过可配置的look-ahead帧数灵活调整，而计算延迟则应该能够通过early-exit机制在不同网络深度进行动态控制。更重要的是，这种灵活性不应以牺牲性能为代价，模型在每种延迟配置下都应该接近专用模型的性能。

与已有工作不同的是，本文的独特切入角度在于同时解决算法延迟和计算延迟的可控性问题。先前的工作要么关注计算延迟的调整如early-exit机制，要么专注于算法延迟的优化如可变look-ahead训练，但没有一个方法能够在单一模型框架内同时控制这两种延迟。更关键的是，论文识别出了现有方法的一个重要缺陷：使用单一卷积层配合可变padding配置会破坏卷积的平移等价性，从而降低学习效率。为了解决这个问题，作者引入了并行卷积层的设计，每个卷积层对应特定的look-ahead设置。此外，论文还发现传统early-exit机制在语音增强中存在性能损失，因此提出了共享解码器到多解码器的两阶段训练策略。这种双重创新使本文方法成为首个真正意义上的一个模型，多种延迟的实时语音增强解决方案。

核心方法

论文提出的方法整体思路是通过两种互补机制实现对总延迟的显式控制：一是通过并行卷积层灵活调整算法延迟，二是通过early-exit机制动态控制计算延迟。从直觉上看，算法延迟控制的核心在于让模型能够看到不同数量的未来帧，而计算延迟控制则是让模型在不同深度提前退出。技术路线上，作者将模型分为编码器、序列建模模块和解码器三个部分。编码器采用并行卷积层设计，每个卷积分支对应特定的look-ahead帧数配置；序列建模模块使用因果Mamba架构；解码器则通过两阶段训练策略支持多输出层。在推理时，用户可以根据延迟预算选择特定的卷积分支和退出层，从而实现精确的延迟控制。整个模型在URGENT 2025 Challenge的多语言、多采样率、多退化类型的数据集上训练，具有强大的泛化能力。

本文的核心创新点有两个：并行卷积层设计和两阶段训练策略。并行卷积层设计是控制算法延迟的关键，它针对不同的look-ahead帧数配置即0、1、2帧使用独立的卷积分支，每个分支具有特定的padding配置。这种设计避免了使用单一卷积层配合可变padding时破坏平移等价性的问题，从而保持了学习效率。在训练时，随机采样一个卷积层来构建计算图；在推理时，用户根据延迟预算显式选择特定的卷积分支。两阶段训练策略是优化early-exit性能的关键，它首先训练一个共享解码器，然后在收敛后为每个输出层实例化独立解码器，并在第二阶段使用较小的学习率微调编码器和序列建模模块。这种策略既保持了中间层在相似的表示空间内，又允许每个输出层学习层特定的参数，有效缓解了early-exit机制带来的性能损失。

方法步骤详情

方法步骤的完整描述如下：第一步，构建模型架构。编码器采用因果卷积，并引入并行卷积层，每个层对应特定的look-ahead帧数配置即0、1、2帧。序列建模模块使用最大12层的单向Mamba，总参数量为3.7M。解码器支持多输出层设计。第二步，应用采样频率无关SFI STFT，根据输入采样率调整FFT窗口和跳长，同时保持固定的时间持续时间即40毫秒窗口，20毫秒跳长。第三步，执行两阶段训练。第一阶段使用共享解码器，每一步随机采样退出层从3到12和look-ahead帧数从0到2。使用AdamW优化器，学习率为0.0002。第二阶段在第一阶段收敛后，为每个输出层实例化独立解码器初始化自共享解码器，然后使用十分之一的学习率微调编码器和序列建模模块。第四步，推理时根据延迟预算选择特定的卷积分支和退出层。总延迟计算公式为总延迟等于算法延迟加上计算延迟，其中算法延迟等于40毫秒加上look-ahead帧数乘以20毫秒。实际部署时，用户可以在自己的硬件上评估不同配置的总延迟，然后选择最合适的设置，并仅保留到所选退出点的层以及对应look-ahead的卷积分支，从而实现模型剪枝和部署优化。

技术新颖性

本文的技术新颖性体现在三个方面：首先是并行卷积层设计，这是首个在语音增强中应用MoE思想来控制算法延迟的工作，但不需要学习的路由机制，因为专家选择由用户根据延迟预算显式决定。其次是两阶段训练策略，通过共享解码器到多解码器的过渡，在保持表示空间一致性的同时允许层特定的优化，这显著缩小了灵活模型和专用模型之间的性能差距。第三是真正的一个模型，多种延迟能力，论文的模型支持30种不同的延迟配置即10个退出层乘以3个look-ahead设置，而无需为每种配置单独训练模型。这种灵活性在URGENT 2025 Challenge的复杂设置下尤为重要，因为该挑战涉及5种语言、7种采样率和7种退化类型。论文方法在这种复杂设置下不仅实现了延迟可控性，还在VoiceBank-DEMAND基准上超过了现有的实时语音增强方法，展示了强大的泛化能力。

Our proposed one-for-all model enables adjustable algorithmic latency through configurable look-ahead frames and computational latency via early exit.
Fig. 2: Our proposed one-for-all model enables adjustable algorithmic latency through configurable look-ahead frames and computational latency via early exit.
Learning curves of UTMOS scores on the validation set under different model architectures.
Fig. 3: Learning curves of UTMOS scores on the validation set under different model architectures.

实验结果

核心发现非常明确：论文提出的一个模型，多种延迟框架在URGENT 2025 Challenge的非盲测试集上实现了30种不同的延迟配置，同时保持了接近专用模型的性能。具体来说，对于exit layer等于4、look-ahead等于0的配置，专用模型的UTMOS为2.26，传统early-exit模型为2.19，而本文方法并行卷积加多解码器阶段达到了2.19，CAcc为81.86%。对于更深的exit layer等于8、look-ahead等于0配置，专用模型的UTMOS为2.36，本文方法达到2.31，CAcc为83.10%。最引人注目的是，当引入1个look-ahead帧时即exit layer等于8、look-ahead等于1，算法延迟增加到60毫秒，本文方法的UTMOS提升到2.37，CAcc达到84.62%，显著优于无look-ahead的配置。这表明增加look-ahead帧对ASR准确率有实质性提升，而第二个look-ahead帧的增益则边际递减。论文还在VoiceBank-DEMAND基准上验证了泛化能力，对于exit layer等于8、look-ahead等于0配置，本文方法达到PESQ等于2.76、ESTOI等于0.86、SI-SDR等于18.6，超过了DeepFilterNet3和Stream.FM。当增加1个look-ahead帧时，PESQ进一步提升到2.82，SI-SDR达到18.8。这些结果表明，本文方法在保持灵活性的同时，性能确实接近甚至超过了一些专用模型。值得注意的是，对于最深的12层模型，计算延迟为25毫秒，超过了跳长20毫秒，导致RTF等于1.25，这意味着在NVIDIA A100 GPU上无法满足实时处理要求，需要更快的GPU。

Relationship between performance metrics and total latency. Our one-for-all model supports 30 distinct latency configurations.
Fig. 4: Relationship between performance metrics and total latency. Our one-for-all model supports 30 distinct latency configurations.
查看结构化数据
任务指标本文基线提升
非盲语音增强（URGENT 2025 Challenge，exit layer=8, look-ahead=1） UTMOS（非侵入式感知质量） 2.37 Specialized模型: 2.42 与专用模型的性能差距缩小到2.1%
非盲语音增强（URGENT 2025 Challenge，exit layer=8, look-ahead=1） CAcc（ASR字符准确率） 84.62% Noisy: 81.29%, Specialized模型: 84.93% 相比Noisy提升3.33个百分点，达到专用模型性能的99.6%
非盲语音增强（URGENT 2025 Challenge，exit layer=8, look-ahead=0） PESQ（感知质量） 2.15 Early-exit: 2.13, Specialized模型: 2.19 相比传统early-exit提升0.9%，达到专用模型性能的98.2%
实时语音增强（VoiceBank-DEMAND，exit layer=8, look-ahead=0） PESQ 2.76 DeepFilterNet3: 2.71, Stream.FM: 2.72 相比DeepFilterNet3提升1.8%，相比Stream.FM提升1.5%
实时语音增强（VoiceBank-DEMAND，exit layer=8, look-ahead=1） SI-SDR 18.8 DeepFilterNet3: 17.3, Stream.FM: 13.4 相比DeepFilterNet3提升8.7%，相比Stream.FM提升40.3%
非盲语音增强（URGENT 2025 Challenge，exit layer=4, look-ahead=0） 算法延迟 40 ms 非因果基线: 无法用于实时 实现了低延迟的实时处理能力
非盲语音增强（URGENT 2025 Challenge，exit layer=8, look-ahead=1） 总延迟（在A100 GPU上） 78.31 ms（算法60 ms + 计算18.31 ms） VoIP应用典型预算: 50-150 ms 满足VoIP应用的延迟预算

局限与改进

论文的局限性分析包括作者承认的和观察到的几个方面。首先，尽管两阶段训练策略显著缩小了灵活模型和专用模型之间的性能差距，但差距仍然存在。例如，在exit layer等于8、look-ahead等于1配置下，本文方法的UTMOS为2.37，而专用模型为2.42，差距约为2.1%。这表明灵活性仍然以一定的性能损失为代价，尽管这种损失已经大大减小。其次，计算延迟受到硬件条件的严格限制。论文发现，对于最深的12层模型，在NVIDIA A100 GPU上的计算延迟为25毫秒，超过了跳长20毫秒，导致RTF等于1.25，无法满足实时处理要求。这意味着即使算法延迟可控，计算延迟仍可能成为瓶颈，特别是在计算资源有限的设备上。第三，浅层输出和深层输出之间的性能差距仍然明显。从Table I可以看出，exit layer等于4的CAcc约为81.86%，而exit layer等于8的CAcc提升到83.10%，exit layer等于12则达到83.25%。这种差距表明early-exit机制虽然提供了灵活性，但在低延迟配置下仍无法完全达到深层模型的性能。第四，论文主要在NVIDIA A100、3090和4090 GPU上评估计算延迟，这些是高端GPU。在实际部署中，许多设备可能使用更有限的硬件如移动设备或边缘设备，这些设备上的计算延迟可能会更高，从而限制可用的模型深度。最后，论文虽然支持30种不同的延迟配置，但look-ahead帧数仅限制在0到2之间，这可能在某些应用场景下不够灵活。

独立分析的弱点

独立分析的弱点和改进方向包括：第一，浅层输出的性能相对较弱，特别是在低延迟配置下。改进方向可以探索知识蒸馏策略，受大语言模型到小语言模型压缩的启发，通过教师学生框架让浅层输出学习深层输出的表示，从而提升early-exit的性能。第二，计算延迟的优化仍有空间。论文没有应用torch.compile或CUDA graphs等优化技术，这些技术可以进一步加速推理。改进方向是在保持延迟可控性的同时，探索这些编译优化技术和模型压缩技术如剪枝和量化的集成。第三，look-ahead帧数的范围可以扩展。目前仅支持0到2帧，对于更高延迟预算的应用可能不够。改进方向是增加更多的look-ahead帧数配置，并通过并行卷积层的扩展来支持这些配置。第四，评估指标虽然全面，但可能缺少一些实际应用中重要的指标，如主观听力测试和端到端应用性能如实际VoIP通话质量或ASR系统的词错误率。改进方向是增加更多实际应用相关的评估，特别是主观测试，以验证论文方法在实际使用场景中的效果。第五，论文主要在固定硬件上评估计算延迟，但实际部署环境可能更加复杂如CPU、DSP、移动芯片。改进方向是在更多样化的硬件平台上进行评估，包括移动设备和边缘设备，以验证方法的广泛适用性。

未来方向

未来研究方向包括作者提出的和基于成果可延伸的几个方向。作者明确指出，剪枝和量化等模型压缩技术是加速推理的有前景方向，可以自然地与本文框架结合。这是一个实用的方向，可以使本文方法适用于计算资源更有限的设备。作者还提到，进一步缩小浅层和深层输出之间的性能差距是另一个重要方向，特别是受大语言模型到小语言模型压缩启发的知识蒸馏策略。基于论文成果，可以延伸出多个研究方向：一是探索更复杂的并行架构设计，例如不仅并行卷积层，还并行序列建模模块，以进一步细粒度地控制计算延迟和性能权衡。二是研究自适应的退出策略，根据输入信号的特征如信噪比、退化类型动态选择退出层和look-ahead配置，从而在保证性能的同时最小化延迟。三是将本文的延迟控制思想应用于其他语音处理任务，如语音分离、语音识别、语音合成等，探索跨任务的统一延迟控制框架。四是研究延迟感知的损失函数设计，在训练时显式考虑不同延迟配置的性能平衡，从而更好地优化模型的多延迟能力。五是探索在线学习和自适应机制，使模型能够在部署后根据实际使用情况和硬件条件动态调整，进一步提升实用性和适应性。

复现评估

复现评估方面，论文的复现难度较低。模型权重已在Hugging Face上公开下载，这为复现提供了便利。论文详细描述了模型架构、训练设置和评估方法，包括数据集处理、STFT参数、优化器设置、学习率调度等关键细节。数据集方面，URGENT 2025 Challenge的训练数据由多个公开语料库组成，虽然需要注册才能访问，但组织者提供了详细的数据规范。VoiceBank-DEMAND是广泛使用的公开基准，容易获取。算力方面，论文在NVIDIA A100、3090和4090 GPU上评估计算延迟，这些GPU在许多研究机构中都比较常见。然而，完整的训练可能需要较大的计算资源，因为数据集涉及5种语言、7种采样率和多种退化类型。论文提供了模型参数量和计算量MACs的具体数字，这有助于评估所需的计算资源。总的来说，论文的开源程度较高，代码和模型权重都可以获取，训练设置描述详细，数据集相对容易访问，这使得复现工作的难度较低。唯一可能的问题是完整的训练需要较大的计算资源，但论文提供了预训练模型，使得直接评估和推理成为可能，无需重新训练。

论文图表

The latency of a speech enhancement system can be categorized into algorithmic latency and computational latency.
Fig. 1: The latency of a speech enhancement system can be categorized into algorithmic latency and computational latency.

这张图展示了一个语音增强系统的延迟分解。左侧显示了STFT处理的示意，标注了窗口大小w如40毫秒和跳长h如20毫秒。中间部分展示了输入信号经过STFT处理后产生输出，其中标注了总延迟等于算法延迟加上计算延迟。算法延迟定义为w加上look-ahead帧数乘以h，计算延迟则依赖于模型复杂度和硬件如GPU。这张图清晰地说明了延迟的两种来源及其计算方法。

这张图对理解论文至关重要，因为它定义了论文要解决的核心问题：同时控制算法延迟和计算延迟。理解这两种延迟的区别和计算方法是理解后续方法设计并行卷积层和early-exit机制的基础。图中的公式在全文中被反复引用，是论文的理论基础。

Table I: Non-blind test set results of the URGENT 2025 Challenge. Algo. and Comp. denote algorithmic and computational latency, respectively.

这个表格包含了URGENT 2025 Challenge非盲测试集的详细结果。表格分为三个主要配置块：exit layer等于4、8、12，每个块都有不同的look-ahead设置即0、1。对于每种配置，表格列出了多种指标：非侵入式指标DNSMOS、NISQA、UTMOS、侵入式指标PESQ、ESTOI、任务无关指标SBERT、LPS、任务相关指标CAcc以及延迟信息算法延迟、计算延迟。比较对象包括Noisy输入、非因果基线TF-GridNet、专用模型、Early-exit、Early-exit加Parallel conv MoE、Early-exit加Parallel conv加Multiple dec. stage。数据显示，本文方法并行卷积加多解码器阶段在大多数指标上都接近专用模型，在CAcc上表现尤为突出。例如，对于exit layer等于8、look-ahead等于1配置，本文方法的CAcc为84.62%，接近专用模型的84.93%，而UTMOS为2.37，与专用模型的2.42差距很小。

这个表格对理解论文的实验结果至关重要，它提供了定量的性能对比，证明了论文方法的有效性。表格清晰地展示了本文方法在不同延迟配置下的性能，以及与传统early-exit和专用模型的对比。特别值得注意的是，表格显示了并行卷积层和两阶段训练策略各自的贡献，以及它们如何共同缩小与专用模型的性能差距。这个表格是论文核心贡献的实证证据，对于评估方法的实际价值具有决定性意义。

Table II: Real-time speech enhancement results on the VoiceBank-DEMAND benchmark.

这个表格展示了在VoiceBank-DEMAND基准上的实时语音增强结果。比较方法包括Noisy输入、Diffusion Buffer、DEMUCS、DeepFilterNet3、Stream.FM以及本文方法的两种配置exit layer等于8、look-ahead等于0和1。评估指标包括PESQ、ESTOI、SI-SDR、算法延迟和参数量。结果显示，本文方法在所有指标上都优于其他实时方法。对于exit layer等于8、look-ahead等于0配置，本文方法达到PESQ等于2.76、ESTOI等于0.86、SI-SDR等于18.6，超过了DeepFilterNet3和Stream.FM。当增加1个look-ahead帧时，PESQ进一步提升到2.82，SI-SDR达到18.8。值得注意的是，本文方法的参数量仅为2.9M，远小于DEMUCS即33.5M和Stream.FM即52.5M。

这个表格对理解论文的泛化能力至关重要，它展示了论文方法在不同数据集上的性能。更重要的是，这个表格证明了本文方法不仅在URGENT Challenge数据集上有效，还在广泛使用的VoiceBank-DEMAND基准上超过了现有的实时语音增强方法。这个表格还显示了本文方法的参数效率，仅用2.9M参数就达到了优异的性能，这对于实际部署非常重要。这个表格为论文方法的实用性和泛化能力提供了有力的证据。