← 返回 2026-06-08

基于智能体纠错和语义评估的类人交互式语音识别 Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation

Zixuan Jiang, Yanqiao Zhu, Peng Wang, Qinyuan Chen, Xinjian Zhao, Xipeng Qiu, Wupeng Wang, Zhifu Gao, Xiangang Li, Kai Yu, Xie Chen 📅 2026-05-28 👍 2 2026-07-13 08:36

交互式学习大语言模型语义评估语音识别

arXiv HuggingFace PDF

提出闭环交互式ASR框架和S2ER语义评估指标

前置知识

自动语音识别(ASR)

自动语音识别是将人类语音转换为文本的技术，现代ASR系统通常采用端到端架构如编码器-解码器模型。系统接收声学信号输入，通过声学模型、语言模型等组件输出最可能的文本序列，常用的评估指标包括词错误率和字符错误率。

本文提出的Agentic ASR是对传统单次ASR范式的重大改进，需要读者了解传统ASR的工作原理和局限，才能理解多轮交互带来的价值。

LLM-as-a-Judge

大语言模型作为评估者是一种利用LLM的语义理解能力来评判任务输出质量的方法。与传统基于规则的评估不同，LLM judge可以根据复杂的语义标准进行判断，例如判断两句话是否语义等价。为了保证稳定性，通常采用双向投票、多数表决等技术减少偏差。

本文的S2ER评估指标完全基于LLM-as-a-Judge框架，使用Qwen3-32B判断转录结果是否保留了原意，这是区别于传统WER/CER评估的核心创新。

多轮交互系统

多轮交互系统指系统能够在多轮对话中维护状态，根据用户反馈逐步修正和优化输出。这类系统需要管理对话历史、识别用户意图（确认、新增、纠正），并执行相应的状态更新操作，常见于智能客服、协作编辑等场景。

本文将ASR从单次转录任务重新定义为状态化的多轮精炼任务，这种范式转换需要理解多轮交互系统的设计原则和技术挑战。

研究动机

传统ASR系统遵循单次解码范式，一旦产生转录错误就难以在当前交互中修正。这种设计与人类自然交流模式严重不匹配，人类对话中误解通常通过迭代澄清和修复来解决。当错误发生在关键语义内容上时，如人名被误听，系统几乎没有修正能力。这种情况在含命名实体、拼写澄清、口音、背景噪音或语码转换等场景中尤为常见。传统评估指标如WER和CER也无法充分反映这种问题，它们对所有token一视同仁，无法区分表面形式的轻微偏差和改变意图的关键错误。

本文的目标是本文的核心目标是重新设计ASR任务框架，从机制和评估两个维度突破单次解码范式。在机制方面，使ASR能够支持在用户反馈下的迭代纠正，类似于人类对话中的自我修复。在评估方面，建立能够准确衡量句子级语义等价性的评估体系，而不仅仅是表面形式的词级准确率。最终实现一个既能够在交互中不断精炼转录结果，又能够用语义指标衡量交互效果的完整系统。

与已有工作不同的是，本文的独特切入角度是同时从任务定义、系统架构和评估标准三个层面进行系统性重构。之前的工作要么专注于改进ASR模型本身的准确率，要么设计语义评估指标，要么研究用户反馈如何用于模型训练。但很少有工作将多轮交互作为ASR的一等公民，并配套相应的语义评估框架。本文提出的Agentic ASR将ASR从单次转录任务重新定义为状态化的多轮精炼任务，而S2ER指标则直接衡量在交互设置下的意图保真能力，这种机制与评估的协同是本文最大的创新。

核心方法

Agentic ASR框架的整体思路是将单次ASR前端与LLM驱动的推理编辑模块结合，形成闭环交互系统。在每一轮交互中，ASR前端先将语音转录为文本，然后LLM模块基于对话历史对转录结果进行三阶段处理，包括语义纠偏、意图路由、推理式纠正。整个框架将传统ASR从开环的单次预测转变为闭环的迭代精炼，用户可以通过自然语言反馈不断修正转录结果，直到语义正确为止。这种设计借鉴了人类对话中的自我修复机制，通过多轮交互逐步消除关键语义错误。

核心创新点是将交互式ASR形式化为状态化的多轮精炼过程，而非独立的单次转录任务。具体体现在两个层面，一是任务定义上的创新，公式化表达为状态更新问题，二是架构上的创新，通过显式分解为语义纠偏、意图路由、推理式纠正三阶段，使纠错过程可控且与人类自然的局部修复指令相一致。这种分解使LLM能够精确执行定位、推理、修改操作，而非无约束的一次性重写。

方法步骤详情

Agentic ASR在每一轮交互中执行三个明确步骤。第一步是语义纠偏，接收ASR前端输出的原始假设，利用对话历史将其重写为语义一致的可执行指令。这一步是必要的，因为用户纠正语音本身也需要ASR识别，可能包含语义不一致。第二步是意图路由，将纠偏后的指令分类为三种意图类型，包括确认、新输入和纠正。状态更新规则为确认时保持之前状态，新输入时使用当前指令，纠正时进入第三步。第三步是推理式纠正，进一步分解为定位、推理、修改三个操作，识别可编辑跨度、推断意图修改并应用更新。

技术新颖性

技术新颖性主要体现在三个方面。第一是任务范式转换，首次将ASR明确定义为有状态的多轮精炼任务，与传统的无状态单次预测范式形成本质区别。第二是三阶段推理架构，通过语义纠偏、意图路由、推理式纠正的显式分解，使交互过程既保持灵活性又具备可解释性和可控性，这与之前隐式的端到端方法形成对比。第三是二元语义评估，S2ER采用二元功能判断标准，即转录结果是否保留了足够正确的语义以支持下游意图执行，这与基于词汇相似度或下游代理分数的方法不同，直接面向交互成功而非细粒度的词汇匹配。

**Fig. 3**: Two illustrative cases comparing S2ER with token-level metrics.

**Fig. 4**: Interactive Simulation System (ISS) for automatic multi-round evaluation of Interactive ASR.

实验结果

多轮交互在所有评估数据集上都持续提升转录质量，S2ER在多个基准上实现大幅下降。在GigaSpeech Test上，S2ER从Loop 0的21.47%降至Loop 1的12.35%，到Loop 10达到3.49%。在ASRU2019 Test上，从28.57%降至10.32%再到1.36%。语义收益在早期最为显著，前几轮交互就能修复大部分语义错误。在命名实体密集子集上最终S2ER降至约2%，显示框架在修复专有名词等高价值内容错误方面有效。语义改进明显大于传统指标的提升，S2ER的下降幅度远超WER、CER或MER，表明框架主要修复的是意义关键错误而非仅仅是局部表面不匹配。人类对齐研究表明LLM judge与人类语义判断可靠对齐，Pearson相关系数在三个数据集上分别为0.8914、0.8280和0.9031，均超过领域专家的相关系数。

**Fig. 5**: Performance trends of the proposed Agentic ASR framework from Loop 0 to Loop 10.

**Fig. 6**: Ablation on different base ASR models under the same proposed Agentic ASR framework.

**Fig. 7**: Ablation on the size of the LLM reasoner.

**Fig. 8**: Mean Pearson correlation with human reference scores under different LLM-as-a-Judge voting strategies.

查看结构化数据

任务	指标	本文	基线	提升
多语言ASR	S2ER	3.49%	21.47%	下降83.7%
命名实体密集ASR	S2ER	2.02%	19.91%	下降89.9%
语码转换ASR	S2ER	1.36%	28.57%	下降95.2%

局限与改进

作者承认的局限性包括计算开销较大，需要运行LLM进行推理和评估，实时性可能受限；依赖LLM能力，LLM reasoner的能力直接影响纠正质量，小模型在指令遵循和编辑精确度上存在不足；评估成本高，S2ER需要多轮LLM判断，虽然比人类评估便宜但比传统指标昂贵。额外的局限性包括对语音质量敏感，极端口音或噪音下初始转录太差，即使多轮纠错也可能难以恢复；缺乏真实用户数据，当前评估基于模拟环境，真实用户行为可能更复杂；语言覆盖有限，主要在英语、普通话和英汉语码转换上验证，其他语言的效果未知。

独立分析的弱点

独立分析的主要弱点包括第一，计算效率问题，每次交互都需要调用大语言模型进行推理，在高频语音输入场景下延迟和成本可能无法接受。改进方向可以是训练更小的任务专用精炼模型，或采用知识蒸馏将大模型的能力迁移到更小的模型。第二，假设用户能够准确描述纠错指令，但在真实场景中，用户可能自己也不清楚转录哪里错了，或者描述模糊。改进可以是结合其他模态如手势、点击进行更直观的纠错，或让系统主动提出确认问题缩小纠错范围。第三，对初始ASR质量的依赖仍然存在，虽然弱模型也能通过多轮交互提升，但初始质量差需要更多轮次才能达到同等效果。改进可以是设计针对极端情况的专门纠错策略，或利用跨模态信息辅助初始转录。第四，评估仍基于模拟环境，模拟用户和真实用户在纠错行为上可能有差异，需要更多真实用户研究验证效果。

未来方向

作者提出的未来方向包括两个，一是利用更丰富的交互监督，如真实用户纠错轨迹或自动构建的交互数据，将其融入训练以提升在真实部署条件下的鲁棒性；二是后训练更小的任务专用精炼模型，因为紧凑模型已经展示基本纠错能力但仍在稳定性和精确度上落后。基于本文成果可延伸的未来方向包括探索跨模态交互，结合视觉、手势等多模态反馈增强纠错准确性；扩展到更广泛的语音理解任务，如语音意图识别、情感分析等；研究自适应交互策略，根据任务难度动态调整交互次数和纠错强度；开发更高效的语义评估方法，减少对LLM judge的依赖；在更多语言和方言上验证框架的泛化能力。

复现评估

复现评估方面，论文提供了代码和在线演示，这是良好的开源实践。数据集使用公开基准包括GigaSpeech Test、WenetSpeech Test Net、AISHELL-NER、ASRU2019和CS-Dialogue，这些数据集都是公开可获取的。主要依赖Qwen3-ASR-1.7B、Qwen3-32B和Index-TTS-1.5等模型，这些模型也需要相应算力支持。实验规模较大，涉及多个基准和多轮交互，复现完整的实验可能需要较多GPU资源和时间。但由于提供了完整的交互模拟系统，研究者可以在可控环境中复现多轮评估，而不需要真实用户参与，这在一定程度上降低了复现难度。整体而言，复现难度中等，主要瓶颈是算力需求而非数据或代码可得性。

论文图表

**Fig. 1**: Comparison between daily human communication, the traditional ASR paradigm, and the proposed Agentic ASR paradigm.
该图通过一个具体案例对比了三种交流模式，包括日常人类交流、传统ASR范式和提出的Agentic ASR范式。在自然对话中，当名字被误听时，说话者会纠正，听者会调整理解。传统ASR系统则将后续 utterance 视为全新输入，无法将纠正解释为对前面错误的修正。Agentic ASR范式引入了包含用户反馈的闭环机制，通过多轮交互逐步精炼转录结果，最终产生正确的理解。

这张图对理解论文至关重要，因为它直观地展示了核心动机，即传统ASR与人类交流的根本差异。通过一个具体案例，读者可以清楚地看到为什么单次解码范式在语义关键错误面前无能为力，以及多轮交互如何解决这个问题。这是整篇论文的思想基础。

Table I: Correlation between the LLM Judger, experts, and human reference scores across datasets.

该表格展示了LLM Judger、专家和人类参考分数之间的Pearson相关系数。在三个数据集上，LLM Judger与人类参考分数的相关系数分别为0.8914、0.8280和0.9031，标准差均小于0.03。专家的相关系数分别为0.8534、0.8086和0.8871。LLM Judger的相关系数始终高于专家，差距分别为0.0380、0.0194和0.0160。标准差较小表明判断协议稳定而非对采样噪声或prompt随机性敏感。

这个表格对验证S2ER评估的可靠性至关重要，它证明LLM Judger能够可靠地跟踪人类语义判断。读者可以看到LLM judge不仅与人类分数强相关（均超过0.8），而且稳定性良好（标准差小），甚至超过领域专家。这支持了使用S2ER作为可靠语义评估信号的做法。

Table II: Main results of the proposed Agentic ASR framework under different numbers of interaction loops.

该表格报告了Agentic ASR框架在不同交互轮数下的代表性检查点。在GigaSpeech Test上，S2ER从Loop 0的21.47%降至Loop 1的12.35%，Loop 3的7.00%，Loop 10的3.49%。在WenetSpeech Test Net上，S2ER从19.46%降至4.15%再到1.80%。在命名实体密集子集上最终S2ER约为2%。在语码转换基准上，S2ER从ASRU2019 Test的28.57%降至1.36%，从CS-Dialogue Test的19.73%降至4.16%。表格清楚显示增加交互预算持续提升语义正确性，且S2ER的改善远大于传统指标。

这个表格是论文核心结果的总结，它量化地展示了多轮交互的效果。读者可以从具体数字中看到S2ER在不同数据集上的改善程度，以及与传统指标的对比。这支持了论文的两个主要结论，即多轮交互持续提升转录质量，且增益本质上是语义层面的。

Table III: Effect of reducing the LLM reasoner from Qwen3-32B to Qwen3-8B.

该表格展示了将LLM reasoner从大模型减小到小模型的效果，报告Loop 10的最终S2ER。在所有数据集上，小模型都劣于默认的大模型，在GigaSpeech Test上为7.56%对比3.49%，差距为4.07个百分点。在其他数据集上差距为2到4个百分点。差距是系统性的而非孤立失败案例，显示LLM规模实质影响最终纠正质量和语义错误下限。

这个表格对理解LLM能力对框架效果的影响很重要，它量化展示了小模型与大模型的性能差距。读者可以看到差距在所有数据集上普遍存在，说明更强的LLM能提供更可靠的纠正和更低的语义错误下限。这对实际部署时的模型选择有指导意义。