SpeechEditBench：面向指令引导语音编辑的双语多属性基准测试 SpeechEditBench: A Bilingual Multi-Attribute Benchmark for Instruction-Guided Speech Editing

方法包括三个主要步骤：首先，数据集构建从多个公共英语和中文语料库（LibriTTS、AISHELL-3、WenetSpeech、VCTK、IEMOCAP、CSEMOTIONS、NonverbalTTS、DisfluencySpeech、LibriQuote、NaturalVoices、Aishell6-whisper、MagicData-RAMC、StoryTTS、Emilia等）中选取4700个源语音-指令对。对于每种原子编辑任务，使用GPT-4o进行语义编辑提议和基于文本的过滤，使用Gemini-2.5-pro进行基于音频的注释和候选选择。任务特定锚点包括目标转录文本、参考说话人、情感/风格标签、韵律方向、副语言事件、声学条件等。其次，评估协议采用锚点评估，对于非内容原子任务，严格要求内容保持（WER/CER不超过10%）。目标成功标准根据任务自适应：内容编辑要求目标跨度存在（或删除时不存在），说话人编辑要求输出与参考说话人嵌入的余弦相似度≥0.50，情感/风格/副语言编辑使用Gemini分类器（情感要求标签匹配，风格要求目标风格评分≥3，副语言要求添加时事件评分≥2或删除时≤1），韵律编辑使用时长比率（加速≤0.95，减速≥1.05）、中位数F0偏移（≥+0.3或≤-0.3半音）和重音 prominence增益，声学编辑要求增强有正DNSMOS增益、混响传递RT60在目标0.8-1.2倍内、噪声传递PANNs场景预测匹配目标且评分增益≥0.03。最后，对于组合样本，使用相应原子指标评估每个组件，并报告组件级别成功（样本中成功的组件比例）、全部组件成功（样本中所有请求的组件都成功）和联合成功（应用保持约束后的全部组件成功）。

技术新颖性体现在三个方面：首先，锚点评估协议首次避免了语音编辑评估中的刚性波形匹配问题，使得不同编辑任务的评估指标可以统一和比较。其次，三个核心指标（目标成功率、保持成功率、联合成功率）首次系统地区分了编辑有效性和源内容保持性，揭示了许多模型在编辑成功但保持失败的问题。第三，组合编辑任务首次测试了Speech LLM同时满足多个编辑约束的能力，这是现有基准未涉及的。此外，双语设计（英语和中文）首次系统评估了模型的语言偏置，发现不同模型在英语和中文上的表现存在显著差异。情感编辑的标准集和挑战集设计首次分离了文本-语音模态冲突，揭示了词汇-情感冲突如何影响情感控制难度。

独立分析的弱点包括：组合编辑的联合成功率极低（几乎所有模型在三组件组合上为0.00%），这表明模型在同时处理多个编辑约束时存在严重困难。改进方向包括设计专门的架构来分离不同属性的编辑操作，例如使用模块化网络或属性特定的编码器-解码器，以及开发更好的属性解耦表示学习方法。保持成功率是核心瓶颈，许多模型在目标成功率高但联合成功率低，表明模型在编辑时经常破坏未更改的词汇内容。改进方向包括引入内容保持约束的损失函数或训练目标，例如对抗性训练来惩罚不必要的文本更改，以及在推理时使用约束解码或后处理来确保内容保持。情感编辑的挑战集表现下降表明模型难以处理文本-语音模态冲突，即文本本身带有情感色彩时模型难以转换为不同的目标情感。改进方向包括更好的跨模态对齐方法，以及使用更多样化的训练数据来覆盖文本情感与语音情感不一致的情况。语言偏置分析显示模型在不同语言上表现不一致，这可能是训练数据不平衡或模型架构设计的原因。改进方向包括平衡训练数据中的语言分布，以及设计语言无关的表示学习方法。副语言编辑（呼吸声、笑声、咳嗽、叹息）的成功率相对较低（闭源最佳为47.00%），表明模型对非语言语音事件的处理能力有限。改进方向包括专门的副语言事件建模，以及使用更多副语言事件标注数据进行训练。

作者提出的未来工作方向包括：扩展语言覆盖到低资源语言和更广泛的语言家族，以测试跨语言泛化的极限。 incorporate人工听感测试以进行更细粒度的主观验证，因为自动指标不能完全捕获感知自然度。支持多轮迭代编辑，其中模型基于持续对话反馈细化其输出，这是自然语音交互的关键维度。扩展任务和属性范围以包括语码转换、特定方言口音转换或细粒度声音风格插值。基于本文成果可延伸的方向包括：研究更好的属性解耦方法，使模型能够独立控制不同的语音属性而不相互干扰。开发更复杂的组合编辑策略，例如分层编辑或渐进编辑，先执行关键属性编辑再执行次要属性编辑。探索更精细的评估指标，例如感知自然度评分、情感相似度连续测量、风格相似度连续测量，而不仅仅是离散分类或阈值判断。研究零样本和少样本编辑能力，即模型在未见过的说话人、情感或风格上的编辑能力。开发端到端的指令引导编辑模型，而不是将多个专业系统组合在一起，以实现真正的统一编辑能力。

论文表明数据集和评估代码将在接受后发布，这有利于复现。数据集使用多个公共英语和中文语料库构建，包括LibriTTS、AISHELL-3、WenetSpeech、VCTK、IEMOCAP、CSEMOTIONS、NonverbalTTS、DisfluencySpeech、LibriQuote、NaturalVoices、Aishell6-whisper、MagicData-RAMC、StoryTTS、Emilia等，这些语料库大多公开可用。声学编辑使用MUSAN噪声和RIRS_NOISES来合成有噪声或混响的语音。数据集构建使用GPT-4o和Gemini-2.5-pro进行自动标注和候选选择，这可能引入一些主观性，但论文提供了详细的提示词规范和过滤标准。评估使用自动指标和Gemini分类器，这些指标在受控设置中与人类判断相关，但论文没有提供人类评估的基线或对比。论文没有报告计算资源需求或推理时间，这使得评估计算成本变得困难。总体来说，复现难度中等，主要挑战在于需要访问多个语料库、使用大型语言模型（GPT-4o、Gemini-2.5-pro）进行数据标注和评估，以及实现评估协议的各个组件（ASR系统、说话人嵌入提取、情感/风格/副语言分类器、DNSMOS计算等）。论文提供了详细的附录说明数据集构成、任务构建规则、过滤提示词规范、评估阈值和定性失败类型，这有助于复现。