听我说：面向指令跟随的口语提示数据集 Do What I Say: A Spoken Prompt Dataset for Instruction-Following

DOWIS的构建分为四个步骤。第一步，提示收集：邀请各任务领域的研究者为9个任务（ASR、TTS、ST、MT、S2ST、SSUM、TSUM、ACHAP、SQA）各撰写2个英文基础提示，然后对每个基础提示进行4种风格改写（正式、非正式、详细、简洁），共获得每个任务10个提示变体，总计90个英文提示。第二步，翻译适配：邀请母语者将90个英文提示翻译为德语、意大利语、捷克语、西班牙语、法语、匈牙利语、荷兰语、葡萄牙语、俄语、瑞典语10种语言，要求翻译结果在目标语言中听起来自然，总计获得990个独特文本提示（10提示×9任务×11语言）。第三步，语音录制：招募19名母语或高度熟练的语言使用者（9男10女），每人用手机或笔记本电脑录制约8分35秒的音频，模拟真实会议场景。所有音频转换为WAV格式，并使用基于响度的语音活动检测（滑动窗口10ms，阈值-40dBFS）裁剪首尾静音，保留500ms填充以保持自然的语音起止。第四步，实验评估：将DOWIS提示配对到各任务的下游数据集（ASR/MT/ST/S2ST/TTS使用FLEURS，TSUM/SSUM/SQA使用MCIF，ACHAP使用YTSeg），在两个SOTA模型上进行评估，使用WER、CometKiwi、BERTScore、CollarF1、UTMOS等指标。

DOWIS的技术新颖性体现在多个方面。首先，它是首个包含人类录制平行语音-文本提示的多语言数据集，此前的口语指令基准要么使用TTS合成语音（如SpeechInstructBench），要么不提供平行的文本版本。其次，DOWIS的解耦设计使得一个数据集可以服务整个社区的评估需求，而无需为每个新基准单独构建口语版本，这是一种范式性的设计创新。第三，DOWIS覆盖了5种提示风格的系统变体，揭示了指令表述方式对模型性能的显著影响，这是此前工作未曾系统探索的维度。第四，DOWIS覆盖了11种语言，包括多种低资源语言（如匈牙利语、捷克语、瑞典语），使得跨语言口语指令评估成为可能。最后，DOWIS覆盖了从语音到文本到语音到语音的完整模态谱系，支持对SLLMs进行全面的能力评估。

本文存在几个可以改进的弱点。首先，样本模型数量不足：仅评估了2个模型，建议扩展到至少5-6个主流SLLMs（如GPT-4o、Gemini 2.5、Qwen3-Omni等），以增强结论的普适性和统计可靠性。其次，缺乏机制分析：论文报告了语音提示性能下降的现象，但未深入探究原因。建议增加消融实验，例如：使用TTS合成语音与真人录音对比以隔离语音自然度的影响；控制语速、音量、信噪比等变量；分析模型注意力在语音指令上的分布模式。第三，语言覆盖不均衡：虽然覆盖11种语言，但匈牙利语仅1名女性说话人、葡萄牙语仅1名男性说话人，无法进行公平的性别对比。建议每种语言至少招募3-4名说话人（男女各半）。第四，缺少语音提示优化的探索：未尝试对SLLMs进行语音指令微调或使用语音提示增强技术（如音频预处理、特征增强）来缩小模态差距。

作者提出的未来方向包括：将DOWIS与更多下游基准配对以扩展评估范围；探索跨语言口语指令的迁移能力。基于本文成果，还可以延伸以下研究方向：第一，开发针对语音指令的提示优化技术，例如通过语音特征增强或自适应提示长度来改善语音指令的处理效果；第二，研究语音指令的跨语言迁移——模型在一种语言上学到的语音指令理解能力能否迁移到其他语言；第三，探索多轮语音对话场景下的指令跟随能力，因为真实交互往往涉及多轮对话和上下文依赖；第四，将DOWIS扩展到更多语言（特别是亚洲和非洲语言），以评估SLLMs在全球语言多样性下的表现；第五，研究口语指令中的韵律信息（如重音、语调）对指令理解的影响，这可能解释部分语音提示性能下降的原因。

本文在可复现性方面表现良好。DOWIS数据集已在HuggingFace上公开（maikezu/dowis），采用CC-BY许可证，代码也在GitHub上开源。数据集包含990个文本提示和对应的语音录音，总计3小时17分钟的音频，所有音频均经过标准化处理（WAV格式、静音裁剪）。实验使用标准评估指标（WER、CometKiwi、BERTScore等）和公开的数据集（FLEURS、MCIF、YTSeg）。然而，完整复现实验需要NVIDIA A100-SXM4-40GB GPU，这对许多研究团队来说是较高的硬件门槛。两个评估模型（Qwen2.5-Omni-7B和Phi-4-multimodal-instruct）均为开源模型，可以自行下载。总体而言，从数据获取到实验复现的路径清晰，主要瓶颈在于算力需求。