Tadabur：大规模古兰经音频数据集

构建1400+小时古兰经音频数据集,600+朗读者,提出AAM语义对齐pipeline。

前置知识

自动语音识别 (ASR)

将语音信号转换为文本的技术,现代ASR多基于Transformer和自监督模型(如Whisper、wav2vec 2.0)。通过大规模标注或无标注语音学习声学表征,再用少量标注数据微调。

本文核心就是构建支持古兰经ASR研究的数据集,需要理解ASR如何利用对齐数据训练才能明白对齐模块为何关键。

强制对齐 (Forced Alignment)

已知文本与音频时,使用声学模型在时间轴上找出每个词(或音素)对应的起止时间戳。WhisperX基于wav2vec 2.0实现phone-level对齐,精度优于Whisper原生输出。

AAM模块依赖WhisperX的词级时间戳做后续的ayah切分,强制对齐是整个pipeline的声学基础。

语义嵌入 (Semantic Embedding)

将文本或音频映射到高维向量空间,使语义相近的内容向量距离也近。SILMA AI是针对阿拉伯语优化的嵌入模型,擅长捕捉语义相似性而非表面字符匹配。

古兰经经文存在大量变音和诵读差异,字符串模糊匹配容易失效,语义嵌入能在容错情况下正确匹配对应经文。

连接成分 (Connected Components)

图论中将互相连通的节点归为同一集合的算法,常用并查集(Union-Find)高效实现。本文用于将相似度超过阈值的重复音频归并为同一组。

理解去重pipeline需要掌握如何把成对相似度转化为组级别的重复检测。

研究动机

古兰经音频研究长期受限于公开数据集规模小、朗读者多样性不足、标注粗糙。具体而言,现有最知名的Quran Recitations数据集仅有6,689段、12位朗读者,且完全缺乏文本转写;SLR132虽是226,129段-文本对的ASR基准,但仅有30位专业朗读者,且粒度停留在ayah(经文)级,缺少词级或音素级时间戳,无法用于错读检测或精细发音评分;Buraaq数据集187,080段同样覆盖30位朗读者。这些问题严重制约了古兰经ASR、tajwīd(诵读规则)建模、朗读者识别、韵律分析等任务的发展——主流ASR模型在通用对话或朗读语音上表现优异,但遇到古兰经特有的延长音素、严格发音规则、旋律化诵读风格时往往失效,因为它们在预训练阶段几乎没见过这类语音。

本文的目标是本文的核心目标是发布Tadabur,一个前所未有的古兰经音频大规模数据集,包含超过1400小时的ayah级标注音频、600位以上不同朗读者(覆盖不同年龄、方言和诵读传统),并提供机器可读的词级时间对齐和结构化JSON元数据。同时,作者希望建立一套完全自动化的数据构建pipeline,使后续研究者能够以低成本复现类似规模的领域专用数据集,并在Tadabur上对8个主流ASR模型进行系统性基准测试,为未来研究设立可比较的基线。

与已有工作不同的是，本文的独特切入角度在于将LLM、WhisperX、强语义嵌入模型三类技术首次组合成端到端的古兰经数据加工流水线。已有工作要么依赖人工标注(无法规模化),要么使用简单字符串匹配做对齐(在变音丰富的诵读文本上失败率高);而Tadabur提出的Ayah Alignment Module (AAM) 用SILMA AI语义嵌入替代传统模糊匹配,在Tab1中比fuzzy matching平均覆盖率高出10个百分点以上(96.63% vs 86.03%)。同时,通过EAT音频嵌入+并查集去重、LLM元数据筛选、诵读停顿分割三层机制保证数据质量,使整个构建过程无需人工介入即可产出365,000+段干净音频。

核心方法

Tadabur的构建pipeline分四个阶段,整体思路是'多源采集→LLM元数据标准化→ASR驱动ayah对齐→多维质量过滤'。直觉上,既然人工标注1400小时音频不现实,那就让LLM先从原始网页描述中提取结构化字段,再用WhisperX生成词级时间戳转写,最后用语义嵌入模型把转写片段与权威Quran API的ayah文本匹配,从而得到精确的ayah级切分。每一步都用自动化的质量校验(LLM语义审核、对齐覆盖率阈值、EAT嵌入余弦相似度去重)兜底,使得整条链路从原始网页抓取到最终JSON标注无需人工。

最核心的创新是把ayah对齐从'字符串模糊匹配'升级为'语义嵌入相似度匹配',并配合自研的Tadabur微调Whisper模型实现96.63%的平均对齐覆盖率。具体来说,AAM内部先用WhisperX得到整段长音频的词级时间戳和转写,然后对每个候选ayah文本和转写片段分别用SILMA AI做嵌入,计算余弦相似度,只有超过阈值的才接受为有效对齐;匹配成功后,再用一个诵读停顿分割模型(在每段音频尾部加5秒buffer后检测自然停顿点)与WhisperX时间戳做reconcile,确保ayah切分点正好落在朗读者自然停顿处。这一'语义+停顿'双层校验机制是与已有工作(如SLR132和Buraaq)的本质区别。

方法步骤详情

完整pipeline包含六步:第一步从公开古兰经音频平台多源采集,统一格式与采样率;第二步用Gemini 2.5 Flash LLM对每段音频的标题、描述、标签做语义推断,提取标准化surah名、朗读者身份等字段,无效则剔除;第三步用Whisper Large v3+WhisperX对长音频做强制对齐,得到词级时间戳和转写;第四步进入AAM,用SILMA嵌入计算每个ayah与转写片段的余弦相似度 $\text{cos}(\mathbf{u},\mathbf{v})=\frac{\mathbf{u}\cdot\mathbf{v}}{\|\mathbf{u}\|\|\mathbf{v}\|}$,超过阈值才接受对齐并抽取时间戳;第五步对切出的初步片段尾部加5秒buffer后送入诵读停顿分割模型,得到朗读者自然停止点,再与WhisperX时间戳reconcile完成精细切分;第六步curation阶段,含LLM二次审核、ASR对齐隐式校验,以及按reciter+ayah分组用EAT嵌入计算余弦相似度,超过0.9阈值的用并查集归并为重复组,每组只保留一个代表样本。

技术新颖性

技术新颖性主要体现在三方面:其一,首次将'LLM语义元数据提取 + WhisperX强制对齐 + 语义嵌入匹配 + 诵读停顿检测'四类技术串成端到端pipeline,无需任何人工标注就能从原始网页素材产出词级对齐的古兰经音频;其二,AAM模块的语义匹配策略在领域适配ASR(Tadabur微调模型)加持下达到96.63%对齐覆盖率,比fuzzy matching高出10个百分点以上,证明在富含变音和延长音素的特殊领域语音上,语义级匹配比表面字符串匹配鲁棒得多;其三,基于EAT音频嵌入和并查集的组级别去重机制解决了古兰经数据中常见的同一ayah被多次收录的问题,在保留多样性的同时保证数据集内部无冗余。

**Figure 1**: Overview of the verse-level alignment pipeline

**Figure 2**: Detailed architecture of the Ayah Alignment Module

**Figure 3**: Recitation stop segmentation and boundary correction module

**Figure 4**: LLM-based metadata classification pipeline

**Figure 5**: Deduplication pipeline using EAT embeddings

实验结果

实验分AAM对齐评估和8模型ASR benchmark两部分。AAM(Table 1)在5位未参与微调的朗读者完整古兰诵读上测试,SILMA嵌入+Tadabur微调模型以 $\text{Coverage}=\frac{N_{\text{aligned}}}{N_{\text{total}}}\times 100\%$ 达到96.63%平均覆盖率,优于SILMA+Whisper-Quran(95.50%)和SILMA+Whisper Small(82.57%);Fuzzy匹配最佳仅87.23%,证明语义嵌入稳定优于字符串匹配。ASR benchmark(Table 3)中Whisper-Quran以74M参数取得最低WER 8.7%和CER 6.5%,显著优于Cohere Transcribe(2B,WER 11.2%)、Voxtral Mini(4B,15.1%)、VibeVoice-ASR(7B,24.3%)、Qwen3-ASR-1.7B(1.7B,25.2%)、Whisper Small(244M,29.2%)、MMS 1B(1B,51.1%)和Wav2Vec2 XLSR-53(300M,57.4%)。最反直觉结论:74M的领域适配模型击败所有7B以下通用大模型,领域知识比参数规模更重要。

**Table 1**: Ayah alignment coverage (%) across five reciters

**Table 2**: Comparison between Tadabur and existing publicly available Quran datasets

**Table 3**: ASR evaluation results on Tadabur

**Figure 6**: Number of reciters across major publicly available Quran datasets

查看结构化数据

任务	指标	本文	基线	提升
古兰经ayah级对齐 (AAM)	对齐覆盖率 (%)	96.63 (SILMA嵌入+Tadabur微调模型,平均5位朗读者)	95.50 (SILMA+Whisper-Quran) / 86.03 (Fuzzy+Tadabur) / 82.57 (SILMA+Whisper Small)	相对Fuzzy+Tadabur提升10.6个百分点,相对最强baseline(Whisper-Quran)提升1.13个百分点
古兰经ASR	词错误率 WER (%)	8.7 (Whisper-Quran, 74M参数, $\text{WER}=\frac{S+D+I}{N}$)	11.2 (Cohere Transcribe 2B) / 15.1 (Voxtral Mini 4B) / 24.3 (VibeVoice-ASR 7B) / 25.2 (Qwen3-ASR-1.7B) / 29.2 (Whisper Small 244M) / 51.1 (MMS 1B) / 57.4 (Wav2Vec2 XLSR-53 Arabic 300M)	比第二名Cohere Transcribe降低2.5个百分点WER,且参数量少27倍
古兰经ASR	字符错误率 CER (%)	6.5 (Whisper-Quran, 74M参数)	8.1 (Cohere Transcribe) / 11.2 (Voxtral Mini) / 9.9 (Qwen3-ASR-1.7B) / 16.1 (Whisper Small) / 16.6 (MMS 1B) / 21.9 (Wav2Vec2 XLSR-53 Arabic)	比第二名Cohere Transcribe降低1.6个百分点CER
数据集规模对比	片段数 × 朗读者数 × 标注粒度	365,000+ 段, 600+ 朗读者, 词级对齐+ayah转写	SLR132: 226,129段,30朗读者,ayah转写无词级; Buraaq: 187,080段,30朗读者,ayah转写无词级; Kaggle: 6,689段,12朗读者,无转写	片段数比SLR132提升61%,朗读者数提升20倍,且是唯一提供词级对齐的开源数据集

局限与改进

作者明确承认两个局限:第一,部分朗读者并非每条ayah都有录音,原因要么是数据采集时该朗读者可用素材本就稀少,要么是pipeline(主要是ASR转写环节)在某些复杂诵读片段上出错导致匹配失败,这意味着Tadabur虽然总量大但每位朗读者的覆盖率并不均匀;第二,词级时间戳的精度受限于对齐模型——该模型并非为古兰经语音专门设计,遇到延长音、tajwīd规则、特殊旋律诵读时容易偏移,意味着基于这些时间戳的下游任务(如发音评分、强制对齐二次利用)需要自行容错。从我们观察看,还有一个隐含限制:作者未公开完整的AAM代码与训练好的Tadabur微调Whisper模型权重(摘要只承诺发布数据集与元数据),这意味着其他研究者无法复现其96.63%的对齐覆盖率,只能使用其发布的最终数据集;此外,所有朗读者的分布严重不均,数据集反映的是'音频源的可获得性',而非古兰经诵读传统的真实人口分布,可能导致某些方言或传统被低估。

独立分析的弱点

仔细审视后,Tadabur存在四个可改进的弱点:第一,样本分布严重长尾,虽然总朗读者600+,但很可能少数顶级朗读者贡献了大部分音频,这会让在该数据集上训练的ASR模型对'头部朗读者'过拟合、对罕见方言泛化差,改进方向是发布每位朗读者音频时长的统计并按比例做重采样;第二,AAM的语义阈值是固定的全局阈值(如0.9),没有按朗读者或诵读风格自适应,在mujawwad等旋律化诵读风格上误对齐风险更高,改进方向是引入per-style阈值或基于置信度的动态拒绝;第三,词级对齐依赖通用对齐模型,作者承认在古兰经特殊发音上'not always precise',但没有给出词级时间戳的误差统计,改进方向是用Tadabur自身数据微调一个针对古兰经的强制对齐模型并报告MAE等指标;第四,作者没有对性别做明确披露,鉴于古兰经诵读传统中女性朗读者比例通常偏低,Tadabur可能同样存在性别不平衡,改进方向是补充元数据并在数据卡片中明示性别分布。

未来方向

作者和社区至少可沿四个方向延伸:第一,基于Tadabur训练专门的古兰经ASR模型(如更大规模的Whisper Large微调),目标是逼近人类转写水平并公开模型权重;第二,在词级时间戳基础上开发tajwīd规则自动评分系统,因为Tadabur是首个提供此类细粒度标注的开源数据集,天然适合做发音错误检测;第三,扩展到跨语言翻译任务,因为古兰经被翻译为100+语言,可收集多语言诵读并构建multilingual Tadabur,服务于多语种宗教内容理解;第四,基于reciter识别子任务做声纹研究,Tadabur拥有600+朗读者多次录制同一ayah的数据,是研究speaker embedding鲁棒性和风格的优质素材;此外,作者在Limitation中暗示将'address in future work',社区可以反推他们下一步可能做'提升每位朗读者覆盖率'和'专门化的古兰经强制对齐模型'。

复现评估

复现性方面整体良好但有缺口:数据资产层面,Tadabur数据集本身在HuggingFace和论文首页给出的Tadabur Page均可下载,音频、元数据JSON、对齐文件都公开;代码层面,作者没有公开完整的AAM pipeline代码(LLM提示词、Whisper微调脚本、去重脚本等均未在论文中给出),这意味着研究者只能用最终数据集而无法重建流水线;算力层面,Whisper Large v3推理、SILMA嵌入、EAT嵌入去重都需要GPU集群支撑(估计单次完整跑完1400小时至少需要数十到上百GPU小时),个人研究者难以复现完整pipeline但可以基于已发布数据做下游实验;复现难度判断为中等——使用Tadabur做新实验是简单的,但要重建其数据构建流水线则需要相当工程投入并依赖Gemini 2.5 Flash、Whisper-Quran、SILMA AI、EAT等多个第三方模型的可用性。

Tadabur：大规模古兰经音频数据集 Tadabur: A Large-Scale Quran Audio Dataset