ChildVox：儿童语音和音频理解与表征基准测试

首个覆盖儿童全发育阶段的语音音频基准测试

前置知识

自动语音识别（ASR）

将口语转换为文本的机器学习任务，通常使用编码器-解码器架构，在大规模语音数据上预训练。现代ASR模型如Whisper通过自监督学习从海量多语言语音中提取特征，然后在下游任务上微调。对于儿童语音，ASR面临发音变异性、语速差异和对话动态等特殊挑战。

本文基准测试的核心对比对象之一，现有儿童语音研究主要聚焦ASR，而ChildVox旨在超越ASR，扩展到更广泛的儿童声音表征任务。

自监督学习

一种无需人工标注标签的预训练方法，模型从数据自身生成监督信号。在音频领域，常用方法包括掩码预测（如HuBERT）、对比学习（如SimCLR）和重构任务。SSAST通过掩码音频频谱图块让模型预测原始特征，voc2vec则专注于非语言发声的自监督表示学习。

本文评估的SSAST、voc2vec、WavLM等模型均采用自监督预训练，这是当前音频基础模型的主流范式，理解其原理对于解读模型性能差异至关重要。

规范音节

儿童早期语言发育的关键里程碑，指具有清晰辅音-元音结构的音节（如ba、da）。通常在婴儿6-10个月时开始出现，标志着从非规范发声向语言前过渡。规范音节分类是评估语言发育进程的重要指标，BabbleCor和SpeechMaturity数据集专门用于此任务。

本文将规范音节作为四大任务类别之一，与ASR形成对比，体现从非语言向语言过渡的发展视角，这是传统ASR基准测试忽略的维度。

说话人分割

检测音频中说话人变化并标注谁在何时说话的技术，输出通常是说话人标签和时间戳。在儿童-成人互动研究中，分割可用于计算每分钟话语数、轮次转换等交互指标。常用指标包括分割错误率（DER），综合考虑错误说话人、错误检测和漏检。

本文应用说话人分割来表征儿童语言水平，展示基准测试模型的实际应用价值，说明如何从音频信号中提取发展性指标。

LoRA微调

低秩适应，一种参数高效的微调方法，通过在预训练模型的特定层（如注意力机制的查询、键、值矩阵）插入低秩分解矩阵来适应新任务，仅训练新增参数而冻结原始权重。秩通常设为64，相比全参数微调大幅减少可训练参数量和存储需求。

本文所有编码器模型和LALM均使用LoRA进行微调，这是大规模基础模型在下游任务中适应的标准实践，影响模型可训练性和泛化性能。

研究动机

现有儿童语音处理研究主要集中在自动语音识别（ASR）这一通用任务上，但这种聚焦存在严重局限性。首先，儿童在不同发育阶段通过多种方式表达自己，包括非口语形式，如婴儿期的主导性哭声和生理声音（如心音），这些都不属于传统ASR范畴。其次，对于患有语音障碍（SSD）和其他影响语音产生条件的儿童，ASR覆盖范围更加有限。此外，成人的ASR系统应用于儿童语音时性能显著下降，CirCor数据集包含1568名0至21岁受试者的5272个心音录音，而现有的ASR模型在该数据集上的表现明显不如成人数据，这是因为儿童语音存在发育声学变异性、发音差异和对话动态等独特挑战。

本文的目标是本文旨在创建一个全面的基准测试ChildVox，用于表征儿童从出生到学龄通过声音表达的多样化交流方式。该基准超越传统ASR视角，重新定义儿童发育背景下的语音概念，将语音视为具身交流，不仅包括口语语言，还包括发声、规范音节和生理声音，所有这些都共同传递意义和表达内在状态。基准设计覆盖四大类别：生理声音（如心音、呼吸音）、发声（如哭声、笑声）、规范音节（如婴儿语前行为）和口语（如学龄儿童的社交交流行为）。目标是提供一个生态学基础的平台，推动以儿童为中心的音频智能发展，支持理解儿童音频和口语的下游应用。

与已有工作不同的是，本文的独特切入角度是从发展心理学视角重新思考音频建模的任务设计。与以往主要关注儿童ASR的研究（如Fan等人2024、Ying等人2025）不同，ChildVox首次在统一基准中整合生理声音、发声、规范音节和口语，覆盖完整的发育轨迹。与单一数据集研究不同，ChildVox集成17个以儿童为中心的音频和语音数据集，超过20个子任务，系统评估自监督模型、ASR导向模型和大型音频语言模型（LALM）。这种跨语料库和跨域比较在儿童音频研究中极为罕见，为不同预训练设置如何提供互补的儿童中心声学信号测量提供了独特视角。此外，本文还首次将基准模型应用于实际场景，如语言水平表征和语音发育跟踪，展示了从基准到应用的完整研究链条。

核心方法

ChildVox基准测试的方法论框架基于发展心理学的生态效度原则，首先重新定义儿童声音的范畴，然后构建覆盖完整发育轨迹的任务体系，最后通过多种基础模型的系统评估揭示不同预训练策略的互补优势。核心设计理念是将儿童的交流信号视为从生理声音（如心音、呼吸音）到非语言发声（如哭声、笑声），再到规范音节（如婴儿语前行为），最后到口语（如社交对话）的连续发展过程。这种分类不仅符合儿童语言发育的理论框架，也覆盖了临床诊断、发育监测和教育应用的实际需求。基准构建采用统一的评估协议，所有数据集重采样至16kHz，最小输入持续时间200毫秒，分类任务报告Macro-F1分数，说话人分割报告分割错误率（DER），ASR和音素识别分别报告词错误率（WER）和音素错误率（PER）。

核心创新点在于超越ASR中心的传统儿童语音研究范式，提出以发展轨迹为导向的儿童声音概念重构。具体而言，将语音重新定义为儿童的具身交流，包括生理声音（健康指标）、发声（情感表达）、规范音节（语言发育里程碑）和口语（社交交流）四大类别，这与传统研究将ASR视为儿童语音处理的全部形成鲜明对比。另一个关键创新是构建ChildVox-Balanced数据集，通过平衡每个分类任务中的标签分布（每标签训练样本限制2000个，测试样本50个），支持大型音频语言模型（LALM）的实用和可复现监督微调。总计64641个音频和语音录音跨越14个子任务，这在规模和多样性上都是前所未有的。

方法步骤详情

基准构建和评估包含以下步骤：首先，数据收集和预处理，从17个数据集中筛选符合研究目标的音频数据，包括生理声音（CirCor心音、ICBHI和SPRSound呼吸音）、发声（AudioSet儿童声音、Donate-a-cry和CryBank哭声）、规范音节（ReCANVo情感状态、BabbleCor和SpeechMaturity发声发展）和口语（PERCEPT-R发音、SpeechOcean762质量、UltraSuite发音器官、NLS和ADOS2-Mod3说话人分割、MyST和TinyVox ASR）。所有音频重采样至16kHz，应用数据增强（高斯噪声、时间拉伸、极性反转）。其次，对于有预定义训练/开发/测试分割的数据集直接使用官方分割，对于没有预定义分割的数据集采用5折交叉验证。第三，模型微调，对于编码器模型（SSAST、voc2vec、WavLM、Whisper），从预训练编码器提取隐藏表示，通过1D逐点卷积和时间平均，输入全连接分类器，应用LoRA进行参数高效微调（秩64）。对于LALM（Qwen2-Audio、AudioFlamingo3），在查询、键、值、下投影和上投影层插入LoRA模块。最后，评估和分析，在测试集上计算相应指标，与商业模型（Gemini 2.5和3.5 Flash）进行零样本比较，并在实际应用场景（语言水平表征、语音发育跟踪）中验证模型有效性。

技术新颖性

技术新颖性体现在多个方面：首先，这是首个将生理声音（心音、呼吸音）与儿童语音处理结合的基准测试，突破了传统语音研究只关注口腔发音的局限，为健康监测和疾病筛查开辟新方向。其次，采用大规模跨语料库集成策略，17个数据集覆盖从婴儿到学龄儿童的完整发育范围，这种系统性在儿童音频研究中尚未出现。第三，对多种基础模型类型的统一评估框架揭示了自监督模型（SSAST、voc2vec）在生理声音和非语言发声任务上的优势，ASR导向模型（Whisper）在口语任务上的优势，以及LALM在不同任务上的性能差异，这种分类学洞察对模型选择和应用设计具有重要指导意义。第四，实际应用验证展示了从基准测试到应用的完整研究链条，如使用说话人分割模型计算每分钟话语数来表征语言水平，使用发音分类模型追踪语音发育，这种将基础研究与临床应用直接连接的方法学在领域内具有前瞻性。

**Figure 2**: Training data distribution of each sub-dataset in ChildVox-Balanced dataset

实验结果

实验结果揭示了不同模型在儿童中心音频任务上的性能差异和互补优势。在生理声音分类任务上，自监督模型SSAST和WavLM-Large通常优于Whisper家族模型，WavLM-Large在CirCor数据集上达到0.643 Macro-F1，SSAST在ICBHI-crackles（0.644）、ICBHI-wheezes（0.638）和SPRSound（0.448）上表现最佳，表明通用音频预训练对捕捉生理信号的细粒度频谱和时间特征更有效。相比之下，Whisper模型在大多数生理声音任务上表现较低，说明语音导向的预训练对儿童生理声音分类没有明显益处。在发声和规范音节任务上，结果更加平衡，SSAST在AudioSet-Child（0.657）、ReCANVo（0.444）和SpeechMaturity（0.686）上表现最佳，而Whisper模型在BabbleCor和donate-a-cry等任务上具有竞争力。在语音质量分类方面，Whisper模型表现更优，Whisper-Large在SpeechOcean762数据集的所有任务上取得最佳结果，说明大规模多语言预训练获得的强大语音识别能力在儿童语音分类中受益。在说话人分割和语音识别方面，Whisper-Large在NLS上达到17.70 DER，在ADOS2-Mod3上达到42.50 DER，在MyST上达到14.80 WER，在ADOS上达到40.20 WER，明显优于其他模型，模型规模是主导因素。实际应用验证显示，使用说话人分割模型从NLS数据集提取的每分钟话语数与专家分配的语言水平（LL-1前语言、LL-2首个词、LL-3词组合）呈清晰单调关系，中位数从LL-1到LL-3稳步增加，表明分割衍生的话语率捕捉了与专家判断一致的发育信号。在PERCEPT-R数据集上，模型预测的R音发音概率与年龄呈中等正相关（r等于0.576），年长儿童的预测概率更一致地集中在0.75附近，年幼儿童（约115至135个月）变异性更大，表明ChildVox提供的模型能够捕捉儿童晚期R音发音的发育变化。

**Table 1**: Summary of the audio and speech data used in the ChildVox benchmark

**Table 2**: Summary of audio and speech foundation models used in the ChildVox benchmark

**Table 3**: Benchmark performance across physiological sounds, vocalization, canonical syllables, and speech from children

**Table 4**: Diarization and ASR performance

**Table 5**: Benchmark performance on ChildVox-Balanced test set using encoder-based models and LALMs

**Figure 4**: Comparison of Open-Source and Proprietary Models on ChildVox-Balanced Testset

**Figure 5**: Utterance rate derived from the speaker diarization model by language level

**Figure 6**: Correlation between model-predicted probability of correct rhotic production and chronic age

查看结构化数据

任务	指标	本文	基线	提升
心音杂音检测	Macro-F1	WavLM-Large: 0.643	Gemini 3.5 Flash: 小于0.35	约84%提升
呼吸音分类（SPRSound）	Macro-F1	SSAST: 0.448	Gemini 3.5 Flash: 小于0.35	约28%提升
儿童声音分类（AudioSet）	Macro-F1	SSAST: 0.657	Gemini 3.5 Flash: 小于0.75（估计）	接近商业模型
情感状态分类（ReCANVo）	Macro-F1	SSAST: 0.444	Gemini 3.5 Flash: 小于0.35	约27%提升
语音识别（MyST）	WER	Whisper-Large: 14.80	Parakeet-TDT: 15.82	6.4%相对改善
说话人分割（NLS）	DER	Whisper-Large: 17.70	WavLM-Large: 22.10	20%相对改善
语音质量-韵律（SpeechOcean）	Macro-F1	Whisper-Large: 0.715	SSAST: 0.613	16.6%相对改善

局限与改进

作者承认的局限性包括：首先，语言、人口统计学和任务覆盖范围有限，大多数数据集包含英语录音，ASR评估仅限于英语子集，因此关于模型性能的结论可能无法推广到说其他语言的儿童（如普通话或西班牙语）。其次，数据集的人口统计学因素（如教育背景或发育状态）在许多情况下未完全记录，可能引入采样偏差并影响模型评估和结果解释。第三，虽然ChildVox包括几种代表性的自监督、ASR导向和LALM模型，但没有评估所有最近的开放源代码LALM（如GAMA、SALMONN、Step-Audio、Kimi-Audio），与商业基线的比较仅限于两个Gemini Flash模型的零样本设置，且零样本提示方法未涵盖不同的提示工程技术。第四，许多儿童中心音频任务（特别是情感发声分类、哭声原因分类、规范音节标注）涉及固有主观类别和评分者间分歧，因此报告的分类分数可能仅反映标注可靠性设置的上限。补充观察到的局限性：大多数模型的绝对性能仍然有限，特别是在情感识别（ReCANVo 0.444）和呼吸音分类（SPRSound 0.448）等任务上，说明儿童音频的理解仍面临重大挑战，可能需要更大规模、更专业的预训练数据或创新的模型架构。

独立分析的弱点

论文在多个方面存在可改进的弱点。首先，语言覆盖严重不足，主要聚焦英语，对全球儿童应用的普适性有限。改进方向是整合更多语言的数据集，特别是普通话、西班牙语等广泛使用的语言，探索跨语言迁移学习策略。其次，数据集的人口统计学标注不完整，缺乏教育背景、社会经济地位、文化背景等关键变量，这些因素可能显著影响儿童语音发展。改进方向是与数据集提供者合作，补充人口统计学元数据，或在新数据收集阶段系统记录这些变量。第三，基础模型选择范围有限，未涵盖所有最新的开放源代码LALM，限制了基准的全面性。改进方向是扩展模型评估范围，包括GAMA、SALMONN、Step-Audio、Kimi-Audio等新兴模型，以及不同规模的变体，提供更全面的模型性能图谱。第四，与商业模型的比较仅限于零样本设置，未探索提示工程、少样本学习等更公平的比较方法。改进方向是设计更系统的比较协议，包括多轮提示工程优化、上下文学习、任务特定提示模板等。第五，绝对性能仍然有限，特别是在情感识别和生理声音分类等任务上。改进方向可能是开发专门针对儿童音频的大规模预训练数据集，或设计融合多模态信息（如视频、生理信号）的模型架构。第六，复现性支持有限，虽然计划发布代码和检查点，但数据获取可能受许可证限制，特别是私有数据集。改进方向是提供更多公开可用的基准子集，或开发合成数据生成方法以支持方法验证。

未来方向

作者提出的未来工作方向包括：扩展到更广泛的音素识别，探索额外的录音环境，并将基准模型应用于丰富现有儿童音频语料库以支持早期筛查、纵向监测和教育。基于本文成果可延伸的未来方向包括：开发专门的儿童音频语言基础模型，在更大规模、更多样化的儿童音频数据上预训练，超越从成人数据微调的范式；探索多模态融合，将音频与视频、生理信号（如心率、运动）、环境上下文等结合，提供更全面的儿童状态理解；研究个性化适应方法，考虑个体发育轨迹、文化背景、教育环境等因素，提供定制化的语音评估和干预建议；开发实时监测和反馈系统，将基准模型集成到教育软件、家庭互动平台或临床工具中，提供即时的语音发育评估和建议；研究跨文化、跨语言的可迁移性，探索哪些语音特征在不同文化背景下具有普适性，哪些需要文化特定的建模；拓展到更广泛的语言理解和推理任务，不仅限于分类和转录，还包括问答、对话、叙事理解等更高层次的语音语言能力评估。

复现评估

复现评估：论文承诺将在负责任AI许可证（RAIL）下发布代码和检查点，要求用户尊重数据主体隐私并遵守适用法律。训练细节在附录中详细描述，包括学习率、训练轮次、数据增强、硬件配置等。编码器模型的实验主要使用单个A40或V100 GPU，微调时间少于2天，LALM实验在A40 GPU上需要4至5天，对于大多数研究机构而言计算成本可接受。然而，复现面临几个挑战：首先，部分数据集（如NLS、ADOS2-Mod3）是私有数据，无法公开获取，限制了完全复现的可能性。其次，许多数据集有自定义许可证或未指定许可证（如CryBank、BabbleCor、SpeechMaturity），可能限制数据共享和商业使用。第三，与商业模型的比较（Gemini 2.5和3.5 Flash）使用API调用，提示设计细节有限，且由于预算限制仅运行单次，结果可能存在随机性。第四，数据预处理步骤（如5折交叉验证的具体划分、最小输入持续时间的阈值选择、数据增强的具体参数）可能影响结果，但论文提供了足够详细的描述。总体而言，公开数据集上的实验可以较好地复现，私有数据集上的实验需要与作者合作或使用替代数据。代码和检查点的发布将显著提高复现性，但数据获取许可证仍然是主要瓶颈。对于希望复现或扩展该工作的研究者，建议从公开数据集开始，逐步增加私有数据集（如通过合作研究协议），并详细记录所有预处理步骤和随机种子以确保可复现性。

ChildVox：儿童语音和音频理解与表征基准测试 ChildVox: A Speech, Audio, and Large Audio-Language Model Benchmark in Understanding and Characterizing Sound across Childhood