端到端大型音频语言模型 Covo-Audio 技术报告 Covo-Audio Technical Report

Covo-Audio的完整方法步骤如下。第一步是架构设计：采用四个主要组件：音频编码器（预训练的Whisper-large-v3，输出帧率50 Hz）、音频适配器（三个下采样模块，将帧率从50 Hz降至6.25 Hz）、LLM骨干（Qwen2.5-7B-Base，扩展离散音频令牌）和语音解码器（两阶段分层解码：流匹配解码器 + BigVGAN声码器）。第二步是第一阶段预训练（模态桥接）：冻结音频编码器和LLM骨干，仅优化音频适配器，使用20万小时多语言ASR数据集进行50k步训练，峰值学习率 $1 imes 10^{-4}$，余弦调度，40k步预热。第三步是第二阶段预训练（模态融合）：同时解冻音频适配器和LLM骨干，使用多任务训练目标（包括ASR、TTS、纯音频建模、语音继续、语音-文本交错、纯文本和全双工），序列长度8192，峰值学习率 $3 imes 10^{-5}$，500k步训练，20k步预热，总计2T tokens。第四步是后训练（语音对话）：通过文本指令微调（10M内部文本指令数据）、音频适应（T2A、A2T、A2A任务）和语音对话对齐（共情对话数据），使用KL蒸馏防止智能退化，序列长度8192，峰值学习率 $1 imes 10^{-5}$，50k步训练。第五步是智能-说话人解耦：随机生成数千个说话人解耦特征，将高质量TTS数据转换为伪对话格式，通过掩码文本损失保持智能。第六步是全双工交互训练：将音频编码器改为分块流式处理，用户流和模型流以1:4比例交错，将半双工数据集转换为双通道格式并加入打断和反馈行为，直接从预训练基础模型使用半双工和全双工数据集构建Covo-Audio-Chat-FD。第七步是语音理解和音频理解训练：构建多任务问答数据，包括ASR、S2TT、副语言理解等任务，并采用链式思维（CoT）推理增强和GRPO强化学习优化音频推理能力。

Covo-Audio的技术新颖性体现在多个方面。首先，分层三模态语音-文本交错框架是首个同时处理连续音频特征、离散音频令牌和文本三种模态，并在短语级和句子级两个尺度上进行交错的预训练策略，这比现有主要在词级别进行交错的方法更能保持长话语的语义完整性。其次，智能-说话人解耦技术是首个通过多说话人训练和上下文适应方法，仅需轻量级TTS数据即可实现高质量语音定制的解决方案，这解决了端到端LALM开发中的核心痛点。第三，将全双工交互直接纳入预训练阶段，并采用混合双流方案（连续输入流和离散输出流），这与需要词级文本-语音对齐的现有全双工模型（如Moshi）有本质区别，提供了更高效、无损的用户表达和意图感知方式。第四，在音频理解任务中引入链式思维（CoT）推理增强，并通过GRPO强化学习和可验证的复合奖励函数（包括准确性、格式、一致性和思维质量四个维度）进行优化，这比单纯的监督学习更能捕捉细微的音频理解行为。第五，整个系统在7B参数规模下实现了全面的SOTA或竞争性能，证明了通过精心的架构设计、多阶段预训练和对齐聚焦的后训练，可以在不增加参数规模的情况下实现高保真、鲁棒的语音交互。

Covo-Audio存在几个可改进的弱点。首先，全双工模型中的“早期响应”问题是一个显著弱点，模型可能在用户话语中的短暂停顿时过早打断用户，这影响了对话的自然性。改进方向包括：优化暂停检测机制，引入更精细的语音活动检测（VAD）算法，或者通过强化学习训练模型更好地识别用户意图。其次，在知识密集型任务（如VCB Bench的GK和DC）上表现相对较弱，表明模型在保留通用知识方面存在不足。改进方向包括：在预训练阶段引入更多高质量的文本知识数据，或者通过检索增强生成（RAG）技术集成外部知识库。第三，共情语音表达的主观质量仍落后于顶级商业产品，这可能与语音解码器的表现力有关。改进方向包括：改进语音解码器架构以更好地保留情感特征，或者通过更精细的情感对齐训练提升语音的自然度和表现力。第四，智能-说话人解耦技术虽然有效，但依赖于伪对话的构造，可能无法完全模拟真实对话的动态。改进方向包括：开发更先进的对话上下文生成方法，或者通过对抗训练提升伪对话的真实性。第五，模型在非英语语言（如中文）的某些任务上表现优异，但在多语言覆盖的广度上可能仍有局限。改进方向包括：扩展预训练数据的语言多样性，特别是低资源语言。

基于Covo-Audio的成果，未来研究方向包括多个方面。首先，作者提出将探索模型规模扩展（scaling-up）以进一步释放Covo-Audio的潜力，这可能涉及从7B扩展到更大的参数规模（如30B或70B），以提升在知识密集型任务和复杂推理上的性能。其次，全双工交互的优化是重要方向，特别是解决“早期响应”问题，可以通过更先进的流式处理架构、更精细的对话状态建模或强化学习来提升全双工交互的自然度和鲁棒性。第三，智能-说话人解耦技术可以进一步发展，探索更高效的语音定制方法，例如通过零样本或少样本学习实现快速语音克隆，而无需任何TTS数据。第四，音频理解能力的增强，特别是在链式思维（CoT）推理方面，可以通过更先进的强化学习算法（如GRPO的变体）和更复杂的奖励函数来提升模型的推理深度和准确性。第五，多模态扩展，将Covo-Audio的架构扩展到其他模态（如视觉），构建真正的全模态交互系统。第六，实际应用部署，优化模型的推理效率和延迟，使其更适合生产环境中的实时语音助手应用。第七，评估方法的改进，开发更公平、更全面的评估标准，特别是针对语音共情和副语言特征的评估，以更好地衡量模型在真实场景中的表现。

Covo-Audio的可复现性评估如下。在开源方面，作者开源了Covo-Audio-Chat模型和推理流程（GitHub和HuggingFace链接已提供），这有助于社区复现和进一步研究。然而，预训练数据的具体构成和来源未详细公开，这可能影响完全复现的可能性。在数据方面，模型使用了约800万小时的多样音频和语音数据，以及涵盖多个领域的文本语料（总计3T tokens），但这些数据的获取和处理成本较高。在算力方面，模型基于Qwen2.5-7B-Base进行扩展，预训练阶段处理了2T tokens，使用序列长度8192和500k步训练，这需要显著的计算资源（可能需要数百GPU天）。后训练阶段相对轻量，但共情数据构造和TTS数据转换仍需要额外资源。在难度方面，复现整个系统（包括预训练、后训练、智能-说话人解耦和全双工训练）具有较高复杂性，需要专业知识和大量工程工作。然而，作者提供的开源模型和推理流程使得在已训练模型上进行微调和应用相对容易。总体而言，Covo-Audio的复现需要中等偏高的资源和技术门槛，但开源组件降低了进入壁垒。