释放全双工语音模型的大语言模型能力 Liberating LLM Capabilities in Full-Duplex Speech Models

训练数据构建分两个阶段。第一阶段（离线认知合成）从文本对话对开始，使用强教师LLM合成三个文本流：流式推理链代表用户说话期间的增量理解，用于监督听侧认知；语音回应是简洁的口语风格改写，用于监督说话；原始结构化回应本身保留作为回复侧认知的监督目标。为了使这些流与流式推理一致，估计一个合理的语音持续时间，将交互分割为每秒步骤，并用严格的因果约束提示教师：在每秒t，它只能从该时间已经听到的输入部分推理。第二阶段（在线时间线构建）将第一阶段文本流与真实音频记录及其基于CTC的字符级对齐结合，构建最终的Unit序列。首先为每个对话构建全局逐秒时间线，包括回合间的随机静音间隔使训练示例反映更自然的对话节奏。然后根据谁在说话将每个区间分配为Listening Unit或Speaking Unit，将相应文本流插入适当通道。为了在训练中暴露模型到重叠和接管行为，还对一部分对话应用打断增强。最终数据集包含50万中文和英文训练示例，格式化为1秒Unit的token格式。训练在32个NVIDIA A100 GPU上进行，使用bf16混合精度和梯度检查点。LLM学习率为5乘10的负6次方，使用余弦重启调度器，最小学习率1乘10的负6次方，前200步线性预热从1乘10的负8次方。仅LLM参数可调，APM和TTS模块在训练过程中冻结。

LWS的技术新颖性在于它是首个通过纯token schema实现全功能三通道语音交互的方法，无需架构修改。之前的多通道输出架构如Qwen3-Omni、DrVoice和Kimi-Audio生成文本 alongside 语音，协议级接口如OpenAI Harmony暴露额外的结构化通道，但这些通道主要用于合成、控制或隐藏分析，而不是始终在线的自由形式书写通道。如表1总结，现有系统通常牺牲至少一个与本文设置相关的四个能力：全双工交互、自由文本输出、听时认知或说时认知。本文的表述不同，将可见书写作为第一类通道，在听和说时都保持活跃。LWS在维持标准自回归建模接口的同时实现这一点，这是根本性的范式转变。图2显示所有三个通道平滑收敛，交叉熵损失分别为1.16（听侧认知）、0.93（说话）和0.84（回复侧认知），变异系数小于8%，证明三通道联合训练在单个自回归LLM中是可行的，没有明显的优化不稳定性。

首先，实时约束限制了推理深度。在需要复杂多步推理的场景（如数学证明、长代码生成）中，每个Unit 1秒的写入预算可能不足。改进方向可以是自适应Unit时长：简单任务用短Unit保持响应性，复杂任务自动延长Unit或允许推理时暂停语音输出。另一个方向是分层推理机制：快速通道处理即时响应和简单推理，慢速通道进行深度推理，深度推理结果可以影响后续快速通道的输出，但不会打断已开始的口语输出。其次，仅支持语音输入限制了实际应用。现代协作通常结合语音与屏幕共享、文件、代码等。改进方向是多模态输入扩展：允许用户在语音对话中同时提供代码片段、截图、表格等，模型在可见书写通道中直接处理这些输入。第三，合成训练数据与真实交互可能有分布差异。两阶段管道虽然确保因果一致性，但真实对话的打断、重叠、填充词等细微行为难以完全模拟。改进方向可以是引入真实对话数据：通过少数人类用户对话进行微调，或使用逆强化学习从真实对话中学习更好的Unit切换策略。第四，跨语言性能不均衡，英文Pro表现不如中文Pro。改进方向可以是平衡训练数据分布或增加英文困难样本的权重，或引入跨语言知识蒸馏。第五，通道一致性92.6%意味着仍有7.4%的矛盾情况，这可能导致用户困惑。改进方向可以是添加后处理一致性检查，或引入显式一致性损失项。

作者提出的未来方向包括：扩展到自适应多模态输入，允许用户在语音对话中自然结合代码、截图、表格等上下文。基于成果可以延伸的方向包括：探索更深层的实时推理架构，可能引入分层推理机制——快速通道处理即时响应，慢速通道处理深度推理。另一个方向是个性化交互：根据用户偏好调整写说配比，有些用户可能更看重可见文本的完整性和结构化，有些更看重口语的流畅性。可以通过用户反馈学习这些偏好并动态调整通道输出策略。此外，研究多轮对话中的记忆机制：当前LWS的可见写作在跨回合对话中如何累积和利用之前的历史信息，需要更长期的研究。可能的方案包括在听侧书写通道中维护对话摘要，或在回复侧认知中引用之前的可见输出。另一个方向是主动打断检测：当前系统依赖音频持续摄入处理打断，可以引入显式的打断预测机制，提前准备接管策略。还可以探索应用场景扩展：将LWS应用于实时字幕生成、教育场景中的讲解-板书-讲解、编程辅导中的代码解释-代码生成-代码讲解等。最后，研究更高效的训练方法：当前需要50万训练示例，可以探索数据增强、自监督学习或迁移学习以减少数据需求。

论文声明代码和数据集可在项目页面获取：https://royalzhang.com/project/lws-page/。训练使用32个NVIDIA A100 GPU，这是一个相当高的算力要求，可能限制学术界的复现。但是，由于架构是标准自回归Transformer且无需架构修改，较小的模型版本可能在更少GPU上训练，虽然性能可能下降。数据构建的两阶段管道描述详细，Stage 1提示模板在附录D中提供，Stage 2的CTC对齐和Unit划分步骤描述清晰。训练配置完整：bf16混合精度、梯度检查点、动态批次最大序列长度4096 token、梯度累积2步、仅LLM参数可调、APM和TTS冻结。基座模型是MiniCPM-V架构和Qwen3-8B骨干LLM，这些都是公开可用的模型。音频感知模块使用流式Whisper Medium编码器，音频token产生率为10 token/秒，步长为5池化。TTS使用基于LLaMA的TTS骨干和FlashAttention，S3Tokenizer作为音频tokenizer。Unit时长设置为1秒，平衡每Unit写入输出预算与实时响应性。评估基准（URO-Bench、VoiceBench AlpacaEval、Full-Duplex-Bench）都是公开的，基线结果要么来自公开报告要么可通过公开API获取。消融实验提供了内部验证。图2的训练损失曲线显示了三通道的收敛情况，提供了训练稳定性的证据。总体而言，复现难度中等偏高，主要障碍是算力需求，但方法论和数据管道描述充分，有志研究者应该能够在调整规模后复现核心结果。