VoxMind：一种端到端的智能体语音对话系统

端到端语音模型集成推理与工具调用，任务完成率从34.88%提升至74.57%。

前置知识

端到端语音对话模型

直接以语音波形或多模态特征作为输入、并以语音波形作为输出的一体化对话系统，跳过传统 ASR→LLM→TTS 的级联流程。代表工作有 SLAM-Omni、StepAudio2、Kimi-Audio、Qwen2.5-Omni 等，可以同时建模语义与副语言信息。

VoxMind 本身就是在 StepAudio2 之上微调得到的，没有对端到端语音建模的认知就难以理解其相对于级联系统的优势与代价。

LLM 智能体与工具调用

在大语言模型基础上扩展外部工具/函数调用能力，让模型在响应前先做规划与决策，典型范式包括 ReAct、Toolformer、APIGen-MT、ToolACE 等。智能体通常具备规划、记忆、工具使用、自我反思等核心组件。

VoxMind 把文本智能体中的工具调用思路移植到语音模态，需要先理解文本智能体的执行范式才能把握论文的贡献。

思维链（Chain-of-Thought）

在生成最终答案前显式生成中间推理步骤的技术，常见形式有 zero-shot CoT、self-consistency、Tree-of-Thought 等，可以显著提升模型在多步推理、数学、规划任务上的表现。

VoxMind 的核心创新是 Think-before-Speak 机制，把思维链从文本域搬到了语音域，这是理解其方法的关键。

多智能体协作（Multi-Agent）

由多个 LLM 实例分工协作完成任务的架构，例如主智能体负责推理、辅助智能体负责检索或工具筛选；优势是能解耦不同子任务的复杂度，缺点是增加系统调度与延迟开销。

VoxMind 的动态工具管理靠一个异步的辅助 LLM 来过滤全局工具池，是典型的多智能体架构思想。

CosyVoice2 语音合成

阿里开源的高质量语音合成模型，支持跨语言、跨说话人克隆，常用于把文本语料转成训练用的语音。在 VoxMind 中被用来合成 AgentChat 数据集的音频。

AgentChat 是文本合成语音得到的，理解合成流程有助于判断数据天然局限以及与真实口语的差异。

研究动机

端到端语音对话模型虽然能直接生成富有副语言信息的语音响应，但在用户需求日益复杂的现实场景中暴露出明显短板：一方面，模型只能做反应式生成，缺乏对复杂目标的规划与工具调用能力，例如「出门前把家里所有电器关掉」「订一张靠窗的机票」这类多步任务难以完成；另一方面，语音信号本身需要的 token 数量远多于文本，叠加大规模工具描述后推理延迟剧增。现有工作如 Stream RAG、WavRAG、TARL、Qwen3-Omni 等只做了检索或基础工具使用等零散扩展，缺乏系统性的智能体框架。在 VoiceBench 等通用对话榜单上得分相对靠前的闭源模型 Gemini-2.5-pro 在语音智能体任务上的整体完成率仅 71.51%，开源端到端模型 StepAudio2 只有 34.88%，开源级联系统 Qwen3+Whisper 也只到 64.00%，说明当前语音智能体能力整体落后于文本智能体。

本文的目标是本文以三大目标推进语音智能体研究：第一，给「端到端语音智能体」一个统一的形式化定义，把配置、画像、记忆、规划、动作执行五个维度明确化，填补该领域长期缺乏标准的空白；第二，构建一个名为 VoxMind 的统一框架，在端到端语音模型中同时实现内生推理、工具使用和自然口语交互，并在 StepAudio2 基础上完成微调；第三，发布 470 小时的 AgentChat 数据集与配套训练方法，弥补语音领域缺少带智能体标注数据的窘境。

与已有工作不同的是，已有工作的切入角度普遍偏窄——要么只做工具检索（如 WavRAG），要么只解决信息查询（如 Stream RAG），没有把「先内部思考再开口说话」的范式显式引入语音模型；同时既没有给语音智能体下过严格定义，也缺少能让模型在百级工具规模下保持低延迟的工具管理机制。VoxMind 的独特切入角度是「Think-before-Speak + 动态多智能体工具管理」：让主语音模型先生成思维链推理轨迹，再并行触发一个辅助 LLM 从全局工具池中检索并维护一个紧凑的本地工具空间，从而把推理延迟与工具集规模解耦。

核心方法

VoxMind 的整体思路是「先想后说 + 异步管工具」。系统状态定义为 $S_t = (O_t, H_t, A_t)$，其中 $O_t$ 是含用户语音输入与工具反馈的可观测事件，$H_t$ 是累积交互历史，$A_t$ 是动作空间，含口语响应 $V$ 与动态维护的本地工具子集 $T_t^{local} \subset T^{all}$。决策时模型先采样思维链 $c_t \sim \pi_\theta^{think}(c \mid o_t, H_{t-1}, T_t^{local})$，再据此生成动作 $a_t \sim \pi_\theta^{act}(a \mid c_t, o_t, H_{t-1}, T_t^{local})$。同时一个异步辅助 LLM 并行从全局工具池里挑出候选集 $T_t^{cand}$；当 $a_t = a_{retrieve}$ 时把候选并入 $T_{t+1}^{local} = T_t^{local} \cup T_t^{cand}$，否则本地集合保持不变。设计上保证工具规模扩到上百个也不显著拖慢响应。

VoxMind 的核心创新在于把文本智能体中的两项关键能力——结构化思维链推理与可扩展工具调用——首次系统地内化进端到端语音模型，并提出一种解耦延迟与工具规模的工具管理机制。与已有方法相比，本质区别有三：第一，传统语音模型是 $x \to y$ 的直接映射，VoxMind 强制走 $x \to z \to y$ 路径，让「思考」显式成为语音生成的前置条件；第二，与简单把所有工具拼进 prompt 的方法不同，VoxMind 用一个独立的辅助 LLM 持续维护一个小型本地工具集，让主模型的推理上下文始终保持紧凑；第三，与 WavRAG/TARL 等「功能补丁式」扩展不同，VoxMind 给出了端到端语音智能体的形式化五维定义（profile、memory、planning、action execution、tool selection），使模型设计与评测有了共同标准。

方法步骤详情

完整流程分四步。第一步构建 AgentChat 数据集：把 ToolACE、APIGen-MT、ARC、GSM8K、SciQ 等数据清洗后用 CosyVoice2 合成语音，叠加 600 多种 SeedTTS 音色得到 470 小时语料。第二步反向生成思维链 $R \sim p_{LM}(R \mid Q, A)$，用 Qwen-plus 评分过滤，阈值 $\tau = 7$、最多 3 次重生成，再用 LLM 精炼为 $R' = LLM_{refine}(R \mid I)$。第三步在 StepAudio2 上微调：2 张 H20-NVLink GPU，batch=1、梯度累积 8、lr=1e-5 余弦退火、AdamW（wd=0.01）、grad clip 1.0，配 DeepSpeed ZeRO-3 + bfloat16。第四步推理时启用双通路：主模型先 $c_t$ 再 $a_t$；辅助 LLM 并行从 $T^{all}$ 检索 $T_t^{cand}$；$a_t = a_{retrieve}$ 时触发集合并入。

技术新颖性

技术新颖性体现在四个层面。其一是首次给出端到端语音智能体的形式化定义，把过去散落的「听—说—思考—行动」过程统一进 $A = (P, M, \Pi, \Psi)$ 这样的结构化框架，使后续研究有了共同语言。其二是把 Chain-of-Thought 从文本域完整迁移到端到端语音模型，且通过消融实验证明「想」这一步是任务完成率从 68.83% 跃升到 74.57% 的关键（表格 3）。其三是多智能体动态工具管理机制，借助一个并行辅助 LLM 维护本地工具集，使 1→100 个工具规模下的推理时间几乎不增长（图 4a），同时任务准确率保持稳定（图 4b）。其四是配套 AgentChat 数据集，通过反向条件生成 + 评分过滤 + LLM 精炼三步法，把缺乏推理标注的语音数据补齐，缓解了「语音智能体监督稀缺」这一长期瓶颈。

**Figure 2**: Overall architecture of the VoxMind. Given spoken user input, the speech-centric agent first generates an explicit reasoning trajectory in a 'think-before-speak' manner. Conditioned on this reasoning output, the speech model generates a response, while an auxiliary language model operates in parallel to propose candidate tools from a global pool.

**Figure 3**: Dialogues demonstrating the agent's six core capabilities.

实验结果

核心结果有四点。第一，主表（表 2）VoxMind 综合 74.57%，比基座 StepAudio2（34.88%）提升 113.79%，比 Gemini-2.5-pro（71.51%）高 3.06 个百分点，也优于 Qwen3+Whisper（64.00%）和 Kimi-Audio（54.94%）；主动检索 TU=68.66% 遥遥领先（Gemini 仅 26.87%），但结果反馈 FC=3.94 仍是短板。第二，消融（表 3）去掉思维链即使调到 1:0.5 也只能从 68.83 升到 70.97，加上思维链后直接跃至 74.57。第三，VoiceBench（表 4）w/think(1:0.5) 拿到 64.21 几乎不退，而 w/o-think 两变体退到 54.80/59.72。第四，动态工具管理（图 4）无辅助 LLM 时 100 工具下推理时间呈指数增长、准确率跌至约 40%，有辅助 LLM 时基本稳定在 20s 以下、准确率近 80%。

**Table 1**: Composition of the AgentChat dataset.

**Table 2**: We evaluate model performance using four metrics: TS (Tool Selection accuracy), PF (Parameter Filling accuracy), TU (Tool Usage accuracy), and FC (Feedback Completeness).

**Table 3**: Ablation Study. Investigate the impact of deep reasoning on agent performance. The metrics are preserved across different training strategies.

**Table 4**: Performance comparison on the VoiceBench general conversation task between the base model, models with and without deep thinking training, and models trained with different data ratios.

**Figure 4**: Comparison of inference efficiency and task accuracy with and without the auxiliary LLM across varying tool pool sizes.

查看结构化数据

任务	指标	本文	基线	提升
单任务处理（Single Task Processing）	TS / PF (%)	98.50 / 72.18	Gemini-2.5-pro: 90.98/75.19；StepAudio2: 78.70/48.87	TS 比最强基线 +7.52，比基座 +19.80
任务分解（Task Decomposition）	TS / PF (%)	95.24 / 38.10	Gemini-2.5-pro: 82.54/52.38；Qwen3+Whisper: 82.54/41.27	TS 比最强基线 +12.70，但 PF 仍落后 Gemini-2.5-pro 14.28
并行处理（Parallel Processing）	TS / PF (%)	89.52 / 61.59	Gemini-2.5-pro: 88.57/69.52；StepAudio2: 53.33/33.33	TS 与闭源持平略高，PF 优于基座 28.26
上下文规划（Contextual Planning）	TS / PF (%)	80.82 / 62.33	Gemini-2.5-pro: 84.25/61.64；Kimi-Audio: 76.03/46.80	PF 略胜 Gemini 0.69，但 TS 落后 3.43
主动检索（Proactive Seeking）	TU (%)	68.66	Gemini-2.5-pro: 26.87；Qwen3+Whisper: 7.46；GPT-4o-audio: 0.00	相对 Gemini-2.5-pro 提升 41.79 个百分点，相对 Qwen3+Whisper 提升 61.20
结果反馈（Result Feedback）	FC (0-5)	3.94	Gemini-2.5-pro: 4.16；Qwen3+Whisper: 4.05；StepAudio2: 1.91	较基座 +2.03，但与闭源还有 0.22 差距
VoiceBench 综合分（通用对话能力）	Overall (0-100)	64.21	StepAudio2 基座: 64.15；w/o-think(1:1): 59.72；w/o-think(1:0.5): 54.80	通用能力基本不退步，相对 w/o-think 最佳变体高 4.49
动态工具管理下的任务准确率（100 个工具）	Accuracy (%)	约 80（读图估计）	无辅助 LLM: 约 40（读图估计）	在工具规模扩大 100 倍时仍保持近 2 倍优势

局限与改进

作者在文末明确承认两点局限。其一，Think-before-Speak 范式本身会带来不可消除的延迟：模型必须先生成内部推理轨迹，再生成语音响应，相较反应式模型多了一段序列生成开销，难以在实时性要求极高的场景中部署。其二，AgentChat 数据集本质上是把文本语料合成得到的语音，虽然经过严格过滤，但仍可能保留书面语的结构化特征，缺少真实口语中的不流畅、重复、犹豫等韵律细节。从结果看，VoxMind 在结果反馈（FC=3.94）和任务分解的参数填充（PF=38.10）这两项上仍明显弱于闭源模型，说明它对工具参数精确性的理解还不够细；同时，0.53 分的 VoiceBench 退化（64.15→64.21 实际是微涨，但 IFEval 从 39.64 暴跌到 18.83）显示模型在指令遵循上有所牺牲。此外，论文训练仅用 2 张 H20 GPU，基座又依赖 StepAudio2，对显存与硬件复现门槛不低。

独立分析的弱点

独立分析后我认为有四个可改进点。第一，参数填充准确率在多步任务中明显偏低（任务分解 PF 仅 38.10%），说明模型在解析语音上下文中的实体名、数值、约束条件时仍有缺陷；改进方向是引入专门针对参数槽的监督信号，例如对每条工具调用强制抽取 schema 对齐的中间表示。第二，结果反馈 FC=3.94 表明模型对工具返回的 JSON 等结构化内容还不会做精细化概括，可以引入 RAG 风格的总结器或专门训练的摘要头来增强。第三，IFEval 从 39.64 跌到 18.83 显示通用指令遵循能力被牺牲，原因是工具数据占比偏高导致分布偏移，改进思路是在最后阶段混入纯指令微调数据进行回热。第四，AgentChat 是合成语音，无法覆盖真实口语句法与口音多样性，改进方法是采集真实多说话人对话或使用更先进的零样本语音克隆模型补足自发口语场景。

未来方向

作者在结论中明确指明两个延伸方向：一是把 Think-before-Speak 的延迟压缩到可部署水平，可考虑用推测解码、模型蒸馏或思维链早停机制；二是构建「原生口语」数据，让推理轨迹与语音韵律共生。在这些基础上可继续延伸出三类工作：一是把 VoxMind 扩展到多说话人协同场景，让多个语音智能体之间也能进行角色化对话；二是与具身智能结合，把工具调用从 API 扩展到机器人动作；三是把这种范式推广到视频、音乐等多模态智能体，构建「通感」智能体框架。此外，如何在 1000+ 工具规模下仍保持低延迟、如何评测语音智能体的安全性、隐私性等也是值得跟进的方向。

复现评估

复现可行性整体较高但门槛不低。代码与数据已在 https://github.com/MM-Speech/VoxMind 公开；训练细节描述详尽，包括 2 张 H20-NVLink GPU、DeepSpeed ZeRO-3、bfloat16、batch size=1、梯度累积 8、AdamW + cosine + lr 1e-5 等；AgentChat 数据集构造管线（反向 CoT + 评分阈值 $\tau=7$ + LLM 精炼）也已公开。潜在门槛包括：一是 StepAudio2 本身是大尺寸语音 LLM，对显存和推理算力要求高；二是需要 CosyVoice2 与 600 多种 SeedTTS 音色完成语音合成，依赖较多；三是评测使用 Gemini-2.5-Flash 作为打分器，外部 API 变动可能影响结果。建议复现时先在 1:0.5 配比下做小规模消融以验证 Think-before-Speak 的有效性，再做全量训练。

VoxMind：一种端到端的智能体语音对话系统 VoxMind: An End-to-End Agentic Spoken Dialogue System