Apriel Voice 27B Preview：统一语音、推理与工具调用的开放模型 Apriel Voice 27B Preview: An Open Model for Speech, Reasoning, and Tool Use
在 Gemma 4 26B 骨干上加装语音接口，统一语音推理、对话与工具调用，性能逼近专有系统。
前置知识
语音条件化语言模型（2-stage 架构）
将语音编码器（如 Whisper）的声学特征经一个可学习的投影器映射进 LLM 词嵌入空间，让 LLM 直接“听”音频而非先转成文字。与 ASR→LLM→TTS 三段级联相比，它保留声学细节且识别误差不会级联放大；与语音到语音（S2S）模型不同，它不合成音频，输出仍是文本与工具调用。
Apriel Voice 正是这种架构：冻结 Whisper large-v3-turbo 编码器 + 约 47.7M 参数投影器 + Gemma 4 26B 骨干。论文的架构设计、训练配方和全部对比实验都建立在这个概念之上。
混合专家模型（MoE）
MoE 将前馈层替换为多个“专家”子网络，路由器为每个 token 只激活少数专家，从而总参数量很大但每 token 计算量小。本文骨干 Gemma 4 26B-A4B 总参数约 26B、每 token 仅激活约 4B；第二阶段训练会同时更新骨干与路由器。
论文的训练规模、GPU 分配（16 教师 + 48 学生）和“骨干+路由器可训练”的设置都针对 MoE 设计；不理解 MoE 就无法理解为何 8 个节点约 3 天能完成 52.6B token 的训练。
前向 KL 散度与在线蒸馏
前向 KL 散度 $\mathcal{L}_{FKL}=\sum_{v\in V} p^0_t(v)\log\frac{p^0_t(v)}{p_{\theta,t}(v)}$ 衡量学生分布偏离冻结教师（初始检查点快照）的程度；“在线”指教师随训练实时产生 logits 而非离线预生成；“全词表”指在整个词表上匹配分布。
这是本文保住文本/图像能力的核心机制：按数据源混用交叉熵（学新任务）与 FKL（保留旧行为），公式 (8)-(12) 的推导和第 7 节的工程实现都围绕它展开。
FSDP（全分片数据并行）
FSDP 把模型参数、梯度和优化器状态切分到多张 GPU，前反向计算时按需 all-gather 重组，大幅降低单卡显存。本文用它分片学生模型（需存优化器状态、做反向计算），教师只做前向推理，因此可以放在本地的独立 teacher worker 上。
第 7 节的训练系统设计——本地教师服务、节点内 BF16 logits 点对点传输、one-batch lookahead 重叠——全部以“学生分片、教师本地前向”这一资源划分为前提。
WER 与 BLEU
词错误率 $\mathrm{WER}=100\times\frac{S+D+I}{N}$（替换、删除、插入之和除以参考词数），越低越好，插入过多时可超过 100%；BLEU 衡量翻译输出与参考译文的 n-gram 重合度（0-100 分），越高越好。二者是语音识别与语音翻译的基础指标。
Table 4 的识别与翻译结果、“平均 WER 12.61、翻译 BLEU 42.87”等关键数字都需要这两个指标才能正确解读。
BFCL 与端到端语音智能体评测
BFCL（Berkeley Function Calling Leaderboard）评测模型按用户指令生成正确函数调用（工具名与参数格式）的能力；EVA 进一步同时考察服务准确率（EVA-A）与对话体验（EVA-X），τ-Voice 考察真实音频条件下经语音交互完成任务的成功率与延迟。
本文的核心主张是“语音模型不只转写，还要推理和办事”；Speech-BFCL 81.13、τ-Voice 65.51%/1.91s、EVA 51.27%/74.13% 这些核心结果全部依赖这套评测体系。
研究动机
现有语音助手的主流做法是三段级联：ASR 把语音转成文字，交给 LLM 推理，再由 TTS 合成回复。这带来几个具体问题。第一，转写是有损压缩——语气、停顿、噪声等声学信息在进入 LLM 前就被丢掉，且识别一旦出错，后续推理与工具调用全部错位。第二，识别正确不等于任务成功：论文开篇举例，员工口头报告账号被锁、附上截图、纠正一个区分大小写的标识符并要求开工单，助手必须串联证据、维持多轮上下文、选对工具并解读返回结果；一个能把请求转写正确的模型完全可能因指令遵循或函数调用能力不足而办不成事。第三，文本能力不会自动迁移到语音输入——同一个 LLM 在文字请求下推理可靠，不代表请求换成音频时依然可靠。论文用数据量化了开源阵营的差距：在 EVA 基准上，开源 2-stage 模型 UltraVox-v0.6 的服务准确率只有 8.94%、体验 1.91%，Gemma4-12B-IT 为 13.25%/5.97%，而专有 S2S 系统 GPT-realtime-2.1 达 59.03%/61.6%，相差数量级；同时现有方案把语音理解、推理、合成、交互控制分散在不同组件里，难以协同优化。
本文的目标是本文的目标是构建一个开放的语音语言模型，把“听懂语音、推理、维持对话、调用工具”统一到同一个推理骨干中，同时保留原有的文本和图像输入能力。具体而言：在已完成后期训练的 Gemma 4 26B-A4B（MoE，总参数约 26B、每 token 激活约 4B）上加装语音输入接口，让口述请求像文字请求一样触发相同的回复与工具调用格式；语音合成保持外部可替换，更换音色或 TTS 供应商无需重训推理模型。作者把目标拆成三个可检验的研究问题（RQ1-RQ3）：语音推理、指令遵循与工具调用要达到与顶级系统可比的水平（Big Bench Audio、Speech-BFCL 等评测）；这些能力要转化为真实多轮对话与完整工作流（EVA 服务准确率/体验、τ-Voice 任务成功率与延迟）；语音适配之后文本与图像能力要基本不回退（MMLU-Pro、GPQA Diamond、AIME、MMMU-Pro 等前后对照）。最终交付物是一个可部署的开源检查点和实时交互界面 Apriel Live。
与已有工作不同的是，本文的独特切入是把“语音当作通用能力的接口”而非一项独立的识别任务。与已有路线相比：三段级联把语音理解外包给 ASR；LLaMA-Omni、Moshi、Qwen3-Omni 等 S2S 模型把音频生成也并入模型；另有部署模式让语音闲聊模型把推理和工具工作委托给独立后端。Apriel Voice 则让同一个语音条件化骨干同时负责对话、推理与工具决策，应用层只执行工具、回传结果并合成语音。训练方法上的独特组合是：两阶段配方（先冻结骨干学接口，再联合适配并回放文本）+ 自动构造的语音条件化对话数据（在文本对话中自动选段、对话内固定音色克隆转语音、三道保真度校验）+ 源依赖的 CE/FKL 混合监督——对每个数据源单独决定用任务目标、教师分布还是两者加权，使同一套信号既服务模态适配又服务能力保持。BLSP/BLSP-KD 已证明行为监督能教语言模型响应语音，但本文首次把该原则完整应用于“已后训练的多模态 MoE 骨干”，并配套给出在线蒸馏的系统工程实现与跨推理/对话/任务完成的统一评测。
核心方法
直觉上，论文是“给一个已经很聪明的解码器装上耳朵，且装耳朵的过程不能把它变笨”。技术路线分三步。其一，架构：冻结 Whisper large-v3-turbo 编码器输出 1280 维声学特征，相邻 8 帧堆叠为 10240 维向量 $U=\mathrm{stack}_8(E(a))$（序列缩短 8 倍），再经 47,722,496 参数的投影器（无偏置线性层 10240→4096，SwiGLU 门控降维，再投影到 2816 维解码器空间，配合 RMSNorm）映射进 Gemma 4 26B-A4B 的词嵌入空间；投影特征替换输入序列中预留的音频占位，支持多段音频与文本交错，图像仍走冻结视觉接口。其二，两阶段训练：Stage 1 冻结骨干，只用转写、翻译、续写训练投影器；Stage 2 联合更新投影器、骨干与 MoE 路由器，数据覆盖数学、科学、对话、语音任务、噪声交互、工具使用与文本回放，按数据源配置 CE、FKL 或两者加权。其三，系统工程：教师（初始检查点冻结副本）本地部署，与学生计算 one-batch 重叠，融合核计算全词表 CE/FKL，使 8 节点（16 教师 + 48 学生 H100）约 3 天完成；推理时移除教师，回复文本交外部 TTS。
核心创新是“源依赖的 CE/FKL 联合目标”加配套的对话级语音数据构造，把“学新任务”和“保旧能力”统一进一个损失函数。对来自源 $d$ 的样本，损失为 $\mathcal{L}_i=\alpha_d\mathcal{L}_{CE,i}+\beta_d\mathcal{L}_{FKL,i}$：CE 拟合目标回答、推理链和工具调用；FKL 用冻结教师（初始检查点）的全词表分布约束学生。论文证明（式 11）组合可解释为软目标交叉熵 $q_{d,t}=(1-\lambda_d)e_{y_t}+\lambda_d p^0_t$，$\lambda_d=\beta_d/(\alpha_d+\beta_d)$，即在目标答案与教师偏好间按比例插值。关键洞察是：FKL 不只用于纯文本回放——配对语音/文本对话中学生看音频、教师看对应文本视图，分布匹配只要求响应位置对齐，不要求声学帧与转写 token 一一对应，因此同一机制既把文本行为迁移到语音输入，又在回放语境中锚定旧行为。与前作 BLSP-KD 的本质区别：这是针对已后训练多模态 MoE 骨干的完整配方——接口学习、广谱 SFT、对话级合成语音数据（对话内固定音色、五种跨度策略、三道保真度校验）与选择性蒸馏的组合，而非单一适配器训练。
方法步骤详情
方法分四步。第一步（数据构造）：先在文本域生成含用户请求、助手目标、工具调用与返回结果的对话；选择器按五种策略（整轮口述、只口述问题保留上下文、口述指令、口述朗读内容、多段分离）选出用户轮跨度 $I_1,\dots,I_K$，用对话专属音色合成 $a_j=\mathrm{TTS}(N(u[I_j]),r_D)$ 并与保留文本交错 $e_u=\mathrm{Interleave}(u,\{(I_j,a_j)\})$；经三道保真度校验（跨度验证、口语化判分、识别回转判分），失败可重试；系统指令与工具消息保持文本。第二步（Stage 1 接口学习）：冻结编码器、骨干与视觉塔，仅训练投影器；18.17M 样本、1164 个配置（Common Voice、GigaSpeech、LibriSpeech、CoVoST 2 等），任务为转写/翻译/续写，2 个 epoch 各覆盖 32.2k 小时音频，token 填充率 99.2%。第三步（Stage 2 联合适配）：更新投影器、骨干与路由器；17.56M 行打包成 1.56M 个 bin（92.5% 填充），3 个 epoch 共 52.6B token 暴露、约 7.89B 承损 token，按源配置 CE/FKL 系数与采样权重。第四步（工程与推理）：学生 FSDP 分片、教师本地服务、one-batch lookahead 重叠、融合核算全词表损失；峰值学习率 $4\times10^{-6}$、20% warmup、余弦退火至 10%、梯度裁剪 1.0；推理时移除教师，语音经外部 TTS 输出。
技术新颖性
新颖性体现在四点。其一，监督设计：把序列目标（CE）、预测分布蒸馏（FKL）与适应期行为保持统一进源依赖目标，给出软目标解释 $q_{d,t}=(1-\lambda_d)e_{y_t}+\lambda_d p^0_t$ 和梯度 $\nabla_{z_{\theta,t}}\mathcal{L}_i=\frac{\alpha_d(p_{\theta,t}-e_{y_t})+\beta_d(p_{\theta,t}-p^0_t)}{|S_i|}$；每个数据源独立选择纯 CE、纯 FKL 或加权组合，且采样频率（exposure 权重 $\pi_d=\frac{w_dB_d}{\sum_{d'}w_{d'}B_{d'}}$）与损失系数解耦——“遇到多少次”与“遇到时学什么”是独立旋钮。其二，数据：对话级语音条件化构造保证对话内音色一致、工具消息保留为文本、支持文本/音频混合轮次，超越 Self-Instruct 式纯文本合成。其三，系统：本地教师服务 + 节点内 BF16 logits 传输 + one-batch lookahead 使教师推理与学生训练重叠，理想稳态步时下界 $T_{step}\geq\max\{T_{student},T_{teacher,amortized}\}$；融合核以词表平铺复用行归一化子 $\log Z_t=\log\sum_{v\in V}\exp z_{t,v}$，避免稠密 FP32 概率中间体。其四，评测视角：把识别、推理、对话、任务完成与模态保持放进同一框架，直接检验“语音作为通用能力接口”的主张。
实验结果
逐一过实验。基础语音能力（Table 4）：8 个识别集平均 WER 12.61（LS test-clean 2.23、test-other 5.15、FLEURS en-US 3.55），翻译平均 BLEU 42.87（ES→EN 44.88），接近专有 GPT-realtime-2.1（43.72），远超其他开源系统。语音推理与工具调用（Table 5，thinking）：Big Bench Audio 98.90、Speech-BFCL 81.13、IFEval 86.47、MT-Bench 86.19、GSM8K 93.18，八项平均 85.84，为开源 2-stage 最强，超过 UltraVox-v0.6（84.51）与 Audex-30B-A3B（76.16），逼近 Gemini 3.8 Family（90.75）。对话与任务完成（Table 6/7）：EVA 准确率 51.27%、体验 74.13%（Gemini 3.8 Live ET 54.82%/73.5%，GPT-realtime-2.1 59.03%/61.6%），轮次接替 86.52% 远超基线 40.54%；τ-Voice 成功率 65.51%、延迟 1.91 秒（airline 69.33%/2.22s、retail 81.58%/1.79s、telecom 45.61%/1.73s），开源 2-stage 基线仅 17%-27% 成功率、2.8-4 秒延迟；对比成功率相近的 3-stage 级联（Parakeet+Gemma4-26B 67.78%@3.01s），延迟几乎减半。模态保持（Table 8/10）：文本基本持平，GPQA Diamond 反升 77.80→80.40、τ2 68.93→70.95（thinking）、MMLU-Pro 微降 85.27→84.42；图像九项 3 升 6 降（如 MathVision MINI 64.14→67.10 升，MMMU-Pro 70.23→69.88、HallusionBench 64.90→62.29 降）。企业工作流（Table 9）：EnterpriseOps-Gym oracle 下任务/验证器成功 23.0%/57.6%，与 Gemma 22.7%/57.8% 相当，thinking 在全部 4 个干扰工具设置下优于非思考模式。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 语音推理（Big Bench Audio） | 得分（0-100，thinking） | 98.90 | UltraVox-v0.6 (Qwen)：89.2；Gemini 3.8 Family：99.5 | 较开源 2-stage 最佳 +9.70 |
| 工具调用（Speech-BFCL） | 得分（0-100，thinking） | 81.13 | 开源 2-stage 最佳 UltraVox-v0.6：77.5；专有 Gemini 3.8 Family：86.94 | 较开源最佳 +3.63 |
| 语音服务对话（EVA-A / EVA-X） | 准确率 / 体验 pass@1（%） | 51.27 / 74.13 | 开源最佳 Parakeet+Gemma4-26B：39.97 / 3.93；专有 Gemini 3.8 Live ET：54.82 / 73.5 | 体验较开源最佳 +70.2 分；体验超过所有对比系统 |
| 语音任务完成（τ-Voice） | pass@1（%）/ 平均延迟 | 65.51% / 1.91s | UltraVox-v0.6：26.80% / 3.95s；GPT-realtime-2.1：69.82% / 1.55s | 较开源 2-stage +38.7 分且延迟减半；距 GPT-realtime-2.1 -4.3 分 |
| 语音识别（8 集平均） | WER%（越低越好） | 12.61 | 专用 ASR Parakeet：10.06；开源 Audex-30B-A3B：11.40；专有平均：13.56-13.69 | 居开源第一梯队 |
| 语音翻译（CoVoST 2 三语平均） | BLEU（越高越好） | 42.87 | GPT-realtime-2.1：43.72；UltraVox：41.54 | 接近专有最佳，超开源基线 +1.33 |
| 文本保持（τ2-Bench，thinking） | pass@1（%） | 70.95 | Gemma 4 26B-A4B 起点：68.93 | +2.02 |
| 图像保持（MathVision MINI） | 得分（0-100） | 67.10 | Gemma 4 26B-A4B：64.14 | +2.96 |
局限与改进
作者承认四类局限。多语言：优先英语语音理解，多语言能力不均、评估主要靠自动语音翻译，英语表现不能外推到其他语言。评测与对比：内部与公开结果在提示、语言覆盖、思考预算、裁判与任务上限上不一致，聚合分数不构成配对显著性检验，也无法证明对起点的非劣性。数据与归因：合成数据与蒸馏会传播错误目标或教师预测，三道保真度校验不能保证覆盖自然语音变化，且未对单个数据源或监督选择做因果归因（作者自述“评估的是组合方法”）。其他：冻结视觉组件不保证图像推理不变；向其他骨干家族的迁移未测试。我的补充：EVA 忠实度仅 43.49%，远低于基线 66.33%，对话推进 67.76% 也低于基线 82.67%，高体验分主要靠轮次接替（86.52%）和简洁性（86.80%）撑起，回复与服务真实状态的一致性有硬伤；telecom 域成功率仅 45.61%；agentic 成绩几乎全靠 thinking（非思考下 τ2 掉到 49.14%、EnterpriseOps 任务成功仅 14.2%-16.0%），思考链长度又直接推高延迟，与 1.91 秒实测值存在张力；冻结 Whisper 编码器限制噪声场景上限（AMI-SDM WER 40.29）。
独立分析的弱点
独立分析四个弱点。第一，忠实度短板：EVA-A 要求语音保真、忠实度、任务完成联合通过，而忠实度仅 43.49%，显著低于 Parakeet+Gemma4-26B 的 66.33%，说明回复有时与服务真实状态不一致——在工单、账户操作等高风险企业场景里这比“说得不好”更危险。改进方向：引入基于工具返回结果的依据约束或检索增强校验，把工具状态显式注入解码上下文，并设忠实度专项训练源。第二，thinking 依赖：非思考模式全面塌方（τ2 49.14 vs 70.95；EnterpriseOps 23.0→14.7），而思考链直接拉高首音延迟，1.91 秒虽优于开源基线但落后 Gemini（1.50s）与 GPT-realtime-2.1（1.55s）。改进方向：用同一蒸馏管线训出轻量“快思考”变体，或对推理长度做预算控制。第三，英语单语与冻结编码器：Whisper large-v3-turbo 冻结使前端表示无法为领域噪声优化（AMI-SDM WER 40.29），多语言仅翻译级支持。改进方向：Stage 2 轻度解冻编码器，或引入多语回放与语种对抗训练。第四，无组件级消融：CE/FKL 系数、合成对话占比、两阶段划分各自的贡献没有受控实验；教师即起点检查点也意味着文本能力上限受教师约束。改进方向：公开消融网格并报告逐数据源贡献。
未来方向
作者提出的方向：优先增强多语言语音理解与跨语系对话鲁棒性；完善评测协议（配对显著性、对起点的非劣性检验、统一内部与公开评测条件）；对数据与监督选择做因果归因；测试向其他骨干家族的迁移。基于本文成果可延伸的方向：其一，把“源依赖 CE/FKL”升级为自动调参——在保留集信号驱动下在线学习每个源的混合权重 $\lambda_d$，取代人工设定；其二，缩小体验分与忠实度的落差，研究以工具返回状态为条件的回复验证器，并将其作为训练期的额外判别信号；其三，低延迟思考：利用已验证的在线蒸馏管线把 26B thinking 模型的行为蒸馏到更小的非思考变体，逼近 S2S 系统约 1.5 秒的延迟；其四，既然语音合成已解耦为可替换组件，可在同一骨干上接入流式 TTS 与全双工轮次控制，向 Moshi 式实时交互演进；其五，扩展企业工作流训练数据——EnterpriseOps-Gym 严格任务成功仅 23%-25%，说明长程有状态多工具任务仍是短板，可把此类任务纳入第 5 节的对话合成管线；其六，借助开源的 Apriel Live 界面开展真实用户研究，补足基准分数之外的体验证据。
复现评估
复现条件较好但有门槛。开源情况：模型权重开放发布（论文自称 open/OSS），提供 Apriel Live 在线演示与 WebSocket 实时 API；评测基于公开的 AU-Harness 及 EVA、τ-Voice、BFCL 官方实现，对比模型与配置在 Table 3 列明。数据：Stage 1 依赖公开语料（Common Voice、GigaSpeech、LibriSpeech、CoVoST 2 等），但 Stage 2 的对话/工具/回放混合数据与语音转换管线是内部生成的——论文只披露方法学（五种跨度策略、三道保真度校验、对话级音色一致），未公开合成数据本身或所用 TTS/voice-cloning 模型，这是复现的最大缺口。算力：Stage 2 用 8 节点共 64 张 H100 80GB（16 教师 + 48 学生）约 3 天，粗估数千 GPU 时，超出多数学术实验室预算但对企业团队可行。难度评估：架构简单清晰（冻结 Whisper + 47.7M 投影器 + Gemma 4），超参（峰值学习率 $4\times10^{-6}$、20% warmup、余弦退火至 10%、梯度裁剪 1.0）与规模统计披露细致；难点在自研训练系统（本地教师服务、one-batch lookahead、融合 CE/FKL 核）及大规模合成对话的质量控制。总体：中小团队可复用权重与评测协议做二次开发，从零完整复现训练属于高难度。
论文图表
