AuK：开源语音生成与编辑基础模型技术报告 AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing

完整流程分四步。第一步数据构造：零样本 TTS 对每位说话人的 $n$ 条语句枚举无序对、双向配成 $n\times(n-1)$ 个实例（只有提示语音和目标文本，无参考转写）；指令 TTS 用 Qwen3-Omni 为每条语音标注性别、年龄、语速、音色、口音、情绪、个性等结构化属性并写成自由描述；声学编辑用确定性信号处理生成 5 档语速（0.5×–2.0×）、6 档响度（±5/±10/±15dB）、6 档音高（±1/±2/±3 半音）的配对；情绪编辑（8 类情绪，Qwen3-TTS-CustomVoice+IndexTTS2 合成目标）、音色（X-VC）、去口音（13 类中文方言，CosyVoice2+OmniVoice 重建）、非语言（39 类事件，强制对齐+掩码+F5-TTS 重建）、耳语（WER=0 的平行语料）、内容/歌词编辑（LLM 生成编辑对+词级对齐+局部掩码填充+WER 质检）、增强与分离（随机退化+选择性目标、轮替/重叠对话混合、音乐 stem 场景混合）。第二步预训练：先生成任务独占热身 5 万步，再联合训练 60 万步，五任务族按 28.10%/23.02%/23.17%/21.75%/3.96% 固定采样，条件分级 dropout（声学 0.3、全无条件 0.2），256 卡 ZeRO-2、bf16、AdamW 峰值 $1\times10^{-4}$，全局批约 6144 句（≈14 小时/步），MLLM 与 VAE 冻结只训主干。第三步后训练：编辑侧对每条指令采 10–20 个候选、人工打 0/1/2 三级分，过滤后 818 组 9080 条，用组内共享噪声重评的 Diffusion-DPO 隐式分数 + LiPO 列表损失（$\epsilon=0.05$、$\omega_{2\succ0}=1$ 其余 0.5）训练 $10^4$ 步；生成侧用 Flow-GRPO（1 万零样本提示 + 5 千指令提示，$G=16$，500 步，MixGRPO 式 6 步随机窗），内容奖励区分容忍/严格错误率（同音字不算错）、说话人奖励只在 $E_i=0$ 的候选内标准化以堵住奖励作弊，风格奖励用基于 Qwen2.5-Omni-7B 的判别模型多数投票。第四步蒸馏：一致性初始化 500 步给少步起点，再做任务路由 Decoupled DMD（学生 2500 步、每步配 5 次假分数更新；CA 分支用 APG 替代 CFG 防止过饱和削波；分离样本按任务标签 $\tau_i\in S$ 路由到干净潜变量回归 $\|\hat{z}_{1,i}-z_{1,i}\|_2^2$ 并从 DMD 双侧剔除），得到 4 步无 CFG 的 AuK-Flash。

技术新颖性可归纳为五点。第一，能力因子化的实证发现：耳语数据只有「正常↔耳语」编辑对，联合训练后模型却能直接从文本+风格指令生成耳语；去口音监督只覆盖中文方言，模型却能降低英语的印度/日本口音——说明统一训练能把声学变换从其被监督的语言与任务中剥离出来，这是对「编辑监督能否迁移到生成」这一开放问题的肯定答案。第二，跨语句 in-context learning 数据构造：同说话人不同语句配对迫使模型分离说话人不变特征与语句特定因素，同时天然实现免转写克隆接口。第三，面向序数人类反馈的流式偏好优化：对候选组内共享 $z_0$ 与 $t$ 重评估 DPO 隐式分数以隔离候选潜变量本身的差异，配合两级归一的 LiPO 列表损失使组贡献只依赖关系权重、与候选数无关，工程上干净且可复用。第四，奖励设计的反作弊细节：内容奖励全组标准化、说话人奖励只在零错误候选内标准化，封堵「说话人相似度补偿内容错误」的加权融合漏洞。第五，任务路由蒸馏：诊断出再噪化的错误分离输出落在教师训练分布之外、导致教师速度场偏好「全局合理但分离不足」的音频，于是把分离样本路由为监督回归、排除出 DMD 两侧——这是对 DMD 在分布外任务上失效模式的明确刻画与修复。

第一，情绪与副语言编辑是最大短板（SpeechEditBench 情绪 ACC 9.94%）：情绪与韵律、音色在 VAE 潜空间中高度纠缠，编辑指令要求「只改情绪、不动其他」时模型难以解耦。改进方向：在数据侧引入更强的属性解耦标注与对比式配对（同一文本、同一说话人、仅情绪不同的最小对），或在主干中加入属性探针辅助的正则。第二，全 rubric 满足率（EMR ≤13.85%）过低，说明编辑是「多约束同时满足」问题，单点指标好不代表整体可用；可引入分解式评测驱动的课程学习或测试时最佳候选搜索（用自动 rubric 模型做 rejection sampling）。第三，对 Prompt Enhancer 的强依赖意味着模型的原生指令 grounding 不足，用户绕过 PE 直接输入会明显掉点；应扩大自由格式指令的多样性与组合性训练，例如用 LLM 合成大规模「口语化请求→规范指令」对照数据做 SFT，减少路由环节。第四，偏好数据规模（818 组）远小于生成 RL 的提示池，编辑侧可引入 AI 反馈（RLAIF）或训练专门的编辑 rubric 奖励模型，把人类评分只用于校准。第五，24kHz、50Hz 潜空间的设置限制了音乐/高保真场景，且 32 步全模型推理仍重；可在 VAE 侧探索更高采样率与更低帧率（如 25Hz）的折中，并继续压缩 Flash 的推理步数。第六，任务路由蒸馏依赖人工规则 $\tau_i\in S$，未来应让路由由不确定性估计或教师-学生分歧自动触发，避免遗漏新的分布外任务。

作者在结论中提出的方向包括：改进原生指令 grounding 与组合泛化、为开放式音频变换构建可规模化的对齐方法、进一步降低推理成本。在此基础上可以延伸出几条更有想象力的路线。其一，把五任务族扩展到通用声音设计与音效生成（当前不含纯音效合成），使「指令→任意音频」的统一接口真正闭合；其二，利用已有的因果 VAE 解码器探索流式/实时推理，把 4 步 Flash 进一步做成可交互的低延迟系统；其三，系统研究「能力因子化」现象——耳语从编辑迁移到生成、去口音从中文迁移到英文——建立跨任务/跨语言迁移的度量与预测框架，指导数据配比设计；其四，编辑侧的序数人类反馈管线（三级评分+隐式流 DPO+LiPO）可以推广为可迭代的偏好学习闭环，结合主动学习挑最有信息量的指令组采集反馈；其五，蒸馏方面，把任务路由从人工规则升级为基于教师-学生分歧的自动门控，并验证 APG 替代 CFG 的做法在更大规模蒸馏中的普适性；其六，开源生态角度，AuK 的统一接口很适合作为语音 agent 的执行后端，与 LLM 规划器组合完成多步音频工作流。

复现友好度总体较高。开源情况：论文明确释放源代码与模型权重（含 AuK 与 AuK-Flash 两个检查点，项目页/GitHub/HF 可得），架构与训练超参披露非常完整——主干 15 亿参数（10 MMDiT + 20 DiT、1536 隐藏维）、冻结的 Qwen2.5-Omni 与 AuK-VAE、各阶段精确的学习率/批大小/更新数/采样概率都在文中给出，推理配置（Euler、bf16、32 步 + CFG 2.0 或 4 步无 CFG、sway 系数 −1.0）也整表列出，推理复现门槛低。数据是最大缺口：约 30.3 亿实例的语料中相当部分为 in-house 数据（13 类中文方言去口音、39 类非语言事件、耳语平行对、干声歌词等），仅公开了构造配方而非原始数据，第三方难以完全重建数据分布。算力门槛高：预训练 65 万步、256 卡 ZeRO-2、全局批约 14 小时音频/步，估计需要数千 GPU 天，个人或小团队无法全量复现，但蒸馏阶段（500+2500 步）与后训练规模小得多，基于开源权重做继续训练或领域微调是现实路径。评测方面，基准全部为公开基准（Seed-TTS-Eval、InstructTTSEval、MMAE、SpeechEditBench、Ming-Freeform-Audio-Edit、DNS/CHiME-4/Libri2Mix/VCTK-SR），指标口径清晰、报告三次均值，结果可核验。综合判断：推理与微调复现难度中等，端到端全量复现困难，属于「开源权重可放心用、数据配方可参考、全量重训不可行」的类型。