← 返回 2026-06-10

使用稀疏自编码器解释和引导文本转语音语言模型 Interpreting and Steering a Text-to-Speech Language Model with Sparse Autoencoders

Nikita Koriagin, Georgii Aparin, Nikita Balagansky, Daniil Gavrilov 📅 2026-06-08 👍 12 2026-07-13 08:37
TTS interpretability feature steering mechanistic interpretability multimodal analysis sparse autoencoder
arXiv HuggingFace PDF

首次将SAE应用于TTS语言模型，发现可解释特征并能因果控制语音生成

前置知识

Sparse Autoencoder (SAE)

稀疏自编码器是一种神经网络解释工具，用于将模型的高维密集激活分解为稀疏的、近似单语义的特征向量。标准SAE通过编码器 $z = \sigma(W_{enc}h + b_{enc})$ 将输入激活 $h$ 映射到潜在空间，再通过解码器 $\hat{h} = W_{dec}z + b_{dec}$ 重构。训练目标是最小化重构误差 $\|h - \hat{h}\|^2$ 同时激活的稀疏性（通常使用L1正则化 $\lambda \|z\|_1$）。BatchTopK是SAE的变种，它强制每个token只激活前k个最大的特征值，而不是使用软性的稀疏正则化。

本文核心方法就是SAE，理解SAE的工作原理（编码器-解码器结构、重构+稀疏性目标、TopK变体）是理解本文如何从TTS模型中提取可解释特征的基础。

Auto-interp (自动解释)

自动解释是一种使用大型语言模型自动描述神经网络内部特征激活模式的方法。给定一个神经元或SAE特征的激活证据（如激活时的文本上下文、音频片段等），LLM被提示生成一个简洁的句子描述该特征捕获的一致性属性。Bills等人(2023)和Paulo等人(2024)开发了检测式评估协议，使用另一个LLM作为评分者，判断新的证据是否匹配该标签，通过AUROC等指标量化标签质量。

本文扩展了auto-interp到多模态TTS场景，需要理解原始auto-interp如何工作以及本文如何将其适配到混合文本-语音证据。

Text-to-Speech (TTS) Language Model

现代TTS系统如CosyVoice3使用语言模型作为核心骨干，处理混合序列：文本指令/转录前缀，后跟离散的语音token（如25Hz码本索引）。模型自回归生成语音token序列，这些token随后被流匹配DiT和HiFi-GAN声码器转换为波形。关键特征是文本和语音token共享同一个残差流，使得模型必须在一个统一的表示空间中编码语言信息（来自文本）和声学信息（来自语音生成）。

理解TTS LM的工作机制是理解本文研究对象特点的基础，特别是文本和语音token混合在单一残差流中这一独特设置带来了什么解释性挑战。

Feature Steering (特征引导)

特征引导是一种因果干预技术，通过修改模型内部激活来控制生成行为。具体实现是在前向传播中hook特定层的残差流 $h$，通过冻结的SAE编码为潜在向量 $z = \sigma(W_{enc}h + b_{enc})$，对选中的特征坐标 $z_i$ 添加偏移量 $\alpha \cdot s_i$（其中 $\alpha$ 是强度标量，$s_i$ 是符号），然后解码回残差空间 $\hat{h} = W_{dec}z' + b_{dec}$。这样可以验证SAE特征是否是因果性的控制方向，而不仅仅是描述性的相关性。

本文的关键贡献之一是证明SAE特征可以作为TTS合成的实际控制方向，理解steering机制（从残差流到SAE潜在空间再到残差流的干预回路）是理解这一贡献的技术基础。

研究动机

随着语言模型越来越成为文本转语音(TTS)系统的核心骨干，我们对这些模型在文本和生成的语音token共享单一残差流时所构建的表示知之甚少。现有问题体现在多个方面：首先，TTS模型处理的是混合序列（文本前缀+语音token），与纯文本语言模型有本质不同，现有的LLM可解释性方法无法直接应用。其次，CosyVoice3等模型在生成语音时，其残差流可能编码文本前缀的句法和语义信息、正在生成的语音的声学和韵律属性，或者两者兼有，但目前没有系统的方法来识别哪些特征服务于哪种角色。最后，虽然SAE在纯文本LLM上取得了显著成功，但SAE是否能够处理混合模态的TTS残差流，以及如何解释和验证提取出的特征，都是未解决的问题。

本文的目标是本文的具体目标是探索稀疏自编码器(SAE)在TTS语言模型上的应用潜力，包括：训练SAE来分解TTS模型残差流中的密集、多语义激活；开发适用于混合文本-语音序列的模态感知自动解释管道；验证提取出的SAE特征是否真正可解释；最重要的是，测试这些解释过的SAE特征是否可以作为因果控制方向来影响TTS合成，而不仅仅是描述性的相关性分析。作者希望通过这一研究，为理解TTS模型的内部工作机制提供系统方法，并为精确控制语音生成提供新的技术路径。

与已有工作不同的是，本文的独特切入角度在于首次将SAE从纯文本语言模型扩展到TTS语言模型这一新的模态设置。与以往工作的关键区别包括：第一，处理的是混合文本-语音序列而非纯文本，需要开发模态感知的证据提取和标签方法；第二，关注的是生成式TTS模型而非判别式语音模型，理解的是语音生成过程而非语音识别；第三，将可解释性分析与因果控制相结合，不仅解读特征还测试其作为控制方向的有效性。据作者所知，这是对生成式TTS LM骨干残差流的首次SAE分析。

核心方法

本文的整体思路是利用稀疏自编码器将TTS模型残差流分解为可解释的单语义特征，然后通过模态感知的自动解释管道标记这些特征，最后通过特征引导实验验证其因果控制能力。技术路线包括：在CosyVoice3的Qwen2.5-0.5B骨干上训练多个层的BatchTopK SAEs；对于每个SAE特征，收集其最强激活的token位置，并根据这些位置发生在文本前缀还是语音token段，将证据路由到文本、音频或混合模态；使用Gemini 3.0 Pro作为标签器，根据模态特定的提示生成特征描述；使用检测式评估协议验证标签质量；选择具有清晰标签的特征进行引导实验，通过干预SAE潜在空间来控制语音生成。

本文的核心创新点是将SAE从纯文本语言模型扩展到TTS语言模型，并开发了模态感知的自动解释管道来处理混合文本-语音序列。与已有方法的本质区别包括：第一，使用精确的序列边界信息来区分文本和语音token，而不是强制所有证据进入单一格式；第二，为不同模态的特征提供不同类型的证据（文本特征接收文本上下文，音频特征接收1秒语音片段，混合特征接收两者）；第三，标签器被明确要求根据模态描述相应类型的属性（文本特征的词汇/标点/语言模式，音频特征的声学/语音学/韵律属性，混合特征的跨模态关系）。这种模态感知的方法使得SAE可以适应TTS模型的独特设置，即文本和语音token共享同一个残差流。

方法步骤详情

方法步骤的完整描述包括以下几个阶段：SAE训练阶段，使用CosyVoice3（基于Qwen2.5-0.5B，隐藏层大小896，28层），在多个层训练BatchTopK SAEs，字典大小d=16,384，每个token激活k=50个特征，在约250M tokens（来自Emilia数据集）上训练，使用标准重构+稀疏性目标外加辅助死亡特征损失。证据提取阶段，对每个SAE特征，收集其top-20激活的token位置，根据这些位置是在语言前缀还是语音token段，将激活转换为模态特定证据（文本激活用标记的token窗口表示，语音激活用以激活语音token为中心的1秒音频片段表示）。特征模态标记阶段，根据每个特征最强激活的token类型组成，将特征分类为音频模态（语音分数≥0.8）、文本模态（语音分数≤0.2）或混合模态（其他）。自动标签阶段，使用模态感知提示让Gemini 3.0 Pro生成单句简洁描述。检测式评估阶段，使用保留的评估者对打乱的正负证据项进行评分，计算AUROC和平衡准确率。SAE特征引导阶段，在生成过程中hook语音token的残差状态，通过冻结的SAE编码，对选中特征激活添加有符号且归一化的偏移量，将修改后的潜在状态解码回模型残差流。

技术新颖性

本文的技术新颖性体现在多个方面：首先是研究对象的创新，首次将SAE应用于生成式TTS语言模型，扩展了SAE的应用边界从纯文本领域到语音合成领域；其次是方法论创新，开发了模态感知的自动解释管道，能够根据特征激活的位置（文本前缀、语音token或两者）智能路由证据类型，并相应地要求标签器描述不同类型的属性；再次是评估方法创新，将检测式评估协议从纯文本激活扩展到多模态证据（文本窗口+音频片段）；最后是因果验证创新，通过SAE潜在空间干预而非直接添加残差向量的方式，证明了解释过的SAE特征不仅可以描述模型行为，还可以因果控制TTS合成。这表明SAE特征可以同时作为可解释性对象和实用的控制方向，为理解TTS模型提供了新的视角。

CosyVoice-aware view of our modality-aware SAE interpretation pipeline.
Figure 5: CosyVoice-aware view of our modality-aware SAE interpretation pipeline.

实验结果

核心发现包括以下实验结果：层扫描实验显示SAE字典在TTS骨干上保持强重构能力，同时特征类型随深度显著变化。早期和中间层包含许多混合特征，16-20层以音频模态特征为主（第20层音频模态占74.3%，混合特征仅4.1%），最终隐藏状态急剧转变为主要文本模态子空间（第23层83.1%文本模态，14.3%音频模态，仅2.6%混合）。这种逐层移动表明LM骨干不仅仅是静态地携带文本前缀：当形成声学预测时，稀疏方向变得与生成的语音token流绑定。自动解释质量评估显示第20层文本模态标签最容易验证（AUROC 0.921），音频模态标签保持高于随机水平（AUROC 0.653），混合特征最难（AUROC 0.558）。同样的排序出现在所有完成的层中。特征引导实验显示三个层20特征产生目标声学变化：特征14834将笑声概率从0.015提高到0.791（α=+60）；特征11402改变说话者性别线索，将wav2vec2 P(male)从基线0.629变为α=-50时的0.944和α=+50时的0.063；特征3024控制语速，将有声持续时间从基线3.96秒变为α=-50时的10.57秒和α=+50时的2.75秒，同时保留口语内容。图3进一步按提示说话者的原始性别分离性别引导结果，显示特征11402将男性和女性提示的生成都向目标性别移动。概念探测实验显示笑声、情绪和口音在网络的早期（第4-8层）就可以线性解码，原始残差探测交叉验证0.99 ROC-AUC，SAE潜在探测从第8层开始紧密跟踪原始残差探测，表明稀疏代码保留了相关的语音风格信息。

One representative feature per modality.
Table 1: One representative feature per modality.
Representative layer-20 features with auto-interp labels and held-out detection scores.
Table 3: Representative layer-20 features with auto-interp labels and held-out detection scores.
Layer-wise concept decodability. Values are mean ROC-AUC over 5 folds.
Table 4: Layer-wise concept decodability. Values are mean ROC-AUC over 5 folds.
Top-1 SAE feature ROC-AUC.
Table 5: Top-1 SAE feature ROC-AUC.
Layer sweep across the Qwen2.5-0.5B backbone. (a) SAE explained variance by token type. (b) Feature modality composition.
Figure 1: Layer sweep across the Qwen2.5-0.5B backbone. (a) SAE explained variance by token type. (b) Feature modality composition.
Held-out auto-interp scores for layer-20 features.
Figure 2: Held-out auto-interp scores for layer-20 features.
Gender steering split by prompt-speaker gender. Feature 11402 shifts both male- and female-prompted generations toward the target gender.
Figure 3: Gender steering split by prompt-speaker gender. Feature 11402 shifts both male- and female-prompted generations toward the target gender.
Steering effects for laughter, speaker-gender cues, and speech rate.
Figure 4: Steering effects for laughter, speaker-gender cues, and speech rate.
Rank-held-out auto-interp scores across completed layers.
Figure 6: Rank-held-out auto-interp scores across completed layers.
Raw-residual probe ROC-AUC as a function of layer for laughter, emotion, and accent.
Figure 7: Raw-residual probe ROC-AUC as a function of layer for laughter, emotion, and accent.
查看结构化数据
任务指标本文基线提升
SAE auto-interp quality (text-modal) AUROC 0.921 N/A (首次应用于TTS) 新方法建立
SAE auto-interp quality (audio-modal) AUROC 0.653 N/A (首次应用于TTS) 新方法建立
SAE auto-interp quality (mixed-modal) AUROC 0.558 N/A (首次应用于TTS) 新方法建立
Laughter steering Laughter probability increase 0.015 → 0.791 (α=+60) N/A 52.7倍
Gender steering (male voice) P(male) change 0.629 → 0.944 (α=-50) N/A +0.315
Gender steering (female voice) P(male) change 0.629 → 0.063 (α=+50) N/A -0.566
Speech rate steering (slow) Voiced duration 3.96s → 10.57s (α=-50) N/A +167%
Speech rate steering (fast) Voiced duration 3.96s → 2.75s (α=+50) N/A -31%

局限与改进

作者承认的局限性包括：单模型限制，结果仅针对CosyVoice3-0.5B，可能无法转移到更大的TTS模型；循环评估，标签器和评分器共享同一个Gemini模型，因此系统性的幻觉会夸大分数，需要人类评估和评分器模型消融；部分自动解释扫描，模态和重构统计跨层报告，而检测式自动解释分数仅针对已完成的层子集可用；子token起始，语音token时间戳在25Hz速率，不能定位子token(40ms)声学起始；负采样，负样本来自其他特征，测试标签特异性但不测试对表示邻居混淆的鲁棒性。此外，我观察到本文仅使用了单一模型和单一数据集(Emilia)，跨模型泛化能力未知；音频模态标签的AUROC仅为0.653，表明自动解释在音频特征上仍有较大改进空间；引导实验仅展示了定性变化，缺乏更细致的音质评估；文中没有讨论SAE训练的计算成本和可扩展性。

独立分析的弱点

独立分析的弱点包括：第一，音频模态自动解释质量较低(AUROC 0.653)，可能需要更专业的音频理解模型而非通用多模态LLM作为标签器；第二，混合特征的解释最为困难(AUROC 0.558)，需要开发专门针对跨模态特征的解释方法，可能需要显式建模文本和语音之间的交互关系；第三，缺乏定量音质评估，引导实验主要展示了声学属性的变化，但没有使用DNSMOS等专业指标评估生成语音的音质退化；第四，负采样策略限制了鲁棒性测试，应该添加表示邻居混淆的负样本以更全面评估标签特异性；第五，循环评估引入了潜在的系统性偏差，需要人类评估作为验证。改进方向包括使用更专业的音频理解模型、开发跨模态特征解释框架、引入全面的音质评估、改进负采样策略、添加人类评估环节。

未来方向

作者提出的未来工作方向包括人类评估以验证自动解释质量、评分器模型消融以打破循环评估、扩展到更大的TTS模型以测试可扩展性。基于本文成果可延伸的方向包括：将方法扩展到更多TTS架构（如基于扩散的模型、非自回归模型），测试SAE分析在不同架构上的有效性；开发更细粒度的语音控制，如情感强度、语调变化、口音强度等连续属性；探索SAE特征在语音风格迁移、零样本说话人适应等下游任务中的应用；研究SAE特征在训练过程中的演化，以理解TTS模型如何学习这些可解释表示；开发实时TTS控制接口，将SAE引导机制集成到实际TTS系统中；探索SAE在多模态生成（如文本转视频）中的可解释性应用；开发更高效的大规模SAE训练方法，以支持更大模型的解释；研究SAE特征的安全性，如是否可以检测和缓解TTS系统中的偏见或有害模式。

复现评估

复现评估：论文提供了详细的方法描述和实现细节（附录B、C、H包含实验协议、SAE引导实现和完整提示词），包括SAE训练的具体参数（字典大小16,384、k=50、训练数据约250M tokens）、证据提取和模态标记的算法、检测式评估的评分协议等。然而，论文没有明确声明是否开源代码或模型，CosyVoice3模型需要从外部获取，Emilia数据集是公开的但需要下载。训练SAE在约250M tokens上，使用Qwen2.5-0.5B骨干，需要相当的计算资源（论文未报告具体GPU小时数）。总体而言，对于有足够计算资源的团队，按照论文描述应该能够复现主要结果，但缺乏开源代码和预训练SAE模型会增加难度。建议作者未来开源代码和预训练SAE权重以提高可复现性。

论文图表

Table 2: Layer-20 SAE features used for steering.

这个表格列出了用于引导实验的三个第20层SAE特征，包括特征ID、自动解释标签和引导效果。特征14834是类似笑声的语音事件（更多笑声），特征11402是说话者性别线索（男/女转换），特征3024是语音速率变化（更慢/更快的语音）。

这个表格总结了引导实验的关键特征，为后续的图3和图4提供了上下文。它展示了从可解释SAE特征到实际控制方向的映射，支持了论文的核心贡献，即解释过的SAE特征可以作为因果控制方向。

Figure 8: Top-1 SAE feature ROC-AUC as a function of layer. This monosemanticity test asks whether a single SAE coordinate is sufficient to separate each concept from neutral speech.

这张图展示了Top-1 SAE特征ROC-AUC作为层的函数，标记为'单语义性'。y轴从0.5到1.0，x轴从0到23层。图示显示笑声(VocalSound)在第12层达到峰值约0.93，情绪(ESD, 4类)在第16层达到峰值约0.93，口音(VCTK, 11类)在第8-12层达到峰值约0.92。所有概念在第0层都在0.5左右（随机水平），然后上升，然后有所下降。

这张图展示了单语义性测试的结果，即单个SAE特征是否足以分离每个概念。笑声和情绪在第12-16层达到峰值，口音在第8-12层最局部化，这表明不同的语音风格概念在网络的不同深度达到最集中的表示。这支持了论文关于SAE特征可以捕获高度特定信息的发现。