EmoRES-TTS：面向情感语音生成的残差增强向量引导 EmoRES-TTS: Residual-Enhanced Vector Steering for Emotional Speech Generation
将情感引导向量分解为共享与残差两组分独立调控，免训练大幅提升TTS情感控制精度
前置知识
向量引导（Vector Steering / 激活引导）
在冻结模型推理时，向内部激活（如某层注意力输出）加一个预先提取的方向向量来改变生成行为，模型参数完全不动。方向通常来自对比样本：让模型分别处理'具有某属性'和'不具有该属性'的输入，取激活差均值作为方向。强度由标量控制，实践中常配合范数恢复，避免把激活推到训练分布之外。
本文整个方法建立在这个范式上：EmoRES 不训练任何东西，只是对现成的情感引导向量做结构分解与重加权后注入冻结的 TTS 骨干，不读懂 steering 就无法理解论文动机。
均值差情感向量
对同说话人、同文本的情感语音与中性语音配对，分别通过模型得到某层激活并池化，再对配对差求平均：$v_e=\bar{h}_e-\bar{h}_{neu}$。因为配对中说话人和内容相同，差分近似只保留情感引起的变化，得到激活空间中从'中性'指向'情感 $e$'的平均位移方向。
它是本文分解的直接对象：shared 与 residual 两组分就是把这个向量围绕情感均值质心做恒等拆分得到的，所有实验围绕对它的重加权展开。
语音语言模型 TTS（Speech LM-based TTS）
用语言模型架构生成离散语音 token 的零样本 TTS 范式。本文用两个骨干：IndexTTS-2 通过显式情感嵌入条件化，CosyVoice2 通过自然语言风格指令条件化。这类模型的 Transformer 各层激活已被证明编码情感等副语言信息，因此可以在注意力输出处做向量引导。
EmoRES 的注入位点就是这两类语音 LM 选定层的注意力输出，理解两者原生条件接口的差异才能看懂实验设计与'有无原生条件'的对照实验。
混合情感与比例目标 $p_e$
人类语音可同时表达多种情感。本文为每条请求指定各情感类别的比例 $p_e\ge 0$、$\sum_e p_e=1$（取自语料标注者比例），要求生成语音中情感识别器后验的变化按该比例排序。目标是让'请求越强的情感，后验上升越多'，而不是只达到某一个情感。
EmoRES 的残差项随请求比例 $p_e$ 线性变化是方法支持混合情感的关键，也是主要评测指标定义的基础。
Spearman 秩相关 ρ 与命中率 H-Rate
对每条至少含两个目标情感的语句，比较两种排序：请求比例 $p_e$ 的排序，与引导前后各情感识别后验增量 $\Delta(e)=P(e)-P_0(e)$ 的排序。前者算 Spearman 相关系数 $\rho\in[-1,1]$，后者看两个 argmax 是否一致（一致记 1 次命中，对全体语句取比例）。
这是论文最核心的两个客观指标，EmoRES 最大的提升正来自它们（ρ 最多提升 26.13 个百分点），读懂定义才能理解实验结果的含义。
研究动机
情感可控 TTS 目前主要依赖原生条件接口：IndexTTS-2 用连续情感嵌入，CosyVoice2 用自然语言风格指令。但这些接口依赖情感感知训练或专门的条件模块，实践中并不总能生成与请求情感强匹配的语音——论文观察到仅靠原生条件时，IndexTTS-2 在 IEMOCAP 上人评 Dom-hit 只有 17.78%。想通过额外训练增强可控性，则要付出大量算力和稀缺的情感标注语音数据两重代价。向量引导提供了免训练替代：从情感与中性语音的激活差中提取方向，推理时注入冻结模型的内部表征，已有工作 CoCoEmo 把它用于语音语言模型 TTS。然而 CoCoEmo 把每个情感向量当作不可分割的整体，用单一全局强度 α 同时缩放整个方向。这有个隐藏的结构缺陷：所有类别情感向量之间共享的位移成分与类别特异的对比成分被耦合在一起，想加强类别控制时不可避免地也放大了共享成分，两者相对贡献无法调节，在需要不同强度的场景下是次优的。
本文的目标是本文的目标是在完全不训练、不更新任何骨干参数的前提下，显著提升冻结 TTS 模型的情感控制精度。具体而言：让语音情感识别器对生成语音的后验更贴合请求的情感混合比例，用 Spearman 秩相关 ρ 和命中率 H-Rate 度量（目标是在分布外测试集 IEMOCAP 上 ρ 相对提升超过 100%）；同时提高目标情感后验 TEP 和与情感锚点加权相似度 E-SIM；且不牺牲说话人相似度 S-SIM、可懂度 WER 和自然度。方法需要泛化到原生条件接口截然不同的两个骨干——嵌入条件化的 IndexTTS-2 和指令条件化的 CosyVoice2，所有超参只在开发集 CREMA-D 上调，然后零改动迁移到严格留出的 IEMOCAP，最后用人耳主观评价（每条样本至少 9 个标注者）验证客观指标的提升真实可感。
与已有工作不同的是，本文的独特切入是先做纯解析的功能性分析，而不是像多属性 LM steering 那样学习新的引导子空间或正交约束。关键观察：每个类别情感向量 $v_e=\bar{h}_e-\bar{h}_{neu}$ 可围绕情感激活质心 $\bar{h}_c$ 精确分解为两部分——共享分量 $\bar{h}_c-\bar{h}_{neu}$ 对所有情感请求都相同，把语音推离中性表达；残差分量 $\bar{h}_e-\bar{h}_c$ 随请求情感变化，携带类别区分信息。作者自称这是首个对语音 LM 情感引导向量的 shared/residual 功能分析。基于此提出引导规则 RES($\lambda_c,\lambda_r$) 独立加权两组分，常规 steering 恰是 $\lambda_c=\lambda_r=1$ 的特例，因此 EmoRES 是 CoCoEmo 的严格泛化而非另一套方法。配合范数匹配的实验设计（所有引导向量缩放到相同平均范数），性能差异被干净地归因于方向重组而非引导能量增大。
核心方法
直觉：说一句话'听起来有情感'和'具体是哪种情感'是两件事，应分开控制。CoCoEmo 把两者捆在一个向量里用同一强度 α 推；EmoRES 先把向量拆开，再给'离开中性'的共享位移和'指向目标情感'的类别残差各配独立系数。技术路线分三阶段。第一阶段离线提取：从 ESD、CREMA-D、RAVDESS 取同说话人、同文本的情感-中性配对语音（共 8050 对、约 12.6 小时），经双门控筛选后送入冻结骨干，在选定层注意力输出处缓存池化激活，对每个情感计算配对差均值 $v_e^{(\ell)}$，一次性完成、无梯度。第二阶段分解：计算情感均值质心 $\bar{h}_c$，按 $v_e=(\bar{h}_c-\bar{h}_{neu})+(\bar{h}_e-\bar{h}_c)$ 拆成两组分。第三阶段推理引导：按请求比例 $p_e$ 构造 $v_{mix}^{RES}=\lambda_c(\bar{h}_c-\bar{h}_{neu})+\lambda_r(\bar{h}_p-\bar{h}_c)$，重缩放到平均范数后注入并做范数恢复。主实验配置 $\alpha=5$、$\lambda_c=1$、$\lambda_r=3$。
核心创新是把引导规则从一维（全局强度 $\alpha$）扩展到二维（$\lambda_c,\lambda_r$），并证明解耦有明确功能解释。分解只是恒等变形：$v_e=\bar{h}_e-\bar{h}_{neu}=(\bar{h}_c-\bar{h}_{neu})+(\bar{h}_e-\bar{h}_c)$，无需学习。功能假设：shared 分量把语音推离中性表达（决定'有没有情感'），residual 分量指明具体类别（决定'哪种情感'）。与 CoCoEmo 的本质区别在混合情感处理：CoCoEmo 中整个向量随请求比例变化，而 EmoRES 中 shared 项系数固定、只有 residual 项随 $p_e$ 线性变化，几何上混合端点在各类残差端点连线段上伸缩（$\lambda_r$ 控制扩张倍数）。另一关键细节是范数恢复：$h\leftarrow\|h\|\cdot\frac{h+\alpha v}{\|h+\alpha v\|}$，只改方向不动模长。附录 D 的逐分量高斯随机化对照证明收益来自测得的方向本身，而非幅值、能量分配或任意扰动。
方法步骤详情
第一步 向量提取（一次性离线）：输入 ESD/CREMA-D/RAVDESS 中配对的情感-中性语音，每对同说话人同文本；每条录音过情感识别与信号质量双门控，任一侧失败整对丢弃，保证差分只含情感变化；IEMOCAP 完全不参与。录音通过冻结骨干，在选定层（IndexTTS-2 语义 LM 第 1/6/8 层，CosyVoice2 第 14/17 层）的注意力输出缓存池化激活 $\phi_\ell(x)$，按 $v_e^{(\ell)}=\frac{1}{N_e}\sum_i[\phi_\ell(x_{i,e})-\phi_\ell(x_{i,neu})]$ 得到引导向量。第二步 分解：逐骨干逐层计算质心 $\bar{h}_c$，拆出 shared 与 residual。第三步 推理引导：归一化请求比例 $p_e$，构造 $\bar{h}_p=\sum_e p_e\bar{h}_e$ 与 $v_{mix}^{RES}$；注入前把向量重缩放到该层原始向量的平均范数（norm-matching），保证相同 $\alpha$ 下注入相同能量；再按范数恢复更新激活。骨干参数与原生条件接口全程默认，效果可完全归因于注入向量。
技术新颖性
技术新颖性有三点。其一，分析对象新：此前多属性 LM steering 用正交约束或学习 shared/attribute-specific 子空间处理方向干扰，需要额外优化；EmoRES 用围绕质心的精确分解，零学习成本，首次揭示均值差情感向量内含的共同位移。其二，方法定位新：RES($\lambda_c,\lambda_r$) 是常规 steering 的严格泛化——$\lambda_c=\lambda_r=1$ 时质心项相消、精确还原 CoCoEmo，因此所有提升可直接归因于两组分重加权而非新机制。其三，实验设计新：所有对比行做范数匹配，再辅以逐分量高斯随机化对照，系统性排除'幅值/能量/任意扰动'三种替代解释，是 steering 文献中较完整的因果验证。组件消融给出功能性证据：shared-only 把 IndexTTS-2 的 ρ 打到 5.30%，却使识别器中性后验从 36.51% 降到 7.49%，说明它确实在'去中性化'；residual-only 提升 ρ 却压低 E-SIM/TEP，说明类别对比与整体情感强度信息分属两组分。
实验结果
发现分五块。（1）客观评测（表 1）：$\alpha=5$、$\lambda_c=1$、$\lambda_r=3$ 下，OOD 的 IEMOCAP 上 IndexTTS-2 的 ρ 从 CoCoEmo 的 22.00% 升至 48.13%（+26.13 点，相对 +118.8%），H-Rate 从 64.34%→77.29%（+12.95 点）；CosyVoice2 的 ρ 从 39.13%→52.10%（+12.97 点，+33.1%），H-Rate 从 70.90%→77.82%（+6.92 点）。CREMA-D 趋势一致，TEP/E-SIM 同步提升。（2）人评（表 2）：Dom-hit 54.72%→73.89%（IndexTTS-2）与 58.18%→77.88%（CosyVoice2），95% CI 均不含零；自然度偏好 63.80%/60.32%，显著高于 50%。（3）消融（表 3）：shared-only 的 ρ 仅 5.30%/7.20%，residual-only 达 45.16%/39.94% 但 E-SIM/TEP 偏低，$\lambda_r=3$ 最优。（4）可视化（图 2）：EmoRES 探针准确率 86.9%、轮廓系数 0.460，为六条件最高（no-steer 仅 56.9%）。（5）附录：residual 随机化使 ρ 崩至 0.58%；换 Qwen3-Omni、Odyssey-WavLM 作评判时 18 项对比全部占优。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 混合情感生成（IEMOCAP OOD，IndexTTS-2） | Spearman 秩相关 ρ | 48.13% | CoCoEmo 22.00% | +26.13 个百分点（相对提升 118.8%） |
| 混合情感生成（IEMOCAP OOD，CosyVoice2） | Spearman 秩相关 ρ | 52.10% | CoCoEmo 39.13% | +12.97 个百分点（相对提升 33.1%） |
| 混合情感生成（IEMOCAP OOD，IndexTTS-2） | H-Rate（主导情感命中率） | 77.29% | CoCoEmo 64.34% | +12.95 个百分点（相对提升 20.1%） |
| 混合情感生成（IEMOCAP OOD，CosyVoice2） | H-Rate（主导情感命中率） | 77.82% | CoCoEmo 70.90% | +6.92 个百分点（相对提升 9.8%） |
| 主观情感标注（IEMOCAP，IndexTTS-2） | Dom-hit（主导情感人耳命中率） | 73.89% | CoCoEmo 54.72% | +19.17 个百分点（统计显著，95% CI [13.06, 25.56]） |
| 主观情感标注（IEMOCAP，CosyVoice2） | Dom-hit（主导情感人耳命中率） | 77.88% | CoCoEmo 58.18% | +19.70 个百分点（统计显著，95% CI [13.33, 26.07]） |
| 自然度盲测 A/B（IEMOCAP） | EmoRES 偏好率（平局折算 0.5） | 63.80%（IndexTTS-2）/ 60.32%（CosyVoice2） | CoCoEmo（50% 为无差异点） | 显著高于 50%，95% CI 分别为 [61.70, 65.91] 与 [58.08, 62.56] |
局限与改进
作者承认与可观察到的局限：情感集只有 angry、happy、sad、surprise 四类加中性，未覆盖恐惧、厌恶等；$\lambda_r=3$ 来自 CREMA-D 网格搜索，$\lambda_r>3$ 收益递减，最优值可能随骨干或语料变化；引导层沿用 CoCoEmo 已发布的 top-K 层，未做逐层联合优化；方法只支持语句级全局情感，句内切换需 token/段级控制（列为未来工作）；提取需要带情感标注的配对语料，是 training-free 而非 label-free；评估主要依赖 emotion2vec+ large 作判官，虽然表 7 用三个识别器验证了排序稳健性，识别器偏差仍可能影响绝对数值。我另注意到：IEMOCAP 上 IndexTTS-2 的 TEP（41.11%）已超 Ground Truth（39.82%），提示强引导可能'过冲'——情感强度超过自然语音，校准值得警惕；个别设置 WER 上升（IndexTTS-2 单情感 target-emotion prompt 下 8.52 vs no-steer 6.61），强控制与可懂度的权衡仍在。
独立分析的弱点
独立分析的弱点：第一，'shared=去中性、residual=类别信息'本质是功能假设，探针与随机化实验提供的是必要性与相关性证据，尚缺直接因果干预——例如在其他属性（说话人、语速）的均值差向量上套用同款分解，检验该结构是否普适。第二，$\lambda_c$ 被固定为 1、只扫 $\lambda_r$，二维网格未完整探索；范数匹配虽使对比干净，但实际部署中用户需要 $(\alpha,\lambda_r)$ 联调的交互界面，论文未讨论二者的等效关系。第三，引导目标与评估指标都来自语料标注者比例，标注噪声会同时进入引导向量构造和 ρ/H-Rate 计算，存在自证风险。第四，残差增强本质是提高类别对比度，可能放大情感过冲：IEMOCAP 上 TEP 已超 Ground Truth，而 CREMA-D 上 E-SIM（64.80%）仍低于 GT（72.56%），嵌入空间尚未完全对齐真实情感分布，改进方向是引入连续情感空间（valence-arousal）和后验校准。第五，对缺乏配对情感数据的低资源语言/方言不可直接使用；四类情感外的类别（恐惧、厌恶）未验证。
未来方向
作者明确提出的方向：把 EmoRES 扩展到 token 级或段级控制，支持一句话内情感随语义变化；检验 shared-residual 分解在更多情感类别、语言、语料和 TTS 架构上的普适性。基于成果可延伸的方向：将分解推广到连续情感维度（VAD 空间）或副语言属性（语气、语速、笑声），检验其是否为均值差向量的通用结构；把 shared/residual 思想与多属性 steering 的正交化方法结合，处理属性间方向干扰；利用图 4 的发现（层探针精度与 TEP 的 Spearman 相关达 0.673，探针最准的两层正是 TEP 最高的两层）做新骨干的自动层选择；在流匹配 TTS（EmoSteer-TTS 的站点）上验证分解是否同样成立；把 $\lambda_r$ 做成用户可调的'情感类别锐度'旋钮、$\alpha$ 作为'情感强度'旋钮，接入交互式配音、对话代理等需要细粒度情感控制的场景。
复现评估
复现条件较好。代码已在 GitHub 开源（facebookresearch/EmoRES-TTS）；引导向量提取只用三个公开语料 ESD、CREMA-D、RAVDESS 的 8050 对语音，一次性前向推理即可完成，无梯度、算力门槛低；两个骨干 IndexTTS-2 与 CosyVoice2 均为公开权重；评估模型 emotion2vec+ large、Whisper large-v3、WavLM-base-sv 也都开源，仅 IEMOCAP 需按协议申请。论文把超参写得相当具体：$\alpha=5$、$\lambda_c=1$、$\lambda_r=3$、各骨干层号、norm-matching 规则、池化方式、五次重复实验的标准差，附录 C 还给出逐层探针数据辅助层选择。主要难点：激活 hook 的实现需对齐 CoCoEmo 的 pooling 细节（论文引用其附录而非完整复述）；主观评测（360/330 条样本、每条至少 9 人标注）个人难以复现，但完整客观指标链路可复现。总体难度中等，熟悉 TTS 推理和激活注入的工程师数天可搭建。
论文图表