面向视频生成语音的层次化Codec扩散Transformer Hierarchical Codec Diffusion for Video-to-Speech Generation

流程六步。(1) 视觉抽取:AV-HuBERT-Large 得唇动 $c_{lip}$,ArcFace 对齐 GE2E 得 $c_{id}$,Poster2 平滑得 $c_{emo}$。(2) Token 化:MaskGCT 把语音编为 $12\times 1024$ 码字 $x^{r_{1:12}}$,切低层 $x^{low}=x^{r_{1:2}}$ 与高层 $x^{high}=x^{r_{3:12}}$。(3) 加噪:SEDD log-linear $\sigma(t)$ 调至 $[\text{MASK}]$。(4) Score:低层 8 块通道拼接唇动,$c_{id}$ 预测 $\gamma_{id}/\beta_{id}$ 调制;高层 8 块 dual-scale AdaLN 同时被情感调制,$\gamma_{emo,t}$ 经 $\otimes\mathbf{1}_{25}$ 上采样 25 倍到 50Hz。(5) 训练:$L_{total}=\sum L_{DSE}+100\ell_1(c_{id},c_{GE2E})$,CFG 10% 丢弃,AdamW lr 1e-4 batch 32 200k 迭代。(6) 推理:Euler 64 步,CFG $w_{all}=2.5$、$w_{id}=1.25$、$w_{emo}=1.5$、$w_{lip}=2.0$。

新颖性分四点。第一,把 RVQ 层级先验作为显式归纳偏置是根本新意,VQ1-2 与 VQ3-12 在 score network 中物理分离,让'唇动+身份'与'情感'不再争夺同一组参数,这是 FTV 用层级视觉编码却仍做 holistic 解码所不具备的。第二,选 masked SEDD 离散扩散而非 absorbing continuous,避免 mel 谱回归频谱模糊,只在 codebook 索引上运算,推理效率优于 mel 连续扩散。第三,dual-scale AdaLN 通过通道归一化捕获全局音色,通过 25 倍 Kronecker 上采样捕获逐帧韵律,公式 $h' \otimes \mathbf{1}_{25} \cdot \gamma_{emo,t} \cdot (1+\gamma_{emo,c}) \cdot \frac{h-\mu(h)}{\sigma(h)} + \beta_{emo,c}$。第四,$L_{id}=\ell_1(c_{id},c_{GE2E})$ 约束视觉—声纹嵌入,表 7 显示去掉后 SpkSim 从 56.78% 骤降到 34.10%。

独立分析可识别五点可改进之处。第一,层级切分点固定为 VQ1-2 与 VQ3-12,但层级比例是否最优未做消融;若改为 VQ1-3 vs VQ4-12 或 VQ1 vs VQ2-12 可能进一步提升,建议扫描 $r_2 \in \{2,3,4\}$ 的层级划分。第二,dual-scale AdaLN 的时间维度 25 倍 Kronecker 上采样是硬编码,对其他采样率或可变长视频缺乏自适应,改进方向是引入可学习的动态上采样或 attention-based 时间对齐。第三,$L_{id}$ 仅在训练时使用真值 GE2E embedding,但视觉身份 $c_{id}$ 与声纹 GE2E 本质跨模态,若用对比学习 InfoNCE 替代 $\ell_1$ 可学到更鲁棒的跨模态身份空间,且推理时无需真值。第四,情感支路 Poster2 只输出类别概率+0.5 秒平滑,丢失了情感强度的连续谱,改进方向是引入连续维度 (valence/arousal) 回归头。第五,训练仅 200k 迭代 batch 32,未做 loss 曲线报告,改进方向是绘制完整训练曲线并对比不同训练长度。

作者隐含方向是把'层级token×层级视觉条件'范式扩展到更复杂场景,基于此可延伸四条研究方向:(1)把层级扩散框架推广到多说话人对话场景VTS,如访谈节目、电话会议,需引入speaker-aware speaker turn embedding,层级切分可拓展到说话人级VQ层;(2)结合LLM做'可控语音生成',用自然语言指令直接控制情感强度、说话风格、语速,通过dual-scale AdaLN的γ/β参数把语言条件直接映射到韵律调制;(3)扩展到TTS、Voice Conversion、Speech Editing等多任务,把RVQ层级先验作为通用语音生成归纳偏置,建立统一的层级离散扩散语音基础模型;(4)探索更长horizon的视频输入(>10秒)与超长语音生成,通过层级VQ的递归结构实现coarse-to-fine的token-by-token生成,降低单步去噪成本。

复现评估分四方面。开源情况:论文明确声明代码与语音 demo 发布在 https://github.com/Jiaxin-Ye/HiCoDiT,可下载权重与推理脚本,但训练代码完整性需进一步确认。数据可获得性:VoxCeleb2 需向官方申请(学术免费),LRS2/LRS3 公开,AV-HuBERT/ArcFace/Poster2/MaskGCT 全部开源。算力需求:训练 200k 迭代、batch 32、AdamW lr 1e-4,未明确 GPU 数;按模型规模 (8+8 Transformer block, 通道 768) 粗估至少 8×A100 80G 跑 3-5 天,推理单 GPU 即可。复现难度:技术栈涉及 RVQ codec、masked discrete diffusion、AdaLN、CFG 组合,但作者给出所有超参 ($\lambda=100$、$w_{all}=2.5/2.25$、$w_{id}=1.25$、$w_{emo}=1.5$、$w_{lip}=2.0$、64 步 Euler),中等团队 2-3 周可复现核心结果。