Ex-Omni：为全模态大语言模型实现3D面部动画生成 Ex-Omni: Enabling 3D Facial Animation Generation for Omni-modal Large Language Models
通过解耦语义推理与时间生成，让全模态LLM原生支持语音同步3D面部动画
前置知识
全模态大语言模型（OLLM）
全模态大语言模型是能够理解和生成多种模态（文本、语音、视觉等）的大规模语言模型。例如Qwen2.5-Omni、Mini-Omni等模型，它们将文本理解、语音生成、视觉感知等能力统一在一个框架内。这类模型的核心思想是将不同模态的信息映射到统一的语义空间，通过一个共享的LLM骨干网络进行推理和生成。相比传统的级联管道（如ASR到LLM再到TTS），OLLM能减少信息损失和延迟，实现更自然的多模态交互。
本文正是在OLLM基础上进行扩展，理解OLLM的基本架构和能力范围是理解本文创新点的前提
ARKit-52混合形状系数（Blendshape）
ARKit-52是一种参数化的面部表情表示方法，使用52个独立的混合形状参数来控制面部不同区域的运动。每个参数控制一个特定的面部肌肉动作，如嘴巴张开、眉毛上扬、嘴角微笑等。这种表示方法源自Apple的ARKit框架，被广泛应用于虚拟角色驱动和面部动画生成。相比基于网格的方法，参数化表示更紧凑且易于与语音信号对齐，能够以较低的维度捕捉丰富的面部动态。
本文使用ARKit-52作为3D面部动画的输出表示，理解这种表示方法对于理解模型的输入输出和评估指标至关重要
SyncNet唇音同步指标
SyncNet是一个独立的第三方唇音同步评估模型，由Chung和Zisserman于2016年提出。它通过计算音频和视频之间的互相关来评估唇部运动与语音的时间对齐程度。SyncNet产生两个关键指标：Sync-C（置信度分数，越高越好）和Sync-D（距离分数，越低越好）。Sync-C衡量唇音同步的置信度，Sync-D衡量音频和视觉特征之间的距离。这两个指标独立于训练过程中的监督信号（如Audio2Face-3D），因此能提供客观的外部评估。
论文使用SyncNet指标作为3D面部动画质量的主要评估手段，理解这些指标的含义才能正确解读实验结果
离散语音单元（Speech Units）
离散语音单元是将连续语音信号量化为离散token序列的技术。通过向量量化变分自编码器（VQ-VAE）或类似方法，将语音的声学特征映射到有限的离散码本中。这种离散化过程保留了语音的关键时间结构信息，同时使得语音可以像文本token一样被自回归模型处理。离散语音单元在近年来的语音语言模型（如SpeechGPT、Moshi）中被广泛使用，它们提供了比连续表示更适合LLM处理的离散形式。
Ex-Omni使用离散语音单元作为时间支架，理解这一概念对于理解模型的解耦设计至关重要
Token-as-Query门控融合（TQGF）
TQGF是本文提出的核心创新机制，用于控制语义信息如何以及何时注入到时间生成过程中。其核心思想是让token序列始终作为查询（query），而上游的语义表示作为上下文键值（key/value）。融合公式为：Fuse(Q, C) = Q + sigma(G(Q)) * Attn(Q, C)，其中G是头部特定的逐元素门控因子，sigma是sigmoid函数。这种非对称融合设计显式地将时间责任分配给目标token序列，同时选择性地注入语义信息，简化了时间学习并提高了时间对齐。
TQGF是解决LLM语义推理与面部动画时间生成之间不匹配问题的关键技术，是理解本文方法核心的关键
Audio2Face-3D教师模型
Audio2Face-3D是NVIDIA开发的开源模型，用于从语音音频生成3D面部动画。该模型在大规模专业捕捉的面部运动数据上训练，能够根据输入的语音波形预测ARKit-52混合形状系数。在本文中，Audio2Face-3D被用作教师模型来生成伪标签：首先使用Audio2Emotion模型估计5维复合情绪向量（愤怒、厌恶、悲伤、快乐、恐惧），然后将其作为条件输入到Audio2Face-3D生成对应的混合形状序列。这些教师生成的序列作为弱监督信号，而非确定性的面部地面真值。
理解Audio2Face-3D在数据构建中的作用对于理解本文的数据生成流程和训练策略至关重要
研究动机
现有的全模态大语言模型（OLLM）主要专注于语言、声学或像素级视觉输出，而表达性非语言模态（如3D面部动画）在很大程度上尚未被探索。在人机交互场景中，面部动画与语音的时间协调对于传达非语言线索和增强交互自然性至关重要，特别是在虚拟角色、数字化身和具身智能体等应用中。一个直接的想法是将混合形状解码器直接连接到LLM，从其隐藏表示预测动画。然而实践中发现，LLM的隐藏状态是为了稀疏的、token级语义而优化的，具有弱约束的时间结构，而3D面部动画需要密集且时间平滑的运动，时间尺度要精细得多。这种不匹配迫使解码器从粗粒度语义特征推断细粒度动态，导致病态映射，通常需要更大的模型容量和更多的语音-面部配对监督才能稳定生成。
本文的目标是本文的具体目标是开发一个开源的全模态框架Ex-Omni，能够在OLLM中实现语音同步的3D面部动画生成。该框架需要满足三个核心目标：第一，保持与现有OLLM在语音理解和生成任务上的竞争力；第二，实现优于级联管道的音视频同步质量（通过SyncNet指标衡量）；第三，降低面部生成延迟，实现更高效的端到端生成。同时，作者还旨在构建InstructS2SF-1200K，这是第一个用于增强OLLM语音同步3D面部动画生成能力的大规模数据集。
与已有工作不同的是，本文的独特切入角度在于采用解耦设计，将语义推理与时间生成分离。与直接从LLM隐藏状态预测面部运动的端到端方法不同，Ex-Omni引入了一个两阶段设计：首先使用混合形状感知的语音单元生成器，其中离散语音单元提供显式的时间支架，生成器的隐藏状态被鼓励编码面部相关线索；然后混合形状解码器基于这两个信号预测混合形状序列。这种设计的关键洞察是：语音单元天然具有与面部动画相似的时间结构，可以作为连接LLM语义推理和面部动画生成的桥梁。此外，TQGF机制通过让token序列始终作为查询、上游语义作为上下文键值的非对称融合，进一步简化了时间学习过程。
核心方法
Ex-Omni的方法整体思路可以概括为'解耦-支架-融合'三部曲。首先，直觉上来说，LLM擅长高层语义推理，但不擅长生成密集、时间连贯的运动信号；而语音单元天然具有与面部动画相似的时间结构。因此，Ex-Omni让LLM专注于指令理解和语义推理，产生文本响应和对应的隐藏状态，而将语音和面部动画的细粒度时间生成交给专门的模块。技术路线上，给定文本输入x和语音波形a，Ex-Omni将两者映射到共享的LLM token嵌入空间，经过LLM的自回归推理生成文本响应，同时提取对应的隐藏状态序列H。然后，混合形状感知的语音单元生成器预测离散语音单元序列，同时混合形状解码器基于语音单元和生成器隐藏状态预测52维混合形状系数序列。
Ex-Omni的核心创新点在于通过离散语音单元作为时间支架来解耦语义推理与时间生成。与已有的级联方法（如Qwen2.5-Omni + EmoTalk/UniTalker）相比，Ex-Omni将面部动画生成直接集成到OLLM框架中，避免了级联管道中中间语音生成可能引入的信息损失。与直接从LLM隐藏状态预测面部运动的端到端方法相比，Ex-Omni利用语音单元作为显式的时间结构，显著降低了学习难度。关键的技术创新是TQGF机制，通过门控因子选择性地注入语义信息，而不是简单地拼接或平均。这种设计使得模型能够学习如何和何时将语义信息注入到时间生成过程中，从而在有限的多模态监督下实现更稳定的生成。
方法步骤详情
Ex-Omni的方法分为以下步骤：第一步，统一语音-文本表示。语音通过编码器编码为高级表示，再通过投影器映射为维度为Ts x d的矩阵；文本通过嵌入层映射为维度为Tl x d的矩阵；两者拼接形成统一输入。第二步，LLM中心推理。LLM（Qwen3-8B）对统一输入进行自回归推理，产生文本响应，同时提取最后隐藏状态序列H。第三步，联合语音和3D面部动画生成。混合形状感知的语音单元生成器（Qwen3-0.6B）将文本token嵌入与隐藏状态H通过TQGF融合，预测离散语音单元序列。第四步，混合形状解码。语音单元嵌入通过时间重采样对齐到目标帧率，得到帧级查询表示；生成器隐藏状态投影为上下文键值表示；通过TQGF注入语音语义；最后经过Transformer编码器和周期性旋转位置嵌入，预测52维混合形状序列。
技术新颖性
Ex-Omni的技术新颖性体现在以下几个方面：首先，首次在开源OLLM中实现了原生的语音同步3D面部动画生成，填补了该领域的空白。其次，提出的TQGF机制是一种创新的非对称融合策略，通过让token序列始终作为查询、上游语义作为上下文键值，显式地将时间责任分配给目标token序列，同时选择性地注入语义信息。实验表明，TQGF相比简单拼接变体在Sync-D指标上从10.209提升到9.233，在Sync-C上从4.043提升到5.385。第三，构建的InstructS2SF-1200K是第一个大规模的语音-面部动画配对数据集，包含1000K TTSF样本和200K对话式S2SF样本，采用Audio2Face-3D教师模型生成伪标签的弱监督策略。第四，三阶段训练策略（语音-文本预训练、语音-混合形状共预训练、对话式语音-混合形状共预训练）逐步建立跨模态对齐，同时保留先前阶段获得的能力。
实验结果
Ex-Omni的实验结果表明，该模型在多个维度上取得了显著成果。在3D面部动画生成方面，Ex-Omni在AlpacaEval和CommonEval基准测试上均优于级联基线。具体而言，在AlpacaEval上，Ex-Omni的Sync-D为9.233（对比Qwen2.5-Omni-3B+EmoTalk的10.538和Qwen2.5-Omni-7B+EmoTalk的10.554），Sync-C为5.385（对比级联基线的3.205-4.343范围）。值得注意的是，在相同级联设置下使用相同任务特定解码器时，不同OLLM骨干网络（Qwen2.5-Omni-3B、Qwen2.5-Omni-7B、Ex-Omni）的性能相对相似，这表明级联方案中整体S2F质量主要由下游任务特定模型决定，而非上游OLLM骨干。相比之下，原生Ex-Omni通过在统一框架内联合生成面部动画和语音，避免了中间语音生成可能引入的信息损失，实现了更同步、更稳定的生成。在语音QA评估上，Ex-Omni在VoiceBench上获得65.53的总分（第二名），仅次于Qwen2.5-Omni-7B的70.42，但在WildVoice、BBH和IFEval等子集上超越了后者。在语音响应质量方面，Ex-Omni在CommonEval上的语音-文本一致性WER仅为3.54，远低于Qwen2.5-Omni-7B的21.72，表明其生成的语音与文本响应高度一致。在延迟方面，原生Ex-Omni的面部生成延迟仅为0.012秒，而级联管道需要0.105-0.117秒，实现了约9倍的加速。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 3D面部动画生成（Speech-to-Face，AlpacaEval） | Sync-D / Sync-C | 9.233 / 5.385 | Qwen2.5-Omni-7B+EmoTalk: 10.554 / 3.273 | Sync-D降低12.5%，Sync-C提升64.5% |
| 3D面部动画生成（Speech-to-Face，CommonEval） | Sync-D / Sync-C | 9.212 / 5.363 | Qwen2.5-Omni-7B+Unitalker-B-D6: 10.856 / 4.012 | Sync-D降低15.1%，Sync-C提升33.7% |
| 语音QA（VoiceBench Overall） | Overall Score | 65.53 | Qwen2.5-Omni-7B: 70.42 | 在WildVoice、BBH、IFEval子集上超越基线 |
| 语音-文本一致性（CommonEval） | WER | 3.54 | Qwen2.5-Omni-7B: 21.72 | WER降低83.7% |
| 面部生成延迟 | Avg Face Latency (s) | 0.012 | Ex-Omni+EmoTalk: 0.110 | 延迟降低89.1% |
局限与改进
论文中存在几个明显的局限性。首先，语音建模能力受限：作者承认在长篇响应（超过60秒）中，语音生成质量会下降，导致语音-文本一致性变差。这主要源于语音生成骨干网络（Qwen3-0.6B）的容量限制。其次，在语音基础的多选推理任务（如MMSU和OBQA）上，Ex-Omni仍落后于最强基线，表明该任务仍需要更广泛的监督。第三，数据集构建依赖于教师模型（Audio2Face-3D）生成的伪标签，而非真实的人脸运动捕捉数据，这可能限制了模型在复杂表情和非中性情绪场景下的表现。第四，实验仅在NVIDIA H20 GPU上进行评估，未在消费级硬件上测试，实际部署可行性存疑。第五，论文未提供与音频驱动3D网格生成方法（如FaceFormer、CodeTalker）的直接对比，仅与参数化方法比较，可能低估了现有方法的能力。此外，从我的观察来看，论文的消融实验仅在AlpacaEval上进行，缺乏在其他基准上的验证；且未讨论模型在不同说话人、不同语言和不同口音下的泛化能力。
独立分析的弱点
基于独立分析，Ex-Omni存在以下弱点及其改进方向：第一，语音生成骨干网络容量不足，导致长篇响应质量下降。改进方向可以是使用更大的语音生成模型（如1.5B或3B参数量），或采用流式生成策略分段处理长文本。第二，数据集依赖教师模型伪标签，缺乏真实人脸运动捕捉数据。改进方向可以是结合小规模高质量的真实捕捉数据进行微调，或开发更先进的伪标签生成方法减少噪声。第三，面部动画输出仅支持52维混合形状系数，表情粒度有限。改进方向可以是扩展到更高维的参数化模型（如FLAME），或结合网格级别的细粒度控制。第四，整体推理延迟仍高于实时（RTF为2.158），主要瓶颈在Qwen3-8B语义推理骨干。改进方向可以是采用模型量化、知识蒸馏或推测解码等加速技术。第五，论文未讨论模型在多人对话、视频会议等实际应用场景中的表现，缺乏实际部署的验证。
未来方向
论文作者和基于现有成果可以延伸的未来研究方向包括：第一，扩展面部动画的表达能力，支持更丰富的情绪表达和非语言线索（如点头、眨眼等头部动作），目前伪标签主要强调中性场景下的唇音同步，复杂情绪场景有待探索。第二，将框架扩展到全身动作生成，实现从面部到全身的自然人类交互模拟。第三，探索实时流式生成方案，当前模型的RTF仍高于1，无法满足实时交互需求。第四，开发更高效的训练策略，减少对大规模配对数据的依赖，例如通过少样本学习或自监督预训练。第五，将TQGF机制推广到其他跨模态生成任务，如语音-手势同步生成、语音-情感同步生成等。第六，探索与具身智能的结合，将面部动画生成集成到机器人交互系统中。第七，研究多语言和多方言下的泛化能力，当前实验主要基于英语数据。
复现评估
从复现评估角度来看，Ex-Omni的复现条件相对友好。代码已在GitHub开源（https://github.com/Tencent/Ex-Omni），提供了完整的模型实现。数据集方面，InstructS2SF-1200K的构建流程已详细描述，但需要访问Emilia、LibriSpeech、WenetSpeech等外部数据源，以及Qwen3-TTS和Audio2Face-3D教师模型。算力需求方面，实验在8块NVIDIA H20 GPU（每块96GB显存）上进行，三阶段训练使用CUDA 12.6、PyTorch 2.7.0和Python 3.10，这对大多数研究团队来说算力门槛较高。训练超参数已详细列出（学习率、批大小、轮数等），但论文未提供完整的训练时间估计。复现难度中等：技术细节清晰，但需要较大的GPU资源和多个外部模型的配合。建议复现时先在单GPU上验证各模块的功能，再扩展到多GPU训练。
论文图表