Motion-Omni：面向语音对话的端到端联合语音与全身动作生成框架 Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue
让对话模型在生成语音的同时原生输出表情与全身动作，比级联方案快5.4倍且保住动作质量
前置知识
共语动作（co-speech motion）
指伴随说话同步产生的人体动作，涵盖面部表情、手部手势、上半身躯干与下半身运动。这类动作承载着补充和强化言语的信息，例如列举时掰手指、肯定时点头。生成模型通常以语音音频为条件，在 30Hz 帧率上逐帧预测各身体部位的姿态参数（SMPL-X 关节旋转 + FLAME 表情系数）。
本文的任务就是让对话模型原生生成共语动作，理解它与语音的节律耦合关系，是理解全文动机、动作损失设计和 BC 等评价指标的前提。
口语对话模型（SDM）
以语音为输入和输出的对话大模型，如 SpeechGPT、LLaMA-Omni、GLM-4-Voice、Qwen2.5-Omni。典型做法是用语音编码器把用户音频编码为连续表示喂给 LLM，再由语音解码器（如 12.5Hz 离散语音单元加流匹配声学解码）自回归地生成回复语音。它们只出声音，不产生身体动作。
Motion-Omni 正是在 SDM 骨架（Qwen2.5-7B + Whisper-large-v3 + GLM-4-Voice 语音单元）上扩展动作输出，熟悉这套组件才能读懂其四模块架构与四阶段训练课程。
VQ-VAE 与离散动作码本
向量量化变分自编码器把连续动作序列压缩为离散码本中的 token 序列。本文复用 LOM 的四个部位专用 VQ-VAE（面部/手/上身/下身，码本大小 $|C|=256$，30Hz，无时间下采样），使动作可以像文字一样用交叉熵分类损失建模，再由冻结解码器还原为 SMPL-X/FLAME 参数。
Motion Generator 的预测目标就是这四个部位的 VQ 码，动作损失的部位权重、数据质量评分 $L_{vq1}$ 以及动作质量上限都由该码本决定。
教师伪标签（teacher pseudo-labeling）
缺乏大规模成对数据时，用预训练模型（教师）为无标注样本生成监督信号。本文用共语动作模型 LOM 给每条回复音频打上全身动作标签，再用双指标质量打分排序筛选，最终得到 1,402 小时的伪标签监督，替代昂贵的多说话人动捕采集。
这是本文数据管线的核心，也解释了为什么动作评测要用 teacher-reference FGD、为什么动作质量的天花板是教师模型本身。
级联推理与实时率 RTF
级联指先由语音模型生成完整音频，再把成品音频交给独立的音频转动作模型，两步各自完整推理一次；动作目标因此无法反向更新语音模型参数。RTF（实时率）$= T_{resp}/T_{user}$，即总响应时长除以用户语音时长，RTF < 1 表示系统比实时还快。
级联是全文对比的基线，5.4 倍加速的核心卖点、以及「联合适配是否必要」的消融实验都围绕级联的两个结构性代价展开。
研究动机
语音对话模型（GLM-4-Voice、Qwen2.5-Omni 等）与共语动作生成模型（TalkShow、EMAGE、LOM 等）分属两个模型家族：前者只产出语音，后者只从给定音频生成动作。最直接的补救是级联——先生成完整语音回复，再把成品音频交给动作模型跑第二次完整推理。这带来两个结构性代价：其一，延迟几乎翻倍，例如 Qwen2.5-Omni+LOM 级联在 SwDA-500 上平均响应 99.08 秒（RTF=18.34），完全无法实时；其二，动作目标永远无法反向更新语音与对话参数，两个模态之间不存在任何联合优化。数据侧同样受限：SDM 通常朝单一固定目标音色训练，而采集型视听语料（如 Seamless Interaction）记录了大量不同说话人的声音，无法大规模提供与目标音色配对的动作监督。评测侧，现有全身动作基准假定语音是固定输入，带受控生成语音的口语评测只覆盖面部动画，没有任何公开基准能评估模型自身随机生成的开放式回复是否伴随恰当的全身动作。
本文的目标是本文要回答一个明确问题：全身动作能否成为口语对话模型的原生输出——从产生语音的同一批隐状态直接生成，同时不牺牲动作质量与口语对话能力，从而一次性消除级联的两个结构性代价。具体分解为三个子目标。架构上，弥合 12.5Hz 语音单元与 30Hz 动作之间的速率失配，并让动作梯度能够共同更新 LLM、语音生成器与动作生成器而不损害对话能力；数据上，构造一条可扩展、模型无关的管线，把固定音色的语音指令回复自动转化为（文本, 语音, 全身动作）配对监督，并给出质量排序以支撑训练课程；评测上，发布 SwDA-500 评测集与首个面向随机开放式全身口语对话的公开评测协议，统一渲染、自动指标、人评与延迟测量，使不同系统的动作在相同音频下公平比较。
与已有工作不同的是，已有的 spoken motion 模型各自只放松级联配方的一部分：SOLAMI 用自回归骨干联合预测语音与身体/手部 token，但面部动画由事后的音频转面部模型生成；U-Mind 用单一骨干生成文本、声学与 SMPL-X pose token，但未明确原生面部输出，也未隔离动作监督对语音生成状态的影响；Ex-Omni 联合优化 LLM、语音生成器与 52 维 ARKit 面部解码器，但只覆盖脸；ViBES 冻结 GLM-4-Voice 语音专家，虽保住语音能力，却使动作梯度无法更新语音部件；MIBURI 从 Moshi 流式状态因果生成全身手势与表情，但不报告 Moshi 的动作损失适配，且面向流式交互。Motion-Omni 的独特切入是同时做到三件事：显式输出面部+手部+上半身+下半身四个部位；让动作目标端到端共同适配 LLM、语音生成器、动作生成器三个独立模块；用模型无关的教师伪标签课程解决监督规模问题，并配套首个公开评测协议。
核心方法
直觉是：动作应当从「正在决定说什么」的那份内部表示中直接长出来，而不是等音频渲染完再事后补画。技术上是四组件流水线：语音投影器把冻结 Whisper-large-v3 编码器（1280 维）的帧特征每 5 帧拼接、经两层 MLP 降采样 5 倍后送入 LLM 词嵌入空间；LLM 骨干为 Qwen2.5-7B-Instruct；语音生成器由 Qwen2.5-0.5B-Instruct 初始化（宽度 896），经 TQGF 门控融合读取 LLM 隐状态，自回归输出 GLM-4-Voice 的 12.5Hz 离散语音单元（词表 16,384+3 个控制符）；部位感知动作生成器用 4 个并行解码器在 30Hz 上分别输出 LOM 的面部/手部/上身/下身 VQ 码。双输入条件接口弥合速率失配：动作解码器以语音生成器末层隐状态 $Z = H_s W_h$ 为 key/value，以语音 token 嵌入线性插值到 30Hz 的 $Q = \mathrm{Interp}\, E[u] W_e$ 为 query。推理时语音单元经 CosyVoice 分块感知流匹配解码为 mel、HiFi-GAN 输出 22.05kHz 波形，动作码由冻结 LOM VQ-VAE 解码为 SMPL-X/FLAME 参数。
核心创新有两条。其一，条件于隐状态而非波形：$Z = H_s W_h$ 直接用语音生成器末层隐状态充当 K/V，而不是先解码出音频再喂给动作模型，从根上删掉了独立的音频转动作推理阶段；且该表示同时携带声学计时与回复语义，动作与语音天然同步。其二，联合适配被证明是必需品而非可选项：试点实验中冻结语音生成器时动作损失在高处平台化、渲染动作与音频明显错位；共同更新语音生成器后损失进一步下降、对齐恢复。其原理是多模态共学习：动作监督通过共享状态保留语音中与运动相关的计时和语境线索，语音监督又约束这些状态保住对话能力。配套的数据管线用双指标质量分 $s(x) = \alpha(1 - f_{L_{vq1}}) + (1-\alpha)BC_f$（$\alpha=0.5$，5–95 分位稳健归一化）把伪标签噪声转化为课程信号——$L_{vq1}$ 保证标签保真（码本可靠表示动作），BC 保证语音-动作节律耦合。
方法步骤详情
四阶段渐进训练，全程冻结 Whisper 编码器与 LOM VQ-VAE。阶段 1（ASR）：只训语音投影器， 占位符由投影特征填充，交叉熵只作用于转写 token，数据 1,572,119 条/4,295.8 小时。阶段 2（TTS）：LLM 冻结，训练语音生成器在 TQGF 融合下自回归输出目标语音单元，数据 1,642,715 条/4,517.0 小时。阶段 3（TTSM）：挂上动作生成器，LLM 与投影器冻结、语音生成器与动作生成器联合训练；数据为 LOM 教师标注的 422,856 条/1,402.3 小时，按质量分四子阶段课程（12.5%/25%/50%/100% 分位逐级放大并热启动），直接全量训练会发散；动作损失 $\mathcal{L}_{motion}=\sum_b w_b \mathcal{L}_{CE}^{(b)}$，权重 face:hand:upper:lower = 106:180:78:61（正比于特征维数），标签平滑 0.1。阶段 4（联合混合）：解冻全部模块，做 ASR/TTS/S2SM/T2T 四任务混训（724,508 条/1,929.4 小时）；其中 T2T 约 21.3 万条取自 SODA、WildChat、Tulu-3 等六个文本数据集，去掉它回复会更频繁复读用户输入。总参数约 8.3B，4 卡 DeepSpeed ZeRO-2、BF16、有效 batch 128，共约 960 GPU 小时。
技术新颖性
新颖性在于经过消融验证的组合与训练配方，而非单点组件——Whisper、Qwen、GLM-4-Voice 单元、LOM 码本、CosyVoice 解码器都是现成的，但把它们接起来的方式是新的。第一，「动作 K/V 来自语音生成器隐状态 + 语音 token 插值 query」的双流接口是原创设计；融合消融（表 11）显示 TQGF/语音生成器 K/V 的 BC=0.912 优于 TQGF/LLM K/V（0.827）与普通交叉注意力（0.905），说明动作需要的是富含声学计时和音色的那层表示，而非纯语义的 LLM 层。第二，「动作梯度更新语音通路」被消融证明是语音-动作对齐的必要条件，这与 ViBES 等冻结语音专家的做法形成鲜明对照。第三，双指标质量分级课程解决了伪标签直接训练发散的问题：教师参考 FGD 从 Stage 3a 的 0.3974 单调降到 3d 的 0.3075、Stage 4 的 0.3040。第四，评测协议首次用匹配生成音频跨系统对比动作，避免回复内容与韵律差异混淆动作比较。第五，附录如实报告了视频 LLM-as-judge 校准失败的负结果，这种透明度在同类工作中少见。
实验结果
（1）语音可懂度：Seed-TTS-Eval test-en 的 WER 为 2.62%，是对比全模态 LLM 中最低（Qwen2.5-Omni 2.67%、Ex-Omni 2.72%），但高于若干专用 TTS（Qwen3-TTS 达 1.24%）；UTMOSv2 自然度 3.77，高于 GLM-TTS/F5-TTS/CosyVoice，低于 Qwen3-TTS（4.05）与 CosyVoice 3（3.92）。（2）对话能力保留：VoiceBench 总分 47.63，高于 LLaMA-Omni（41.12）、Ex-Omni（43.57）、Moshi（29.51）。（3）动作质量（表 3，SwDA-500）：八个指标中七个第一或第二；在不运行 LOM 教师的系统中 BC 最高（7.59）、多样性最高（13.67），唇同步 LSE-C/LSE-D 与面部 MSE/LVD 均为最佳；教师参考 FGD 3.03 全场最低；超过它的只有同音频教师级联 MO-audio+LOM（BC 7.67）。（4）人评（表 4）：对 MO-audio+EMAGE 三维合计 45/10/20（净胜 +25），对教师 MO-audio+LOM 为 25/27/23（+2，并列最多）；作者归因于基线训练语料 BEAT2 混入独白/演讲数据导致「演讲腔」。（5）延迟（表 5）：完整语音+动作响应 4.32 秒（RTF=0.78，快于实时），比同音频教师级联（23.35 秒）快 5.4 倍，比 Qwen2.5-Omni+LOM（99.08 秒）快约 23 倍。（6）消融：课程各阶段教师参考 FGD 从 0.3974 单调降至 0.3040；冻结语音生成器的试点动作明显错位，证实联合适配必要。（7）负结果：视频 LLM-as-judge 与人评最高相关仅 +0.32，动作维度 $r\le 0.18$，成对排序一致率仅 4/13（$\kappa=0.079$），被从主评测中移除。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 语音可懂度（Seed-TTS-Eval test-en） | WER (%) ↓ | 2.62 | Qwen2.5-Omni 2.67 / Ex-Omni 2.72（全模态 LLM 对比组） | 全模态 LLM 中最低，领先 0.05–0.10 个百分点 |
| 语音自然度代理（SwDA-500 音频） | UTMOSv2 ↑ | 3.77 | GLM-TTS 3.31 / F5-TTS 3.15 / Qwen3-TTS 4.05 | 超过四款专用 TTS，仍落后 Qwen3-TTS 与 CosyVoice 3（3.92） |
| 口语对话能力（VoiceBench 九子集） | Overall ↑ | 47.63 | LLaMA-Omni 41.12 / Ex-Omni 43.57 / Moshi 29.51 | +4.06 ~ +18.12，验证联合动作训练未损害对话能力 |
| 动作节律对齐（SwDA-500） | BC ↑ (×10⁻¹) | 7.59 | MO-audio+EMAGE 7.32 / MO-audio+GestureLSM 7.49 | 非教师系统中最高；仅教师级联 MO-audio+LOM（7.67）更高 |
| 动作多样性（SwDA-500） | Diversity ↑ | 13.67 | MO-audio+EMAGE 10.95 / Qwen2.5-Omni+EMAGE 11.67 | 非教师系统中最高 |
| 动作分布保真（SwDA-500，教师参考） | FGD ↓ (×10⁻¹) | 3.03 | MO-audio+GestureLSM 3.17 / Qwen2.5-Omni+GestureLSM 3.29 | 所有已计算系统中最接近 LOM 教师分布 |
| 面部保真（SwDA-500） | MSE ↓ / LVD ↓ | 6.723 / 6.427 | MO-audio+EMAGE 7.627 / 7.291 | 全面最佳 |
| 唇同步（渲染视频 + SyncNet） | LSE-C ↑ / LSE-D ↓ | 7.011 / 7.023 | MO-audio+EMAGE 6.643 / 8.094；MO-audio+MambaTalk 6.797 / 7.955 | 参考自由指标全面最佳 |
| 端到端响应延迟（SwDA-500，单 GPU） | Tresp (s) ↓ / RTF ↓ | 4.32 / 0.78 | MO-audio+LOM 23.35 / 4.39；Qwen2.5-Omni+LOM 99.08 / 18.34 | 较同语音教师级联快 5.4×，快于实时（RTF<1） |
| 人评动作偏好（同音频，25 对×3 维） | 胜/平/负 合计 | 对 MO-audio+EMAGE 45/10/20 | MO-audio+EMAGE | 净胜 +25；对教师 MO-audio+LOM 为 25/27/23，基本持平 |
| 融合结构消融（Stage 3a） | BC ↑ | TQGF/语音生成器 K/V = 0.912 | TQGF/LLM K/V 0.827；交叉注意力 0.905；FiLM 0.852 | 语音生成器上下文 + 门控融合的组合最优 |
局限与改进
作者承认的局限：动作质量受 LOM VQ-VAE 码本与教师伪标签约束，分布外动作无法表达；只训练了 Qwen2.5-7B 这一个实例；不条件于说话人身份或情绪；训练数据全英文，跨语言与跨动作文化泛化存疑；模型须吞下完整用户话语再整句生成，是离线响应生成器而非流式交互模型；FGD/BC 是不完美的感知代理；四人 A/B 人评属探索性质，缺少更大规模非作者人评；视频 LLM-as-judge 校准失败已被弃用。我的补充观察：第一，评测存在循环性——训练目标、FGD 参考分布、最强基线都是 LOM，结论「接近教师」部分是构造使然；第二，SwDA-500 没有真实动作参考，无法回答「是否像真人对话动作」这一根本问题；第三，四个部位解码器共享上下文但互不交叉条件，手与躯干可能出现解剖上不协调的采样；第四，人评规模极小（每臂 25 对、4 人多数投票），+1/+2 的差距（如对 MO-audio+LOM）没有统计意义，作者自己也声明不据此下结论；第五，BCbi 与人评节律判断的一致率仅 46%、未高于随机水平，说明自动节律指标的感知效度堪忧。
独立分析的弱点
（1）教师天花板与循环评测：动作上限被 LOM 锁死，FGD 的参考分布也是 LOM，训练与评测偏向同一种动作风格。改进方向：管线本身模型无关，可换更强教师重生成伪标签，或引入小规模真实动捕对话数据做风格校准与去偏评测。（2）动作分布窄：全部监督来自同一教师在英文对话语料上的输出，多语言、多文化手势习惯、个性化风格均无法表达。改进方向：加入说话人身份/情绪条件，扩大多语言数据。（3）部位解码器独立采样：face/hand/upper/lower 只共享上下文而不互相条件，长序列中可能出现肢体不协调或穿模。改进方向：轻量部位间交叉注意力或联合码本。（4）非流式架构：必须等用户说完且整句生成完才有输出，无法支持打断与轮次交互（与 MIBURI 的定位差异）。改进方向：分块动作解码、流式语音-动作联合架构，并配套新的延迟/轮次评测协议。（5）人评与自动指标的效度缺口：BCbi 与人评一致率 46% 未超随机，LLM-as-judge 彻底失败，说明该领域缺乏可信的规模化评测。改进方向：开展更大规模众包人评并据此校准感知对齐的自动指标。（6）语音自然度差距：UTMOSv2 3.77 明显落后 Qwen3-TTS（4.05）与 CosyVoice 3（3.92），语音生成器是短板，可升级为更强的语音专家并扩大 TTS 训练数据。
未来方向
作者明确提出的方向：换用更强 LLM 骨干与更大规模的共语动作教师重新实例化；用连续动作头摆脱 VQ 码本的表达上限；引入说话人身份与情绪条件；扩展到英语以外语言与动作文化；设计流式低延迟交互架构及其评测协议（如 MIBURI 类系统）。基于本文成果可自然延伸的方向：把双指标质量分级课程推广到其他模态的伪标签构建（如视频生成、手语翻译）；以人评三维度（节律 R1、语义 R2、自然度 R3）为奖励做强化学习或偏好优化，直接优化感知质量而非代理指标；大规模校准 BCbi 等双向节律指标与人的一致性（附录 B.2 显示当前 46% 一致率不显著）；构建全双工、可打断的语音-动作联合轮次模型；把 T2T 组件替换为推理/工具使用数据，使数字人能边思考边做语义手势；研究对话历史感知的手势一致性，让同一会话中的动作风格保持连贯；以及利用公开的校准工件（LLM-as-judge 标注、提示词、IAA 工具）推动多模态评测方法学研究。
复现评估
复现条件总体良好。代码与数据承诺在 GitHub 与 Hugging Face 发布，LLM-as-judge 校准工件（标注、IAA 报告、提示词）也计划随附。可复现细节完整：架构与条件拓扑在 3.1–3.2 节与附录 A 给出（含 TQGF 公式），每阶段超参数见表 8，动作生成器结构见表 7，损失构成见式 (7)；数据管线完全基于公开语料（InstructS2S-200K、Ex-Instruct 英文子集、六个 T2T 数据集），SwDA-500 给出明确筛选规则（覆盖全部 66 个 SwDA 主题、每主题 7–8 轮）；渲染与人评协议在附录 C/D 公开（统一渲染管线、随机化 A/B 顺序、rubric 全文）。算力门槛：4 GPU、约 960 GPU 小时、8.3B 参数、DeepSpeed ZeRO-2 + BF16 + 梯度检查点，属中小实验室可负担范围。风险点：依赖一长串外部组件的确切版本（Whisper-large-v3、Qwen2.5-7B/0.5B、GLM-4-Voice tokenizer、CosyVoice、LOM emage_vq、Meshcapade 资产），其中 Meshcapade 网格与纹理有许可要求；人评环节需 4 名受训标注者。综合评级：复现难度中等——流程文档化程度高，但组件链条长，环境与许可对齐需下功夫。
论文图表
