DyaDiT：面向社交友好的双人手势生成的多模态扩散变换器

DyaDiT生成社交感知的双人对话手势

前置知识

扩散模型 (Diffusion Model)

扩散模型是一类生成模型，通过逐步向数据添加高斯噪声构建前向过程，然后学习逆向过程从噪声中恢复数据。在连续时间设置下，给定初始数据 x_0 和噪声 epsilon，在时间步 t 的状态为 x_t = sqrt(alpha_bar_t) * x_0 + sqrt(1 - alpha_bar_t) * epsilon。训练目标是最小化预测噪声与真实噪声的差异。推理时从随机噪声开始，逐步去噪生成样本。

DyaDiT 基于扩散模型框架，理解扩散过程有助于掌握模型如何从噪声手势逐步生成与对话音频对齐的自然手势序列。

扩散变换器 (DiT, Diffusion Transformer)

DiT 是将 Transformer 架构应用于扩散模型的一种方法，使用自注意力层和交叉注意力层替代传统的 U-Net 结构。在每个 DiT block 中，自注意力层建模潜姿态序列内的时序依赖关系，交叉注意力层融合来自多模态（如音频、社交条件）的上下文信息。DyaDiT 使用标准损失在潜空间训练。

DyaDiT 采用 DiT 作为主干网络，理解其架构有助于理解如何高效建模时序手势序列并融合多种条件信号。

6D 旋转表示 (6D Rotation Representation)

6D 旋转表示是一种连续的姿态参数化方法，用 6 个向量表示旋转矩阵。相比欧拉角（存在万向锁问题）和四元数（非直观），6D 表示在梯度优化时更稳定且无需归一化约束。DyaDiT 中，手势表示为 T x J x 6 的张量，其中 T 是时间步数，J 是上体关节数。这种表示在运动生成任务中被广泛使用。

DyaDiT 使用 6D 旋转表示上体手势，理解该表示有助于理解模型如何表示和生成连续的人体姿态序列。

研究动机

现有对话手势生成方法主要关注单个说话者的音频与动作对齐，忽略了社交背景和双人交互动态。大多数模型将双人音频简单合并为一个混合信号，没有显式区分两个说话者的信号，导致在对话中断、轮流发言等场景中无法准确捕捉交互节奏。此外，现有方法通常不考虑人格、关系等社会因素对手势的影响，使得生成手势缺乏个性化和社交一致性。例如，朋友之间的对话可能更随意，陌生人之间更拘谨，而现有模型无法体现这些细微差异。

本文的目标是本文提出 DyaDiT，旨在从双人对话音频生成社交感知的自然手势，目标是在标准运动生成指标和用户感知评估中超越现有方法，并能够通过关系类型（朋友、陌生人、家庭成员、约会伴侣）和人格特征（外向性、宜人性、尽责性、神经质、开放性）等社交条件生成符合社交背景的手势。

与已有工作不同的是，本文的独特切入角度是从双人交互的社交属性出发，通过显式建模社交条件和设计正交化交叉注意力（ORCA）模块来区分两个音频流，同时引入可学习的运动字典来编码不同社交风格的运动先验。与以往工作（如 ConvoFusion、Audio2PhotoReal）不同，DyaDiT 不仅考虑音频与手势的对齐，还考虑社交背景对手势生成的影响，并首次将人格特征作为条件输入。

核心方法

DyaDiT 是一个基于扩散变换器的多模态框架，整体思路是从双人对话音频生成社交感知的上体手势。模型首先使用 Wav2Vec2 提取两个说话者的音频特征，通过 ORCA 模块正交化两个音频流以减少干扰，然后使用运动字典调制伙伴音频特征以嵌入风格先验。DiT 主干网络在潜空间预测噪声，条件包括正交化后的音频、伙伴手势（可选）、关系类型和人格特征。训练时采用 VQ-VAE 将连续手势离散化，使扩散模型在更紧凑的潜空间操作。推理时从随机噪声逐步去噪生成手势序列，再通过 VQ-VAE 解码器重建连续手势。

核心创新是正交化交叉注意力（ORCA）模块，它通过将说话者自身的音频特征投影到伙伴音频特征的补空间来过滤冗余信息，然后通过双向交叉注意力实现信息交换，最后通过可学习门控融合两个方向的输出。另一个创新是运动字典，它是一组可学习的正交运动基，通过交叉注意力调制伙伴音频特征，其中调制权重与风格相关。这些创新使 DyaDiT 能够生成更协调、响应更快且符合社交背景的手势。

方法步骤详情

方法分为以下步骤：（1）数据准备：从 Seamless Interaction 数据集中选择 3000 个自然对话 clip（约 182 小时），提取上体手势表示为 T x J x 6，提取关系类型标签和人格得分，使用 Wav2Vec2 提取双人音频特征；（2）VQ-VAE 训练：使用残差 VQ-VAE（4 个层次化 codebook）将连续手势离散化为潜 token，下采样因子为 4，潜维度 d=64；（3）ORCA 处理：计算正交化音频 a_self_perp = a_self - MLP(a_other)，然后通过双向交叉注意力交换信息，最终融合为 f_audio；（4）运动字典调制（可选）：通过交叉注意力使用运动基调制伙伴音频；（5）DiT 训练：输入噪声潜姿态 x_t，预测噪声，条件包括 f_audio、伙伴手势、关系和人格嵌入，最小化标准扩散损失；（6）推理：使用 DDIM 调度器从随机噪声逐步去噪，生成潜姿态，通过 VQ-VAE 解码器重建连续手势。

技术新颖性

技术新颖性体现在三个方面：（1）首次将人格特征作为条件输入对话手势生成模型，使生成的手势能够反映特定人格特质；（2）提出的 ORCA 模块通过正交化和双向交叉注意力创新性地解决了双人音频流的干扰问题，相比简单拼接或标准交叉注意力，能更清晰地分离两个说话者的声音贡献；（3）引入离散运动字典作为风格先验，与连续表示相比，离散基元能更好地捕捉多样化的社交交互风格，消融实验显示离散版本在多样性指标上显著优于连续版本。此外，模型在 VQ-VAE 潜空间训练，相比直接在原始姿态空间训练，能更高效地捕捉长程依赖。

**Figure 1**: DyaDiT generates socially aware conversational gestures from dyadic audio, conditioned on social factors such as relationship and personality traits, achieving natural and contextually appropriate reactions that outperform prior methods in both quantitative and user evaluations.

**Figure 2**: Overview of DyaDiT. DyaDiT conditions on multiple input modalities, including audio, partner motion, relationship type, and personality scores. It employs an Audio Orthogonalization Cross Attention (ORCA) module to obtain cleaner audio representations and a motion dictionary to guide style aware gesture generation.

**Figure 3**: ORCA reduces ambiguity between the two audio streams, allowing DyaDiT to generate realistic motion even when one person interrupts the other during the conversation. The example demonstrates the generated motions adjusts naturally as the conversation shifts.

实验结果

核心发现包括：（1）在标准指标上，DyaDiT 全面超越基线方法。Fréchet Distance (Static) 方面，DyaDiT 为 6.40，ConvoFusion 为 9.22，Audio2PhotoReal 为 8.77，DyaDiT 相比 ConvoFusion 降低 30.6%；Diversity (Static) 方面，DyaDiT 为 27.46，ConvoFusion 为 18.33，Audio2PhotoReal 为 19.35，DyaDiT 相比 ConvoFusion 提升 49.7%。（2）消融实验验证了各组件贡献：移除 ORCA 后 FD(Static) 从 6.40 上升到 7.32，证明其提升动作真实性的作用；用标准交叉注意力替换 ORCA 后 FD(Static) 为 7.82，进一步证明正交化的必要性；移除运动字典后 Diversity(Static) 从 27.46 下降到 18.34，证明其对风格多样性的贡献。（3）用户研究显示 DyaDiT 在感知评估中显著受偏好。16 名参与者评估 56 个 10 秒序列，结果显示 DyaDiT 在整体质量上 73.9% 的参与者偏好，关系一致性 69.8%，人格一致性 66.7%，所有结果均显著优于随机选择。更有趣的是，与真实 ground truth 相比，DyaDiT 在整体质量和人格一致性上分别获得 1.0% 和 1.7% 的偏好，可能因为扩散生成的手势更平滑且社交条件鼓励更丰富的手势。（4）不同人格条件下生成的手势呈现明显差异，外向性高的条件生成更多大幅手势，宜人性高的条件手势更温和，这验证了社交条件化的有效性。

**Table 1**: Quantitative comparison of DyaDiT and baselines in terms of Fréchet Distance (FD) and Diversity. Lower FD indicates higher realism, and higher diversity values indicate more varied motion generation.

**Figure 4**: Qualitative Results. Comparison of visualization results between DyaDiT, ConvoFusion [31], and Audio2PhotoReal [3]. The gestures generated by DyaDiT exhibit higher diversity and greater realism compared to the other methods.

**Figure 5**: Visualization results under different personality score conditionings. All samples are generated using classifier-free guidance with CFG = 2.5.

**Figure 6**: Example video pairs used in the user study for evaluating participant preference in conversational gesture generation.

**Figure 7**: A/B subjective evaluation percentages comparing our method with ConvoFusion[31] and with ground truth. Participants preferred our generated motion due to its more natural and socially aware conversational behavior.

查看结构化数据

任务	指标	本文	基线	提升
双人对话手势生成	Fréchet Distance (Static)	6.40	ConvoFusion: 9.22, Audio2PhotoReal: 8.77	相比 ConvoFusion 降低 30.6%，相比 Audio2PhotoReal 降低 27.0%
双人对话手势生成	Fréchet Distance (Kinetic)	1.37	ConvoFusion: 1.74, Audio2PhotoReal: 1.84	相比 ConvoFusion 降低 21.3%，相比 Audio2PhotoReal 降低 25.5%
双人对话手势生成	Diversity (Static)	27.46	ConvoFusion: 18.33, Audio2PhotoReal: 19.35	相比 ConvoFusion 提升 49.7%，相比 Audio2PhotoReal 提升 41.9%
用户偏好评估	整体质量偏好率	73.9%	ConvoFusion: 26.1%	提升 47.8 个百分点，显著优于基线
用户偏好评估	关系一致性偏好率	69.8%	ConvoFusion: 30.2%	提升 39.6 个百分点，显著优于基线

局限与改进

局限性包括：作者承认模型受限于数据集规模和多样性，Seamless Interaction 数据集虽然包含丰富的自然对话，但可能无法覆盖所有社交场景和人格组合。此外，人格特征可能隐含在音频中，这会降低显式人格条件的可控性和多样性，因为模型可能主要从音频推断人格而非使用显式标签。模型当前只生成上体手势，全身手势生成仍是未来工作。作者还提到可能存在条件冲突问题，例如音频暗示的社交信号与显式社交标签不一致时，模型的行为难以预测。我们观察到模型在生成听者手势时多样性相对受限，这在消融实验中也有体现（移除社交条件后多样性下降），这可能是因为听者行为本身在数据集中变化有限。此外，用户研究参与者主要是 25-35 岁有 CS 背景的人群，结果的普适性需要更多样化的用户群体验证。

独立分析的弱点

独立分析的弱点包括：（1）条件冲突问题：当音频隐含的社交信号（如语调暗示亲密关系）与显式社交标签（如陌生人）不一致时，模型可能生成矛盾的手势。改进方向是设计显式的冲突检测机制或使用因果推断方法解耦音频中的社交信号；（2）听者手势多样性受限：在双人设置中，听者行为本身变化有限，导致模型生成听者手势时多样性不足。改进方向是引入更丰富的听者响应策略或使用对抗训练鼓励更多样化的听者行为；（3）人格条件效果有限：用户研究中人格一致性的偏好率（66.7%）低于整体质量和关系一致性，可能因为人格标签是连续值且难以被非专业用户准确判断。改进方向是设计更直观的人格可视化辅助用户判断，或使用离散人格原型替代连续得分；（4）上体限制：模型只生成上体手势，无法表达脚部动作等全身互动线索。改进方向是扩展模型支持全身手势生成，但这需要更丰富的数据集支持；（5）实时性不足：扩散模型需要 50 步去噪，推理时间较长，难以支持实时交互。改进方向是探索一步生成或蒸馏技术加速推理。

未来方向

未来研究方向包括：作者提出探索音频中性化技术以更好地解耦社交 cues，这有助于提高显式社交条件的可控性。作者还计划收集更多样的双人手势数据集，使用现有的人体重建管线实现全身手势生成。基于本文成果，可延伸的研究方向包括：（1）双人手势生成：当前模型只生成一个说话者的手势，未来可扩展为同时生成两个交互者的手势，实现完整的双人交互模拟；（2）多轮对话场景：当前模型处理固定长度对话，未来可支持长对话建模，考虑多轮对话中的手势演变；（3）跨文化社交风格：不同文化背景下的社交手势规范不同，未来可探索文化感知的手势生成；（4）个性化适应：根据用户反馈在线调整手势风格，实现个性化数字人；（5）与语言模型集成：将 DyaDiT 与大语言模型（如 GPT-4.5、LLaMA）结合，实现从文本到完整交互（包括语音、手势、表情）的端到端生成；（6）虚实混合场景：将生成手势应用于 VR/AR 虚拟社交场景，探索实时交互中的手势适应策略。

复现评估

复现评估方面，论文提供了开源代码和模型，链接为 https://puckikk1202.github.io/dyadit_hp/，这大大降低了复现难度。使用的 Seamless Interaction 数据集是公开的，但作者使用的是精心策划的 3000 个 clip 子集（约 182 小时），具体筛选标准在论文中有描述，但筛选脚本可能未完全开源，这可能影响数据准备的一致性。VQ-VAE 和 DiT 的架构细节在论文中有详细描述，但超参数（如学习率、批大小、训练轮数）在论文中未完全披露，可能需要查看代码才能复现。算力需求方面，训练 VQ-VAE 和 DiT 需要较大 GPU 资源，作者未具体说明硬件配置，但根据模型规模估计需要多块高端 GPU（如 A100）。推理阶段相对轻量，单块 GPU 即可运行。整体复现难度中等偏高，主要挑战在于数据准备和训练资源。开源代码质量、文档完善度和预训练模型可用性将显著影响复现体验。

DyaDiT：面向社交友好的双人手势生成的多模态扩散变换器 DyaDiT: A Multi-Modal Diffusion Transformer for Socially Favorable Dyadic Gesture Generation