SARAH：空间感知的实时智能体人体运动生成 SARAH: Spatially Aware Real-time Agentic Humans
首个实时空间感知对话运动生成方法，使虚拟智能体能实时响应用户位置并生成自然对话动作
前置知识
变分自编码器（VAE）
VAE是一种生成模型，通过编码器将高维数据映射到低维潜在空间的分布参数（均值和方差），再通过解码器从采样的潜在向量重建原始数据。其核心思想是通过KL散度约束潜在空间分布接近标准正态分布，从而学习有意义的数据表示。在运动生成领域，VAE可以将高维的人体运动序列压缩到紧凑的潜在表示中，降低后续生成模型的计算复杂度。
本文提出的因果Transformer VAE是核心组件之一，理解VAE的工作原理对于理解其如何实现流式推理至关重要
流匹配（Flow Matching）
流匹配是一种生成建模方法，通过学习从噪声分布到数据分布的传输过程来生成样本。与扩散模型不同，流匹配直接学习速度场，其中流动时间是插值后的潜在变量。训练目标是预测从噪声到数据的直线路径上的速度。
本文采用流匹配而非扩散模型作为运动生成器，这直接影响了实时性能的实现方式
分类器自由引导（Classifier-Free Guidance）
CFG是一种在生成模型中增强条件控制的技术。训练时随机丢弃条件信号（以一定概率），推理时通过线性组合有条件和无条件的预测来增强条件效果。这使得模型在保持多样性的同时能更好地遵循给定的条件。
本文利用CFG实现可调节的凝视控制，通过凝视分数g的引导来控制智能体的眼部接触强度
近体学（Proxemics）
近体学研究人际交往中的空间行为，包括人际距离、身体朝向和眼神接触等非语言信号。在对话中，人类会自然地朝向对话伙伴、根据对方移动调整姿势、调节眼神接触以表示参与度。这些空间行为受个人偏好、社交情境和文化规范影响，是实现自然人机交互的关键因素。
本文的核心贡献就是首次实现了对细粒度近体学行为的建模，使虚拟智能体具备空间感知能力
因果注意力（Causal Attention）
因果注意力是一种注意力机制变体，其中每个位置只能关注其之前的位置，不能看到未来信息。通过注意力掩码实现：位置i只能计算与位置j≤i的注意力权重。这与双向注意力（如BERT中使用的）形成对比。因果注意力确保了模型的自回归特性，支持流式推理，即在生成当前帧时不需要等待未来帧的信息。
本文的VAE和流匹配模型都采用因果注意力，这是实现实时流式推理的关键设计
研究动机
随着虚拟现实、远程呈现和数字人应用的快速发展，具身对话智能体的需求日益增长。然而，现有方法生成的智能体运动存在严重的空间感知缺陷：当用户在智能体周围走动时，智能体只会呆板地盯着前方，或者在用户说话时随意走开，这会立即破坏临场感。具体而言，现有方法主要存在四个问题：（1）大多数手势生成方法是单体的，只基于音频或文本为单个说话者合成运动，完全没有对对话者的位置感知；（2）少数双人对话方法假设参与者静止且面向前方，模拟的是视频通话而非动态的面对面交互；（3）最流行的生成模型要么太慢无法实时部署，要么需要访问未来帧信息，无法支持流式推理；（4）现有双人对话数据集缺乏学习反应性行为所需的空间动态。以MDM为代表的扩散方法运行速度仅为90 FPS，A2P同样为90 FPS，而SHOW虽然达到230 FPS但存在严重的脚部滑动问题（0.27 vs 本文的0.01）。
本文的目标是本文的目标是开发第一个实时、完全因果的空间感知对话运动生成方法，能够在VR头显上部署。具体而言，给定用户的位置和双人音频输入，系统需要生成符合四个标准的智能体全身运动：（1）对话适配性——手势应与语音自然对齐；（2）空间感知性——智能体应朝向并对用户移动做出反应；（3）可控性——凝视参与度应可根据不同情境和偏好调整；（4）实时性——生成必须是因果和流式的，不访问未来信息，实现超过300 FPS的推理速度。
与已有工作不同的是，本文的独特切入角度是将学习与控制解耦：从数据中学习空间对齐的自然分布，捕获从持续眼神接触到故意回避的凝视行为，然后在推理时应用轻量级引导机制来校准朝向。这种分离使得模型生成的运动既自然（来自学习的分布）又可控（朝向期望的凝视强度）。与现有方法的本质区别在于：（1）首次将用户位置作为显式条件输入，而非仅依赖音频隐式编码空间信息；（2）提出因果Transformer VAE，通过交错潜在标记实现流式推理，而非传统VAE在序列起始放置全局潜在标记；（3）引入基于点积的凝视分数g，结合CFG实现推理时的凝视控制。
核心方法
SARAH的方法可以这样理解：想象一个在VR中与用户对话的虚拟角色，它需要像真人一样——当用户走到左边时转头看向左边，当用户走近时保持适当距离，同时配合说话内容做出自然的手势。系统的工作流程是：首先，用一个因果VAE将高维的人体运动序列压缩到低维潜在空间，通过交错的潜在标记设计支持流式推理；然后，用一个流匹配模型在潜在空间中生成运动，条件是用户的位置轨迹和双方的音频；最后，通过凝视分数和分类器自由引导，让用户在推理时可以调节智能体的眼神接触强度。整个系统采用完全欧几里得运动表示（而非传统的关节角），避免了逆运动学中的误差传播和歧义问题。
本文的核心创新是解耦学习与控制的范式，以及实现这一范式的三个关键技术组件。首先，因果Transformer VAE通过交错潜在标记（每s个时间步插入mu_k, sigma_k标记）实现流式推理，每个标记只关注前面的帧和之前的潜在标记，避免了传统VAE需要整个序列的问题。其次，完全欧几里得运动表示将每个关节编码为三维二十面体，通过SVD恢复朝向，消除了关节角表示的歧义性——多个关节配置可能产生相同的末端位置。第三，凝视分数g是朝向方向d_x和指向用户方向d_y的点积，直观地表示智能体是否面向用户（g≈1）、垂直看（g≈0）还是背对用户（g≈-1）。这使得凝视控制从运动生成中解耦出来，训练时从数据学习自然分布，推理时通过CFG引导到期望范围。
方法步骤详情
方法的具体步骤如下：（1）运动表示：每个关节j表示为三维二十面体，12个顶点的质心给出全局位置，通过SVD与参考二十面体比较恢复全局朝向，加上外壳网格捕捉表面几何，归一化相对于第一帧。（2）因果VAE编码：输入序列按交错排列，编码器使用因果自注意力，每个mu/sigma标记只关注前面的帧和之前的潜在标记，输出K=T/s个潜在向量。（3）流匹配训练：从噪声通过插值到数据，学习速度场，条件为用户位置、音频和凝视分数，使用AdaLN注入流动时间步。（4）流式推理：维护历史缓冲区，生成大小为s的块，通过imputation保持时间一致性，每个块使用中点求解器4次迭代（8 nfe步骤），实现60 FPS实时性能。（5）凝视控制：计算朝向方向和用户方向，凝视分数为两者的点积，推理时通过CFG引导到目标值。
技术新颖性
SARAH的技术新颖性体现在多个层面。首先，这是第一个实现实时空间感知对话运动生成的方法，填补了该领域的空白。其次，因果VAE的交错潜在标记设计是原创的——不同于传统Transformer VAE在序列起始放置全局潜在标记（需要双向注意力），本文在固定时间步长处交错插入mu_k, sigma_k标记，实现真正的因果编码和解码。第三，完全欧几里得运动表示（三维二十面体编码）避免了关节角表示的固有歧义，直接预测末端位置而无需逆运动学，实验显示这带来了更好的凝视对齐（0.83 vs 0.72）和更少的脚部滑动（0.01 vs 0.03）。第四，凝视分数的设计简洁而有效，只需计算两个单位向量的点积，结合CFG就能实现推理时的精细控制，且不影响运动的自然性——当g=0.8时甚至降低了FGD（0.92 vs 1.28）。
实验结果
本文在Embody 3D数据集（约50小时双人对话数据）上进行了全面评估，取得了多项重要发现。首先，SARAH在FGD（Fréchet Gesture Distance）指标上达到1.28，显著优于MDM的3.48和A2P的2.01，虽然略高于检索基线NN的0.90，但检索方法无法满足空间感知要求。其次，空间感知能力方面，SARAH的凝视对齐分数为0.83，与使用未来信息的MDM（0.81）相当，但优于A2P（0.71）、SHOW（0.61）和NN（0.59），证明因果方法可以学习到与非因果方法相当的空间行为。第三，运行速度方面，SARAH达到300 FPS（可优化至600 FPS），是MDM和A2P（90 FPS）的3倍以上，同时保持因果性和流式能力。第四，物理合理性方面，SARAH的脚部滑动仅为0.01，与地面真实数据相同，而MDM为0.11，SHOW为0.27。第五，手势表现力方面，手腕方差为105.0，接近地面真实的137.6，而MDM仅61.4（严重平滑），A2P为69.4。凝视控制实验表明，将g从0.0增加到1.0，凝视对齐从0.56增加到0.96，且g=0.8时FGD最佳（0.92），说明适度的凝视引导能改善运动质量。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 对话运动生成 | FGD (Fréchet Gesture Distance) | 1.28 | MDM: 3.48, A2P: 2.01, SHOW: 1.99 | 比MDM降低63%，比A2P降低36%，比SHOW降低36% |
| 运动平滑度 | FGDacc (加速度分布距离) | 2.19 | MDM: 2.88, A2P: 2.31, SHOW: 2.22 | 比MDM降低24%，与A2P和SHOW相当 |
| 物理合理性 | Foot Slide (脚部滑动率) | 0.01 | MDM: 0.11, A2P: 0.02, SHOW: 0.27 | 比MDM降低91%，比SHOW降低96% |
| 手势表现力 | Wrist Variance (手腕速度方差) | 105.0 | MDM: 61.4, A2P: 69.4, SHOW: 65.0 | 比MDM提高71%，比A2P提高51%，比SHOW提高62% |
| 空间感知 | Head Alignment (头部对齐度) | 0.83 | MDM: 0.81, A2P: 0.71, SHOW: 0.61, NN: 0.59 | 比MDM提高2.5%，比A2P提高17%，比SHOW提高36% |
| 推理速度 | FPS (每秒帧数) | 300 | MDM: 90, A2P: 90, SHOW: 230 | 比MDM/A2P快233%，比SHOW快30% |
局限与改进
作者承认了若干局限性。首先，方法继承了训练数据的偏差：在训练数据中分布不足的空间配置或凝视行为可能泛化不良。如果某些文化背景下的凝视模式在数据集中代表性不足，模型可能无法很好地生成这些行为。其次，虽然凝视是可控的，但其他行为如手势风格、运动模式等尚未实现可控生成，这限制了在需要特定风格表达场景中的应用。第三，向多人对话扩展需要架构修改，当前方法仅支持双人对话场景。第四，音频特征使用HuBERT-Large提取，这不是完全因果的，虽然作者通过滑动窗口策略在测试时实现了因果性，但可能引入额外的延迟。第五，凝视控制的粒度有限——只能控制整体眼神接触强度，无法独立控制左右眼、眨眼频率等更细粒度的眼部行为。此外，本文的评估主要基于Embody 3D单一数据集，其在其他对话场景（如嘈杂环境、特殊光照条件）的泛化能力有待验证。
独立分析的弱点
尽管SARAH取得了显著成果，仍存在若干可改进的弱点。首先，运动表示的局限性：虽然欧几里得二十面体表示避免了关节角歧义，但增加了表示维度（每个关节J×12×3），可能在内存受限的设备上成为瓶颈。改进方向是探索更紧凑的欧几里得表示或学习自适应的关节编码。其次，凝视控制的粗糙性：当前的凝视分数g是全局标量，无法控制左右眼独立运动或微表情。可以考虑引入多维凝视控制向量，分别控制水平/垂直凝视、眨眼频率等。第三，单步流匹配的局限：虽然实现了300 FPS，但单步预测可能牺牲了某些精细运动细节。可以探索自适应步数策略，在简单场景用单步，复杂场景用多步。第四，音频处理的非因果性：HuBERT-Large不是完全因果的，尽管测试时使用滑动窗口，但仍有信息泄露风险。开发专门的因果音频编码器是改进方向。第五，缺乏物理约束：虽然脚部滑动很低，但没有显式的物理约束（如足部接触约束、重力约束），可能在极端动作下产生不合理的运动。
未来方向
基于SARAH的成果，可以延伸出多个有价值的研究方向。首先，多人对话扩展：当前方法仅支持双人对话，多人场景需要处理更复杂的社交动态和注意力分配，可能需要引入图神经网络或注意力调度机制。其次，风格化凝视控制：不同文化、性格、情绪状态下的凝视模式差异很大，可以结合文本提示或风格向量实现风格化生成。第三，与其他模态的融合：将手势、面部表情、语音韵律等纳入统一框架，实现更全面的对话行为生成。第四，长期记忆和一致性：当前方法逐块生成运动，缺乏长期的行为一致性，可以引入记忆模块保持智能体的性格一致性。第五，真实世界部署优化：虽然达到300 FPS，但在移动VR设备上仍需进一步优化，包括模型压缩、量化、硬件加速等。第六，交互式学习：通过强化学习或人类反馈，让智能体学会根据用户反馈调整其空间行为，实现更自然的人机交互。
复现评估
复现评估方面，本文提供了较为详细的信息。数据集方面，使用的是Embody 3D数据集的双人对话子集，约50小时数据，包含音频和3D运动标注，该数据集已在arXiv上公开（arXiv:2510.16258）。模型架构方面，VAE使用9层Transformer、4个注意力头、隐藏维度256；流匹配模型使用4层Transformer、4个注意力头、隐藏维度1024，这些细节足以复现。训练设置方面，使用8块A100 GPU，局部批量大小16，VAE训练200K迭代后冻结，流匹配模型再训练300K迭代。然而，完整复现存在一定难度：（1）需要8块A100 GPU的算力，对一般实验室门槛较高；（2）数据集虽然公开但需要申请访问；（3）运动表示使用MHR（Momentum Human Rig）进行渲染，这需要额外的渲染管线；（4）实时演示系统集成ChatGPT和Kyutai TTS，这些外部依赖可能影响一致性。代码方面，论文提到有项目页面但未明确说明是否开源代码。
论文图表
该图展示了将每个关节j编码为三维二十面体的过程。12个顶点的质心给出全局位置，通过SVD与参考二十面体比较恢复全局朝向。这种完全欧几里得表示避免了传统关节角表示的歧义性。
这张图解释了本文采用的创新运动表示方法，是理解为什么本文能实现更好的末端位置控制和更少脚部滑动的关键。