ARDY：基于混合表示的自回归扩散模型用于交互式人体动作生成 ARDY: Autoregressive Diffusion with Hybrid Representation for Interactive Human Motion Generation

ARDY的运动生成过程包括以下步骤：第一步，运动标记器编码。给定显式身体运动序列m_body ∈ ℝᴺᴹ（包含关节旋转、位置、速度和接触标签），标记器首先将每P个连续帧作为一个patch，得到T = N/P个输入向量。编码器将这些patch压缩成潜在token x_body ∈ ℝᵀˣᴸ，然后与patch化的显式根运动m_root ∈ ℝᵀˣ⁵ᴾ拼接形成混合运动token x = [m_root; x_body] ∈ ℝᵀˣᴰ，其中D = L + 5P。第二步，自回归生成初始化。在第一个运动滚动步骤中，ARDY生成第一个长度为G帧的窗口，此时没有历史姿态作为输入。在后续步骤中，之前预测的token成为历史条件。第三步，约束注入。运动学约束被表示为显式运动表示的掩码版本，其中只有约束的特征和时间步有非零值。在输入去噪器之前，噪声token的根部分被约束的根部分覆盖：˜m_root = (1 - v_root) ⊙ m_root + v_root ⊙ g_root，其中v是二进制掩码，g是约束目标。第四步，两阶段去噪。在每个扩散步骤k，去噪器首先使用root transformer预测干净的全局根运动ˆm_root，然后将这个根运动（经过detach）输入body transformer，预测干净的潜在body tokenˆx_body。这两个分支的输出被拼接形成干净的混合运动预测ˆx⁰。第五步，迭代去噪和滚动。混合预测被重新加噪并在下一次扩散步骤中反馈给两阶段去噪器。这个迭代和交错去噪过程确保了root和body transformer之间的持续相互影响。最终，拼接的混合预测被标记器解码器处理以恢复显式身体运动。第六步，实时重新规划。当检测到新的用户输入（如更新的文本提示或修改的未来运动学约束）时，系统触发重新规划。使用已生成的后续B帧作为重新规划缓冲区，这些帧同时回放给用户并作为异步生成线程的历史上下文，有效地隐藏较慢模型的推理延迟。

ARDY的技术新颖性体现在多个方面。首先，混合运动表示是首次将显式root特征与潜在body嵌入结合用于自回归运动生成，这种表示避免了仅使用局部速度表示的复合误差累积问题，同时保持了比完全显式表示更紧凑的表示形式。其次，两阶段自回归扩散去噪器是第一次在运动生成领域采用这种分解设计，实验证明它比单阶段基线在文本条件运动保真度和空间约束误差方面都有显著改进。第三，ARDY支持可变长度的历史上下文（最多8秒）和超出单个生成窗口的长期运动学目标约束（最多10秒），这是现有在线模型无法实现的能力。第四，ARDY在训练期间直接从地面真实运动采样文本标签和运动学约束，使得模型能够学习条件生成而无需额外的控制模块（如测试时优化或基于RL的控制策略）。最后，ARDY在实时交互系统中实现了先进的性能：4步模型平均延迟33毫秒，10步模型63毫秒，同时在HumanML3D基准上达到了与地面真相相当的R-precision（0.729）和高质量的FID（0.044）。

独立分析的弱点包括：第一，ARDY的运动表示主要基于关节旋转和位置，缺乏对力和力矩等动力学量的显式建模，这限制了其在需要精确物理交互的场景中的应用，例如抓取重物或在湿滑地面上行走。改进方向是结合物理建模，将动力学约束集成到生成过程中，例如通过物理引擎的反馈或学习动力学先验。第二，ARDY的历史上下文管理采用简单的滑动窗口机制，对于极长期任务（如几分钟的连续生成）可能效率低下。改进方向是探索更高效的结构化记忆表示和更新机制，例如分层记忆结构或基于重要性的记忆选择。第三，ARDY的约束表示主要基于位置和旋转的硬约束，缺乏对软约束或概率约束的支持，这在某些需要灵活处理约束的场景中可能不够灵活。改进方向是引入概率约束表示，允许模型在约束附近生成多样化的解决方案。第四，ARDY的训练数据主要来自工作室质量的数据集，可能缺乏对真实世界复杂场景（如不同地形、天气条件或障碍物）的覆盖。改进方向是扩大训练数据的多样性，包括更多样化的场景和交互类型。第五，ARDY的文本理解依赖于预训练的语言模型（LLM2Vec），虽然这个模型表现良好，但可能无法处理非常复杂或多义性的文本描述。改进方向是集成更强大的语言模型或引入多轮对话机制来澄清模糊的文本指令。

作者提出的未来研究方向包括：探索更高效的结构化记忆表示和更新机制以处理极长期任务，例如分层记忆结构或基于重要性的记忆选择；结合扩散模型与最近的快捷扩散模型进展以进一步加速生成过程；将物理建模集成到ARDY中，提出一个统一的生成模型能够同时预测人体运动的运动学和动力学，这对于物理关键应用至关重要。基于ARDY的成果可以延伸的方向包括：扩展支持更多类型的约束，例如相对约束（手必须保持在物体附近）、时序约束（动作必须在特定时间完成）或语义约束（运动必须表达特定情绪）；将ARDY应用到更广泛的交互场景，例如虚拟现实、增强现实、机器人控制和游戏开发；研究ARDY在多人交互或人机交互场景中的应用，例如协调多人运动或适应不同用户的偏好；探索ARDY与其他生成模型（如语言模型、视觉模型）的集成，实现多模态交互和控制；开发更复杂的用户界面，允许非专业用户通过直观的方式与ARDY交互，例如通过演示、草图或语音指令。

ARDY的复现评估从多个方面分析：开源情况方面，论文提到补充视频结果、代码和模型发布可以在https://research.nvidia.com/labs/sil/projects/ardy/找到，这表明作者计划开源代码和模型，有利于复现。数据方面，ARDY在私有数据集Bones Rigplay（约700小时、150+参与者的高质量动作捕捉数据）上进行了主要实验，但在公共数据集HumanML3D上也进行了基准评估，这使得研究者可以在公共数据上复现部分结果。然而，Bones Rigplay是私有数据集，这可能限制了对某些实验的完整复现。算力方面，运动标记器在单个NVIDIA A100-SXM4-80GB GPU上训练了400万步，去噪器在四个NVIDIA A100-SXM4-80GB GPU上以512的批量大小训练了一百万优化步，这表明训练需要相当大的计算资源，但推理可以在单个RTX 4090 GPU上以实时速度运行（4步模型33毫秒延迟，10步模型63毫秒延迟）。难度方面，ARDY的实现涉及多个复杂组件（运动标记器、两阶段扩散去噪器、约束注入机制、实时重新规划机制），这增加了复现的难度。然而，论文提供了详细的实现描述，包括网络架构、训练参数和评估指标，这有助于复现。总体而言，ARDY的复现难度为中等，主要挑战在于私有数据集和复杂的实现，但开源的代码和模型将大大降低复现门槛。