因果运动扩散模型用于自回归运动生成 Causal Motion Diffusion Models for Autoregressive Motion Generation

CMDM方法包含三个主要步骤：首先，MAC-VAE编码运动序列到潜空间。给定运动序列 $x_{1:T}$，编码器 $E_\phi$ 因果编码：$z_t = E_\phi(x_{\leq t})$，每个时间步 $t$ 的潜表示 $z_t \in \mathbb{R}^{d_z}$ 仅依赖于前序帧。运动序列被下采样4倍到 $T/4$ 个时间步。MAC-VAE结合三个损失：重建损失、KL散度和运动-语言对齐损失 $\mathcal{L}_{\text{MAC-VAE}} = \mathcal{L}_{\text{rec}} + \beta D_{KL} + \lambda \mathcal{L}_{\text{align}}$。运动-语言对齐损失包括边际余弦相似度损失和边际距离矩阵相似度损失，确保潜空间与运动-语言模型对齐。其次，Causal-DiT执行因果扩散去噪。在训练中，每帧 $t$ 被独立噪声级别 $k_t$ 扰动：$\tilde{z}_t^{k_t} = \sqrt{\bar{\alpha}_{k_t}} z_t + \sqrt{1-\bar{\alpha}_{k_t}} \epsilon_t^{k_t}$。扩散变换器 $\epsilon_\theta$ 使用因果自注意力预测噪声残差：$\mathcal{L}_{\text{DF}} = \mathbb{E}_{k_t, \epsilon_t^{k_t}} \| \epsilon_t^{k_t} - \epsilon_\theta(\tilde{z}_{\leq t}, k_t, c) \|_2^2$。Causal-DiT包含因果自注意力、交叉注意力和自适应层归一化（AdaLN）与旋转位置编码（ROPE）。最后，在推理中，CMDM自回归生成，每帧基于前序去噪潜表示预测：$\tilde{z}_t^{k_{t-1}} = G_\theta(\{\tilde{z}_{0<t}, \tilde{z}_t^{k_t}\}, k_t, c)$。FSS通过因果不确定性调度进一步优化，每帧从前序帧的部分去噪版本预测，显著减少推理延迟。具体来说，当去噪当前帧到第K-2步时，就开始去噪下一帧，这使得每token的推理延迟从150-360ms降低到30ms。

CMDM的技术新颖性体现在三个方面：首先，它是第一个在运动-语言对齐潜空间中统一因果自回归和扩散去噪的框架，与现有方法在运动空间操作不同，这既保留了语义一致性又强制了时间因果性。其次，因果扩散强制机制为每帧分配独立噪声级别，同时保持因果依赖，这使模型能学习多样噪声条件下的时间一致去噪，提高了时间鲁棒性和对变长序列的泛化能力。第三，帧级采样调度通过因果不确定性机制，允许后续帧从前序帧的部分去噪版本预测，而非完全自回归步骤，这显著减少了推理延迟（从每token 150-360ms降到30ms），同时保持了时间连贯性。这些创新使CMDM在保持高质量生成的同时，实现了实时流式生成。

CMDM的弱点主要体现在三个方面：首先，对预训练运动-语言模型的依赖限制了其处理抽象文本描述的能力，当文本描述模糊或高度抽象时，生成的动作可能不够准确。改进方向包括开发更强大的运动-语言对齐模型，或设计自监督学习策略减少对标注数据的依赖。其次，在极长序列生成中（如超过几分钟），帧级采样调度可能仍会累积时间伪影，导致动作不连贯。可以引入运动感知反馈机制或自适应重锚定策略，在检测到异常时重新初始化生成过程。第三，模型专注于单人动作，缺乏对多人交互场景的支持。未来可以扩展框架以处理角色间的物理交互和社会行为，例如通过引入交互注意力机制或物理约束。

作者提出的未来研究方向包括：1）开发更强大的运动-语言对齐模型，提高对抽象文本描述的理解能力；2）引入运动感知反馈机制，进一步提高极长序列生成的稳定性；3）将CMDM扩展到交互式或多角色场景，支持多人运动生成。基于CMDM的成果，还可以延伸以下方向：1）将因果扩散机制应用于其他序列生成任务，如音乐生成、视频预测等；2）探索更高效的潜空间表示，例如通过变分推理或对比学习进一步优化潜空间结构；3）结合强化学习或物理模拟，生成符合物理规律的逼真动作；4）开发实时交互式系统，允许用户通过自然语言实时控制运动生成。

CMDM的复现评估显示其具有较好的可复现性。作者承诺在https://github.com/YU1ut/CMDM发布代码，包含HumanML3D数据集上的训练和评估代码。模型架构相对清晰：MAC-VAE包含7个因果卷积层和2个因果ResNet块，Causal-DiT是8层、4头、512维的轻量级变换器。训练使用AdamW优化器，学习率1×10^-4，批量大小128，在单个NVIDIA A100 GPU上训练50个epoch。然而，复现仍面临一些挑战：首先，需要预训练的Part-TMR模型，这增加了依赖，Part-TMR本身也需要训练和调优。其次，HumanML3D和SnapMoGen数据集需要单独获取，这些数据集包含大量的运动捕捉数据和文本描述，需要专门的预处理。第三，计算资源要求：虽然模型参数仅114M，但训练和评估仍需要GPU支持，特别是在评估时需要生成大量样本计算统计指标。第四，一些超参数（如损失权重λ、边际参数m1、m2）可能需要仔细调整，这些参数对最终性能有显著影响。此外，评估指标如FID、R-Precision等需要使用特定的预训练模型计算，这些模型也需要复现。总体而言，对于具备相关领域经验的研究者，CMDM的复现难度中等，但需要一定的时间和计算资源投入。