VideoMDM：从二维监督走向三维人体动作生成

首个仅用2D监督训练3D人体动作扩散模型，性能接近全3D监督

前置知识

扩散模型

扩散模型是一类生成模型，通过逐步向数据添加噪声构建前向过程，然后学习逆向去噪过程来生成新样本。在动作生成中，通常采用DDPM（Denoising Diffusion Probabilistic Models）框架，在时间步 $t$ 添加高斯噪声 $\epsilon \sim \mathcal{N}(0, I)$，得到 $x_t = \sqrt{\alpha_t} x_0 + \sqrt{1-\alpha_t}\epsilon$，训练模型预测噪声以恢复原始信号。MDM（Motion Diffusion Model）是专门用于3D动作生成的扩散模型架构。

本文核心是基于扩散模型训练3D动作先验，理解扩散模型的去噪机制和噪声调度是理解跨模态训练设计的基础，特别是高噪声时间步和低噪声时间步的不同训练策略。

2D-to-3D提升器

2D-to-3D提升器是从单目视频的2D关键点估计3D姿态的神经网络。由于单目视角存在深度模糊性，这类方法（如MotionBERT、MVLift、WHAM）只能产生近似但不够准确的3D姿态。提升器通常输出关节位置 $\tilde{x}_0 \in \mathbb{R}^{J \times 3 \times F}$，其中 $J$ 是关节数量，$F$ 是帧数。由于缺乏准确的深度信息，提升器的输出存在系统性误差，但整体姿态结构基本正确。

VideoMDM将提升器作为'嘈杂的教师'，其输出虽然是近似的，但在高噪声水平下扰动后与真实3D分布在统计上对齐。理解提升器的局限性是理解为什么需要2D重新投影监督的关键。

相机投影

相机投影是将3D坐标映射到2D图像平面的数学操作，定义为 $\Pi_c(\cdot) = K[R|t_c](\cdot)$，其中 $K$ 是内参矩阵，$R$ 是旋转矩阵，$t_c$ 是平移向量。透视投影会将3D点 $(X, Y, Z)$ 映射到 $\left(\frac{fX}{Z} + c_x, \frac{fY}{Z} + c_y\right)$，其中 $f$ 是焦距。由于分母是深度 $Z$，远处的点在2D平面的移动会被'压缩'，这导致2D误差不能直接反映3D误差。

本文的核心创新之一是深度感知的重新投影损失，理解投影的数学性质才能理解为什么需要深度加权来建立2D损失和3D MSE损失的等价性。

过度参数化动作表示

过度参数化动作表示是在关节位置之外额外包含冗余信息的表示方式，如根速度、关节旋转、关节速度和二进制足部接触标签。虽然旋转、速度和足部接触可以从关节位置推导出来（记为 $\Gamma(x)$），但这种表示能产生更符合人类感知的动作。MDM模型操作于 $x$ 和 $r$ 的拼接，其中 $x$ 是AJ通道的位置信息，$r$ 是BJ通道的冗余信息。

由于没有3D真值监督这些冗余通道，本文设计了射线投影伪目标来间接提供2D一致的监督信号，这是方法的重要组成部分。

研究动机

现有的3D人体动作生成方法严重依赖高质量3D监督，即运动捕捉数据。这类数据需要在受控的录音棚环境中采集，成本高昂且场景有限。例如HumanML3D数据集仅包含约14,000个动作序列，其多样性远不足以覆盖真实世界中丰富的人类动作。尽管互联网上有海量的单目视频描绘了各种环境中的人类活动，但由于缺乏多视角线索，无法进行可靠的3D重建。现有的单目3D姿态和动作估计器（如WHAM、MotionBERT）仍然存在显著噪声和模糊性，而2D关键点检测器（如RTMPose、HRNet）已经达到很高的准确性和鲁棒性。因此，如何仅使用从单目视频衍生的准确2D监督来训练生成式3D动作模型，是一个核心挑战。

本文的目标是本文的目标是开发一个完全基于2D姿态监督的扩散训练框架，用于训练3D人体动作模型。具体而言，要从单目视频中提取准确的2D姿态序列，不依赖任何3D真值，训练一个能够生成逼真3D动作轨迹的扩散模型（可选条件文本嵌入）。这个框架需要解决2D监督如何有效指导3D空间中的去噪过程，以及如何在没有3D真值的情况下施加自然运动正则化这两个关键问题。

与已有工作不同的是，本文的独特切入角度是训练一个在3D空间原生运行的扩散模型，而不是在推理时才将2D提升到3D。现有方法如MAS（Multi-view Ancestral Sampling）在推理时从多个2D运动扩散模型进行多视图祖先采样，或者Motion-2-to-3训练2D扩散模型然后用3D动作数据学习一致性层，这些都仍然需要3D监督来恢复根轨迹。与之不同，VideoMDM直接在3D中训练模型，仅使用2D监督，学习任意根轨迹的动作，不需要任何3D真值。这得益于跨模态扩散的思想，结合近似的3D估计和干净的2D监督，训练一个3D去噪器而不需要访问真实3D数据。

核心方法

VideoMDM的整体思路是从单目视频中提取准确的2D关键点和近似的3D姿态，然后训练一个3D运动扩散模型来去噪3D姿态，在高时间步扩散后，在多个来源的监督下训练：（1）3D表示对齐，（2）2D重新投影和速度一致性。核心思想是采用嘈杂教师方案：预训练的2D-to-3D提升器从2D输入产生近似的3D姿态序列，这些序列被扩散，模型在3D中去噪，然后通过将预测重新投影并与来自视频的准确关键点比较在2D中进行监督。这种设计让模型能够学习一个完全基于2D观察的连贯3D运动流形。

核心创新点包括三个方面。首先，深度感知的重新投影损失 $\mathcal{L}_{pos} = \| d \odot \mathbf{1}_{\{d>d_{min}\}} \odot (\Pi_c(\hat{x}_0) - y) \|_2^2$，在关于数据和相机分布的温和假设下，在期望中等价于标准3D MSE监督。其次，2D适应的运动正则器，包括用于时间相干性的深度加权2D速度损失，以及运动表示对齐损失，通过射线投影伪目标监督过度参数化运动通道。第三，与LIS（Lesson in Splats）类似的多步去噪方案：对于 $t > t^*$ 应用完全损失，对于 $t \leq t^*$ 进一步应用多步去噪，先扩散到更高时间步 $t' > t^*$ 然后通过短序列的DDIM步骤去噪到 $t$，在此应用2D监督。

方法步骤详情

方法的具体步骤如下。第一步，从单目视频中提取2D关节轨迹 $y \in \mathbb{R}^{J \times 2 \times F}$，使用预训练的2D关键点检测器如RTMPose。第二步，使用预训练的2D-to-3D提升器 $L_\phi$ 产生近似的3D关节轨迹 $\tilde{x}_0 = L_\phi(y) \in \mathbb{R}^{J \times 3 \times F}$，作为嘈杂教师。如果相机参数不可用，通过在 $y$ 和 $\tilde{x}_0$ 上求解PnP问题估计。第三步，扩散提升器的3D预测 $x_t = \sqrt{\alpha_t}\tilde{x}_0 + \sqrt{1-\alpha_t}\epsilon$，训练网络恢复干净的3D动作 $\hat{x}_0$。第四步，通过投影算子 $\Pi_c(\cdot)$ 在2D域应用监督，计算深度感知的位置损失 $\mathcal{L}_{pos}$ 和速度损失 $\mathcal{L}_{vel}$。第五步，对于冗余的运动表示 $r$，通过射线投影算子 $P_\Pi(\hat{x}_0, y)$ 产生2D一致的伪目标 $r' = \text{stop_gradient}(\Gamma(P_\Pi(\hat{x}_0, y)))$，然后计算表示对齐损失 $\mathcal{L}_{repr} = \|\hat{r}_0 - r'\|_2^2$。第六步，总损失 $\mathcal{L}_{total} = \lambda_{pos}\mathcal{L}_{pos} + \lambda_{vel}\mathcal{L}_{vel} + \lambda_{repr}\mathcal{L}_{repr}$ 用于训练。训练开始有预热阶段，在提升器预测的近似3D动作上预训练，然后采用LIS风格的时间表。

技术新颖性

技术新颖性体现在多个方面。这是首个2D监督的扩散训练框架用于3D人体动作先验，实现了直接从单目视频学习高保真先验，不需要任何3D监督。深度感知加权和重新投影一致性构成了无条件去噪的稳定策略，保持3D去噪动力学的几何锚定。3D运动正则器的2D适应公式通过基于速度和表示级别的约束强制自然运动。与仅在推理时提升2D到3D的方法不同，VideoMDM在训练期间学习一个连贯的3D运动流形。与依赖3D监督进行微调的方法不同，VideoMDM完全使用2D监督原生地训练3D中的扩散模型。深度加权的2D重新投影损失与直接3D MSE监督在期望中的等价性在理论上得到证明，这是方法的理论基础。

**Figure 2**: VideoMDM training. From monocular video, we extract accurate 2D keypoints and approximate 3D poses. A motion diffusion model is trained to denoise the 3D poses, after diffusing them to a high timestep, under multi-source supervision: (i) 3D representation alignment, and (ii) 2D reprojection and velocity consistency with the accurate 2D pose.

**Figure 3**: (a) Motion Representation Alignment. An illustration of camera ray projection and its utilization for Lrepr. Each joint is projected to the closest point along the ray through its 2D location and the camera center.

实验结果

核心发现来自三个互补的实验设置。在HumanML3D的2D-only版本上（通过投影MoCap获得2D姿态），VideoMDM达到FID 0.88，几乎接近完全3D监督的MDM（FID 0.54），比最强的2D监督基线MDM/MVLift（FID 1.671）提升约2倍。使用PnP估计相机的Ours/MVLift (PnP)达到FID 1.462，表明相机估计误差是性能差距的主要来源。在Fit3D真实世界设置上，训练使用单目健身视频和提取的2D关键点，没有3D监督，VideoMDM在提升器分布之外的动作上将关节误差减半（MPJPE 111 vs WHAM的228 mm），产生5.5倍更平滑的动作（Accel 3.16 vs 17.66 m/s²），KID指标也显著优于基线（0.011 vs WHAM的0.063）。在人类偏好调查中，Ours/WHAM在所有基线中被首选。在NBA数据集上，VideoMDM在64%的成对人类比较中优于MAS。消融实验显示，多步去噪和 $\mathcal{L}_{repr}$ 是影响最大的两个组件，替换射线投影为朴素3D比较会使FID增加约3倍，确认了2D一致的伪目标对于表示对齐的重要性。

**Table 1**: Text-to-motion models trained in 2D, evaluated on the HumanML3D test split. Red, orange, and yellow indicate 1st, 2nd, and 3rd place per column among 2D-supervised methods. X/Y denotes a method X trained on lifter Y. Ours variants use ground-truth cameras unless marked (PnP). Remarkably, Ours/MVLift achieves performance only 0.332 FID away from 3D-supervised MDM.

**Table 2**: Lifting evaluation on Fit3D held out subject. Our method achieves best KID and MPJPE both on GT and PnP cameras.

**Table 3**: Evaluation on the NBA dataset. Human preference is reported between MAS and our VideoMDM. Other metrics follow MAS [19]. VideoMDM is preferred nearly two thirds of votes.

**Figure 1**: We demonstrate VideoMDM on monocular videos of human activities. Our framework trains 3D text-to-motion diffusion models using 2D pose sequences extracted from videos. Left: representative training videos. Right: generated motions using the trained model from text prompts. Despite relying solely on 2D supervision, VideoMDM attains motion fidelity approaching that of fully 3D-supervised training.

**Figure 4**: Qualitative comparison on HumanML3D for the prompt 'the person walks backwards in a straight line'. Frames progress from blue to red. The MDM-trained-on-lifter baselines inherit teacher artifacts (foot sliding, drifting, unrealistic poses), while VideoMDM generates a clean trajectory consistent with the prompt.

**Figure 5**: (a) Human Preference Survey results for the Fit3D test set text prompts. MDM-based models (Ours, MDM/WHAM, and MDM/MVLift) receive only text prompts; WHAM and MVLift also receive the original video.

**Figure 6**: (a) Results of generation by VideoMDM trained on Fit3D against the lifter baselines, the lifters having access to the 2D data while Ours only to the text prompt. (b) Ablations of our method using PnP cameras and MVLift as a lifter, mean values over 5 replications on the HumanML3D validation set.

查看结构化数据

任务	指标	本文	基线	提升
Text-to-3D Motion on HumanML3D	FID	0.876	MDM (3D data): 0.544, MDM/MVLift: 1.671	与3D监督MDM差距仅0.332，比MDM/MVLift提升约48%
Text-to-3D Motion on HumanML3D	Diversity	9.630	MDM (3D data): 9.559, MDM/MVLift: 8.793	超越3D监督基线
2D-to-3D Lifting on Fit3D	MPJPE (mm)	111.24	WHAM: 228.47, MVLift: 283.06, MDM: 440.33	比WHAM提升约51%，比MVLift提升约61%
2D-to-3D Lifting on Fit3D	Accel (m/s²)	3.16	WHAM: 17.66, MVLift: 3.14, MDM: 7.71	比WHAM提升约5.5倍，与MVLift相当
2D-to-3D Lifting on Fit3D	KID	0.011	WHAM: 0.063, MVLift: 0.028, MDM: 0.050	比WHAM提升约83%
Unconditional 3D Generation on NBA	Human Preference	64.0% preferred	MAS: 36.0% preferred	在64%的成对比较中被首选
Unconditional 3D Generation on NBA	Precision	0.94	MAS: 0.50	显著优于MAS
Unconditional 3D Generation on NBA	Recall†	0.89	MAS: 0.68	更好的真实分布覆盖

局限与改进

作者承认的局限性包括：VideoMDM在使用真实相机参数时达到最强结果，但大多数野外视频无法获得相机参数。PnP估计的相机在合成HumanML3D上恢复了大部分差距，但在Fit3D上留下更大的下降，因为相机估计噪声与提升器和姿态提取噪声叠加；更好的相机估计器会直接转化为更好的先验。方法还依赖于预训练的2D-to-3D提升器作为嘈杂教师：虽然学习的先验大幅推广到提升器的分布之外（Fit3D实验），但没有合理提升器可用的领域（如非人类运动）仍然无法触及。所有评估设置包含没有或只有最小遮挡，扩展到遮挡设置（如[11]中）对于完全野外部署是必要的。额外的观察包括：Fit3D人类偏好调查中，Ours/WHAM (PnP)在某些情况下输给WHAM基线，主要原因是与地面的对齐差，导致视觉上不满意，这表明需要地感知的推理或后处理。在NBA数据集上，VideoMDM在FID和Diversity上略落后于MAS，这可能是因为VAE嵌入空间的保真度较低，使得VAE基础指标对于感知质量不太可靠。

独立分析的弱点

独立分析的弱点包括：首先，相机参数估计的敏感性限制了在完全野外视频中的应用。PnP估计在合成数据上表现良好，但在真实视频上性能下降，因为噪声来源更加复杂（提升器误差、姿态提取误差、相机估计误差叠加）。改进方向包括探索更鲁棒的相机估计方法，如利用SLAM线索或时间一致性约束，或者设计对相机噪声更鲁棒的损失函数。其次，对预训练提升器的依赖限制了方法的适用范围。虽然学习的先验可以推广到提升器分布之外，但仍然需要一个初始的合理3D估计。改进方向包括探索如何从纯2D数据中学习提升器，或者设计不需要初始3D种子的训练框架。第三，Fit3D实验中显示的地面对齐问题表明，当前方法没有很好地建模与环境的交互。改进方向包括在训练和推理中加入地面平面约束，或者学习动作与环境的语义关系。第四，遮挡场景的缺乏表明方法对部分观测的鲁棒性尚未验证。改进方向包括在训练中模拟遮挡，或者设计对缺失关节更鲁棒的去噪机制。

未来方向

未来研究方向包括作者提出的和基于成果可延伸的。作者提出扩展到遮挡设置以实现完全野外部署，这需要设计对部分观测鲁棒的训练和推理机制。基于成果的可延伸方向包括：第一，扩展到多人动作和人物-对象交互，这些是MoCap数据难以捕捉但在野外视频中丰富的场景。VideoMDM的框架可以直接应用于这些更复杂的动作类型。第二，探索不需要预训练提升器的训练方案，例如通过自监督学习从纯2D视频中学习3D表示，或者通过对抗训练同时学习提升器和生成器。第三，结合语言模型进行更细粒度的文本条件控制，实现更精确的动作生成。第四，扩展到长期动作生成，VideoMDM的10秒限制可以通过层次化生成或序列建模来突破。第五，探索其他模态的监督，如音频、场景布局或物体状态，进一步丰富动作先验的学习。第六，研究在真实应用中的部署，如实时动画、游戏NPC、虚拟主播等，需要优化推理速度和生成质量。第七，探索VideoMDM框架在其他3D生成任务中的应用，如3D人脸动画、手部动作生成等。

复现评估

复现评估方面，论文提供了项目页面（https://videomdm.github.io）承诺包含代码和更多结果，但具体开源情况需要验证。数据方面，HumanML3D是公开数据集，Fit3D和NBA也是公开的，但Fit3D较小（611训练序列），可能影响统计显著性。算力方面，训练配置包括预热阶段400K批次（64样本）和完整目标200K批次，Fit3D微调20K批次，这需要相当可观的GPU资源。实现细节方面，超参数（$\lambda_{vel}, t^*$，多步步数）通过贝叶斯搜索在验证集FID上选择，验证FID在0.7-2范围内，表明对这些选择不太敏感。消融实验在HumanML3D验证集上进行5次重复，报告平均值，增加了结果的可靠性。然而，PnP相机估计和射线投影的具体实现细节可能影响复现，需要仔细查看代码。总体而言，虽然论文承诺开源，但完整复现可能需要较强的计算资源和仔细调整超参数。

VideoMDM：从二维监督走向三维人体动作生成 VideoMDM: Towards 3D Human Motion Generation From 2D Supervision