面向视角自适应人体视频生成的3D感知隐式运动控制 3D-Aware Implicit Motion Control for View-Adaptive Human Video Generation
隐式3D运动表征实现视角解耦的可控人体视频生成
前置知识
SMPL/MANO 参数化人体模型
SMPL (Skinned Multi-Person Linear Model) 是一种用紧凑参数集表示人体网格的模型，包含形状系数 $?eta_b$ 和姿态参数 $ heta_b$ 来描述关节化的身体构型。MANO 则是类似的手部模型，使用手部形状参数 $?eta_h$ 和手部姿态参数 $ heta_h$。这些模型将人体3D几何信息编码为低维参数向量，可以通过回归或优化从图像/视频中估计得到。尽管存在深度歧义和表达力不足等固有限制，它们提供了可靠的3D几何先验。
论文的核心方法涉及用SMPL/MANO参数作为早期训练阶段的辅助监督信号，理解这些模型对于理解论文的几何监督策略至关重要。
扩散模型 (Diffusion Models)
扩散模型是一类生成模型，通过逐步向数据添加噪声（前向过程），然后学习逐步去噪（反向过程）来生成高质量样本。潜空间扩散模型 (LDM) 在压缩的潜在空间中操作，DiT (Diffusion Transformer) 架构使用 Transformer 替代传统 U-Net 作为去噪骨干网络，具备更强的时空建模能力和可扩展性。本文采用的是基于流匹配 (Flow Matching) 的扩散范式，使用 v-prediction 目标函数进行优化。
本文的视频生成骨干网络就是一个预训练的 DiT-based 潜扩散模型，理解扩散模型的工作原理是理解整个框架的基础。
Cross-Attention 跨注意力机制
跨注意力是 Transformer 中的一种注意力机制，其中一个序列的 token 对另一个序列的 token 计算注意力权重。在本文中，视频 token 作为 query，运动 token 作为 key 和 value，使得每一帧的视觉特征能够根据运动语义信息进行自适应调整。与像素级对齐的条件注入不同，跨注意力实现了语义层面的灵活交互，不会引入刚性的空间约束。
论文选择跨注意力（而非通道拼接）作为运动条件注入方式，这是实现语义级运动控制、支持文本驱动相机控制的关键设计选择。
View-Agnostic 视角无关表征
视角无关表征是指不依赖于特定观察视角的运动描述方式。与2D姿态或渲染的SMPL网格不同，这种表征捕捉的是3D空间中运动的本质语义——即'这个人做了什么动作'而非'从这个角度看动作是什么样的'。论文通过将高维视觉token压缩为紧凑的1D运动token（丢弃空间布局信息），并结合随机透视变换增强来鼓励模型学习这种视角不变的运动语义。
这是论文最核心的概念创新——从显式的3D重建（如SMPL）转向隐式的、与生成器空间先验对齐的运动表征，从根本上区别于已有方法。
View-Rich Supervision 视角丰富监督
视角丰富监督是一种训练策略，使用来自不同视角和相机轨迹的视频数据来监督模型学习真正的3D运动理解。包括三种监督目标：1) 同视角重建，每个运动-视角对是唯一的；2) 多视角运动复现，使用固定相机阵列同步捕获的相同运动视频；3) 运动相机下的运动复现，使用不同相机轨迹捕获的相同运动视频。这迫使模型将运动与视角解耦，学习真正的3D空间运动。
仅有视角无关的编码器设计不足以保证真正的3D理解——如果只用同视角重建训练，模型可以走捷径学习2D投影模式。视角丰富监督是赋予模型真正3D感知能力的关键训练策略。
研究动机
现有人体运动控制方法面临两难困境。基于2D姿态的方法（如AnimateAnyone、MimicMotion）从驱动视频中提取2D姿态图像（如OpenPose骨骼图或DensePose），通过像素对齐条件注入生成器。然而，这种2D条件将运动刚性绑定到驱动视角，导致生成的视频坍缩为驱动视角的2D投影，无法支持新视角合成或电影级相机运动。基于显式3D模型的方法（如Uni3C、MTVCrafter）引入SMPL/SMPL-X作为控制条件，通过网格渲染或投影关键点来注入3D信息。但这些外部重建的参数化模型存在固有的深度歧义（如前倾错误、肢体接触不准确、Z轴运动失真），当这些有偏的3D信号通过刚性投影对齐注入生成器时，会覆盖大规模视频模型原有的3D先验，最终限制生成器产生空间连贯和物理合理运动的能力。在用户研究中，AnimateAnyone的3D合理性评分仅为3.20±0.14，MTVCrafter为3.69±0.12，表明现有方法的3D运动质量仍有很大提升空间。
本文的目标是本文的目标是从3D感知的角度重新审视人体运动控制任务，提出一种隐式的、视角无关的运动表征方案，使其自然地与视频生成器的空间先验对齐，而不是依赖外部重建的约束。具体而言，论文旨在：1) 设计一个端到端的框架，将运动编码器与预训练视频生成器联合优化，从2D驱动帧中蒸馏出紧凑的视角无关运动token；2) 通过跨注意力机制注入这些运动token，实现语义级的运动条件控制，同时保留文本驱动的相机操控能力；3) 在视角丰富的数据上训练，迫使模型学习真正的3D空间运动理解。
与已有工作不同的是，本文的独特切入角度在于'隐式3D推理'这一新范式。与以往工作强调通过外部3D重建来提供显式控制不同，本文主张利用视频生成器本身固有的空间和运动理解能力。论文提出两个关键原则：第一，运动编码器应该与生成器端到端联合学习，提取的隐式3D运动表征应该自然地与模型的空间先验对齐，而不是外部分配的3D约束；第二，有效的3D感知需要超越传统同视角重建的监督，而是使用跨越多样视角和相机轨迹的视角丰富数据来迫使提取真正的3D空间运动。相机控制不是显式目标，而是模型学到的3D感知能力的自然副产品——利用生成器原生的文本驱动相机控制（而非预定义的相机参数）来实现，并作为验证真正3D感知是否出现的证据。
核心方法
3DiMo的整体思路可以分为直觉和技术路线两个层面。直觉层面：大规模视频生成模型已经展现出强大的3D空间感知和运动推理能力，但现有人体运动控制方法通过外部重建的显式3D约束（如SMPL）覆盖了这些宝贵的先验。本文的核心直觉是：与其给模型'教'它什么是3D运动（通过外部约束），不如让它'想起'自己已经知道的3D运动知识（通过端到端学习与生成器对齐的隐式表征）。技术路线：框架由三个核心组件构成——(1) 隐式运动编码器，将2D驱动帧蒸馏为紧凑的1D运动token，通过丢弃空间布局信息来鼓励视角无关的运动语义提取；(2) 预训练的DiT视频生成骨干网络，提供强大的3D空间和运动先验；(3) 视角丰富的训练策略，包括多阶段渐进式训练和辅助几何监督，从外部3D引导逐步过渡到真正的3D运动理解。
本文的核心创新在于三个方面，与已有方法形成本质区别。第一，运动表征的隐式性：不同于将运动表征转换为依赖视角的2D空间对齐控制（如渲染的SMPL网格或投影关键点），本文简单地使用跨注意力直接将运动表征注入生成器，实现灵活的语义级交互而非刚性空间约束。第二，编码器设计的视角无关性：运动编码器基于Transformer的1D分词器设计，每个驱动帧被patch化为视觉token后与K=5个可学习潜token拼接，通过注意力层交互后仅保留潜token作为运动表征，形成语义瓶颈来消除2D结构信息（包括外观细节和特定视角的姿态构型）。第三，训练数据的视角丰富性：构建涵盖单视角、多视角和运动相机视频的大规模数据集（互联网600K、UE渲染60K单视角+80K多视角、自采集100K），通过同视角重建和跨视角运动复现的双重监督目标来驱动真正的3D运动理解。
方法步骤详情
3DiMo的完整流程包含以下步骤。输入：参考图像 $I_R$、驱动视频 $V_D = {I_t^D}_{t=0}^T$、文本提示 $T$。步骤1-数据增强：在运动编码前，对驱动帧应用随机透视变换（鼓励视角无关表征）和外观增强（色彩抖动、轻量空间变换，防止身份泄漏）。步骤2-双尺度运动编码：驱动帧分别通过身体运动编码器 $E_b$（捕捉全身粗粒度运动）和手部运动编码器 $E_h$（捕捉精细手势），每个编码器将帧patch化为视觉token后与K=5个可学习潜token拼接，通过多层注意力交互后仅输出潜token，形成紧凑的1D运动表征 $z_b$ 和 $z_h$，最终拼接为 $z = [z_b; z_h]$。步骤3-跨注意力注入：在DiT生成器的每个完整自注意力层之后追加一个交叉注意力层，视频token作为query，运动token作为key和value，文本token保持不变。步骤4-视频生成：参考图像的潜token与加噪视频token拼接，通过DiT块（完整自注意力+FFN+跨注意力）处理，生成器输出目标视频 $V_{tgt}$，描绘参考图像中的主体重现驱动视频的运动。步骤5-辅助几何监督（早期训练）：轻量MLP几何解码器 $D_g$ 处理拼接的运动表征 $z$ 来预测姿态参数 $ heta = [ heta_b; heta_h]$，使用SMPL/MANO估计器的伪ground-truth进行监督（排除全局根朝向以确保视角无关），损失权重从0.1线性衰减到0，在前12K步后完全移除。
技术新颖性
3DiMo的技术新颖性体现在多个层面。首先是范式创新：从'显式3D约束注入'转向'隐式3D感知对齐'，不再将视频生成器视为被动的约束执行者，而是将其固有的3D空间理解能力视为主动的3D推理引擎。其次是表征创新：将运动编码为紧凑的1D语义token（而非2D空间图），通过语义瓶颈强制丢弃空间布局信息，这是在表征层面实现视角无关性的关键设计。第三是训练策略创新：多阶段渐进式训练（第1阶段-单视角重建10K步，第2阶段-混合重建+跨视角复现15K步，第3阶段-纯视角丰富数据5K步）配合辅助几何监督的退火策略，实现了从外部3D引导到内在3D理解的优雅过渡。第四是相机控制的自然集成：不同于Uni3C等需要显式相机轨迹控制的工作，本文的文本驱动相机控制是生成器原生能力的自然继承，无需额外设计。这些创新共同使得3DiMo能够真正利用大规模预训练视频模型的3D先验，而非覆盖它们。
实验结果
实验结果全面验证了3DiMo的有效性。在定量评估中，使用50个TikTok视频和100个互联网视频进行测试，3DiMo在LPIPS（0.2206，次优MTVCrafter为0.2542）、FID（36.92，次优Uni3C为41.28）和FVD（297.4，次优Uni3C为321.9）三个关键指标上全面领先，表明其在视觉质量和运动控制方面具有显著优势。虽然SSIM（0.7390）和PSNR（17.96）略低于MTVCrafter（0.7489/18.03），但这是预期的——这些像素级指标对微小的视角偏移敏感，而评估视频包含微弱的无意相机运动，竞争方法简单复现这些运动，而本文的文本驱动静态相机提示抑制了这种漂移以保持几何一致性。用户研究（30名参与者，每人评估10个跨身份动画视频，5点Likert量表）进一步证实了3DiMo的优势：运动准确性4.28±0.08、运动自然性4.18±0.06、3D物理合理性4.05±0.09、整体质量4.38±0.08，全面超越所有基线方法。消融实验验证了每个组件的必要性：用SMPL控制替代隐式控制时FVD从297.4升至348.2；移除视角丰富数据监督时FID从36.9升至40.5-51.3；移除辅助几何监督时训练不稳定甚至崩溃；用通道拼接替代跨注意力时FVD从297.4升至395.6；移除手部编码器时精细手势控制丢失。特别值得注意的是，SMPL变体在侧视角无法保持正确的手-臀接触关系，而3DiMo的隐式运动表征正确保留了这种物理关系，有效解决了参数化重建中常见的深度歧义问题。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 人体视频动画 - 视觉质量 | LPIPS ↓ | 0.2206 | MTVCrafter 0.2542 | 13.2% 降低（越低越好） |
| 人体视频动画 - 图像质量 | FID ↓ | 36.92 | Uni3C 41.28 | 10.6% 降低（越低越好） |
| 人体视频动画 - 视频质量 | FVD ↓ | 297.4 | Uni3C 321.9 | 7.6% 降低（越低越好） |
| 用户研究 - 3D物理合理性 | MOS (1-5) ↑ | 4.05±0.09 | Uni3C 3.97±0.10 | 0.08 提升 |
| 用户研究 - 整体质量 | MOS (1-5) ↑ | 4.38±0.08 | MTVCrafter 4.19±0.09 | 0.19 提升 |
| 消融 - 隐式vs显式控制 | FVD ↓ | 297.4 (隐式) | 348.2 (SMPL控制) | 14.6% 降低 |
| 消融 - 跨注意力vs通道拼接 | FVD ↓ | 297.4 (跨注意力) | 395.6 (通道拼接) | 24.8% 降低 |
局限与改进
论文和补充材料坦诚地讨论了若干局限性。首先是分辨率限制：当前框架在480p（480×854）分辨率下运行，虽然足以捕捉全局运动动态，但在全身镜头中主体占比较小的情况下，有限的像素预算会导致面部特征模糊或手部纹理细节缺失。其次是复杂人-物交互：运动编码器被显式设计为只提取人体和手部动态，不显式建模外部物体或道具的运动（如拿包或骑自行车），因此虽然人体运动被忠实复现，但与持有物体的交互可能会被幻化。第三，训练数据的视角丰富性虽然已涵盖多种类型，但互联网视频仍以单视角为主（600K/840K），多视角和运动相机数据相对较少（共180K），这可能限制模型在极端视角变化下的泛化能力。第四，评估数据规模相对有限（150个视频），且主要来自TikTok和互联网，缺乏在标准学术基准上的大规模系统评估。第五，论文未详细讨论推理延迟和计算成本，DiT生成器加上双运动编码器的计算开销可能较高。
独立分析的弱点
独立分析本文存在以下弱点及改进方向。第一，分辨率瓶颈：480p分辨率限制了高频细节的表现，改进方向是扩展到更高分辨率的DiT骨干网络（如720p或1080p）或级联超分辨率模块，论文已在补充材料中承认这一限制。第二，物体交互缺失：当前框架不建模人-物交互，可考虑将隐式运动编码机制扩展到通用动态物体或人-场景交互，例如引入物体检测和跟踪模块来捕捉道具运动。第三，数据不平衡：互联网单视角数据（600K）远多于多视角和运动相机数据（180K），可能限制3D感知的充分学习，改进方向是增加合成多视角数据的规模或开发更有效的数据增强策略。第四，辅助监督的依赖性：虽然几何监督被渐进式退火到零，但早期训练仍依赖外部SMPL/MANO估计器的伪ground-truth，这些估计本身存在深度歧义，可能在初始化阶段引入偏置。第五，缺乏与最新方法的对比：论文对比的基线主要集中在2024年的工作，缺乏与2025年最新进展（如DreamActor-M1、HunyuanVideo等）的系统比较。
未来方向
基于本文成果可以延伸出多个未来研究方向。作者在补充材料中提出：1) 分辨率提升——扩展到720p/1080p的高分辨率DiT骨干或级联超分辨率模块；2) 复杂人-物交互——将隐式运动编码扩展到通用动态物体。基于本文的框架，还可以延伸：3) 实时推理——当前框架基于大规模DiT，探索轻量化运动编码器和推理加速技术以支持实时应用；4) 多主体运动控制——当前框架聚焦单主体，扩展到多人交互场景（如对话、舞蹈）；5) 更精细的身体表征——在身体和手部双尺度基础上进一步细化（如面部表情、手指关节）；6) 自监督3D运动学习——减少对SMPL/MANO伪ground-truth的依赖，探索纯自监督的3D运动表征学习；7) 跨域泛化——验证在非人体场景（如动物、机器人）上的迁移能力；8) 结合显式和隐式控制——探索将隐式运动表征与显式轨迹控制（如Unicontrol）结合的可能性。
复现评估
从复现角度看，本文的复现难度中等偏高。有利因素：论文提供了详细的实现细节（训练参数：batch size 64、Adam优化器、学习率1e-5、121帧视频片段、480×854分辨率；三阶段训练分别10K/15K/5K步，约3天完成；辅助几何监督权重从0.1线性衰减到0、在前12K步后完全移除）。论文声称收集的视角丰富数据子集将公开发布以支持未来研究。主要挑战：1) 预训练的DiT视频生成骨干网络未开源，这是框架的核心组件，需要大规模预训练资源；2) 数据收集涉及互联网视频、UE5渲染和自采集三路来源，其中自采集部分使用了三个相机阵列和23种相机运动类型，复现成本较高；3) 训练需要约3天的大规模GPU资源（batch size 64暗示多卡训练）；4) 评估数据的获取也需要一定的数据收集工作。总体而言，完整复现需要访问预训练视频生成模型和大规模计算资源，但论文的核心技术创新（隐式运动编码器、跨注意力注入、多阶段训练策略）是清晰可复现的。
论文图表