IAM：身份感知的动作与体型联合生成框架

IAM 框架：联合生成身份相符的人体动作与 SMPL 体型参数

前置知识

SMPL / SMPL-X 人体参数化模型

SMPL 是一种参数化 3D 人体模型，用低维向量 $\beta\in\mathbb{R}^{10}$ 编码体型（身高、肢体比例、胖瘦等），用姿态参数编码关节旋转。SMPL-X 进一步扩展到面部与手部。本文的身份感知生成直接作用于该参数空间。

IAM 将 10 维体型参数 $\beta$ 并入生成状态向量，是论文的核心操作对象；不理解 SMPL 的参数语义就无法理解 joint motion-shape 范式。

扩散模型与去噪训练

扩散模型通过迭代去噪从高斯噪声生成样本，训练目标是最小化 $\mathcal{L}=\|\epsilon-\epsilon_\theta(x_t,t)\|^2$。MDM (Motion Diffusion Model) 是其在人体动作领域的代表实现。

IAM 的主要实例化即构建于 MDM 之上，将 282 维联合状态向量 $z=[x;\beta]$ 作为去噪目标，因此理解扩散机制是看懂方法主干的前提。

文本到动作 (Text-to-Motion) 合成

从自然语言描述直接生成人体动作序列的任务，动作常用 263 或 272 维关节参数表示。代表方法包括 T2M-GPT、MoMask、MDM 等，本文直接在此任务上加入身份感知维度。

IAM 是 T2M 任务的扩展而非颠覆，因此读者应当熟悉 R-Precision、FID、MM-D、Div 等 T2M 评测指标的语义，才能理解论文中的性能对比。

CLIP 视觉-语言编码器

CLIP 是通过对比学习对齐图像与文本的预训练模型，提供 512 维图像特征，常被冻结用作通用视觉编码器。本文用冻结的 CLIP 抽取参考图像中的身份特征 $E_{\text{img}}$。

IAM 多模态融合的一半输入来自冻结 CLIP；理解这一设计选择才能体会为何文本描述与视觉先验可以线性拼接成统一条件序列。

VQ 动作标记化 (Residual VQ)

通过残差向量量化 (RVQ) 将连续动作离散化为多层 token 序列，可用 Transformer 自回归或掩码建模 (MoMask) 生成。RVQ 通常冻结以保留动作先验质量。

IAM 在 VQ 范式上的实例化正是基于 MoMask；只有理解了 RVQ 的冻结机制，才能明白为何 IAM 只需在 Transformer 上增加一个回归头即可输出 $\beta$。

研究动机

现有文本到动作 (T2M) 方法如 MDM、MoMask、T2M-GPT 等普遍采用标准化、canonical 的骨架与体型模板，隐含假设动作动态对所有人相同。然而现实中身高、肢体比例、质量分布等体型属性显著影响动作执行方式——同一句 'jogging'，不同体型的人会展现截然不同的步幅、关节轨迹与时序特征。在 canonical 范式下，身份属性要么被忽略，要么通过 skeleton rescaling 或 motion retargeting 后置处理，导致模型只能学到 '平均化' 的动态，迁移到多样化角色时易出现物理不一致与视觉失真，限制了个性化化身动画与具身仿真等下游应用。一些近期工作尝试引入形状条件，但 Shape My Moves [19] 依赖精确的数值人体测量（身高/胸围/腰围），对普通用户极不友好；HUMOS [32] 侧重 retargeting 而非由文本联合生成；SMooDi、LoRA-MDM 等则把形状与风格属性纠缠处理，未真正建模形态与运动之间的内在耦合。

本文的目标是本文提出 IAM (Identity-Aware Motion Generation) 框架，目标是显式建模身体形态与动作动态之间的相互依赖。具体地，给定动作文本提示 $T_m$ 与多模态身份条件 $C_i=\{T_i,I_i\}$（包含语义身份描述与可选参考图像），模型同时生成动作序列 $M=\{x_1,\ldots,x_L\}$（$x_t\in\mathbb{R}^{272}$）与体型参数 $\beta\in\mathbb{R}^{10}$。核心是把任务从条件生成 $p(M|C_i)$ 重写为联合密度估计 $p(M,\beta|C_i)$，使身份线索直接作用于生成过程而非作为后置约束，最终目标是实现 FID 与 $\beta$-Dist 双指标最优，并在 MoCap 基准与零样本真实视频上都达到 SOTA。

与已有工作不同的是，IAM 切入的关键缺口是同时解决 '接口不友好' 与 '概念不解耦' 两大痼疾。一方面，用多模态先验（自然语言+视觉）替代 Shape My Moves 所需的硬编码数值人体测量，使普通用户可通过 '高大健壮的男性' 这类口语化描述控制身份；另一方面，把体型从外部条件提升为生成分布的内在维度，将 '把通用动作 warping 到指定体型' 的范式彻底替换为 '联合学习形态与功能'，并以统一 MSE 损失 $\mathcal{L}_{\text{joint}}$ 隐式捕获形态-动作相关性。差异化的实证结论是：扩散架构对连续联合分布的建模显著优于离散 VQ token，VQ 在加入 $\beta$ 后 FID 反而由 10.95 略升至 11.34，而扩散则由 13.21 降至 7.37。这一发现是先前工作完全没有覆盖的视角。

核心方法

IAM 的整体思路是把 T2M 重写为联合分布 $p(M,\beta|C_i)$ 估计问题。架构上由冻结的 DistilBERT（文本）与冻结的 CLIP（图像）组成多模态编码器，二者输出经可学习投影映射到共享 $d=512$ 隐空间，沿序列维度拼接为 $C\in\mathbb{R}^{(L+1)\times d}$，以 10% 概率替换为可学习 null token 支持 classifier-free guidance。扩散实例化基于 MDM：将 10 维体型参数 $\beta$ 在每一帧与 272 维动作特征拼接为 $z=[x;\beta]\in\mathbb{R}^{282}$，去噪网络 $\epsilon_\theta$ 在统一 MSE 损失 $\mathcal{L}_{\text{joint}}$ 下重建该联合流形。VQ 实例化基于 MoMask：在冻结 RVQ 之上给 Transformer 加一个回归头预测 $\beta$，多任务损失为分类交叉熵加 $\gamma=0.1$ 的形状 MSE。

核心创新点在于把生成目标从 $p(M|C)$ 重构为联合密度 $p(M,\beta|C)$。技术上由三个耦合子想法支撑：第一，多模态身份先验——文本与图像各自贡献互补信息（文本传语义 '高大健壮'，图像传肢干比这类难言说的结构线索），用简单 late fusion 在条件序列层级合并。第二，模型无关的联合预测——对扩散而言仅扩展状态维度即可，对 VQ 而言仅增加一个回归头，这种外科手术式改动释放了原骨干的潜力。第三，'形状即被生成量'而非 '形状即控制量'——这与 HUMOS 把形状当作旁路条件形成本质差别，它使形态与动作在去噪过程中通过共享的 $\epsilon_\theta$ 隐式耦合。

方法步骤详情

Pipeline 含四阶段。(1) 数据加工：HumanML3D 从 AMASS 取 449 个 SMPL $\beta$（男 263/女 186；瘦 116/中 269/胖 64），用 Body Talk + Llama 3.2 转为自然语言 $T_i$；IdentityMotion 用 GVHHR 重建 200K 视频，Gemini 2.5 Pro 解耦标注身份与动作。(2) 编码：冻结 DistilBERT 与 CLIP 输出投影到 $d=512$。(3) Fusion：文本与图像沿序列维度拼为条件 $C$，10% null token 支持 classifier-free guidance。(4) 联合生成：扩散路径用 MSE 在 282 维状态 $z=[x;\beta]$ 上训练；VQ 路径加回归头，损失为 token 交叉熵加 $\gamma=0.1$ 形状 MSE，RVQ 冻结。HumanML3D 训 400K 步 / 2×H100 / lr $10^{-4}$；IdentityMotion 训 200K 步 / 4×H100 / lr $2\times10^{-4}$。

技术新颖性

技术新颖性集中在三处。其一，将 SMPL $\beta$ 写入扩散状态本身而非作为辅助 token 输入，意味着模型在去噪迭代中始终在动作与形状之间维持相关性闭环，这与 T2M-GPT、MoMask 等把条件当 cross-attention key/value 的设计形成鲜明对比，是原理层的差异而非工程层的差异。其二，多模态身份先验的 late fusion 设计新颖且简单——将视觉与文本都视为条件 token，并共享一个 null dropout 槽位，使 classifier-free guidance 几乎零成本扩展到双模态，这一体式 dropout 设计在 T2M 文献中未见先例。其三，'骨干无关性' 是难得的对照实验范式：作者通过同一概念在 MDM 与 MoMask 上的双向验证，揭示了连续扩散对连续联合分布的天然适配性，并量化了 VQ 因离散化而付出的 motion-quality 代价（FID 略升），为未来工作选择骨干提供了经验依据。

**Fig. 2**: Overview of the proposed framework

**Fig. 3**: Overview of IdentityMotion Dataset

实验结果

在 HumanML3D（Table 1）上，扩散 IAM 在双条件 $\bullet\bullet$ 下取得 FID 7.371、R@1 0.642、$\beta$-Dist 0.647，相比无身份扩散基线（FID 13.207）显著优化；VQ 双条件 $\beta$-Dist 从不可用提升至 1.359，但 FID 由 10.952 升至 11.34，暴露了离散 token 对联合连续分布的脆弱性。Table 3 显示双条件在 HumanML3D 身高误差 5.8 mm、几何 V2V 3.0 mm、P2P20k 2.8 mm，与专用 Shapy[4] 接近。IdentityMotion 零样本测试（Table 2）中双条件 FID 23.174、$\beta$-Dist 1.279 仍为四组最优，但身高误差升至 53.5 mm、腰围 77.3 mm，证明极端体型欠拟合。Fig. 4-6 可视化进一步验证 (a) 形态一致性、(b) 零样本泛化、(c) 身份-动作解耦自由组合三个维度。

**Table 1**: Quantitative Results on HumanML3D

**Table 2**: Zero-shot Quantitative Results on IdentityMotion

**Table 3**: Body Shape Reconstruction Accuracy in mm

**Fig. 4**: Qualitative Comparison on the HumanML3D Test Set

**Fig. 5**: Qualitative Results of Zero-shot Generalization on Unseen Test Set

**Fig. 6**: Zero-shot Identity-Controllable Motion Generation

查看结构化数据

任务	指标	本文	基线	提升
HumanML3D 文本到动作生成	FID ↓	7.371（扩散双条件）	13.207（无身份扩散基线）	44.2% 相对下降，最佳论文配置达到新 SOTA
HumanML3D 体型保真度	β-Dist ↓	0.647（扩散双条件）	1.190（仅身份文本）/ 1.359（VQ 双条件）	比单文本条件再降 45.6%，远优于 VQ 范式
HumanML3D 几何重建 V2V	Vertex-to-Vertex 误差 (mm)	3.0	7.9（仅身份文本扩散）	几何精度提升约 62%，逼近专用 Shapy 估计器
IdentityMotion 零样本 FID	FID ↓	23.174（扩散双条件）	31.799（无身份扩散）	相对下降 27.1%，零样本泛化能力显著
IdentityMotion 零样本体型	β-Dist ↓	1.279（扩散双条件）	1.452（仅身份文本）	联合多模态条件优于单一身份文本 11.9%
HumanML3D 身高重建	Height error (mm)	5.8（扩散双条件）	5.8（Shape My Moves, 需模板数值）/ 18.8（IAM 仅文本）	在保持与 SMM 相同精度的同时提供更友好的文本接口

局限与改进

作者明确承认两点：(1) 体型重建对宽松衣物与遮挡敏感，参考图中被遮挡部分会向 $\beta$ 注入噪声，最终降低 mesh 保真度；(2) 零样本测试中极端体型（极高/极胖）超出训练分布，导致绝对误差升高，IdentityMotion 上身高误差跳至 53.5 mm、腰围 77.3 mm 即是证据。作者的解决思路是探索更鲁棒的身份编码器或加入几何约束。我的额外观察：(a) IdentityMotion 的伪真值完全依赖 GVHHR 重监督，继承了该姿态估计器的系统误差——若 GVHHR 在某些后向或多人交互镜头下失败，则 conditioning 信号本身就被污染。(b) 性别分布 64% 女 + 36% 男、body-type 52% slim + 7% heavyset，明显偏向瘦人群体与女性，使 heavyset 与老年男性身份上泛化偏弱。(c) 10% classifier-free guidance 概率相对保守，CFG 缩放 $\omega>1$ 的强度-多样性权衡曲线未充分探索。

独立分析的弱点

可独立分析出的薄弱环节有五点。(1) 伪真值依赖——IdentityMotion 整体训练循环建立在 GVHHR 的姿态估计上，对该系统级错误的鲁棒性差，未来可融入可微物理仿真或直接在 video-level 自监督目标下训练，避免姿态估计瓶颈。(2) 简单 late fusion——文本与图像沿序列维度直接 concat，未探索 cross-attention、Q-Former 等可让 '图像上的细瘦躯干' 与 '文本中瘦长躯干' 短语互相查找的交互式融合，二阶关联可能被忽略。(3) 形状维度受限——仅用 10 维 PCA 头以统一两种数据，丢弃了面部、手部等高频细节，限制了高保真化身的应用，未来应扩展到全 SMPL-X 或单独引入 FLAME+MANO 模块。(4) 单图视觉先验——每段仅采一个关键帧，导致重度遮挡或非典型姿态下身份线索不足；多帧或 3D 多视角信息可显著缓解。(5) 超参 $\gamma=0.1$ 的 VQ 损失平衡系数完全启发式，缺少消融实验，给复现性增加负担，应做 $\gamma\in\{0.01, 0.1, 1\}$ 的扫描。

未来方向

作者建议从更鲁棒身份编码器与几何约束两个方向延伸。基于成果还可合理外推：(a) 物理感知生成——把可微物理损失（地面接触、动量守恒、关节角限位）引入 $\mathcal{L}_{\text{joint}}$，让生成的动作不仅形态正确且物理可执行。(b) 全身扩展——把 $\beta$ 维度扩展到 face+hand，使 IAM 能驱动完整 SMPL-X 化身，同步面部表情与手语。(c) 解耦组合控制——用解耦的语义 token 分别表示 '年龄'、'性别'、'技能水平'，使 '老者像 20 岁芭蕾舞者般行走' 这类反直觉 prompt 可被显式实现。(d) 测试时个性化——给定目标个体 3-5 秒视频，对 IAM 进行 few-shot LoRA 微调得到该人专属化身，契合短视频与直播场景。(e) 草图/语音驱动——把图像分支替换为用户勾画的人体剪影或语音描述，进一步降低使用门槛。

复现评估

可复现性居中偏上。论文披露充分：Transformer 8 层 / 4 头 / latent 256；冻结 DistilBERT 与 CLIP；AdamW + GELU；HumanML3D 训练 400K 步 / 2×H100 / batch 64 / lr $10^{-4}$；IdentityMotion 200K 步 / 4×H100 / batch 256 / lr $2\times10^{-4}$。阻碍项：(1) IdentityMotion 的 200K 视频 URL、Gemini 2.5 Pro 标注 prompt、Llama 3.2 改写 prompt 未完整公开。(2) 外部依赖复杂——GVHHR、Body Talk、Llama 3.2、Gemini 2.5 Pro 任一版本变化都引入 shift。(3) Shape My Moves 训练代码未开源，只能定性对比，核心结论难被第三方以相同基线复核。(4) 64% 女 / 36% 男分布是否在抓取步骤可复现仍存疑。项目页 https://vjwq.github.io/IAM 已声明开源代码。

IAM：身份感知的动作与体型联合生成框架 IAM: Identity-Aware Human Motion and Shape Joint Generation