PhyMotion:面向物理约束人体视频生成的结构化三维运动奖励 PhyMotion: Structured 3D Motion Reward for Physics-Grounded Human Video Generation

完整的 PhyMotion 流水线可以分为四步。第一步是视频到 SMPL-X: 给定生成视频,用 GVHMR 在 f=16 Hz 下恢复每帧的姿态 $q_t$、三维关节位置 $X_t$ 与网格 $M_t$,其中 $v_{t,j} = f(q_{t+1,j} - q_{t,j})$ 表示关节角速度。第二步是 retarget 与逆动力学: 把 $q_t$ 映射到 MuJoCo 中的人形刚体 (含显式质量、惯性、关节限位、接触几何),运行逆动力学得到关节扭矩与地面反作用力。第三步是三维子指标计算: (a) 运动学 $F_{kin} = 1 - \frac{1}{3}(v_{vel} + v_{spen} + v_{lim})$ 其中 $v_{vel}$ 是角速度阈值外比例、$v_{spen}$ 是自穿插网格面积比例、$v_{lim}$ 是关节超限位比例,例如脚踝扭到反向或膝盖后屈会被发现; (b) 接触 $F_{con} = 1 - \frac{1}{4}(v_{slip} + v_{gpen} + v_{float} + v_{bal})$ 其中 $v_{slip}$ 测接触脚位移、$v_{gpen}$ 测地面穿透、$v_{float}$ 测脚是否被错误地视为不动或乱飞、$v_{bal}$ 测质心是否落在支撑多边形外; (c) 动力学 $F_{dyn} = \frac{1}{3}(s_\tau + s_{GRF} + s_{met})$ 其中 $s_\tau$ 由估算扭矩超阈值比例得到 (脚踝 200/膝 300/髋 400/脊柱 200 N·m),$s_{GRF}$ 由垂向 $>3mg$ 或水平 $>0.5mg$ 的反力比例得到,$s_{met}$ 由 $\sum \tau_{t,j}\|\dot x_{t,j}\|\Delta t$ 这一做功代理得到。所有 violation 都被 clip 到 $[0,1]$,因此 $F_{kin}, F_{con}, F_{dyn}\in[0,1]$,分数越高表示物理可行性越好。第四步是 RL 后训练: 把 $R_{motion}(v) = \frac{1}{3}(F_{kin}+F_{con}+F_{dyn})$ 接入目标 $\max_\theta \mathbb{E}_{c\sim D, v\sim \pi_\theta(\cdot\mid c)}\left[R(v) - \lambda KL(\pi_\theta\|\pi_{ref})\right]$,采用 DiffusionNFT 风格的前向过程目标,$\beta=0.1$, $\lambda=1\times 10^{-4}$,LoRA rank 256,bf16 精度,8 块 A100 80GB 训练 330 步 (Causal Forcing 约 60.9 小时, FastWan 约 66 小时)。

技术与已有工作相比有四点本质区别。 (1) 与 EchoMotion、VideoJAM 等把运动作为条件 / 辅助损失嵌入生成器的方法相比,PhyMotion 不修改生成器架构,只通过 RL 微调注入奖励,因此可作为独立模块被任意自回归或双向视频生成器即插即用。 (2) 与 VBench-Action、VideoAlign-MQ 等像素空间指标相比,PhyMotion 不仅能定量还能定性区分失败模式——附录 Fig. 6 显示每个 submetric 都对应清晰的失败案例 (手部穿透 / 质心外支撑 / 异常扭矩),这种可解释性是 2D 奖励做不到的。 (3) 与 MBench 等评估"3D motion 文件"的工作相比,PhyMotion 是首个面向"合成视频"的 3D 奖励——这要求它必须先做 SMPL 恢复,本身就过滤掉"恢复不出来"的视频。 (4) 在 RL 后训练流程上,本文采用 DiffusionNFT 而不是 REINFORCE / Flow-GRPO,从而避免反向采样链梯度计算,使奖励可以任意复杂 (因为只前向评估),这与 HPSv3 在 SDXL 上需要 4.72 s/视频、引入 35% 训练开销的代价形成鲜明对比,PhyMotion 单独奖励 2.80 s/视频,流水线并行后仅 7% 开销。

独立审视后,以下弱点值得讨论。 (1) 物理量级的人体参数固定化: 仿真器使用统一 70 kg 与单位转动惯量,但实际人体差异巨大 (儿童 vs 成人 vs 运动员),在强力动作 (拳击、跳跃) 中可能误判正常人体动作; 改进方向是让 $m, I_j$ 跟随 SMPL 形状 $\beta$ 自适应缩放,或对各类动作分别学一组阈值 / 用真实动作数据回归阈值。 (2) 缺少多人与复杂场景: 现有实验几乎全在单人清晰动作上,多人交互 (舞蹈、群戏) 与人-物交互 (拔刀、切菜) 在 SMPL-X 单人模板下表现不够, 改进方向是采用 SMPL-X + 物体模板 (SOMA / OCIM) 联合仿真,或扩展到多人 SMPL-X 同时仿真。 (3) Dynamic Degree 退化暴露幅值-真实性权衡: 模型在物理更准的同时让画面动得"更少",这与人对真实感中"动作幅度够大"的期待存在冲突,改进方向是 PhyMotion 之外显式加一项"幅度奖励" (例如 desired root displacement),与物理奖励做 Pareto 平衡。 (4) 评估对 6 个开源基线偏少,商业模型和最近的 DiT 视频模型 (Step-Video, Veo) 还未纳入对比; 改进方向是补充更广泛模型 + 把 PhyMotion reward 直接发布成可调用的评估器,作为社区的统一指标。 (5) SMPL 恢复失败的情形没有鲁棒处理: 当 GVHMR 输出被标为失败时,本文似乎直接采用其结果,没有任何 confidence gate; 改进方向是先由 GVHMR 的置信度过滤掉失败样本,或对低置信度视频降权,避免错误物理量污染 RL 信号。 (6) 训练数据局限于 Motion-X 21408 条文本提示,缺少长尾、罕见动作 (如杂技、康复动作) 的覆盖; 改进方向是合并 Motion-X + 人类动作数据集 (HumanML3D, KIT) 加 Sora-style 大规模文本动作数据。

作者提出的方向是把结构化 3D 奖励接入更多视频生成器 (双向 + 自回归) 与更广提示。 基于此可以延伸出几条值得研究的方向。 (1) 即插即用的物理 reward: 把 PhyMotion 三个子指标做成可下载的 Python 库,允许任何视频扩散 / 自回归团队像接 VideoAlign 一样接入,推动"以物理量代 2D 偏好"成为新趋势。 (2) 与多模态基础模型联合训练: 当前 PhyMotion 需要 GVHMR 作为恢复器,若未来 GVHMR 被更强的 Video Pose/Mesh Estimation 模型替代,或直接用端到端"视频→物理可行动作"的方法,可在框架不变的前提下获得更大改进。 (3) 把物理 reward 同时施加到动作先验: 把 PhyMotion 改为动作生成 (Motion Synthesis) 任务的奖励,与最新 motion diffusion 模型结合,可能产生更鲁棒的 motion generator。 (4) 与 VLM-based safety / commonsense reward 融合: 物理安全只是真实的一部分,VLM 仍擅长检测语义违和、社会不合理 (教师在校园里抽雪茄); 将 PhyMotion 与 VideoPhy、VideoAlign 拼成复合奖励或用 Pareto RL,有望同时提升物理与语义合理度。 (5) 让 RL 微调的过程变成"探索-诊断-修正"闭环: 利用 submetric 分解可视化的能力,自动诊断生成模型在哪个物理轴上跌倒,针对性收集该类 prompt 做 DPO / 在线 RL,降低通用 RL 微调的方差。 (6) 工程上: 发布预训练 GVHMR + MuJoCo humanoid 的 Docker 镜像,允许用户在普通 8 卡 A100 上 2.5 天内复现本文结果,把工程门槛降到社区可参与的程度。

复现评估分四方面看。 开源方面: 论文给出了项目主页 https://phy-motion.github.io/2026 和 WAN2.2、SMPL、Motion-X、MuJoCo、GVHMR 等外部资源链接,作者在论文中承诺将公开代码与模型,但截至论文发表时未给出具体 GitHub 仓库,完整复现需要等官方 release。 数据可获得性: MotionX 是非商用研究数据集 (Non-commercial scientific research only),需要单独申请; SMPL 模型需去 smpl.is.tue.mpg.de 注册下载 (BY 4.0); GVHMR 只允许教育与研究使用,商业用受限; 其余 (Wan2.2, Causal Forcing, FastWan, VideoAlign, VideoPhy, MuJoCo, VBench) 均开源可获取。 算力需求: 8 张 NVIDIA A100 80GB 跑 330 步, Causal Forcing 约 60.9 小时, FastWan 约 66 小时; 推理时加 7% 的有效开销主要来自 GVHMR + MuJoCo simulation + 物理评分,大约每视频 2.8 秒; 论文没给出推理 FPS / 延迟,实际部署成本需自行评估。 复现难度: 工程上涉及三大独立栈 (视频生成, 物理仿真 + 逆动力学, DiffusionNFT RL),任一项出错都会让结果失真,特别是 GVHMR / MuJoCo 的版本号与 SMPL 的 retarget 映射细节; 此外 LoRA rank 256、batch size 与 clip 配置在 Causal Forcing vs FastWan 略有差别 (前者用 denoising list {1000,750,500,250} + chunkwise 3 帧,后者用 {999,856,599} 整段双向),实现时需逐项对照。 总结: 数据与基线模型均可合法获取,算力要求在 8 卡 A100 量级,但完整复现必须等到官方 release; 仅做 PhyMotion reward 评估部分 (不重新训练 RL) 则可在 2 张 A100 上几小时内跑完 1487 对盲评,门槛低很多。