← 返回 2026-05-29

PhyGenHOI：物理感知的动态人机交互 4D 生成 PhyGenHOI: Physically-Aware 4D Generation of Dynamic Human-Object Interactions

Omer Benishu, Gal Fiebelman, Sagie Benaim 📅 2026-05-28 👍 11 2026-07-13 08:36
3D高斯泼溅 4D生成 人机交互 扩散模型 物理模拟
arXiv HuggingFace PDF

结合生成式运动与物理模拟，生成物理合理的4D人机交互场景

前置知识

3D Gaussian Splatting (3DGS)

一种新兴的神经渲染技术，用一组各向异性的3D高斯函数表示场景，每个高斯由位置、协方差、不透明度和球谐系数定义。渲染时通过α-blending将投影到图像平面的高斯组合成最终颜色。相比NeRF，3DGS具有可微、高效、支持实时渲染的优势，已成为3D表示的主流方法。

本文将3DGS作为人体和物体的统一表示，既是渲染的基础，也是连接生成式运动和物理模拟的桥梁，理解3DGS对掌握本文的技术路线至关重要。

Motion Diffusion Model (MDM)

基于扩散模型的文本驱动人体运动生成方法。训练时学习从高斯噪声到自然人体运动的去噪过程，推理时通过文本条件逐步生成高质量的运动序列。MDM通常以SMPL参数作为输出，包括根位移、全局旋转和关节角度，能够生成符合解剖学约束且语义一致的人体动作。

本文使用预训练的MDM作为人体运动的语义先验，通过Human Motion Score Distillation (HMSD)损失优化人体姿态参数，理解MDM的工作原理有助于理解本文如何生成自然且文本对齐的人体运动。

Material Point Method (MPM)

一种用于模拟连续介质动力学的拉格朗日-欧拉混合方法。它将材料表示为离散的粒子集合，每个粒子携带质量、速度、变形梯度等物理量。在每个时间步，粒子先在拉格朗日框架下运动，然后被映射到背景网格上计算力和应力，最后更新粒子状态。MPM特别适合模拟大变形、断裂、流体等复杂物理现象。

本文将物体的3D高斯直接映射为MPM粒子，通过MPM模拟物体的物理响应，理解MPM有助于理解本文如何实现物理一致的目标轨迹和材料变形。

Score Distillation Sampling (SDS)

一种将预训练扩散模型作为优化目标的技术。给定参数化的表示（如3D模型），随机采样视角渲染图像，用扩散模型编码为潜在空间表示，然后计算去噪噪声与渲染图像梯度的匹配度，反向传播梯度优化表示参数。SDS不需要训练，可以直接利用大规模扩散模型的先验知识进行优化。

本文扩展了SDS思想到运动（HMSD）和视频（Video-SDS）领域，通过蒸馏运动先验和视频先验来优化人体姿态参数和接触保真度，理解SDS是理解本文优化策略的关键。

研究动机

现有文本到4D生成方法面临严重的物理一致性问题。以4DFY为代表的纯生成式方法直接从视频先验蒸馏运动，虽然能生成多样化的开放世界场景，但缺乏底层的物理模型，经常产生因果异常，如ghosting伪影——物体在接触前就产生反应，或者产生穿透现象。另一方面，以AvatarGO和InterDreamer为代表的运动学框架引入了结构化人体先验（如SMPL）来确保解剖学一致性，但这些方法通常将交互简化为几何约束，将目标物体视为静态道具或刚性附件，无法捕捉动态力如弹道动量传递和材料变形。最近的3D资产动画方法如AnimateAnyMesh和Animus3D能够单独动画化实体，但缺乏人机交互所需的耦合物理逻辑，导致接触在物理上不合理或完全缺失。这些方法都无法同时满足语义响应和物理保真度这两个关键需求。

本文的目标是本文的目标是生成既语义响应又物理合理的4D人机交互。具体来说，给定以3D高斯泼溅表示的静态3D人体和静态目标物体，以及描述期望人体运动的文本提示和描述场景交互的文本提示，合成一个动态的4D场景，人体根据文本主动与动态物体交互（如踢足球、推文件柜），产生在视觉上忠实且物理上合理的运动。框架需要捕捉力和碰撞的因果相互作用，同时确保生成的4D内容支持从新视角的高效渲染。

与已有工作不同的是，本文的独特切入点是将语义生成与物理模拟在统一的3DGS表示框架下进行耦合。不同于纯生成式方法忽略物理，也不同于纯运动学方法忽略动态物理响应，本文将人体建模为由运动扩散模型驱动的语义代理，将物体建模为由物质点法模拟的物理代理，通过三个靶向机制协调它们：窗口吸引损失同步语义意图与物体位置，接触驱动的重模拟确保物理因果性，时序掩码视频SDS增强接触保真度。这种神经物理耦合方式在生成动态人机交互的4D内容方面开创了新的范式。

核心方法

PhyGenHOI的整体思路是将生成式人体运动与MPM物理模拟在统一的3DGS表示下耦合起来。直觉上，我们想要一个既能理解语义指令（通过MDM生成自然动作）又能遵守物理定律（通过MPM模拟物体响应）的系统。技术路线分为三个阶段：首先独立生成每个代理的运动，然后通过吸引损失、接触检测和重模拟协调它们，最后用视频先验增强接触区域。3DGS作为共享表示，使整个流程可微分且端到端优化。框架针对涉及接触时离散动量传递的动作，如踢、打、推。

核心创新点是在统一表示下同时使用生成模型和物理模拟，将语义代理（人体）和物理代理（物体）的耦合作为优化目标。与将交互简化为几何约束的已有方法不同，本文通过Contact Detection和MPM Re-simulation实现真实的动量传递和材料变形；与忽略物理的纯生成方法不同，本文通过Windowed Attraction Loss和Video-SDS确保接触的语义一致性和视觉保真度。这种神经物理耦合方式本质上是在优化一个双层目标：上层是语义对齐（通过HMSD和Video-SDS），下层是物理合理性（通过MPM），两者在3DGS表示下自然交互。

方法步骤详情

方法分为三个主要步骤。第一步是场景表示和代理运动合成。人体表示为绑定到SMPL参数模型的3D高斯，通过Linear Blend Skinning (LBS)实现姿态变形；物体表示为直接映射到MPM粒子的3D高斯，通过连续介质力学演化位置。物体的初始轨迹通过从t=0到T的前向MPM模拟计算。人体运动通过Human Motion Score Distillation (HMSD)优化。单独优化HMSD共Ninit次迭代，产生自然但可能不接触物体的人体运动。第二步是物理感知的交互合成。首先通过Windowed Attraction Loss协调运动。通过分析初始运动的速度剖面选择接触关节和接触帧，然后应用高斯加权吸引损失，将接触关节位置拉向物体质心。继续优化Lhuman = lambda_HMSD * LHMSD + lambda_attr * Lattr共Nsync次迭代。第三步是接触检测和重模拟。检测接触后计算动量传递，从接触帧到T进行单次前向MPM模拟产生物理一致轨迹。第四步是Video-SDS增强接触保真度。渲染合成场景的帧，编码到潜在空间，应用时序掩码的Video-SDS损失，只在接触帧窗口内优化，增强接触区域保真度。

技术新颖性

技术新颖性体现在四个方面。一是首次将MPM物理模拟与3DGS表示应用于耦合的人机交互系统，而非单物体动力学；二是Windowed Attraction Loss通过分析速度剖面自动确定接触关节和帧，避免了手动指定；三是Contact-Driven Re-simulation将离散的碰撞检测与连续的物理模拟结合，实现了真实的动量传递和材料变形；四是Temporally-Masked Video-SDS只在接触帧周围优化，平衡了视觉保真度和物理一致性。此外，本文扩展了SDS到运动领域（HMSD），为参数化运动优化提供了新思路。

PhyGenHOI generates physically plausible 4D human-object interactions. Given static 3D Gaussian Splats of a human and a target object, our framework synthesizes a dynamic scene by coupling a generative "semantic agent" (human) with a simulated "physical agent" (object) aligned with a text prompt. We demonstrate here a single view across different timesteps for the actions overhead pass, punch, and push (top to bottom).
Figure 1: PhyGenHOI generates physically plausible 4D human-object interactions. Given static 3D Gaussian Splats of a human and a target object, our framework synthesizes a dynamic scene by coupling a generative "semantic agent" (human) with a simulated "physical agent" (object) aligned with a text prompt. We demonstrate here a single view across different timesteps for the actions overhead pass, punch, and push (top to bottom).
Overview of PhyGenHOI. (a) Scene Representation + Agent Motion Synthesis (Sec. 3.1+3.2): Given a 3DGS human and 3DGS object, we treat the human as a semantic agent and synthesize motion via Human Motion Score Distillation (HMSD) (LHMSD) from a pretrained motion diffusion model, producing natural text-aligned motion. The object is treated as a physical agent, with its trajectory computed via MPM simulation. At this stage, both agents move independently. (b) Physically-Aware Interaction Synthesis (Sec. 3.3): While continuing to optimize LHMSD from (A), we coordinate the agents through a Windowed Attraction Loss (Lattr) that guides the human toward the object. Upon Contact Detection, we trigger object re-simulation with physically consistent momentum transfer. Finally, we render the composed 4D HOI scene and apply Video-SDS (LV-SDS) to enhance contact fidelity.
Figure 2: Overview of PhyGenHOI. (a) Scene Representation + Agent Motion Synthesis (Sec. 3.1+3.2): Given a 3DGS human and 3DGS object, we treat the human as a semantic agent and synthesize motion via Human Motion Score Distillation (HMSD) (LHMSD) from a pretrained motion diffusion model, producing natural text-aligned motion. The object is treated as a physical agent, with its trajectory computed via MPM simulation. At this stage, both agents move independently. (b) Physically-Aware Interaction Synthesis (Sec. 3.3): While continuing to optimize LHMSD from (A), we coordinate the agents through a Windowed Attraction Loss (Lattr) that guides the human toward the object. Upon Contact Detection, we trigger object re-simulation with physically consistent momentum transfer. Finally, we render the composed 4D HOI scene and apply Video-SDS (LV-SDS) to enhance contact fidelity.
Contact Joint and Frame Selection. Per-joint velocity profiles for a kicking motion. Each curve represents a different SMPL joint, with the left foot (⋆) and right knee (■) highlighted. The left foot exhibits the highest cumulative velocity and is automatically selected as the contact joint j∗, with the contact frame t∗ identified at its peak. In contrast, the right knee (blue) maintains low velocity throughout the sequence, illustrating why it is not selected. We visualize human poses at two frames where peak motion occurs, illustrating the motion progression.
Figure 3: Contact Joint and Frame Selection. Per-joint velocity profiles for a kicking motion. Each curve represents a different SMPL joint, with the left foot (⋆) and right knee (■) highlighted. The left foot exhibits the highest cumulative velocity and is automatically selected as the contact joint j∗, with the contact frame t∗ identified at its peak. In contrast, the right knee (blue) maintains low velocity throughout the sequence, illustrating why it is not selected. We visualize human poses at two frames where peak motion occurs, illustrating the motion progression.

实验结果

实验证明PhyGenHOI在生成物理合理的4D人机交互方面显著优于现有方法。定性结果显示，在拳击、踢球、推文件柜等多种场景中，框架成功协调人体运动与物体轨迹，产生真实交互，物体根据材料属性做出响应，消除了纯生成方法的ghosting和穿透伪影，同时捕捉到运动学方法无法实现的动态物体响应。图4展示了场景内变化控制能力，不同初始物体速度、位置和接触强度都产生连贯且物理合理的结果。定量评估在10个不同人机交互场景基准上进行，涵盖不同人体、物体和交互类型。VQA Physics Score评估物理合理性，使用Qwen-VL-7B询问整个交互过程中物理上是否合理，本文得分0.253，显著优于4DFY的0.15和AnimateAnyMesh的0.19，提升幅度分别达68.7%和33.2%。ViCLIP评估语义对齐，本文得分0.295，优于4DFY的0.26和AnimateAnyMesh的0.24。用户研究包含23名参与者，在1-5量表上评估四个指标：Q1物理合理性、Q2接触质量、Q3运动自然性、Q4视觉保真度，本文MOS得分分别为4.33、4.29、4.21、4.04，远高于4DFY的1.42/1.44/1.85/1.76和AnimateAnyMesh的1.61/1.51/2.40/2.11。消融研究验证了各组件必要性：移除Video-SDS保留全局物理但留下局部穿透伪影；移除吸引损失解耦代理导致错过目标；移除MDM产生不自然的解剖学不合理运动；移除接触检测和重模拟破坏因果性；移除MPM将物体动力学简化为恒定速度，失去材料感知的物理保真度。图6直观展示了各移除组件的失败模式。

Quantitative Evaluation. Comparison on VQA Phys., ViCLIP, and User Study MOS (Q1-Q4).
Table 1: Quantitative Evaluation. Comparison on VQA Phys., ViCLIP, and User Study MOS (Q1-Q4).
In-Scene Variations. We demonstrate controllability by varying human/object movements. Top & Second Rows: Changing object position (High vs. Low) forces trajectory adaptation. Third & Bottom Rows: Altering intensity (Step vs. Stand Still) yields distinct impact velocities.
Figure 4: In-Scene Variations. We demonstrate controllability by varying human/object movements. Top & Second Rows: Changing object position (High vs. Low) forces trajectory adaptation. Third & Bottom Rows: Altering intensity (Step vs. Stand Still) yields distinct impact velocities.
Baseline Comparison. We show a single view (see more views in appendix). While baselines exhibit missing contact (top) or ghosting artifacts (middle), our method (bottom) produces coherent interactions with causal momentum transfer and accurate physical response.
Figure 5: Baseline Comparison. We show a single view (see more views in appendix). While baselines exhibit missing contact (top) or ghosting artifacts (middle), our method (bottom) produces coherent interactions with causal momentum transfer and accurate physical response.
Qualitative Ablation. We highlight failure cases when removing components of our method (see highlighted boxes emphasizing the failure). w/o Attraction: The agent fails to hit the object. w/o MDM: The human mesh deforms unnaturally. w/o Video-SDS: Severe penetration occurs. w/o Contact: The hand passes through the object. w/o MPM: The object moves via velocity transfer, lacking physical realism. Ours
Figure 6: Qualitative Ablation. We highlight failure cases when removing components of our method (see highlighted boxes emphasizing the failure). w/o Attraction: The agent fails to hit the object. w/o MDM: The human mesh deforms unnaturally. w/o Video-SDS: Severe penetration occurs. w/o Contact: The hand passes through the object. w/o MPM: The object moves via velocity transfer, lacking physical realism. Ours
查看结构化数据
任务指标本文基线提升
VQA物理合理性评估 VQA Physics Score (是/否概率) 0.253 4DFY: 0.15, AnimateAnyMesh: 0.19 相比4DFY提升68.7%，相比AnimateAnyMesh提升33.2%
语义对齐评估 ViCLIP余弦相似度 0.295 4DFY: 0.26, AnimateAnyMesh: 0.24 相比4DFY提升13.5%，相比AnimateAnyMesh提升22.9%
用户研究-物理合理性 MOS (1-5分) 4.33 4DFY: 1.42, AnimateAnyMesh: 1.61 相比4DFY提升205%，相比AnimateAnyMesh提升169%
用户研究-接触质量 MOS (1-5分) 4.29 4DFY: 1.44, AnimateAnyMesh: 1.51 相比4DFY提升198%，相比AnimateAnyMesh提升184%
用户研究-运动自然性 MOS (1-5分) 4.21 4DFY: 1.85, AnimateAnyMesh: 2.40 相比4DFY提升128%，相比AnimateAnyMesh提升75%
用户研究-视觉保真度 MOS (1-5分) 4.04 4DFY: 1.76, AnimateAnyMesh: 2.11 相比4DFY提升130%，相比AnimateAnyMesh提升91%

局限与改进

作者承认的局限性包括：框架主要针对涉及接触时离散动量传递的动作（如踢、打、推），对持续接触或复杂交互（如抛接、抱举）可能不够有效。接触检测基于包围盒重叠和距离阈值，可能产生误检或漏检，特别是在精细接触场景中。MPM模拟的计算成本较高，限制了实时应用。速度剖面分析选择接触关节和帧的启发式方法在某些复杂动作中可能失效（如需要同时使用多个关节的动作）。此外，本文在消融研究中提到，移除Video-SDS会保留全局物理但留下局部穿透伪影，说明接触检测和重模拟的离散性质可能导致局部不一致。观察到的其他潜在局限性包括：物体材料属性需要预先设定，无法从文本自动推断；人体和物体的初始姿态相对固定，限制了场景多样性；视频先验可能在某些罕见动作上表现不佳。

独立分析的弱点

独立分析来看，PhyGenHOI存在几个可以改进的弱点。首先是接触检测的精度问题，基于包围盒和距离阈值的二元判定在精细接触场景中容易失效，例如手指轻触物体表面或边缘接触，改进方向可以是引入连续的接触概率估计或基于法线的接触区域检测。其次是速度剖面分析的局限性，该启发式方法假设动作的接触发生在速度峰值时刻，这对一些需要先减速再加速的动作（如轻拍）不适用，改进方向可以是结合动作分类器或从文本提示中推断接触时机。第三是材料属性的手动设定，当前需要预先指定物体的弹性、恢复系数等MPM参数，无法从文本自动推断，改进方向可以是训练一个文本到材料属性的映射网络，或使用视觉语言模型从物体外观推断材料属性。第四是计算效率，MPM模拟和Video-SDS都需要大量计算，限制了实时应用，改进方向可以是采用轻量级物理引擎或离线预计算。第五是场景多样性限制，当前框架假设人体和物体初始静态，无法处理运动中的交互或多物体场景，改进方向可以是扩展到动态初始化或多交互代理。第六是动作范围限制，当前主要支持离散动量传递动作，对持续接触或复杂交互支持不足，改进方向可以是引入接触状态机或分层物理模拟。

未来方向

作者提出的未来方向和基于成果可延伸的研究包括：扩展到更复杂的人机交互类型，如持续接触（抱、举）、抛接、工具使用等，这可能需要更精细的接触建模和更丰富的物理约束。将框架应用于多人交互场景，协调多个语义代理和物理代理，可能需要引入社交先验和多体物理模拟。结合强化学习优化交互策略，让代理主动学习如何产生物理合理的交互，而非依赖预定义的损失函数。集成到游戏和虚拟现实应用中，实现实时物理感知的4D内容生成，这可能需要算法优化和硬件加速。探索从文本自动推断物体材料属性的方法，减少手动设定的工作量。扩展到音频生成，同步产生物理合理的碰撞声和环境音效。研究如何将该方法与4D扫描数据结合，实现从真实场景到交互式4D内容的重建和重动画。此外，基于本文的神经物理耦合思想，可以探索其他类型的代理组合，如语义-语义代理（两个生成式人物交互）或物理-物理代理（两个模拟物体交互），为4D内容生成提供更丰富的工具箱。

复现评估

复现性评估方面，论文提到代码将完全开放（项目页面https://omerbenishu.github.io/PhyGenHOI/），这有利于复现。实验使用了预训练的MDM和视频扩散模型，这些模型通常是公开的。数据方面，论文在10个不同人机交互场景上评估，但没有详细说明数据集来源，可能是自建的。算力需求方面，MPM模拟、Video-SDS和3DGS渲染都需要GPU，估计需要至少一张高性能GPU（如RTX 3090或A100）才能在合理时间内完成训练和推理。实现难度较高，涉及多个复杂组件的整合：SMPL模型、3DGS渲染、MDM推理、MPM模拟、视频扩散模型等，需要较强的工程能力。超参数设置（如lambda_HMSD、lambda_attr、Ninit、Nsync等）在论文中给出了大致范围，但具体值可能需要调优。消融研究提供了各组件的详细对比，有助于理解每个组件的作用和复现预期结果。总体而言，复现难度为中等偏高，需要较多计算资源和工程经验，但开放的代码和详细的补充材料将大大降低复现门槛。

论文图表

Table 2: Ablation Study. Impact of components on automated metrics and User Study MOS scores (Q1–Q4).

该表格展示了各组件对自动指标和用户研究MOS评分的影响，验证了每个组件的必要性。VQA Physics：w/o Attraction 0.24，w/o Contact 0.20，w/o MDM 0.20，w/o Video-SDS 0.25，w/o MPM 0.21，完整方法0.25。ViCLIP：w/o Attraction 0.23，w/o Contact 0.23，w/o MDM 0.22，w/o Video-SDS 0.27，w/o MPM 0.23，完整方法0.30。用户研究Q1-Q4的MOS评分也显示了类似的模式：移除关键组件会导致性能下降，特别是w/o Contact在物理合理性上得分最低（1.92），w/o MDM在运动自然性上得分最低（1.85），而完整方法在所有指标上都得分最高（4.41, 4.44, 4.25, 4.15）。

这个表格是理解各组件贡献的关键定量证据。它展示了移除每个组件对性能的具体影响，支撑了Figure 6的定性消融结果。通过对比，读者可以看到：w/o Contact破坏因果性导致物理合理性得分最低，w/o MDM失去自然先验导致运动自然性得分最低，w/o Attraction失去接触导致ViCLIP得分下降等。