← 返回 2026-05-29

生成式4D神经物体运动学 NeuROK: Generative 4D Neural Object Kinematics

Chen Geng, Guangzhao He, Yue Gao, Yunzhi Zhang, Shangzhe Wu, Jiajun Wu 📅 2026-05-28 👍 13 2026-07-13 08:36

3D视觉 4D生成拉格朗日力学物理模拟神经表示

无需物理先验，从数据中学习物体运动学潜空间，实现通用4D物理模拟生成

前置知识

运动学状态参数化

指为物理系统的状态选择一组坐标参数，这些参数能够完全描述系统在配置空间中的状态。在经典力学中，好的参数化可以大大简化问题，例如用角度而非笛卡尔坐标来描述单摆。传统方法通常直接使用网格的顶点坐标作为参数，但这种方式维度过高且欠约束，需要引入大量物理约束。本文提出用神经网络学习低维的潜空间作为参数化。

本文的核心创新就是重新思考运动学状态参数化这一基础但常被忽视的问题。理解这个概念是理解为什么NEUROK能简化物理建模、实现通用性的关键。

拉格朗日力学

经典力学的一种表述，通过定义广义坐标和拉格朗日函数L=T-V（动能减势能），然后用欧拉-拉格朗日方程d/dt(∂L/∂q̇) - ∂L/∂q = 0推导运动方程。这种方法的优势是坐标选择灵活，可以任意选择最方便的广义坐标，而不限于笛卡尔坐标。例如描述复摆时，用角度作为广义坐标比用位置坐标简洁得多。

本文将NEUROK学习的潜空间视为广义坐标，直接在潜空间中应用拉格朗日力学来模拟动力学，这是方法的理论基础。

欧拉-拉格朗日方程

拉格朗日力学中推导运动方程的核心公式：d/dt(∂L/∂q̇ᵢ) - ∂L/∂qᵢ = 0，其中L是拉格朗日函数，qᵢ是广义坐标，q̇ᵢ是广义速度。给定系统的拉格朗日函数，这个方程可以唯一确定系统的动力学演化。本文将其应用到潜空间动力学，方程形式为mG(z)z̈ + C(z, ż) + ∇zV = 0，其中G(z)是度量张量，C是科里奥利项，V是势能。

这是本文在潜空间中生成动态轨迹的具体方法，理解它有助于理解如何从潜空间的静态分布生成连续的物理一致运动。

条件变分自编码器（CVAE）

一种生成模型，通过学习条件变量x下潜变量z的分布p(z|x)，以及从z重构x的解码器。训练目标包含重构损失和KL散度：L = ||x - D(z)||² + λ·KL(q(z|x)||p(z|x))。本文使用CVAE学习物体变形场的分布，编码器预测后验分布q(z|φ, M₀)，解码器将z解码为变形场。

本文用CVAE框架学习NEUROK，理解CVAE有助于理解训练过程和三个模型（先验编码器、变分编码器、解码器）的作用。

活动子空间方法

一种降维技术，通过分析代理函数G(z) = g(Az + ε(z))在潜空间中的敏感性，识别出影响输出的主要方向。矩阵A的行张成的空间就是活动子空间，包含了对输出影响最大的潜变量方向。本文用它将高维VAE潜空间压缩到低维Q⊆R^kq，其中kq≪k。

这是本文实现降维的关键步骤，理解它有助于理解如何从高维潜空间获得紧凑的运动学状态空间。

研究动机

现有的4D动态生成方法严重依赖预定义的物理模型，例如对弹性物体使用MPM（Material Point Method），对布料使用弹簧-质量系统，对关节物体预测铰链结构。这些方法通过系统识别来估计物理参数，虽然在特定类别上表现良好，但存在两个根本性局限：一是难以扩展到预定义类别之外的物体，二是难以扩展到大规模、多样化的4D数据集。例如，PhysDreamer仅能处理特定材料类别，AnimateAnyMesh虽然在大数据集上训练，但缺乏细粒度的条件控制，在罕见物体类型上表现不佳。更重要的是，这些方法使用从网格离散化导出的高维粒子集作为运动学状态参数化，导致系统过度参数化和欠约束，必须引入大量类别特定的物理约束来防止系统不稳定。

本文的目标是本文的目标是构建一个通用的4D模拟框架，能够从静态3D形状和物理条件（如力、动作、初始速度）生成符合物理直觉的4D动态序列，而无需任何类别特定的物理先验或物理标注。具体而言，给定一个3D物体的静态快照和一组物理条件，系统应该生成一个时间上演化的3D形状序列，该序列满足某种有效的物理配置并符合人类的物理直觉。由于单个3D快照无法完全确定物体的物理参数，目标是生成一个合理的4D序列即可。

与已有工作不同的是，本文的独特切入角度是重新审视一个长期被忽视的基础问题：动态物体的运动学状态参数化。传统方法使用几何导出的参数化（如高维粒子），而本文提出学习数据驱动的参数化——NEUROK，一个从数据中自动发现的潜空间，任何采样的潜变量都可以解码为合理的变形形状。这与经典力学中符号参数化的思路一致（如用角度而非位置描述单摆），但不同之处是参数化本身也是从数据中学到的，而非人工设计。这种数据驱动的参数化将物理系统的解空间简化到低维潜空间，使得可以在潜空间中应用拉格朗日力学生成动态轨迹，从而消除了对类别特定的物理约束和物理标注的需求。

核心方法

方法整体分为两个阶段：首先学习NEUROK（神经物体运动学），这是一个编码器-解码器模型，将静态3D对象编码到一个实例特定的潜空间，该空间代表该对象的所有可能运动学状态，然后解码器可以将任何采样的潜变量解码为对应的变形形状。其次，在学习的潜空间中应用拉格朗日力学生成动态轨迹。直觉上，这就像在经典力学中选择好的广义坐标可以大大简化问题，本文的创新在于坐标系统本身也是从数据中学到的。技术路线上，作者使用条件变分自编码器框架学习三个模型：运动学先验编码器E_cond、变分变形编码器E_VAE和变形解码器D，在大规模4D数据集上训练以学习通用的运动学先验。然后使用欧拉-拉格朗日方程在潜空间中生成动力学。

核心创新点是提出学习数据驱动的运动学状态参数化NEUROK，而不是使用预定义的几何参数化。NEUROK由潜空间Z和解码器F组成，潜空间Z的高密度区域作为有效的运动学状态空间，解码器F将潜变量映射到合理的变形形状。这使得物理系统可以在低维潜空间中建模，只需要模拟潜变量之间的转换，类似于经典力学中选择广义坐标的思路。这与现有方法的本质区别在于：现有方法使用高维粒子参数化，需要大量类别特定的物理约束；而NEUROK学习低维参数化，天然保证了变形的合理性，因此可以用类别无关的拉格朗日力学框架。

方法步骤详情

方法步骤的完整描述如下：（1）数据准备：从现有工作和物理模拟中构建大规模4D数据集，每个实例是一个动态物体的变形网格序列。每帧有共享拓扑的网格M_t = (V_t, F)。（2）NEUROK学习：训练三个模型——E_cond(M₀)输出先验分布p_M₀(z)，E_VAE(φ, M₀)输出后验分布q_M₀(z|φ)，D(z, M₀)解码潜变量为变形网格。训练时从序列中采样两帧M₀和M_z，计算变形δ_z，使用CVAE损失L = ||δ_sample - δ_pred||₂² + λ·KL(q_M₀(z|φ)||p_M₀(z))，λ=0.01。三个模型都使用基于Transformer的架构，E_cond和E_VAE使用Perceiver架构处理可变数量的点采样，D使用自注意力和交叉注意力。（3）降维：使用活动子空间方法将高维VAE潜空间Z⊆R^k压缩到低维Q⊆R^kq，其中kq≪k。代理函数G定义为预测变形的2-范数。（4）4D生成：给定物理条件（动作、力、速度），通过优化初始条件(z₀, ż₀)来匹配输入，然后求解欧拉-拉格朗日方程mG(z)z̈ + C(z, ż) + ∇zV = 0生成轨迹{z_i}ᵀᵢ₌₁，其中G(z) = J_z^T J_z是度量张量，J_z是F的雅可比，Cᵢ = m∑ⱼ,ₖΓᵢⱼₖ(z)żⱼżₖ，Γ是克里斯托费尔符号。

技术新颖性

技术新颖性主要体现在三个方面：一是首次提出学习数据驱动的运动学状态参数化，打破了传统依赖预定义几何参数化的范式；二是将神经潜空间与拉格朗日力学结合，在潜空间中应用欧拉-拉格朗日方程生成动力学，实现了物理原理与学习潜空间的桥接；三是设计了基于Transformer的编码器-解码器架构，在大规模4D数据集上学习通用运动学先验，无需物理或动作标注，仅需4D几何轨迹监督。此外，还引入了活动子空间方法进行降维，以及双四元数参数化变形，这些技术创新共同支撑了框架的通用性和可扩展性。

**Figure 3**: Overview of our framework. Given a static 3D shape, NEUROK uses a transformer-based encoder to predict an instance-specific latent space to represent different kinematic states of this object. Each sampled latent on the learned manifold can be decoded to a corresponding state of the input object. Under different physical conditions (e.g., forces, actions, velocities), our method generates dynamic trajectories of latents by solving a physically-inspired ODE.

**Figure 4**: Generative learning of NEUROK. During training, we randomly sample an instance mesh and one of its possible deformation fields from the training set, and supervise all three models with KL and reconstruction targets. During inference, we only use E_cond to obtain the prior distribution p_M0(z) for the instance M0 and sample from this distribution a latent, which is further decoded to a predicted deformation field with decoder D.

实验结果

论文在逆运动学和4D生成两个任务上进行了全面评估。在逆运动学任务上（使用PartNet-Mobility测试集），NEUROK在所有指标上显著优于基线：Chamfer L1距离从次优的0.067降到0.028（提升58.2%），Chamfer L2距离从0.067降到0.028（提升58.2%），IoU从0.570提升到0.764（提升34%）。消融实验显示模型降维、数据增强和双四元数参数化都有显著贡献。在4D生成任务上，用户研究包含105名用户，NEUROK在动作对齐和真实感上分别获得81.43%和83.33%的用户偏好，远高于PhysDreamer的5.95%/5.36%、OmniPhysGS的1.67%/0.48%、Pixie的5.12%/4.17%、AnimateAnyMesh的5.83%/6.67%。VBench和WorldScore指标也显示NEUROK的优越性。能量守恒分析显示，使用欧拉-拉格朗日动力学的方法保持总能量近似恒定，验证了物理一致性。未见类别泛化实验显示，仅在PartNet-Mobility类别上训练的模型可以为未见过的物体类型生成合理的动力学。

**Table 1**: Quantitative comparison on inverse-kinematics optimization.

**Table 2**: Quantitative comparison on physically-inspired generation. We report user study preferences along with metrics from VBench and WorldScore. AQ: Aesthetic Quality, DD: Dynamic Degrees, IQ: Imaging Quality, CLIP: CLIP score, MM: Motion Magnitude.

**Figure 5**: Qualitative comparison on learning object kinematics. We evaluate different methods on learning compact and smooth kinematic spaces. Given an input object and the shape of a target pose, we perform inverse kinematics and find the best-matching kinematic state. We compare how well the reconstructed shape decoded from the obtained state vectors matches the target.

**Figure 6**: Qualitative comparison on physically-inspired 4D generation. We compare against baselines on the task of generating physically-plausible 4D motion given a single shape and conditioning actions.

**Figure 7**: Simulating real objects. Our model can be used to simulate and manipulate real scenes. We scan a real scene and apply our approach to simulate the dynamics of the objects within it. As shown in Fig. 7, our method successfully simulates the closing motion of the laptop on the desk.

**Figure 8**: Analysis of energy conservation. Our approach maintains physical consistency in the generated trajectories through Euler–Lagrangian modeling. Under this formulation, the total energy of the simulated motion remains approximately constant.

查看结构化数据

任务	指标	本文	基线	提升
逆运动学优化	Chamfer L1	0.028	0.067 (KeyPointDeformer)	58.2%
逆运动学优化	Chamfer L2	0.028	0.067 (KeyPointDeformer)	58.2%
逆运动学优化	IoU	0.764	0.570 (KeyPointDeformer)	34%
4D生成-用户偏好	动作对齐	81.43%	6.67% (AnimateAnyMesh)	显著
4D生成-用户偏好	真实感	83.33%	6.67% (AnimateAnyMesh)	显著

局限与改进

作者承认的局限性包括：方法依赖于变形空间是低维的归纳偏置，虽然这在实践中得到验证，但对于某些高维变形系统可能不适用；生成的动态轨迹虽然物理合理，但不一定完全符合真实物理，因为拉格朗日函数是在潜空间中定义的，而非真实物理空间；当前框架主要处理以单个主导变形物体为中心的物理系统，对于多物体交互场景的扩展可能需要额外设计。此外，自己的观察是：方法在训练时需要大规模4D数据集，这可能限制了在缺乏足够数据的领域的应用；降维过程虽然提高了效率，但可能损失一些变形细节；双四元数参数化虽然有效，但对于大变形场景可能精度不足。

独立分析的弱点

独立分析的弱点包括：首先，方法假设变形空间是低维的，但对于某些高度非线性的变形（如极端扭曲、断裂），这个假设可能不成立，导致生成的变形不准确。改进方向可以是引入层次化的潜空间或自适应维度的参数化。其次，当前框架主要处理单物体场景，对于多物体交互（如碰撞、摩擦）的支持有限，改进方向可以是学习多物体联合的运动学空间，或在潜空间中引入接触模型。第三，能量守恒虽然验证了物理一致性，但基于潜空间的拉格朗日函数可能无法准确捕获真实物理的能量特性，改进方向可以是引入物理先知正则化或部分可微的物理仿真。第四，当前方法对初始条件优化比较敏感，可能陷入局部最优，改进方向可以是使用更鲁棒的优化算法或多初始点策略。第五，推理时需要求解欧拉-拉格朗日方程，计算开销较大，改进方向可以是学习近似的动力学模型或使用更高效的数值求解器。

未来方向

作者提出的未来工作方向包括扩展到多物体交互场景，探索更复杂的物理现象如流体、断裂，以及将NEUROK与其他生成模型结合。基于成果可以延伸的方向包括：将NEUROK与文本到3D生成结合，实现文本驱动的4D动画；探索在潜空间中学习可解释的物理参数（如质量、刚度）；研究如何从真实世界的视频中学习NEUROK，而不是仅依赖模拟数据；将方法扩展到时序更长、更复杂的动态场景；探索与其他物理仿真框架（如可微物理）的混合方法；研究如何支持在线学习和适应，使模型能够随着新数据的到来而更新；探索在机器人学中的应用，如从演示中学习操作技能；研究如何评估生成动态的物理真实性和多样性。

复现评估

复现评估方面，论文提到项目页面提供代码和数据集，但未明确说明开源状态。数据集通过整理现有工作和物理模拟构建，主要基于PartNet-Mobility等公开数据集，因此数据获取相对容易。算力需求方面，训练三个基于Transformer的模型需要较大计算资源，但推理时只需要前向传播和ODE求解，计算开销中等。难度方面，方法设计清晰，组件模块化，理论框架完善，但要获得与论文相当的性能可能需要仔细调整超参数（如潜空间维度、λ值等）和训练策略。论文提供了详细的消融实验，分析了模型降维、数据增强、双四元数等关键设计选择的影响，这有助于复现者理解每个组件的作用。总体而言，方法具有良好的可复现性，但需要一定的计算资源和调试经验。

论文图表

**Figure 1**: We present a versatile and scalable framework for generating simulative 4D dynamics of static 3D objects under physical conditions (e.g., forces, actions, velocities). Trained on a large-scale 4D shape dataset without any explicit physical annotations, our method does not rely on any inductive bias of the object's dynamic structure and therefore can be applied to various types of dynamic objects, ranging from elastic bodies, cloth, and continuum bodies, to multi-body objects.
该图展示了NEUROK框架的输入输出示例。左侧两列显示输入：静态3D形状和条件（如力、动作、速度），右侧两列显示输出：模拟的4D序列。图中展示了多种动态对象类型，包括弹性体、布料、连续体和多体对象，证明了方法的通用性。

这张图对理解论文至关重要，因为它直观展示了框架的核心能力：从静态3D形状和物理条件生成4D动态序列，而且适用于多种动态对象类型。这直接传达了论文的主要贡献和方法的通用性。

**Figure 2**: Kinematic state parameterization. (a) Several kinematic state parameterizations can be used to describe a physical system. The symbolic parameterizations used in classical mechanics are concise yet not accessible in inverse problems. Traditional inverse simulation approaches use geometry-derived parameterizations, yet require dense physical constraints to solve the over-parameterized system. We instead learn low-dimensional parameterizations that are both compact and learnable from data. (b) As formally defined in Def. 1, a kinematic state parameterization studied in this paper is a pair (Z, F) which contains a latent manifold Z and a decoder F that maps a sampled latent to a vertex configuration. This definition explicitly includes those kinematic state parameterizations that are not compact.
该图通过单摆示例对比了不同类型的运动学状态参数化。图(a)左侧显示经典力学的符号参数化（简洁但难以用于逆问题），中间显示传统逆模拟方法的几何导出参数化（高维且需要密集物理约束），右侧显示本文提出的低维学习参数化（既紧凑又可从数据学习）。图(b)形式化定义了运动学状态参数化，并说明了合理变形空间与不合理变形空间的区别。

这张图是理解论文核心思想的关键，它清晰地阐述了运动学状态参数化的重要性以及本文方法的独特性。通过对比展示，读者可以直观理解为什么学习数据驱动的参数化是解决现有方法局限的关键。

Figure 9: Generalization on unseen categories. Our model can generalize to novel object categories that are completely not present in the training data.

该图展示了在未见类别上的泛化能力。模型仅在PartNet-Mobility类别上训练，但仍能为完全不在训练数据中的新物体类型生成合理的动力学。图中展示了输入物体和生成的4D动态。

这张图验证了方法的泛化能力，证明NEUROK学习的不是类别特定的先验，而是通用的动态结构，这是方法区别于现有方法的重要特性。