RigMo：统一骨骼绑定与运动生成的统一框架 RigMo: Unifying Rig and Motion Learning for Generative Animation
首次实现无需标注的骨骼绑定与运动生成统一框架
前置知识
骨骼绑定（Rigging）
骨骼绑定是将静态3D模型转换为可动画资产的过程。传统流程包括两个步骤：首先由艺术家手动设计骨架（skeleton），定义骨骼的层次结构和关节位置；然后为每个顶点分配蒙皮权重（skinning weights），决定该顶点受哪些骨骼影响以及影响程度。在动画过程中，骨骼的变换通过蒙皮算法传递到网格顶点，产生变形效果。RigMo的核心创新在于用数据驱动的方式自动学习这一过程，无需人工标注。
理解骨骼绑定的传统流程才能认识到RigMo自动化这一流程的重大意义
高斯骨骼（Gaussian Bones）
RigMo提出的创新骨骼表示方法。每个高斯骨骼由三个参数定义：骨骼中心、各向异性缩放因子和方向四元数。这些参数共同定义了一个3D高斯椭球体，作为具有空间变化影响力范围的软骨骼。与传统骨骼相比，高斯骨骼的影响力范围是连续可微的，且复杂度仅与骨骼数量相关而非网格分辨率。
高斯骨骼是RigMo的统一表示基础，理解它才能理解整个框架的设计哲学
线性混合蒙皮（Linear Blend Skinning, LBS）
LBS是计算机图形学中最常用的蒙皮方法。给定骨骼变换和顶点的蒙皮权重，变形后的顶点计算公式为所有骨骼变换的加权和。这种方法计算简单高效，但限制变形为变换的线性组合，可能导致糖果纸伪影。RigMo沿用LBS框架但通过高斯骨骼重新定义权重计算方式。
LBS是RigMo变形计算的核心，理解传统LBS才能看出RigMo的改进之处
测地距离（Geodesic Distance）
测地距离是两点之间沿曲面的最短路径长度，而非直线距离（欧氏距离）。在网格上，测地距离通常通过Dijkstra算法在边连接图上近似计算。RigMo利用测地距离进行蒙皮权重的拓扑一致性修正，避免空间上相近但拓扑上不相连的区域被错误绑定。
测地距离是RigMo几何感知权重修正策略的数学基础
扩散变换器（Diffusion Transformer, DiT）
DiT是将扩散模型与Transformer架构结合的生成模型。在RigMo中，Motion-DiT在VAE学到的运动潜空间中进行去噪生成。模型使用时空注意力块交替处理空间维度和时间维度，并通过v-prediction参数化预测速度场，从噪声逐步恢复运动潜变量。DiT相比U-Net架构能更好地捕捉长程依赖关系。
Motion-DiT是RigMo下游运动生成任务的核心组件
SE(3)变换
SE(3)是特殊欧几里得群，描述三维空间中的刚体变换，包括旋转和平移。在RigMo中，每根骨骼在每个时间步的运动被参数化为SE(3)变换：旋转用四元数表示，平移用向量表示。骨骼的层级变换结合根运动和局部骨骼运动。这种表示保证了刚体运动的物理合理性。
SE(3)变换是RigMo运动参数化的数学基础
研究动机
在4D动画生成领域，骨骼结构（rig）和运动动态（motion）这两个核心组件长期被作为独立问题处理，导致了三大类方法的根本性缺陷。第一类是人类运动模型（如SMPL、AnyTop等），它们假设已知的骨架结构存在，在预定义的运动学空间上预测关节旋转或SE(3)变换。这些方法无法处理任意几何形状，当假设的骨架不匹配或缺失时就会失效。第二类是自动骨骼绑定系统（如UniRig、MagicArticulate），它们将静态网格转换为可动画资产，但依赖艺术家设计的骨架和蒙皮权重进行训练，本质上是在模仿人类经验而非理解为什么某些骨骼结构能产生合理的变形。这类方法严重依赖人工标注，数据获取成本高昂且一致性差——不同艺术家的标注习惯、建模标准差异导致跨数据集和跨物体类别的泛化能力受限。第三类是现代顶点空间运动生成方法（如AnimateAnyMesh、GVFDiffusion），它们逐帧预测顶点变形，虽然灵活但难以控制、难以解释，且无法产生可复用的可动画资产。这些方法通常需要512个以上的潜变量token来编码运动，计算开销巨大。
本文的目标是本文旨在设计一个统一的生成框架，能够直接从原始网格序列中同时学习骨骼结构和运动动态，无需任何预定义骨架或人工标注。具体目标包括：实现从无标签数据（如DeformingThings4D）的完全自监督学习；通过紧凑的高斯骨骼表示（48/128个token）实现高效推理；在单次前向传播中同时完成骨骼绑定和运动推断；以及支持下游运动生成任务的可控生成。
与已有工作不同的是，RigMo的独特切入角度在于认识到骨骼结构和运动动态之间的本质耦合关系——骨骼定义了物体如何变形，运动描述结构如何随时间演化，但现有方法将这对本应统一的组件强行分离。传统逆向蒙皮方法（如SSDR）需要对每个序列单独求解优化问题，不仅速度慢，而且学到的骨骼绑定与特定序列紧密绑定，无法在不同主体或运动风格之间迁移。RigMo通过双路径编码器将静态几何与动态运动解耦到两个互补的潜空间中：骨骼潜空间解码为显式的高斯骨骼和蒙皮权重，运动潜空间产生时间变化的SE(3)变换。这种设计使得骨骼复杂度仅与骨骼数量相关而非网格分辨率，且通过纯运动驱动的自监督学习让模型仅通过观察顶点轨迹就能发现语义上有意义的骨骼结构。
核心方法
RigMo的核心思想是将可变形表面运动建模问题重新表述为同时学习骨骼表示和运动参数的统一任务。整个框架由两个主要组件构成：RigMo-VAE（负责学习骨骼表示和对应的运动参数）和Motion-DiT（在VAE学到的运动潜空间中进行扩散生成）。给定网格序列（批大小B、帧数T、每帧N个顶点），RigMo通过双路径编码器将逐顶点变形编码为两个紧凑的潜空间：骨骼潜空间捕捉空间关节结构，运动潜空间编码时间演化动态。解码器将这些潜变量映射为物理解释的骨骼组件——高斯骨骼描述符定义测地感知的蒙皮权重，变分运动参数用于局部和根变换。通过高斯线性混合蒙皮模块，这些输出共同产生完整的可动画表示。整个训练过程采用纯自监督方式，仅需顶点级重建损失和KL散度正则化，无需任何骨骼绑定标注。
RigMo的本质创新在于用高斯骨骼替代传统骨架作为骨骼表示的基础。传统骨架由离散的骨骼和关节组成，而高斯骨骼用连续的3D椭球体定义每根骨骼的影响范围——每根骨骼由中心、各向异性缩放和方向四元数定义。这种表示带来三大优势：首先，高斯骨骼的影响范围是连续可微的，支持端到端训练；其次，骨骼复杂度仅与骨骼数量相关而非网格分辨率，天然具有分辨率无关性；第三，通过Mahalanobis距离计算蒙皮权重，其中R_k是四元数q_k对应的旋转矩阵。这种方法将骨骼绑定问题转化为从运动数据学习高斯参数的问题，完全跳过了传统流程中人工设计骨架的瓶颈。
方法步骤详情
RigMo的完整流程可分为以下步骤：（1）输入预处理：将异构分辨率的网格序列统一重采样到5K顶点，超过20K顶点的网格通过最远点采样（FPS）降采样，低分辨率网格通过迭代细分后降采样，保持拓扑一致性。（2）骨骼分支编码：编码器处理第一帧网格几何（规范形状），通过拓扑感知注意力层聚合几何和运动线索，使用FPS选择K个骨骼token和坐标，通过交叉注意力产生骨骼-顶点相关特征，进而预测高斯参数。（3）运动分支编码：计算逐帧顶点位移，通过时空注意力层处理，提取骨骼-运动交互特征，分别预测局部运动后验参数和全局运动后验参数，采样得到运动潜变量。（4）解码与蒙皮：骨骼解码器输出高斯骨骼区域，运动解码器将局部运动潜变量映射为每骨骼变换，将根运动潜变量映射为全局变换。（5）测地感知权重修正：构造测地距离一致性掩码，对原始蒙皮权重进行拓扑一致性修正，抑制跨部件影响。（6）高斯LBS变形：结合蒙皮权重和骨骼变换，通过线性混合蒙皮公式生成变形网格。（7）Motion-DiT生成：在VAE运动潜空间中，以骨骼特征为条件，通过12层时空注意力块预测去噪运动潜变量，支持稀疏条件下的长期运动预测。
技术新颖性
RigMo的技术新颖性体现在多个层面。首先，它是首个将骨骼绑定和运动生成统一到单一自监督框架中的方法，打破了现有方法将两者分离处理的范式。其次，高斯骨骼表示是一种全新的骨骼抽象，将传统离散骨架转化为连续可微的空间影响力场，使得端到端学习成为可能。第三，测地感知的蒙皮权重修正是一个重要工程创新——通过在Mahalanobis距离基础上叠加测地距离一致性掩码，有效解决了空间相近但拓扑不相连区域被错误绑定的问题（如手臂与躯干接触时的权重泄露）。第四，Motion-DiT的条件注入设计：使用骨骼分支的静态特征作为条件，通过框架掩码调度控制观察帧和生成帧，实现了以静态为条件、在运动潜空间生成的设计哲学。第五，整个训练仅需两个损失函数——顶点级重建损失和KL散度（带KL退火），且完全无需骨骼标注，这使得方法能直接从无标签数据集如DeformingThings4D中学习。
实验结果
RigMo在多个维度上展现了卓越的性能。在骨骼发现和跨运动泛化实验中（表1），RigMo在DeformingThings4D测试集上实现了CD-L1 11.1×10⁻³和CD-L2 7.64×10⁻³，相比逐案例优化基线（CD-L1 40.55×10⁻³）提升了约72%。更重要的是，RigMo在跨运动迁移任务上表现突出（CD-L1 13.82×10⁻³ vs 基线68.8×10⁻³），证明其学到的骨骼绑定具有真正的泛化能力。在重建保真度评估中（表2），RigMo实现了CD-L1 1.73×10⁻²和CD-L2 1.26×10⁻²，优于AnimateAnyMesh（1.81×10⁻²）和Step1X3D（3.63×10⁻²），同时推理速度最快——每帧仅需0.74秒处理20帧序列，而AnimateAnyMesh需要2.8秒。在Motion-DiT评估中（补充表5），完整模型在1帧到9帧预测任务上实现CD-L1 1.86×10⁻²，相比无帧条件变体（3.10×10⁻²）提升40%。消融实验（表3）验证了关键设计：去除测地修正后CD-L1从1.73×10⁻²增至2.37×10⁻²；48骨骼token与128骨骼token的性能差异仅为0.018%，但48 token在效率、可解释性和稳定性之间取得了更好的平衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 骨骼发现与跨运动泛化（DT4D测试集） | CD-L1 (×10⁻³) | 11.1 ± 0.6 | 逐案例优化: 40.55, UniRig+优化: 42.95 | 相比最佳基线提升72% |
| 重建保真度（500序列多类别测试集） | CD-L1 (×10⁻²) | 1.73 ± 0.11 | AnimateAnyMesh: 1.81, Step1X3D: 3.63 | 比AnimateAnyMesh提升4.4% |
| 推理效率（20帧5K顶点序列） | 处理时间 | 0.74秒 | AnimateAnyMesh: 2.8秒, Step1X3D: 22.6秒 | 比AnimateAnyMesh快3.8倍 |
| Motion-DiT 1帧到9帧预测 | CD-L1 (×10⁻²) | 1.86 ± 0.82 | 无帧条件: 3.10, 仅骨骼潜变量条件: 2.51 | 比无帧条件提升40% |
局限与改进
尽管RigMo取得了显著进展，但仍存在若干局限性。首先，方法需要将所有网格重采样到统一的5K顶点分辨率，这可能损失高分辨率网格的细节信息——虽然高斯骨骼的分辨率无关性意味着变形质量不受影响，但编码过程中的信息损失是不可避免的。其次，训练需要24张A100 GPU运行约10天（完整数据集），即使仅在DeformingThings4D上训练也需要1.5天，这对资源受限的研究团队构成门槛。第三，Motion-DiT的评估仅展示了1到1和1到9帧的稀疏条件预测，未充分展示更复杂的运动生成场景（如文本到运动生成、风格迁移等）。第四，实验主要在合成数据集（Objaverse-XL、DeformingThings4D）上验证，对真实世界扫描数据的泛化能力有待验证。作者也承认，虽然视觉上骨骼绑定看起来合理，但缺乏与真实艺术家标注骨骼的定量对比——这可能是因为当前没有标准化的无监督骨骼评估基准。此外，48骨骼token的选择是基于效率和性能的权衡，对于具有复杂关节结构的物体（如多足动物、机械装置），可能需要自适应的骨骼数量策略。
独立分析的弱点
RigMo的几个弱点值得深入分析并提出改进方向。第一，分辨率归一化策略采用固定5K顶点，对于简单物体（如立方体）可能过采样，对于复杂物体（如高精度扫描）可能欠采样——可以设计自适应分辨率策略，根据几何复杂度动态选择采样密度。第二，骨骼数量K是固定的超参数（48或128），无法适应不同物体的关节复杂度——可以引入可学习的骨骼选择机制，如基于注意力的动态骨骼激活或稀疏化策略。第三，测地距离计算采用Dijkstra近似，在大型网格上可能成为计算瓶颈——可以探索基于图神经网络的测地距离近似或预计算策略。第四，Motion-DiT使用1000步DDPM调度器，推理速度受限——可以应用蒸馏技术或一致性模型加速采样。第五，损失函数设计中KL退火系数非常小（10⁻⁶），可能导致潜空间连续性不足——可以探索更平衡的beta-VAE策略或自由比特正则化。
未来方向
基于RigMo的成果，未来研究可以从多个方向拓展。首先，可以将框架扩展到文本/语音驱动的运动生成——Motion-DiT的潜空间已经具备结构感知特性，只需在扩散条件中加入语言嵌入即可实现语义控制的运动生成。其次，可以探索多物体交互场景——当前方法专注于单物体动画，但真实场景中物体间存在接触、碰撞等交互，需要扩展骨骼表示以支持交互建模。第三，可以将高斯骨骼表示与3D高斯泼溅（3D Gaussian Splatting）结合，实现从视频直接学习骨骼绑定和纹理外观的端到端框架。第四，可以探索骨骼绑定的物理约束——当前方法完全是数据驱动的，引入物理模拟器（如刚体、软体动力学）可以提升变形的物理合理性。第五，可以研究骨骼绑定的可编辑性——设计用户友好的接口让艺术家在自动骨骼基础上进行调整和精修，实现人机协作的工作流程。作者在补充材料中提到的更多Motion-DiT评估结果也暗示了长时序运动生成的潜力。
复现评估
从复现角度看，RigMo的实现细节在论文中有较为详细的描述：使用PyTorch混合精度训练，AdamW优化器（beta1=0.9, beta2=0.999，权重衰减10⁻⁴），学习率3×10⁻⁴，2K预热步，余弦衰减，梯度裁剪1.0，EMA 0.999。模型架构参数明确：编码器6层拓扑感知注意力（隐藏维度256，8头，邻域大小k=5），Motion-DiT 12层ISTA块（隐藏维度512）。然而，复现面临几个挑战：（1）算力需求高——24张A100 GPU训练10天的资源门槛对大多数研究团队不友好；（2）数据获取——论文使用了三个数据集（DeformingThings4D 1972序列、TrueBones 1287序列、Objaverse-XL 17024序列），其中TrueBones可能需要商业授权；（3）代码未开源——论文仅提供了项目页面链接，但未明确说明是否会公开代码和预训练模型；（4）评估协议——骨骼发现评估依赖DT4D的无标注特性，复现者需要理解100次随机划分的统计显著性评估方法。总体而言，方法的技术路线清晰，但完整复现需要显著的工程投入和计算资源。
论文图表