4DEquine：从单目视频解耦运动与外观的马科动物4D重建

首次实现从单目视频高质量重建马科动物4D几何与外观的框架

前置知识

3D Gaussian Splatting (3DGS)

3DGS是一种使用3D高斯原语来表示和渲染场景的技术，每个高斯由位置、不透明度、缩放向量、旋转四元数和球谐系数定义，通过tile-based光栅化器进行快速渲染。相比NeRF等隐式表示，3DGS具有实时渲染的优势，适合动态场景的表示和外观重建。

本文使用3DGS作为外观表示的基础，EquineGS预测的是3D高斯原语的属性，理解3DGS对于掌握EquineGS的工作原理至关重要。

VAREN模型

VAREN是一个数据驱动的马科动物3D参数化模型，从50匹真实马匹的高分辨率3D扫描中学习。相比SMAL等动物模型，VAREN引入了肌肉变形来建模表面的非刚体、姿态相关变形，通过将体表点分组到与浅表肌肉对应的区域来学习关节运动对每个肌肉变形的影响。模型接受形状参数、姿态参数和平移，生成13873个顶点和27706个面的高分辨率网格。

VAREN是4DEquine的核心几何先验，AniMoFormer回归VAREN参数，EquineGS基于VAREN网格初始化高斯点云，理解VAREN的参数化方式和LBS变形过程对于理解整个框架至关重要。

Linear Blend Skinning (LBS)

线性混合蒙皮是一种将网格顶点从标准姿态空间变形到任意姿态空间的常用技术，通过为每个顶点分配与关节相关的权重，将关节的旋转和平移变换线性组合应用到顶点位置。对于顶点和关节，变形后的位置等于每个关节的旋转和平移变换加权求和，其中权重是顶点对关节的蒙皮权重。

4DEquine通过LBS将EquineGS生成的标准姿态高斯点云变形到每一帧的特定姿态空间，这是连接静态外观和动态运动的关键技术。

PCK (Percentage of Correct Keypoints)

PCK是评估2D关键点检测准确性的标准指标，定义为预测关键点与真实关键点之间的距离小于给定阈值的关键点百分比。PCK使用归一化距离来适应不同尺度的个体，PCK阈值通常取头部尺寸的0.05或0.1倍。对于动物姿态估计，PCK是衡量姿态估计精度的重要指标。

本文使用PCK评估AniMoFormer的姿态估计性能，这些指标直接反映了运动恢复的几何准确性。

Chamfer Distance (CD)

Chamfer Distance是衡量两个点集之间相似性的对称距离度量，计算点集A中每个点到点集B中最近点的平均平方距离，加上点集B中每个点到点集A中最近点的平均平方距离。CD越小表示两个点集越接近，常用于评估3D重建质量，特别是在缺乏完整对应关系的情况下。

本文使用CD评估预测网格与真实网格之间的3D几何相似性，是衡量形状恢复准确性的核心指标。

研究动机

现有单目4D动物重建方法面临两个核心问题：一是基于优化的方法需要联合优化整个视频的运动和外观，计算极其耗时且对不完整观测敏感，需要360度环绕视频这种罕见条件，难以应用于真实场景；二是基于前馈的方法往往缺乏强几何先验，导致几何细节丢失，或者需要牺牲形状真实性来换取多样性。具体来说，现有方法如GART需要针对每个视频进行迭代优化，固定1万步需要15分钟，且当观测不完整时产生伪影和纹理漂移；而3D-Fauna等模板无关方法缺乏结构先验，无法从遮挡视角恢复完整几何。在APT-36K等真实数据集上，现有方法的PCK指标普遍低于50%，表明运动恢复质量有限。

本文的目标是本文的目标是构建一个高效的前馈框架，能够从真实的单目视频中重建马科动物的高质量4D几何与外观。具体目标包括：实现准确的运动恢复，PCK超过60%；生成高保真的可动画3D高斯化身，在SSIM和LPIPS指标上超越优化基线；支持任意长度视频的处理，推理速度达到每帧11秒级别；在只有马类数据训练的情况下，实现到驴、斑马等未见物种的零样本泛化。

与已有工作不同的是，本文的独特切入点是显式解耦4D重建问题为两个子问题：动态运动恢复和静态外观重建，中间通过VAREN参数化模型连接。这与现有方法有本质区别：优化方法如GART同时优化运动和外观，导致计算昂贵且易陷入局部最优；模板无关方法如3D-Fauna缺乏几何先验，无法从遮挡恢复完整结构；而现有的前馈方法如AniMer、GenZoo仅关注单帧姿态估计，未考虑时序一致性，且基于SMAL等过时模型，缺乏VAREN的高保真细节。本文首次将时空Transformer与后优化结合用于运动恢复，并首次使用前馈网络从单张图像生成高保真3D高斯化身，填补了该领域的空白。

核心方法

4DEquine框架采用解耦设计，包含两个独立但协同的组件：AniMoFormer负责从视频恢复动态运动，EquineGS负责从单帧图像重建静态外观。整体流程是：给定单目视频，AniMoFormer使用滑动窗口策略提取每一帧的时序平滑VAREN参数，包括姿态和形状参数；同时EquineGS从视频的代表性帧生成标准姿态的高保真3D高斯化身；最后通过LBS将标准高斯点云变形到每一帧的特定姿态，得到完整的4D重建。这种设计使得运动和外观可以独立训练和优化，运动模块只需要时序标注数据，外观模块只需要多视图图像数据，大大降低了对完整4D标注数据的需求。

核心创新点是解耦4D重建为运动和外观两个子问题，并设计相应的专用网络架构。AniMoFormer的关键创新是引入时空Transformer捕获帧间时序关系，通过自注意力机制建模局部运动上下文，克服了单帧方法的抖动问题；后优化阶段使用可微分渲染器和2D关键点约束，确保网格与图像证据对齐。EquineGS的关键创新是提出双流Transformer高斯解码器，通过修改MMDiT块实现图像特征和点云特征的有效融合，直接预测55486个高斯原语的属性。相比标准的交叉注意力解码器，双流解码器通过全局上下文提取和注意力调制实现了更好的特征对齐。

方法步骤详情

AniMoFormer的训练和推理包括三个步骤：时空Transformer编码、VAREN参数回归和后优化。第一步使用Spatial Transformer逐帧提取空间特征，Temporal Transformer通过自注意力建模帧间时序关系，输出运动编码特征；第二步通过VAREN解码器回归每一帧的形状参数和姿态参数，训练损失包括VAREN参数L2损失、平滑损失、2D关键点L1损失和3D关键点L1损失；第三步使用可微分渲染器投影3D网格，生成渲染掩码和2D关键点，与伪真值对比进行后优化。EquineGS的流程是：首先将VAREN基础网格细分得到顶点，作为高斯点的初始位置；然后使用DINOv3提取图像特征，同时对点坐标应用位置编码得到点特征；接着使用双流解码器融合图像和点云特征，预测每个高斯原语的属性；最后在推理时将标准姿态高斯点通过LBS变形到每一帧的姿态空间，使用3DGS渲染得到最终图像。

技术新颖性

技术新颖性体现在三个方面：首次将时空Transformer应用于动物4D运动恢复，相比单帧方法显著降低运动抖动并提高姿态估计精度；提出双流解码器，通过修改MMDiT块实现双模态特征融合，相比标准交叉注意力解码器在各项指标上均有提升；创建两个大规模合成数据集，提供运动标注和外观训练数据，填补了领域数据空白。此外，本文首次在只有马类数据训练的情况下，实现到驴、斑马的零样本泛化，在斑马数据集上所有指标均超越所有基线。

**Figure 1**: VarenPoser数据集的两个样本。每个样本是一个视频，这里只展示了两帧。

**Figure 2**: 4DEquine概述。AniMoFormer：用于运动恢复的时空Transformer与后优化。EquineGS：从单张图像重建标准3D高斯化身的单流网络。DSTG-Block：EquineGS中使用的双流架构。

**Figure 3**: VarenTex生成管线。从VarenPoser网格渲染的法线和规范坐标图，以及ControlNet生成的参考图像，被输入UniTex以合成多视图训练图像。

实验结果

在APT-36K数据集上，AniMoFormer在所有指标上均超越5个基线，PCK达到61.8%，基线AniMer为44.5%，证明时空Transformer和后优化的有效性。在AiM数据集上，AniMoFormer同样取得最优，PCK为84.2%，基线AniMer为55.5%。在合成VarenPoser测试集上，CD低至3.4，基线AniMer为15.2，证明形状恢复的高精度。对于完整4D重建，在AiM马类子集上，4DEquine在SSIM和LPIPS上超越所有基线，包括完全优化的GART和Few-shot GART，PSNR略低于完全优化的GART但这是预期权衡，因为GART的每视频优化可以过拟合。4DEquine的推理速度为每帧11秒，远快于GART的15分钟固定时间。在斑马零样本泛化任务上，4DEquine在所有指标上超越所有竞争方法，包括完全优化的GART。消融实验表明：移除后优化导致PCK大幅下降，移除时序Transformer导致加速度误差增加，移除网格细分导致视觉质量下降但PSNR略微提高，消融实验验证了各组件的必要性。

**Table 1**: 在APT36K数据集、AiM数据集和VarenPoser数据集上的定量比较。

**Table 2**: 在马和斑马上与新视角新姿态SOTA方法的定量比较。GART是Few-shot GART。

**Table 4**: EquineGS组件和新姿态外观重建后优化的消融研究，在AiM马类子集上。

**Table 6**: 在AiM数据集上的定量比较。GART是Few-shot GART。

**Figure 4**: 在AiM数据集上与SOTA方法的定性比较。GART是Few-shot GART。这里的Input是每个测试视频的中间帧。注意EquineGS的输入图像是视频的第一帧，因此图中Ours的结果对应新姿态动画。

**Figure 5**: 4DEquine在未见物种驴的互联网图像上的零样本泛化。GT也是输入图像。

查看结构化数据

任务	指标	本文	基线	提升
姿态估计（APT-36K）	PCK@0.05	61.8	AniMer	+17.3
姿态估计（APT-36K）	Accel	128.6	AniMer	-1.9
姿态估计（AiM）	PCK@0.05	84.2	AniMer	+28.7
姿态估计（AiM）	Accel	21.8	AniMer	-4.4
3D几何（VarenPoser）	CD	3.4	AniMer	-11.8
4D重建（AiM马类）	SSIM	0.8364	GART	+0.0545
4D重建（AiM马类）	LPIPS	0.1720	GART	-0.0588
4D重建（AiM斑马零样本）	PSNR	15.54	GART	+0.33
4D重建（AiM斑马零样本）	SSIM	0.7828	GART	+0.1076

局限与改进

作者承认的局限性包括：合成数据集基于VAREN模型，继承其局限性，不能充分表示尾巴和鬃毛的复杂物理和外观；无法处理环境条件变化，如动态光照。额外观察到：当输入图像存在严重遮挡或截断时，外观重建会退化，导致不可见区域外观不一致；仅使用单帧图像生成外观，无法高效捕获独特斑纹等细节；后优化阶段需要可微分渲染器和额外迭代，增加了推理成本；网格细分到55486个顶点虽然提高了视觉质量，但也增加了计算负担；VAREN模型对极端姿态的表示可能有限，因为训练数据缺乏这些姿态。

独立分析的弱点

首先，仅使用单帧图像生成外观，在复杂光照条件下无法正确估计光照参数，导致渲染图像的光照与输入不一致，改进方向是引入光照估计模块或在训练中加入光照变化数据增强。其次，VAREN模型对尾巴和鬃毛的表示不足，因为这些部位具有复杂的非刚体运动和毛发结构，改进方向是使用专门的毛发模型来增强这些区域的表达。第三，后优化阶段需要可微分渲染器和额外迭代，增加了推理延迟，改进方向是将后优化端到端集成到网络中，或使用更高效的优化方法。第四，对于严重遮挡或截断的输入，无法推断不可见区域的外观，改进方向是多帧融合策略，从多个未遮挡视角聚合外观信息。第五，相机轨迹仅包含三种基本模式，可能无法覆盖真实世界的复杂相机运动，改进方向是引入更多样化的轨迹模型或从真实视频中学习相机运动分布。

未来方向

作者提出的未来方向包括：增强头像的物理表示以更好地处理尾巴和鬃毛，添加重照明模块以处理动态光照。基于本文成果可延伸的方向包括：将4DEquine扩展到其他动物类别，如猫科、灵长类，需要为每类动物构建高保真参数化模型；实现端到端的4D重建，避免显式的后优化步骤，提高推理效率；结合音频或其他模态信息实现多模态动物重建；将4DEquine应用于下游任务，如动物行为分析、步态诊断、数字动物园等；开发交互式编辑工具，允许用户调整重建结果的外观或运动参数；从真实视频中自监督学习，减少对合成数据的依赖；研究跨物种的几何迁移，将马类的先验知识迁移到其他四足动物。

复现评估

代码和模型未在论文中提供开源链接，但项目页面承诺提供。数据集方面，VarenPoser和VarenTex是合成数据，完全可控且易于重新生成，但需要访问PFERD运动数据集和UniTex多视图扩散模型，这些资源可能需要额外许可。算力需求：AniMoFormer训练在单块NVIDIA RTX 4090上约10小时，EquineGS训练在8块RTX 4090上约3天，推理在单块A100上每帧11秒。复现难度中等：需要熟悉3DGS、VAREN参数化、可微分渲染等关键技术，但论文提供了详细的训练细节和消融实验验证，便于复现和扩展。主要挑战是重建VarenPoser和VarenTex数据集，需要完整的软件栈和计算资源。

4DEquine：从单目视频解耦运动与外观的马科动物4D重建 4DEquine: Disentangling Motion and Appearance for 4D Equine Reconstruction from Monocular Video