← 返回 2026-04-07

AvatarPointillist：自回归4D高斯头像生成框架 AvatarPointillist: AutoRegressive 4D Gaussian Avatarization

Hongyu Liu, Xuan Wang, Yating Wang, Zijian Wu, Ziyu Wan, Yue Ma, Runtao Liu, Boyao Zhou, Yujun Shen, Qifeng Chen 📅 2026-04-06 👍 12 2026-07-13 08:36
3D重建 Transformer 头像动画 自回归生成 高斯Splatting
arXiv HuggingFace PDF

使用自回归Transformer逐点生成3D高斯点云，实现从单张图像生成可驱动的4D头像

前置知识

3D Gaussian Splatting (3DGS)

3D高斯Splatting用3D高斯椭球体表示场景，每个高斯有位置、旋转、缩放等参数。渲染时投影到2D平面并alpha blending。核心优势是实时渲染和自适应点密度控制，可在复杂区域放置更多高斯。

本文的核心思想就是利用3DGS的自适应特性，通过自回归方式学习直接生成高斯点云分布，而不是依赖固定模板。理解3DGS是理解本文动机的关键。

自回归模型

自回归模型按顺序生成输出序列，每个时刻的条件概率$p(x_t | x_{<t})$依赖于之前生成的所有元素。Transformer通过自注意力实现高效AR生成。本文将此应用到3D几何生成，将点云表示为token序列逐个预测。

这是本文最核心的技术创新点。将3D几何建模为序列任务是理解整个方法框架的基础。

Linear Blend Skinning (LBS)

线性混合蒙皮是3D角色动画的标准技术，每个顶点关联到一组骨骼，通过权重插值计算最终位置。本文中每个高斯点预测绑定索引，通过重心坐标插值获得绑定属性，实现可驱动的4D动画。

这是实现4D可驱动头像的关键机制。绑定信息的预测使得静态的3D几何可以响应表情和姿态变化。

Vector Quantization (VQ)

向量量化将连续空间映射到离散码本。本文将坐标划分为1024个bin，每个坐标值映射为整数token。离散化使Transformer可处理next-token prediction任务，绑定索引通过偏移1024避免冲突。

量化是将连续3D几何转换为离散token序列的必要步骤，使得AR模型可以用标准next-token prediction目标训练。

研究动机

现有的单图像4D头像生成方法面临根本性几何建模问题。基于NeRF的方法虽然质量高但渲染慢，难以实时应用。新兴的3D高斯Splatting方法虽然实现实时渲染，但现有实现如GAGAvatar和LAM存在严重限制。GAGAvatar采用2D到3D的提升策略，跳过完整的3D点云表示，导致难以处理大视角变化和遮挡区域，需要辅助2D网络进行最终细化。LAM虽然在3D规范空间中直接放置高斯，但依赖固定的点云模板（如FLAME顶点），对所有主题使用恒定数量的高斯。如图2所示，这种刚性设置限制了模型自适应调整高斯密度和位置的能力，无法捕捉如胡须、独特发型等主体特定特征，失去了3DGS的核心优势：基于几何的自适应点分布控制。

本文的目标是本文的目标是设计一个生成模型，能够直接学习3DGS点云分布，而不依赖固定模板。这样的模型应该能够自由决定在哪里放置点以及使用多少点，完全捕捉3DGS赋予其能力的灵活和自适应特性。具体来说，从单张肖像图像生成可驱动的4D高斯头像，支持精确的表情和姿态驱动，同时保持高保真度和身份一致性。这种自适应能力使得模型能够在几何复杂区域（如头发、胡须）放置更多高斯，在简单区域放置更少，从而精确表达细节并控制计算开销。

与已有工作不同的是，本文的独特切入角度是将3DGS头像生成建模为自回归序列任务，这是首次将AR生成范式引入显式3D头像几何生成。与现有方法依赖固定模板或先升维后优化的两阶段流程不同，本文从零开始学习生成3DGS点云分布。这种点对点的生成范式完全拥抱了3DGS的自适应和动态特性，使模型能够根据输入图像动态调整高斯的空间分布。关键创新在于不仅生成几何位置，还联合预测每点的绑定信息， enabling realistic animation。此外，两阶段架构中，将AR模型的隐藏特征与解码器结合的交互设计也是区别于现有方法的重要创新。

核心方法

方法整体思路分为直觉和技术两个层面。从直觉上看，想象一个艺术家在画布上逐点绘制一幅肖像画——不是预先设定固定的点阵，而是根据需要自适应地添加细节，在头发等复杂区域使用更多笔触，在简单区域使用更少。本文将这一思想应用到3D：让模型逐点生成3D高斯点云，决定每个点的位置和它应该绑定到mesh的哪个部分，从而实现自适应的几何建模。技术路线上，框架包含两个核心模块：自回归模型生成高斯几何，高斯解码器预测渲染属性。AR模型使用decoder-only Transformer，接受DINOv2图像特征和点云特征作为输入，通过next-token预测生成高斯点云序列。每个点由4个量化token表示（$T_{n,x}, T_{n,y}, T_{n,z}, T_{n,b}$），分别对应x、y、z坐标和绑定索引。生成后，去量化获得实际坐标，将位置编码$P_n$与AR模型的内部特征$F_n^p$组合作为高斯解码器输入，预测完整的可渲染高斯属性。最终通过LBS和绑定信息实现动画。

核心创新点是将3DGS头像生成形式化为自回归生成任务，完全摒弃固定模板约束。这与GAGAvatar的2D到3D提升策略和LAM的固定FLAME模板有本质区别。AR方法可以动态自适应调整高斯分布和总数，专注于复杂、身份特定的区域，充分利用3D高斯Splatting的自适应特性。技术上的关键区别包括：1) 使用1024级量化和yzx排序策略将连续点云转换为离散token序列；2) 不仅预测几何坐标，还联合预测每点的绑定信息，实现可动画化；3) 两阶段架构中，AR模型的隐藏特征被显式传递给高斯解码器，通过cross-attention机制实现两阶段的交互，显著提升最终渲染质量；4) 通过截断训练策略（窗口大小12000）处理长序列训练挑战。

方法步骤详情

方法步骤包括数据准备、AR模型训练、解码器训练和推理四个阶段。数据准备阶段使用GaussianAvatars方法对Nersemble数据集拟合3DGS表示，获得训练数据。点云按yzx排序，每个点由4个token（x、y、z坐标+绑定索引）表示，使用1024级量化。AR模型训练使用decoder-only Transformer，输入DINOv2图像特征和点云特征，通过cross-attention注入，使用cross-entropy损失训练next-token预测。训练在16块H20 GPU上执行50K步，批量大小4，使用滑动窗口策略。高斯解码器训练时冻结AR模型，使用其生成的latent序列和隐藏状态，去量化恢复坐标，组合位置编码和AR特征作为解码器输入，预测高斯参数。训练使用Adam优化器12500步。表达式动画通过绑定信息使用重心坐标插值获得LBS权重和表情混合形状，实现FLAME变形驱动。

技术新颖性

技术新颖性体现在多个层面。方法层面，这是首次将自回归生成范式应用于显式3D头像几何，将点对点生成从2D图像和3D网格扩展到3D高斯表示。架构层面，两阶段交互设计是创新——高斯解码器不仅使用去量化的坐标$P_n$，还利用AR模型的隐藏特征$F_n^p$，消融实验证明这种组合优于单独使用任一特征。这种设计使得解码器既能获得空间指引又能获得深度语义线索。训练策略层面，采用截断训练和滑动窗口机制处理超长序列（一个点云可能包含数千个点，序列长度4N可能超过10000），这是将AR方法成功应用于大规模3D数据的关键。表示层面，联合预测坐标和绑定信息的token表示方式，将几何和动画绑定统一在同一个AR生成框架中，这是之前方法未曾尝试的。应用层面，这种自适应点云生成能力解决了现有3DGS头像方法受固定模板限制的根本问题，为单图像4D头像生成提供了新的技术路径。

Gallery of the proposed AvatarPointillist
Figure 1: Gallery of the proposed AvatarPointillist
Overview of our framework
Figure 3: Overview of our framework

实验结果

实验在NeRSemble数据集上评估，包含419个身份，25个用于测试。定性结果显示本文在表情和姿态一致性及身份保留方面优于基线。LAM在复杂区域显示明显伪影，AvatarArtist在大姿态变化时表现下降，Portrait4Dv2和GAGAvatar常有表情不匹配和过度平滑。定量结果如表1所示，自重演任务中本文LPIPS为0.15（GAGAvatar 0.18为次优），FID为95.18（GAGAvatar 111.76），AKD为2.38（GAGAvatar 3.93），APD为22.86（GAGAvatar 27.94）。交叉重演任务中本文FID为160.74（GAGAvatar 181.22），CLIP为0.75（GAGAvatar 0.71），AKD为5.93，APD为153.13。消融实验验证了AR模型有效性：使用FLAME位置的基线LPIPS为0.23，FID为120.34，远低于本文方法。仅使用AR特征或仅使用位置编码的配置都逊于完整方法，证明了组合两者的必要性。

Quantitative evaluation of state-of-the-art methods and our approach on the NeRSemble dataset
Table 1: Quantitative evaluation of state-of-the-art methods and our approach on the NeRSemble dataset
Ablation study on the NeRSemble dataset
Table 2: Ablation study on the NeRSemble dataset
Qualitative comparison with state-of-the-art methods
Figure 4: Qualitative comparison with state-of-the-art methods
Visualization of ablation study on input setting of Gaussian decoder
Figure 5: Visualization of ablation study on input setting of Gaussian decoder
查看结构化数据
任务指标本文基线提升
自重演 LPIPS 0.15 GAGAvatar 0.18 16.7%提升
自重演 FID 95.18 GAGAvatar 111.76 14.8%提升
自重演 AKD 2.38 GAGAvatar 3.93 39.4%提升
自重演 APD 22.86 GAGAvatar 27.94 18.2%提升
交叉重演 FID 160.74 GAGAvatar 181.22 11.3%提升
交叉重演 CLIP 0.75 GAGAvatar 0.71 5.6%提升
交叉重演 AKD 5.93 LAM 6.68 11.2%提升
交叉重演 APD 153.13 LAM 210.23 27.1%提升

局限与改进

作者承认的局限性包括：本文方法依赖于GaussianAvatars拟合过程构造训练数据，这一过程可能引入拟合误差并限制数据规模。AR模型的生成是顺序的，推理时需要逐个token生成，与并行生成方法相比可能较慢。长序列训练虽然采用了截断和滑动窗口策略，但仍消耗大量计算资源，训练在16块H20 GPU上50K步，这对许多研究者是难以承受的。量化到1024级在精度和效率之间做了权衡，更粗的量化可能丢失几何细节，更细的量化会增加序列长度和计算负担。本文专注于头部头像，身体部分的生成和全身动画未探索。额外的观察：方法在极端遮挡和极端姿态下的表现仍有提升空间，AR模型可能难以预测完全不可见区域的准确几何。绑定信息的预测虽然有效，但绑定错误的传播可能导致动画伪影，特别是在复杂面部表情时。

独立分析的弱点

独立分析的弱点包括：1) 数据依赖性强：需要GaussianAvatars预拟合构造训练数据，限制了方法应用于大规模未标注数据的能力。改进方向是探索自监督或弱监督学习策略，减少对显式拟合的依赖。2) 推理效率瓶颈：AR生成的顺序特性使得推理时间与点数成正比。改进方向可探索并行解码策略或从粗到细的层次化生成。3) 量化精度限制：1024级量化对于某些细节可能不足。改进方向可采用自适应量化或引入连续diffusion解码器refinement阶段。4) 泛化能力未充分验证：主要在Nersemble数据集上评估。改进方向需要在更多样化数据集上评估。5) 绑定预测错误传播：绑定错误可能导致动画伪影。改进方向可引入绑定预测的专门损失约束。

未来方向

未来研究方向包括：1) 探索层次化或粗到细的AR生成策略，改进几何保真度。2) 扩展到全身头像，生成完整的可驱动人体头像。3) 多模态驱动，支持语音、文本等多模态驱动实现更自然交互。4) 编辑和操作，利用显式点云表示开发直观的编辑工具。5) 实时优化，探索模型蒸馏、量化和硬件加速技术。6) 跨域生成，将AR生成扩展到其他3D表示如显式网格、隐式场等。7) 个性化适应，研究few-shot或one-shot adaptation机制。8) 与扩散模型结合，利用AR结构化生成和diffusion高质量采样的优势。9) 物理感知渲染，加入物理约束和材质建模。

复现评估

复现评估方面，论文提到将发布代码，但未提供代码仓库链接。数据方面，使用公开的Nersemble数据集，这对复现是有利的。然而，训练数据需要通过GaussianAvatars方法拟合Nersemble数据集的每个身份，这是一个计算密集型过程。论文未提供预拟合的训练数据，复现者需要自己运行GaussianAvatars拟合，这需要大量计算资源和时间。算力需求很高：AR模型训练在16块NVIDIA H20 GPU上执行50K步，高斯解码器训练在8块H20 GPU上执行12500步，批量大小均为4。这种硬件配置对大多数实验室是难以获得的，复现难度较高。训练时间未明确给出，但根据步数和硬件配置推测，完整训练可能需要数天时间。超参数细节在论文和补充材料中较为详细，包括学习率1e-4、窗口大小12000、损失权重等，这对复现是帮助的。总体而言，虽然有公开数据和详细配置，但高昂的计算成本和数据准备门槛使得完整复现具有挑战性，部分复现（如在更小数据集上验证核心思想）是更现实的目标。

论文图表

Comparison of different Gaussian point cloud modeling approaches
Figure 2: Comparison of different Gaussian point cloud modeling approaches

图2比较了不同的高斯点云建模方法。LAM基于点云模板构建高斯点云，无法从图像重建精细细节，如马尾辫。相比之下，本文方法使用AR模型直接建模高斯点云，有效学习自适应调整点密度和数量的能力，实现精确建模。图中还包含了最终渲染结果的比较，LAM产生扭曲的几何形状并显示明显的伪影。

这张图对理解论文的动机和贡献至关重要。它清晰地对比了现有方法（LAM）的固定模板方法和本文的自适应AR方法，直观展示了为什么现有方法在细节重建上不足。通过比较点云分布和最终渲染质量，读者可以立即理解AR方法的优越性。这张图直接支持了论文的核心论点：固定模板限制了模型捕捉主体特定特征的能力，而AR方法能够自适应地调整高斯分布。这是理解本文与其他方法本质区别的关键视觉证据。