← 返回 2026-05-29

无需多视角生成的多视角一致3D高斯头像生成方法 Multi-view Consistent 3D Gaussian Head Avatars 'without' Multi-view Generation

Aviral Chharia, Fernando De la Torre 📅 2026-05-24 👍 7 2026-07-13 08:36
3D Gaussian Splatting 3D生成 Mamba 多视角一致性 头像生成 状态空间模型
arXiv HuggingFace PDF

首个基于状态空间模型的3D高斯头像生成器，在无需中间视角合成的情况下实现SOTA多视角一致性

前置知识

3D Gaussian Splatting (3DGS)

一种用于3D场景表示和渲染的新兴技术，使用各向异性高斯函数作为基本图元来表示3D场景。每个高斯由中心点$\mu$、尺度$s$、旋转四元数$q$、透明度$\alpha$和颜色$c$五个参数定义。与NeRF等隐式表示不同，3DGS是显式表示，支持快速可微光栅化渲染，实时渲染性能优异，已成为3D重建和生成的重要范式。

本文的核心就是生成3D高斯头产生成器，理解3DGS的表示方式和渲染机制是理解整个方法的基础。

状态空间模型 (State Space Models, SSMs)

一类从经典线性动力系统演变而来的序列建模方法，通过学习隐藏状态随时间的演化来处理序列数据。现代SSM如S4和Mamba引入了选择性机制，能够以线性时间复杂度建模长程依赖关系。与Transformer不同，SSM通过状态传播而非注意力机制聚合信息，计算效率更高。Mamba通过输入依赖的选择性投影矩阵实现了对序列的动态建模能力。

本文首次将Mamba等视觉SSM应用于3D生成任务，提出的HiBiSS扫描机制是论文的核心创新之一。

多视角一致性 (Multi-view Consistency, MVC)

指从不同视角观察3D对象时，得到的图像应该在几何和纹理上保持一致。对于3D头像生成，这意味着生成的3D模型在任何视角下渲染都应该看起来是同一个对象，没有身份漂移或视角伪影。MVC是评估3D生成模型质量的关键指标，但量化评估仍然是一个开放问题。传统的多视角方法依赖于真实的多视角配对数据，而本文在从未见过真实多视角对的情况下强制要求MVC。

MVC是本文要解决的核心问题，也是论文标题的关键词。理解MVC的挑战和评估方法对理解本文的贡献至关重要。

SE(3)变换

特殊欧几里得群，表示三维空间中的刚体变换，包括旋转和平移。SE(3)变换是3D几何中保持距离和角度的基本变换群，在计算机视觉中广泛用于表示相机姿态和物体变换。SE(3)中的元素可以用4×4齐次变换矩阵表示，包含3×3旋转矩阵和3×1平移向量。在本文中，SE(3)变换用于表示相机相对于头像的姿态，并通过几何变换注意力机制实现姿态感知的特征对齐。

本文提出的SE(3)多视角批评者通过处理相机姿态来实现MVC评估，理解SE(3)变换的数学表示和不变性是理解这个组件的基础。

研究动机

现有的3D高斯头像生成方法存在三个主要问题：第一类是多视角优化方法，如使用NeRSemble或RenderMe-360等数据集的方法，每个对象需要约10^4帧密集多视角视频，虽然能达到很高的逼真度和MVC，但依赖昂贵的多视角采集设备和每个对象的优化，可扩展性差。第二类是多视角扩散方法，如Zero-1-to-A、FaceLift、Cap4D等，从单张图像出发先通过扩散模型合成中间视角（通常包括侧面视图），然后用重建器将这些图像提升到3DGS表示。这类方法虽然逼真度高，但MVC完全依赖于中间视角生成器的质量，由于没有端到端可微分性，跨视图像素对齐损失无法优化，身份漂移仍然存在。而且为每个资产生成密集中间视角在大规模上计算成本过高。第三类是前馈3D生成器，如GGHead、GS-GAN、CGSGAN等，直接从学习到的先验生成3D高斯头像，虽然避免了每个对象优化，但在最小资源设置下强制执行MVC而不使用显式多视角监督仍然是一个开放问题。

本文的目标是本文的目标是在最小资源设置下实现大规模、实时的多视角一致3D高斯头像生成。具体来说，要在仅使用随机采样的2D图像进行监督的情况下，不使用多视角数据、不使用3D监督、不生成中间视角，直接从潜在代码生成完整的3D高斯头像。模型要在单次前向传递中生成24万个各向异性高斯，实现高视觉质量和强多视角一致性，同时能够支持无条件生成和条件生成（从单张图像生成个性化头像）。

与已有工作不同的是，本文的独特切入角度是挑战一个高度约束的设置：从未观察过真实多视角对的情况下，学习强制执行多视角一致性。与需要昂贵工作室捕获或额外视图合成的现有方法不同，本文认为中间视图生成对可扩展性是适得其反的。核心洞察是：任何固定3D模型的自我渲染在构造上都是几何一致的，这使得训练一个批评者来区分合理的3D配置和不一致的配置成为可能，而不需要显式的多视角数据。论文首次将状态空间建模（Mamba）应用于3D高斯头像生成，提出了层级双向状态扫描（HiBiSS）来对齐多视角不一致性表现的主要轴，并设计了SE(3)多视角批评者来通过设计诱导MVC。

核心方法

MVCHead的整体思路是从潜在代码z ~ N(0, I)到3D头像S_theta(z) = {g_i}_{i=1}^N的端到端可微分映射。模型采用从粗到细的层级结构，通过一系列层级状态空间（HiSS）块逐步细化高斯表示。每个HiSS块包含两个互补的混合器：自注意力聚合全局语义并捕获长程依赖，状态空间块通过扫描机制强制执行水平和垂直方向的网格对齐一致性。细级别的高斯被显式参数化为从粗级别锚点的偏移，确保新图元靠近已建立的几何结构。最终生成的3D高斯通过可微分光栅化渲染器从任意相机姿态渲染图像，然后由两个批评者评估：对抗性纹理判别器确保高频逼真度，SE(3)多视角批评者通过奖励跨视图像素对齐来强制执行MVC。整个训练过程仅使用2D图像监督，没有3D地面真值或多视角配对数据。

核心创新点有三个：第一，首次将视觉Mamba等状态空间模型应用于3D高斯头像生成，提出了层级状态空间（HiSS）块来组织高斯层级并指导更细级别通过偏移锚定到更粗的父高斯。第二，提出了层级双向状态空间扫描（HiBiSS），将Mamba的标准单向扫描修改为四个互补的2D扫描（行左→右、行右→左、列上→下、列下→上），创建双向递归路径，使状态空间传播与多视角漂移的主轴（水平对应yaw、垂直对应pitch）对齐。第三，设计了SE(3)多视角批评者E_psi，它将一组图像和对应的相机姿态映射到标量一致性分数s = E_psi({I_hat_k}, {T_k})。通过训练这个批评者区分来自同一3D配置的K个自我渲染（正集）和来自不同潜在但共享相同T_k的渲染（负集），模型学习奖励跨视图像素对齐而不观察真实多视角对。这实现了通过设计强制执行MVC，而不是依赖显式3D监督或中间视图生成。

方法步骤详情

MVCHead的完整工作流程包括四个主要步骤。第一步，潜在编码处理：从N(0, I)采样的潜在代码z通过映射网络映射到w，然后预测AdaIN的尺度和偏置参数用于外观解耦条件化。第二步，层级高斯预测：初始HiSS块（l=0）接受随机初始化的512×3可学习令牌作为输入，通过多频位置编码提升到密集的H×W特征网格。然后通过L个HiSS块逐步细化，每个块以采样率r上采样输入点并附加新高斯到现有的。在每个HiSS块内，令牌先通过自注意力捕获全局语义，然后通过HiBiSS执行四个方向的2D扫描（行左→右、行右→左、列上→下、列下→上），融合并重新投影回原始令牌空间，最后通过每属性MLP头直接回归高斯参数(mu, s, q, alpha, c)。第三步，渲染：聚合的所有高斯通过3DGS光栅化渲染器R渲染，从相机姿态T in SE(3)生成图像I = R(S_theta(z), T)。第四步，批评者评估和损失计算：渲染K个视角在规范化相机姿态下，由对抗性纹理判别器D_phi评估逼真度，由SE(3)多视角批评者E_psi评估一致性。总损失为L_total = lambda_mvc(-E_z[E_{T_k} E_psi({R(S_theta(z), T_k)}, {T_k})]) + E_z[(1/K)sum_{k=1}^K softplus(-D_phi(R(S_theta(z), T_k), T_k))] + lambda_knn L_knn + lambda_ctr L_ctr，其中L_knn惩罚相邻高斯的过度间距，L_ctr惩罚高斯中心从其层级锚点的漂移。

技术新颖性

MVCHead的技术新颖性体现在多个层面。在架构层面，这是首次将视觉Mamba和状态空间模型应用于3D头像生成任务，提出的Dual-Mixer架构结合了自注意力和状态空间块的优势。在扫描机制层面，HiBiSS改进了SS2D的标准扫描，专门针对3D头像生成中多视角漂移的轴对齐特性（yaw主要导致水平位移，pitch主要导致垂直位移），实现了各向异性的、姿态感知的平滑。在训练目标层面，SE(3)多视角批评者是第一个在从不观察真实多视角对的情况下学习强制执行MVC的方法，它利用了自我渲染在构造上几何一致的洞察。在注意力机制层面，批评者采用了几何变换注意力（GTA），通过将SE(3)结构直接嵌入注意力中，确保对全局刚体变换的等变性和对内参的不变性。在数据层面，发布的FaceGS-10K是第一个独立于任何参数化3D头部模型的大规模即用型3D高斯头像数据集，包含240K各向异性高斯和24个渲染。这些创新共同实现了在最小资源设置下的SOTA性能，在六个指标中的五个上超越了先前方法。

Model Architecture. MVCHead along with its key proposed components, including HiSS blocks which hierarchically regress the 3D Gaussian parameters (Gaussian S0 becomes the anchor A0 for computing the next Gaussian S1, and so on), and perform Hierarchical Bi-directional State Scan (HiBiSS) in all directions, and the SE(3) Multi-view Critic, which enforces MVC.
Figure 3: Model Architecture. MVCHead along with its key proposed components, including HiSS blocks which hierarchically regress the 3D Gaussian parameters (Gaussian S0 becomes the anchor A0 for computing the next Gaussian S1, and so on), and perform Hierarchical Bi-directional State Scan (HiBiSS) in all directions, and the SE(3) Multi-view Critic, which enforces MVC.

实验结果

MVCHead在FFHQ和FFHQ-C数据集上独立训练的实验表明，在最小资源设置下达到了SOTA性能。在感知逼真度方面，MVCHead在FFHQ数据集上达到FID=4.39，FFHQ-C上达到FID=3.94，显著超越了GGHead（5.15/5.37）和CGSGAN（4.94/4.53）等基线。FID3D在FFHQ上为4.39，FFHQ-C上为3.94，表明在更广视角范围内的渲染逼真度同样出色。在多视角一致性方面，形状一致性使用Chamfer距离和深度误差评估：MVCHead的CD=0.6654（FFHQ-C），优于CGSGAN的0.6724，表明改进了全局形状一致性；深度误差相近，表明局部深度准确性类似。纹理一致性使用cPSNR、cSSIM、cLPIPS评估：MVCHead在所有指标上都优于CGSGAN，显示细纹理模式（如眉毛、唇色、皮肤瑕疵、头发边缘）在视角变化下保持稳定。几何一致性使用MEt3R评估：MVCHead达到0.2620，优于CGSGAN的0.2814，表明在更大相机变化下具有更强的几何一致性。消融研究表明，移除对抗损失L_adv导致训练崩溃，证实其对维持图像逼真度是必要的；移除MVC损失L_mvc恶化了FID和MEt3R（从3.94到5.41，从0.2620到0.3144），强调SE(3)多视角批评者对强制执行跨视图一致性的重要性；移除HiSS块（即状态空间组件）导致MVC显著下降（MEt3R从0.2620到0.2948），确认SSM在注意力之外提供了有意义的贡献；将HiBiSS替换为标准单向扫描恶化性能（MEt3R从0.2620到0.2873），验证轴对齐、双向递归对调和多视角漂移是关键的。条件生成实验表明，MVCHead可以通过基于优化的逆过程适应单张图像的个性化头像创建，同时保持MVC。

Perceptual Realism. Comparison of FID scores. 512 × 512 resolution was used for the experiments.
Table 1: Perceptual Realism. Comparison of FID scores. 512 × 512 resolution was used for the experiments.
Perceptual Realism at extremes. Comparison of FID3D scores. 512 × 512 resolution was used for the experiments.
Table 2: Perceptual Realism at extremes. Comparison of FID3D scores. 512 × 512 resolution was used for the experiments.
Multi-view Consistency. Consistency scores of the synthesized 3D Gaussian heads averaged over 100 avatars.
Table 3: Multi-view Consistency. Consistency scores of the synthesized 3D Gaussian heads averaged over 100 avatars.
Ablation Study. Performed on the FFHQ-C dataset with 512 × 512 resolution to verify the proposed components.
Table 4: Ablation Study. Performed on the FFHQ-C dataset with 512 × 512 resolution to verify the proposed components.
MVCHead achieves state-of-the-art for unconditional generation of high fidelity, multi-view consistent 3D Gaussian head avatars in minimal resource setting, without requiring intermediate views, or even 3D data. The generated Gaussian heads capture complex textures and fine facial micro-structure, including wrinkles, hair wisps, ear rims, lip contours, skin blemishes, eyes, and accessories.
Figure 1: MVCHead achieves state-of-the-art for unconditional generation of high fidelity, multi-view consistent 3D Gaussian head avatars in minimal resource setting, without requiring intermediate views, or even 3D data. The generated Gaussian heads capture complex textures and fine facial micro-structure, including wrinkles, hair wisps, ear rims, lip contours, skin blemishes, eyes, and accessories.
查看结构化数据
任务指标本文基线提升
感知逼真度 (FID) FID (FFHQ-C) 3.94 CGSGAN 降低0.59 (12.9%提升)
感知逼真度 (FID) FID (FFHQ) 4.39 GGHead 降低0.76 (14.8%提升)
扩展视角逼真度 (FID3D) FID3D (FFHQ-C) 3.94 CGSGAN 降低0.59 (12.9%提升)
形状一致性 Chamfer Distance (FFHQ-C) 0.6654 CGSGAN 降低0.0070 (1.0%提升)
纹理一致性 (cPSNR) cPSNR↑ (FFHQ-C) 22.08 CGSGAN 提升0.23 (1.1%提升)
纹理一致性 (cLPIPS) cLPIPS↓ (FFHQ-C) 0.0528 CGSGAN 降低0.0094 (15.1%提升)
几何一致性 MEt3R↓ (FFHQ-C) 0.2620 CGSGAN 降低0.0194 (6.9%提升)

局限与改进

作者承认的局限性包括：第一，MVCHead仅在正面和侧面视图上训练，无法生成完整的360度头像，未来工作可以添加后脑覆盖。第二，几何先验完全从2D监督中学习，更显式的结构约束（如双侧对称）可以进一步减少搜索空间。第三，批评者的更难负样本（如同一个身份的几何扰动视图）可以进一步加强一致性信号。此外，模型在实验中使用的固定高斯预算为240K，对于某些需要更细粒度细节的应用可能不够；条件生成部分不是本文的主要关注点，个性化质量和控制精度可能不如专门针对条件生成优化的方法；模型依赖于预训练的特征提取器（如DINO）和匹配器（如MASt3R）进行MVC评估，这些组件的质量可能影响评估结果的可靠性；大规模训练的计算成本虽然相对合理（4块H100 GPU 3天），但对于资源受限的研究者来说可能仍然较高。

独立分析的弱点

MVCHead的独立分析弱点包括：第一，模型仅在前半球视角上训练，无法生成完整的360度头像，对于需要全方位视角的应用（如VR中的自由漫游）有限制。改进方向是扩展训练数据以包括后脑视图，或设计专门的几何先验来推断不可见区域。第二，几何先验完全从2D监督中学习，没有显式利用人脸的双侧对称性等强先验，可能导致生成的不对称头像不够自然。改进方向是在损失函数中添加对称性约束，或在架构中引入对称性归纳偏置。第三，批评者的负样本设计相对简单（来自不同潜在的渲染），对于身份漂移的某些微妙模式可能不够敏感。改进方向是生成更难的负样本，如同一个身份的几何扰动视图或轻微的身份变化视图，使批评者学习更细粒度的一致性信号。第四，模型在极端视角（如俯仰超过45度）下的渲染质量可能下降，因为训练数据中这些视角可能不足。改进方向是数据增强或专门的极端视角合成策略。第五，固定高斯预算可能不是最优的，对于简单身份可能浪费计算，对于复杂身份可能细节不足。改进方向是自适应的高斯预算分配或分层预算策略。

未来方向

作者提出的未来工作方向包括：添加后脑覆盖以支持完整360度头像生成；引入更显式的结构约束（如双侧对称）以减少搜索空间；使用更难的负样本（如同一个身份的几何扰动视图）来进一步加强一致性信号。基于论文成果可以延伸的方向包括：扩展到全身 avatar 生成，而不仅仅是头部；支持动态表情和姿态控制，实现4D头像生成；探索其他3D表示（如NeRF、mesh）与状态空间模型的结合；研究多模态生成（文本到3D头像、语音驱动头像）中的MVC问题；优化推理速度以支持实时应用（如AR/VR中的即时头像生成）；将HiBiSS扫描机制推广到其他3D生成任务（如物体、场景生成）；研究MVC在其他模态（如视频生成、神经渲染）中的应用；开发更高效的MVC评估指标和自动化评估工具；探索与物理引擎的结合以支持更真实的头像交互。

复现评估

MVCHead的复现评估如下：项目页面和代码已在https://humansensinglab.github.io/MVCHead/发布，表明代码是开源的。训练使用FFHQ和FFHQ-C数据集，这些都是公开可用的人脸图像数据集，数据可获取性良好。发布的FaceGS-10K数据集是第一个大规模即用型3D高斯头像数据集，为后续研究提供了基准。训练计算要求为4块NVIDIA H100 GPU训练3天（1000万步），对于学术实验室来说虽然成本较高但仍可接受。模型架构和超参数在论文中有详细描述，训练策略、损失函数、评估指标都有清晰说明。消融研究验证了每个组件的有效性，为复现提供了指导。然而，完整的复现可能需要较高的GPU内存（H100 80GB），对于只有较小GPU的研究者可能需要调整批量大小或模型大小。代码质量、文档完整性、依赖管理等因素也会影响复现难度，这些需要在实际尝试中验证。总体而言，MVCHead的复现难度中等偏上，需要一定的计算资源和实验经验。

论文图表

Motivation. Paradigms for 3D Gaussian head avatar generation. (a) Requires expensive studio captures; (b) Synthesizes intermediate views before reconstruction; (c) Learns an unconditional 3D Gaussian head directly from 2D images w/o intermediate generation or even 3D data.
Fig. 2: Motivation. Paradigms for 3D Gaussian head avatar generation. (a) Requires expensive studio captures; (b) Synthesizes intermediate views before reconstruction; (c) Learns an unconditional 3D Gaussian head directly from 2D images w/o intermediate generation or even 3D data.

Fig. 2 用三个示意图对比了3D高斯头像生成的三种范式。图(a)展示了需要昂贵工作室捕获的方法，使用密集的多视角视频序列进行重建，依赖高成本设备。图(b)展示了先合成中间视角再重建的方法，从单张图像出发，通过扩散模型生成侧面视图，然后重建到3D表示。图(c)展示了本文的方法，直接从2D图像学习无条件3D高斯头像，不需要中间生成或3D数据，代表了最小资源设置。这个对比清晰地展示了本文与其他方法的区别和优势。

这张图对理解论文的动机和定位至关重要。它清晰地对比了现有方法的三种主要范式，展示了本文的独特位置：在最小资源设置下工作，不依赖昂贵的设备或计算密集的中间视图生成。这个对比帮助读者理解论文要解决的具体问题以及本文方法相对于现有方法的创新点，是理解论文背景和贡献的重要基础。

Self-Renders provide strong MVC prior. We evaluate MVC between view pairs from (a) studio-captured data, (b) intermediate view synthesis, and (c) self-renders from 3D. Using MASt3R for estimating epipolar-consistent correspondence and FeatUp-DINO for measuring feature agreement with a view-invariant encoder, we compute a per-pixel consistency score map over the overlapping region.
Figure 4: Self-Renders provide strong MVC prior. We evaluate MVC between view pairs from (a) studio-captured data, (b) intermediate view synthesis, and (c) self-renders from 3D. Using MASt3R for estimating epipolar-consistent correspondence and FeatUp-DINO for measuring feature agreement with a view-invariant encoder, we compute a per-pixel consistency score map over the overlapping region.

Figure 4 比较了三种不同来源的视图对之间的多视角一致性：工作室捕获的真实多视角数据、中间视角合成、以及从3D模型的自我渲染。对于每种情况，左图显示输入图像，中间显示重投影视图A→B和B→A，右图显示重叠掩码和一致性图（暗色=一致，亮色=不一致）。从图中可以看到，工作室捕获数据具有很高的MVC，中间视角合成存在明显的不一致性（亮色区域），而自我渲染从3D显示出很强的一致性（主要是暗色）。这个实验验证了论文的核心洞察：任何固定3D模型的自我渲染在构造上都是几何一致的。

这张图对理解论文的核心洞察至关重要。它提供了多视角一致性的定量可视化比较，直接证明了论文的关键假设：自我渲染从3D在构造上几何一致，而中间视图合成可能引入不一致性。这个洞察是论文设计SE(3)多视角批评者的理论基础，也是本文方法能够从不观察真实多视角对的情况下学习MVC的原因。这张图为论文的理论贡献提供了实证支持。