← 返回 2026-05-18

FFAvatar：少样本、前馈式、可泛化的化身重建 FFAvatar: Few-Shot, Feed-Forward, and Generalizable Avatar Reconstruction

Thuan Hoang Nguyen, Jiahao Luo, Yinyu Nie, Hao Li, Gordon Guocheng Qian, Jian Wang 📅 2026-05-14 👍 7 2026-07-13 08:36
3D Gaussian Splatting Avatar Reconstruction Computer Graphics FLAME Feed-Forward Few-Shot
arXiv HuggingFace PDF

多视图前馈框架，10秒重建可动画3D高斯头像，49 FPS实时驱动

前置知识

3D Gaussian Splatting (3DGS)

一种实时神经渲染方法，把场景表示为一组可学习高斯 $\{g_m\}$，每个含中心 $\mu_m \in \mathbb{R}^3$、协方差 $\Sigma_m$、不透明度 $\alpha_m$ 和颜色 $c_m$，用可微分光栅化实现实时新视角合成。

FFAvatar 用 3DGS 作为头化身的基本表示，只有理解各高斯参数的具体含义、协方差的几何意义以及可微渲染的链路，才能看懂论文中 $\mu_m = v_m + o_m$ 的锚点定义和 LBS 形变公式。

FLAME 参数化人脸模型

FLAME 用三组基本解耦的 blendshape 模板（身份 $\beta$、表情 $\psi$、局部关节 $\theta$）线性表示头部几何，结合线性混合蒙皮 (LBS) 实现表情和姿态驱动，是目前头化身建模的标准几何先验。

FFAvatar 中每个高斯中心直接锚定到 FLAME 规范顶点 $v_m$，并通过预测的 $(\psi, \theta, \pi)$ 驱动 LBS 实现表情动画；FLAME 的解耦特性也是其能端到端预测的前提。

Query-Former 跨注意力机制

源自 BLIP-2 等视觉-语言模型的 Q-Former，用一组可学习的 query token 作为查询，通过自注意力在 query 间交互、再通过交叉注意力从变长的图像/视频特征序列中聚合信息，得到固定大小的输出表征。

FFAvatar 的核心架构 Multi-View Query-Former 把每个 FLAME 规范顶点投影成 query，跨注意力从多视角 DINOv2 特征中读取信息，从而把多视图线索融合到统一规范高斯表达中。

线性混合蒙皮 (Linear Blend Skinning, LBS)

LBS 用骨骼仿射变换 + 顶点固定权重混合来驱动网格形变。在 FLAME 中规范顶点 $v_m$ 配 LBS 权重 $w_{m,b}$，与骨骼变换 $A_b(\psi,\theta,\pi)$ 相乘得到 $\mu'_m = R_{m,r}\mu_m + t_{m,r}$。

FFAvatar 只形变高斯中心 $\mu_m$，保持协方差、不透明度、颜色不变，从而把 LBS 公式直接搬到高斯表示上；这也是其能从像素端到端预测 FLAME 参数的关键。

研究动机

现有数字人化身重建方法存在两大瓶颈。一是以 NeRF 和 3DGS 为代表的优化式方法 [8, 10, 20, 24, 29, 32, 33] 每个身份都要跑数小时到数天的反向传播，并且需要数十到数百张多视角图像或校准过的多相机阵列，在虚拟在场、远程呈现等需要快速部署、极少样本的场景下完全不可行。二是 LAM [9] 这类最新前馈方法虽然把单图像化身预测加速到毫秒级，但强依赖单视角输入与昂贵的离线 FLAME 参数提取（如 VHAP 跟踪器仅 0.3 FPS），导致模型无法在百万级未约束视频上训练，泛化能力被严重限制，对未见过或极端视角容易出现几何穿孔、纹理幻觉等失真（论文图 4 LAM 列）。数据集层面，360° 多视角捕获集 Ava256 [18] 仅 256 个身份，模型容易过拟合；而野外单目视频虽有百万身份但缺乏真正的多视角覆盖，单纯用任何一种都不够。这一数据集困境正是 FFAvatar 要解决的根本矛盾。

本文的目标是本文的具体目标是构建一个名为 FFAvatar 的可泛化前馈框架，从少量（1–4 张）未标定人像图片出发，在单个 A100 GPU 上 10 秒内（其中可选用 7 秒个性化微调）重建出支持表情与姿态驱动的可动画 3D 高斯头化身，并且驱动阶段达到 49 FPS 的实时性能，无需任何相机标定或离线 FLAME 预处理。论文用 NeRSemble 等公开基准设定了严格量化指标：相对 LAM 在 PSNR 上提升 5.5，相对 GAGAvatar 在 PSNR 和 CSIM 上分别提升 +2.57 和 +0.21，并维持跨视角一致性、几何保真和身份一致性三大目标。

与已有工作不同的是，FFAvatar 的独特切入点是把数据规模与多视角一致性这一对长期对立的目标，用三阶段训练课程（可扩展预训练 + 多视角微调 + 可选个性化）系统性地化解，同时通过端到端 FLAME Estimator 消除离线预处理瓶颈，并把多视图聚合作为输入（而非仅仅作为数据），通过 Multi-View Query-Former 真正融合多视角线索。具体而言：第 1 阶段在 MFHQ-1M 自建百万身份数据集上预训练学习通用先验；第 2 阶段在 Ava256 上仅 20K 步微调获得 360° 几何一致性；第 3 阶段对目标身份 500 步个性化（10K 步量级而非 100K 起步训）。FLAME Estimator 仅用一个轻量 MLP 头从 DINOv2 token 预测 $(\psi, \theta, \pi)$，在自监督渲染损失下端到端习得，比 VHAP 快 200 倍以上。

核心方法

FFAvatar 将化身拆为「规范空间建模」+「动画驱动」两部分。规范空间是一组锚定 FLAME 顶点的 3D 高斯 $\mathcal{G}^{can}=\{\mu_m,\Sigma_m,\alpha_m,c_m\}$，中心 $\mu_m=v_m+o_m$；驱动阶段用 LBS 公式 $A_b(\psi_r,\theta_r,\pi_r)\cdot(\mu_m,1)$ 形变高斯中心。多视图融合靠 Multi-View Query-Former：80K 个规范顶点做 query、$S$ 张条件视图的 DINOv2 token 做 key/value，经 12 块 transformer 跨注意力解码出高斯属性。训练用 few-to-many 目标：抽 $S$ 张条件图走 Query-Former、$R\geq S$ 张目标图仅取 FLAME 参数经 LBS 渲染，并在 $504\times504$ 分辨率上联合监督 $\mathcal{L}_1$、LPIPS、SSIM 和对抗损失 $\mathcal{L}_{adv}$，FLAME 估计器与化身端到端反传，无需任何离线跟踪。

核心创新有三：第一，把「单视图 + FLAME 跟踪」扩展到「少样本无标定多视图 + 端到端 FLAME 学习」，并将多视图 Query-Former 设计成让 FLAME 顶点本身就是可学习 query，从而在规范空间一次性融合；第二，提出三阶段训练课程（百万身份预训练 → 256 身份 360° 微调 → 500 步身份个性化），用 80K 上采样高斯替代原始 5023 个 FLAME 顶点以支撑高保真，几何一致性靠第二阶段注入，身份细节靠第三阶段恢复；第三，提出 few-to-many 训练目标，使 Query-Former 学到「少量输入推导全部视图」的泛化能力，而非传统的单输入-单目标重建任务。

方法步骤详情

推理四步：(1) 输入 $N=1\sim4$ 张人像经 DINOv2 提 token $F_s$，拼成多视图 bank $F$。(2) 解码器以 FLAME 顶点为 query $q_m=W_q\phi(v_m)$，12 块自+跨注意力后 MLP 头输出 $o_m,\Sigma_m,\alpha_m,c_m$。(3) FLAME Estimator 在 $I_r$ 上走 DINOv2 + MLP $f_{per-view}$，预测 $(\psi_r,\theta_r,\pi_r)$，60 FPS。(4) LBS 形变 $\mu'_m=R_{m,r}\mu_m+t_{m,r}$ 后 3DGS 渲染 $\hat{I}_r$，按 $\mathcal{L}=\sum\lambda_i\mathcal{L}_i$ 反向，$\lambda_1=0.8,\lambda_{lpips}=\lambda_{ssim}=0.1,\lambda_{adv}=0.01$。训练三阶段 200K/20K/500 步，lr $10^{-5}/10^{-6}/10^{-4}$。

技术新颖性

技术新颖性体现在四个层次。其一，把 Q-Former 从视觉-语言任务迁移到 3D 化身建模，并以 FLAME 顶点为几何先验 query，使多视图融合具有显式的几何结构而非纯数据驱动，这是首个把多视图大化身模型与 LBS 完全打通的方案。其二，把端到端 FLAME 估计设计成轻量 MLP 头，依赖 DINOv2 的强语义表征和自监督渲染梯度，使其在没有大规模标注数据的情况下取得与 VHAP 跟踪器在重建质量上可比的精度并快 200×。其三，提出 few-to-many loss，把化身重建建模为「从少量观测重建本体」的任务，区别于既有单输入-单目标范式，使 Query-Former 真正学到外观与几何的分布。其四，三阶段课程用可学习残差 $\Delta\mathcal{G}^{can}$ 实现身份个性化（论文公式 9），初始化来自前馈模型因而 60× 快于从头训练，并把极端视角幻觉失败的修补推迟到个性化阶段。

FFAvatar full pipeline reconstructs animatable avatars in 10 seconds on a single A100, while supporting reenactment from driving frames at 49 FPS. Top: single-view; bottom: multi-view.
Figure 1: FFAvatar full pipeline reconstructs animatable avatars in 10 seconds on a single A100, while supporting reenactment from driving frames at 49 FPS. Top: single-view; bottom: multi-view.
FFAvatar pipeline. FFAvatar reconstructs a canonical Gaussian head avatar from few-shot views using a Multi-view Query-Former, with canonical FLAME vertices as queries and source features as keys/values. An end-to-end FLAME Estimator predicts expression ψ, local articulation θ, and head pose π from driving frames, avoiding offline FLAME preprocessing. A few-to-many objective further improves generalization to unseen expressions and poses.
Figure 3: FFAvatar pipeline. FFAvatar reconstructs a canonical Gaussian head avatar from few-shot views using a Multi-view Query-Former, with canonical FLAME vertices as queries and source features as keys/values. An end-to-end FLAME Estimator predicts expression ψ, local articulation θ, and head pose π from driving frames, avoiding offline FLAME preprocessing. A few-to-many objective further improves generalization to unseen expressions and poses.
Personalization dynamics. Feed-forward initialization improves quality and converges within 500 steps, while random initialization (from scratch), remains blurry and poorly preserves identity.
Figure 6: Personalization dynamics. Feed-forward initialization improves quality and converges within 500 steps, while random initialization (from scratch), remains blurry and poorly preserves identity.

实验结果

NeRSemble 45 身份×16 视角自驱动评估：单视图即全面超越基线，FFAvatar PSNR 17.60 vs GAGAvatar 15.03 / LAM 13.31，CSIM 0.68 vs 0.47/0.61；4 视图推到 PSNR 18.78、SSIM 0.78、CSIM 0.74；500 步个性化后跃升到 PSNR 25.78、SSIM 0.94、CSIM 0.89，逼近优化方法水平。消融：去可扩展预训练是最大跌幅 (-8.36 PSNR, -0.35 CSIM)，百万身份预训练为泛化根基；多视角微调 -3.53 PSNR；对抗损失去后 LPIPS 0.19→0.25，主要改善纹理；few-to-many 损失去后 -2.87 PSNR。FLAME Estimator 与 VHAP 对比：PSNR 25.78 vs 25.81、SSIM 0.94 vs 0.96，质量几乎相同但 FPS 60 vs 0.3，加速 200×；A100 单卡重建 2 秒/10 秒（有无个性化），驱动动画 49 FPS。

Quantitative comparison for self-reenactment on the NeRSemble benchmark. FFAvatar outperforms state-of-the-art feed-forward avatar methods [2, 9] in the single-view setting. Using 4 input views further improves reconstruction by providing richer appearance and geometry cues, while 500-step personalization yields the best results through rapid identity-specific adaptation.
Table 1: Quantitative comparison for self-reenactment on the NeRSemble benchmark. FFAvatar outperforms state-of-the-art feed-forward avatar methods [2, 9] in the single-view setting. Using 4 input views further improves reconstruction by providing richer appearance and geometry cues, while 500-step personalization yields the best results through rapid identity-specific adaptation.
Quantitative ablation study.
Table 2: Quantitative ablation study.
FFAvatar qualitative comparison for self-reenactment on the Ava256 test set (top two rows) and cross-reenactment on the NeRSemble benchmark (bottom two rows). FFAvatar-1 view achieves more faithful and geometrically consistent results than the baselines. GAGAvatar [2] often produces over-smoothed textures and pose misalignment, while LAM [9] shows geometry artifacts under challenging views. Additional input views and optional personalization further improve identity preservation and detail.
Figure 4: FFAvatar qualitative comparison for self-reenactment on the Ava256 test set (top two rows) and cross-reenactment on the NeRSemble benchmark (bottom two rows). FFAvatar-1 view achieves more faithful and geometrically consistent results than the baselines. GAGAvatar [2] often produces over-smoothed textures and pose misalignment, while LAM [9] shows geometry artifacts under challenging views. Additional input views and optional personalization further improve identity preservation and detail.
Qualitative ablation study. FFAvatar with personalization achieves the most realistic and faithful reconstructions. Personalization enhances identity. Without scalable pretraining, the model trained only on Ava256 fails to generalize to NeRSemble, degrading geometry and identity consistency. Removing high-quality fine-tuning or the GAN loss reduces visual detail.
Figure 5: Qualitative ablation study. FFAvatar with personalization achieves the most realistic and faithful reconstructions. Personalization enhances identity. Without scalable pretraining, the model trained only on Ava256 fails to generalize to NeRSemble, degrading geometry and identity consistency. Removing high-quality fine-tuning or the GAN loss reduces visual detail.
查看结构化数据
任务指标本文基线提升
新身份前馈重建（自驱动） PSNR↑（NeRSemble，1 视图输入） 17.60 GAGAvatar 15.03 / LAM 13.31 +2.57（vs GAGAvatar）/ +4.29（vs LAM），单视图已全面 SOTA
新身份前馈重建（自驱动） CSIM↑（NeRSemble，1 视图输入） 0.68 GAGAvatar 0.47 / LAM 0.61 +0.21（vs GAGAvatar）/ +0.07（vs LAM），身份保真明显提升
新身份前馈重建（自驱动） PSNR↑（NeRSemble，4 视图输入） 18.78 / 25.78（含个性化） GAGAvatar 15.03 / LAM 13.31 +3.75 / +12.47（含个性化），多视图 + 个性化增益分别 +1.18 和 +7
FLAME 估计精度（NeRSemble 全基准） PSNR↑ / FPS↑ 25.78 / 60 VHAP tracker 25.81 / 0.3 质量持平，速度提升 200×，RMSE 表情 0.012、关节 0.020
前馈消融（4 视图） PSNR↓（去掉核心组件） 18.78（完整模型） 17.51（无GAN）/ 15.25（无MV微调）/ 10.42（无预训练） 最大跌幅 -8.36（无预训练），证实渐进训练三阶段缺一不可

局限与改进

作者在 Limitation Analysis 段明确承认三点：(1) 动画先验受限于 FLAME 解空间，对眼动、口腔内部、舌头缺乏细粒度建模；(2) 稀疏输入下头发、颈部、衣物边界需幻觉，极端新视角下易出现伪影；(3) 单步稀疏预测会平滑身份细节，必须依赖第三阶段个性化缓解，时间代价不可省。自己观察到的额外局限包括：第一，4 视图与个性化之间的差距高达 7 PSNR，意味着前馈模型本身尚未充分利用多视角信号，未来仍有 4.5 dB 量级改进空间；第二，MFHQ-1M 数据集因合规原因不能公开发布，限制了学术复现；第三，80K 高斯与 870.8M 参数的体量对显存与延迟都不友好，论文未给出显存与单卡占用数据，对实际部署评估不完整；第四，对身份与人种的偏差评估缺失，百万身份预训练存在的数据偏差会直接通过 LBS 接口传递到化身中。

独立分析的弱点

独立分析 FFAvatar 仍存的弱点及改进方向：(i) 多视图融合效率偏低：4 视图相对 1 视图仅 +1.18 PSNR，$ST$ 序列拼接让跨注意力成本 $O(ST\cdot M)$ 线性膨胀，应改用分组 token 聚合或视图-注意分离。(ii) 个性化不可省：从表 1 看不个性化 4 视图仅 18.78 PSNR，做了到 25.78，前馈模型本身未充分挖掘目标身份信息，可借鉴 Score Distillation 注入扩散先验。(iii) FLAME 解空间限制：表情、关节、头部姿态共享同一 MLP 头，未分离身份与表达式，可改成分解式 head + 对比损失。(iv) MFHQ-1M 不公开且无偏差统计，应补充公平性子集评估。(v) 极端视角仍有伪影，需法向或 silhouette 等 3D 一致性正则。

未来方向

作者提出的方向包括眼动/口腔细节建模、稀疏输入下的毛发与颈部建模、不依赖个性化的身份细节自适应。基于本文成果，未来可延伸的路径有：(i) 联合训练扩散先验与高斯化身，用 SDS 把视觉先验蒸馏进 Query-Former，从而压缩甚至取代第三阶段个性化；(ii) 把 Multi-View Query-Former 替换为更高效的视图-注意分离或稀疏 cross-attention 模块，把 4 张 A100 训练和 870M 参数降到单卡可承受的范围；(iii) 把 FLAME 替换为 SMPL-X 或更精细的人体先验，并把场景从头部扩展到含肩部、毛发、衣物的全身化身；(iv) 在保持 49 FPS 驱动的同时，引入神经缓存或 4D 高斯建模，让化身支持长期表情生成和长序列驱动；(v) 探索 FFAvatar 在 AR 滤镜、视频会议头显、神经渲染游戏角色等场景的实际落地，量化其相对优化方法在生产环境中的鲁棒性与延迟优势；(vi) 公开合成等价 MFHQ-1M 子集，缩小合规与开放之间的差距。

复现评估

整体复现难度偏高：(1) MFHQ-1M 因合规不能发布，作者建议按 Omni-ID/ComposeMe 自建，门槛极高；唯一开放数据 Ava256 (4TB, 80 相机, 248+8 身份)，pre-train 3 天 + fine-tune 1.5 天 (8×A100)。(2) 完整模型 870.8M 参数 (FLAME Estimator 313.2M + 化身 557.6M) 加 DINOv2 与 80K 高斯，显存未说明，单卡难以承载三阶段训练。(3) 截至发稿代码与权重未公开；LAM、GAGAvatar 也分别存在权重/代码缺失，使基线比较难以逐项复现。(4) NeRSemble 可访问并按论文 45×16 设置较易重构。独立研究者最现实的复现路径是仅做二三阶段（约 1.5×8 A100 天），并自备代理预训练数据。

论文图表

Three-stage training of FFAvatar. Scalable pretraining fosters generalization across unseen identities by training on our private large-scale multi-frame-per-identity dataset MFHQ-1M, multi-view fine-tuning enhances geometric fidelity by optimizing the pretrained weights on a small-scale set of 360° multi-view captures (e.g. Ava256 [18]), and lightweight personalization efficiently improves identity preservation with a few hundred tuning steps for a target identity in < 7 seconds on a single A100 GPU.
Figure 2: Three-stage training of FFAvatar. Scalable pretraining fosters generalization across unseen identities by training on our private large-scale multi-frame-per-identity dataset MFHQ-1M, multi-view fine-tuning enhances geometric fidelity by optimizing the pretrained weights on a small-scale set of 360° multi-view captures (e.g. Ava256 [18]), and lightweight personalization efficiently improves identity preservation with a few hundred tuning steps for a target identity in < 7 seconds on a single A100 GPU.

用三张小图分别示意可扩展预训练（MFHQ-1M, 1M+ 身份）、多视图微调（Ava256, 256 身份, 360°）、可选个性化（同一身份 photo stack），每张子图标明数据规模与训练代价

把本文独有的「数据规模 vs 几何一致性」权衡及对应的三阶段策略可视化，是理解 motivation 中 dataset dilemma 的关键

Table 3: Ablation: end-to-end FLAME estimator vs. state-of-the-art. Replacing our learned estimator with VHAP [23] keeps the avatar and personalization unchanged. Our estimator matches rendering quality while avoiding offline tracking and running over 200× faster.

两栏 (Ours vs VHAP tracker) 显示 PSNR 25.78 vs 25.81、SSIM 0.94 vs 0.96、LPIPS/CSIM 接近、FPS 60 vs 0.3（a）；右侧给出 360K 帧上两组系数与 VHAP 的均值、标准差、RMSE 差异（b）

为端到端 FLAME Estimator 提供客观依据——主要指标与 VHAP 持平但快 200×，是论文方法学贡献中能独立拿出来比较的一项