GenLCA:基于 3D 扩散模型的野外视频全身数字人生成与编辑 GenLCA: 3D Diffusion for Full-Body Avatars from In-the-Wild Videos

流水线分四步。第一步 token 化(Fig. 2):每身份选 4 张偏航角差异最大的全身图 + 4 张随机人脸图,Sapiens 提图像 token,与 8192 个查询点 $X\in\mathbb{R}^{8192\times 3}$ 送 LCA 的 transformer,输出 GS token $T\in\mathbb{R}^{8192\times 1024}$。第二步压缩(Fig. 3B):$E$ 把 $T$ 映到 $Z=E(T,X)\in\mathbb{R}^{8192\times 8}$,损失 $\mathcal{L}=\lambda_1\mathcal{L}_1+\lambda_2\mathcal{L}_{\text{KL}}$。第三步扩散(Fig. 3A):在 $Z$ 上训 28 层 MMDiT,条件含 text(MetaCLIP-huge)、scribble 与 body part(DINOv2-big),三模态均匀采样;visibility mask 标记的无效位替换为共享可学习占位 token,损失用 mask 加权只回传到有效 token。第四步 visibility mask 估计(Fig. 4):把解码高斯按输入相机 pose 渲染,8 个 splat 中至少 2 个在至少 1 个视角中「可见」则该 token 标为有效。推理 CFG=5.0、50 步采样,12 秒生成一个数字人。

技术新颖性体现在三个层面。第一,3D tokenizer 复用范式:把 feed-forward 重建网络从「单身份重建器」变成「全数据集的 token 提取器」,这是首次把已有重建模型当作通用 3D VQ-VAE 使用,显著降低了原生 3D 扩散训练的数据准备成本。第二,visibility-aware 训练:不是简单丢弃不完整样本,而是结构化区分 token 的有效与无效区域,引入共享 learnable placeholder 替代模糊或透明部分,这个 placeholder 让所有无效位置共享同一分布,既避免颜色漂移又降低有效 token 的训练噪声。第三,在潜空间而非原始 tri-plane / UV latent 空间训练:得益于 LCA 的解耦设计,8192 个 token 与 3D 几何有显式对应,visibility mask 与 query point 几何位置对齐,这种「几何感知」的潜空间在 rectified flow 框架下比传统 feature plane 更适合做空间局部编辑。

四个弱点与改进方向。第一,LBS 瓶颈:宽松衣物在极端姿态失真,作者承认但未给具体方案;改进方向是在 LCA 之上加学习型形变场(如 NPGA 的 parametric blend),或在 token 空间引入局部 pose-dependent 偏移 MLP。第二,visibility mask 的「伪有效」风险:二值 mask 简化处理半可见 token 引入监督噪声;改进方向是引入 soft visibility weight,根据 splat 贡献度连续加权损失。第三,Compressor 瓶颈:8 维潜空间可能过紧损失高频细节;改进方向是尝试更高维 latent 或 hierarchical 编码,平衡压缩率与细节。第四,评估局限:50 prompt + 200 参考图相对 1.1M 训练集偏小,THuman 2.0/HuGe100K 存在域差,FID 改善未必完全代表真实场景。

作者提出的方向集中在两方面:强化重建模型以提升宽松衣物的真实性与可驱动性,以及进一步扩大数据规模向 2D 扩散对标。结合论文成果,还可以延伸几个有价值的研究方向。一是把 visibility-aware 训练范式推广到其他 3D 生成任务(场景、物体),解决单目视频训练 3D 模型的通用问题。二是在 GenLCA 基础上引入视频扩散先验,实现 4D 时序一致的动态数字人生成,目前 28 层 MMDiT 架构天然支持扩展到时序维度。三是把 Compressor 加 GenLCA 加 LCA detokenizer 的三段式流水线蒸馏成单阶段端到端模型,降低 12 秒推理时间进一步压缩到 1 秒内,推动实时应用。四是探索 GenLCA 在可控属性编辑(光照、视角、表情细粒度控制)上的能力,目前编辑主要由 text 引导,缺乏精确的解耦控制接口。五是利用 GenLCA 生成的百万级 3D token 数据反向训练新一代 feed-forward 重建模型,形成 3D 生成与重建的协同进化闭环。

复现难度极高。算力方面,Compressor 需 32 张 A100 训 1 天,GenLCA 主模型需 64 张 A100 训 4 天,合计 256 GPU·天,中小实验室难以承担。数据方面,核心 1,113,476 个野外视频 + 2,737 棚拍 + 1,198 手机拍摄身份全部未公开,LCA 重建模型(arXiv 2604.02320)权重可能不开源。代码方面,作者仅提供项目页 GenLCA-Page,按 Meta Codec Avatars 惯例可能仅放论文与展示视频。依赖方面,Sapiens 可用,但 MetaCLIP-huge、DINOv2-big 的微调配置与 visibility mask 的 2-of-8 阈值需反复调参。第三方可基于 THuman 2.0 等公开子集做小规模验证,但完整复现 1.1M 训练几乎不可能。