CaricatureGS：基于高斯曲率的3D高斯泼溅人脸漫画化 CaricatureGS: Exaggerating 3D Gaussian Splatting Faces With Gaussian Curvature
用高斯曲率驱动网格变形，配合伪真值训练，实现可控、保身份的3D漫画化人脸头像
前置知识
3D Gaussian Splatting (3DGS)
一种新兴的3D场景表示方法，将场景建模为各向异性高斯基元的集合。每个高斯基元存储位置 $\mu_i$、尺度 $、旋转 $、不透明度 $\sigma_i$ 和视角相关颜色 $ 等属性。渲染时通过可微分的泼溅（splatting）将高斯基元投影到2D图像平面，实现高质量的实时渲染。相比NeRF，3DGS支持更快的渲染速度和更灵活的编辑。
本文的核心渲染框架，理解3DGS的基本原理是理解整个方法的基础
FLAME网格
FLAME（Faces Learned with an Articulated Model and Expressions）是一种参数化人脸模型，通过线性组合形状、表情和姿态参数来表示人脸的3D形状。它维护一致的顶点对应关系，使得不同帧之间的网格变形可以保持时间连贯性。本文使用FLAME作为基础网格，通过提取每帧的FLAME拟合结果来获得时间一致的人脸表面。
本文以FLAME网格为骨架进行曲率驱动的变形，理解其拓扑特性对理解变形方法至关重要
高斯曲率
高斯曲率 $ 是微分几何中描述曲面局部几何性质的量，定义为主曲率的乘积 = \kappa_1 \cdot \kappa_2$。在离散网格上，可通过顶点邻域的面积和角度来计算。高斯曲率刻画了曲面的弯曲程度——正曲率处呈椭圆型（如鼻尖），负曲率处呈双曲型（如鼻梁两侧），零曲率处为平坦或圆柱型。
本文用高斯曲率驱动变形权重 (\gamma) = |K|^\gamma$，是整个漫画化变形的核心数学工具
Poisson方程在网格上的求解
加权Poisson方程 $\Delta_G S^\gamma = abla_G \cdot |K|^\gamma abla_G S$ 是一种椭圆型偏微分方程，在曲面上求解时需要离散化Laplace-Beltrami算子。通过最小二乘法求解 $\min \| ilde{L}x - b \|^2_A$，其中 = A^{-1}W$ 是离散Laplace-Beltrami算子，$是对角面积矩阵，$是cotangent权重矩阵。这是曲面变形的标准工具。
曲率加权Poisson方程是实现漫画化几何变形的数学核心，理解其求解过程才能理解变形的可调性
局部仿射变换（LAT）
局部仿射变换利用原始网格和变形网格之间的三角形对应关系，对每个三角形求解唯一的2D仿射映射 $\Phi(x) = Ax + b$，使得 $\Phi(x_i) = y_i$。然后用逆向warping将原始图像的颜色映射到变形网格的2D投影上，使用双线性插值避免空洞区域。这种变换能生成高质量的伪真值漫画图像。
LAT是本文生成训练监督信号的关键技术，解决了真实漫画图像不存在的问题
Jacobian Blend Skinning (JBS)
一种高斯基元的变形方法，通过Polar分解将Jacobian梯度 $ 分解为旋转 $ 和拉伸 $ 两部分，分别用于更新高斯的旋转和尺度。公式为 $\Sigma_i^{1/2} = J_b r_i s_i$ 和 $\mu'_i = J_b \mu_i + T_j^x$，其中 = \exp(\sum_i v_i \log(U_i)) \cdot \sum_i v_i P_i$。这种方法比线性混合蒙皮更准确。
本文使用SurFhead的JBS框架来绑定高斯基元到网格，是实现变形的工程基础
研究动机
人脸漫画化是指在保留身份特征的同时夸张化独特的面部特征，是创建逼真、沉浸式虚拟头像的关键技术。然而，现有的基于网格的方法（如Sela等人的scale-aware Poisson框架）虽然能通过曲率驱动的几何变形生成高质量的漫画化网格，但当这些变形表面通过传统的纹理映射管线渲染时，结果往往显得不自然。传统网格渲染管线在处理大幅度变形时会产生纹理拉伸和渲染伪影。另一方面，扩散模型或GAN编辑器（如GaussianEditor）虽然能进行外观编辑，但存在几何漂移、视角不一致的镜面反射、多视角一致性差等问题，且无法控制底层几何。目前尚不存在能从输入多视角视频构建动态3D光真实感漫画模型的显式方法。
本文的目标是本文的目标是将曲率驱动的几何变形与3D高斯泼溅（3DGS）结合，创建一个可控的光真实感漫画化头像框架。具体而言，系统需要满足：（1）保持身份特征的忠实性，使用DINO特征相似度和CLIP-I指标量化评估；（2）支持连续的夸张强度控制，通过线性插值实现从原始到目标夸张程度 $\gamma \in [0, \gamma_f]$ 的平滑过渡；（3）支持局部语义控制，允许用户只夸张特定面部区域（如鼻子或耳朵）；（4）实现高质量的光真实感渲染，在CLIP-C空间一致性等指标上超越现有方法。
与已有工作不同的是，本文的独特切入点在于：（1）首次将高斯曲率作为漫画化变形的驱动权重，通过加权Poisson方程 (\gamma) = |K|^\gamma$ 实现几何忠实的变形；（2）提出局部仿射变换（LAT）生成伪真值漫画图像 ^*$，解决真实漫画训练数据不存在的根本问题；（3）创新性地采用交替训练策略——随机交替使用原始视频帧和伪真值进行监督，使单个高斯集合能同时学习自然和漫画化外观；（4）引入空间遮罩机制，冻结受遮挡影响的高斯（特别是头发区域），防止伪真值监督引入的伪影。这套方案使得一个共享的高斯集合能够支持连续的夸张强度范围和局部编辑，这是以往方法无法实现的。
核心方法
CaricatureGS的整体思路可以分为三个阶段：首先从多视角视频中提取FLAME网格，通过曲率加权的Poisson方程进行几何变形得到漫画化网格；然后利用原始网格与变形网格之间的三角形对应关系，通过局部仿射变换（LAT）生成伪真值漫画图像 ^*$；最后将各向异性高斯基元绑定到原始网格上，通过交替训练策略（随机交替使用真实帧和 ^*$）优化，最终得到一个能同时支持自然和漫画化渲染的共享高斯集合。推理时，通过在原始网格和漫画化网格之间的线性插值，可以实时控制任意夸张强度而无需额外优化。这个设计的直觉是：如果高斯集合学会了在两个极端（自然和漫画化）之间进行渲染，那么它自然能够泛化到中间状态。
本文的核心创新在于三个层面的突破。第一，曲率驱动的变形权重设计——与以往均匀缩放或手动调整不同，使用 (\gamma) = |K|^\gamma$ 使得变形程度自然地与几何复杂度相关：高曲率区域（如鼻尖、眼窝）获得更大的夸张，而平坦区域（如脸颊）保持相对稳定。第二，伪真值生成方案——由于真实漫画图像不存在，作者不是用风格迁移（会导致身份-表情纠缠），而是利用几何变形诱导的2D仿射变换来warp原始图像，这保证了视角一致性和身份保真度。第三，交替训练策略——仅用 ^*$ 训练会导致遮挡区域（如头发）出现伪影，仅用原始帧训练则无法学习漫画化外观，交替训练就像一个简单的多域正则化器，让模型从两个域中互补学习。
方法步骤详情
方法的具体步骤如下：（1）网格提取与变形：从多视角视频中拟合FLAME网格，计算每个顶点的高斯曲率 (p)$，然后求解加权Poisson方程 $\Delta_G S^\gamma = abla_G \cdot |K|^\gamma abla_G S$ 的最小二乘问题 $\min \| ilde{L}x - b \|^2_A$，得到夸张化网格 {\gamma_f}$。对于用户指定的边界条件（如局部夸张），使用约束最小二乘求解。（2）伪真值生成：对于原始网格和变形网格的每对对应三角形 = \{X_1, X_2, X_3\}$ 和 = \{Y_1, Y_2, Y_3\}$，求解唯一的仿射映射 $\Phi(x) = Ax + b$，然后逆向warp原始图像到变形网格的2D投影。生成遮罩标记不可靠区域（新出现的遮挡区域和头发边界）。（3）交替训练：将高斯基元 $ 绑定到三角形 $，随机交替使用真实帧和 ^*$ 进行光度损失优化。在 ^*$ 步骤中，通过空间遮罩冻结受遮挡影响的高斯参数。训练120,000次迭代，约4小时（单张RTX 3090）。（4）推理与插值：使用线性混合 { ext{blend}}(\gamma) = (1-?lpha)S_0 + ?lpha S_{\gamma_f}$，$?lpha = \gamma/\gamma_f$，实现实时夸张强度控制。
技术新颖性
本文的技术新颖性体现在多个方面。首先是曲率加权Poisson方程的变体应用——以往的曲率驱动变形（如Sela 2015）主要关注几何处理，本文首次将其与3DGS结合用于漫画化渲染。其次是LAT伪真值方案的理论保证——论文在附录中证明了线性插值的误差界：$\| \delta S(\gamma) \|_{L^2} \lesssim C_P (\ln|K|)^2 e^{\max(0, \gamma_f \ln|K|)} \gamma(\gamma_f - \gamma) \| abla_G S_0 \|_{L^2}$，其中误差在端点 $\gamma=0$ 和 $\gamma=\gamma_f$ 为零，在中点 $\gamma_f/2$ 处取最大值但仍然可忽略不计（实验验证最大归一化偏差接近零）。第三是交替训练策略与遮罩机制的协同设计——这使得单个高斯集合能学习两个域的外观，同时避免遮挡区域的伪影传播。与SurFhead等需要分别训练不同表情的方法相比，本文方案支持连续的夸张范围，无需重新训练或求解新的Poisson方程。
实验结果
本文在NeRSemble数据集（10个主体，4个情感序列和6个表情序列，16个同步高分辨率相机）上进行了全面评估。定量比较显示，CaricatureGS在所有5个指标上均超越了当前最先进的SurFhead基线：CLIP-I（图像-文本相似度）从0.67提升到0.73（+8.96%），CLIP-D（方向相似度）从0.0006提升到0.014（+2233%），CLIP-C（空间一致性）从0.944提升到0.945（+0.11%），DINO（身份/结构一致性）从0.757提升到0.888（+17.3%），SD（Score Distillation）从0.460提升到0.539（+17.2%）。其中DINO指标的显著提升表明本文方法在保持身份特征方面具有明显优势。定性结果（Figure 5）显示，本文方法能生成视觉上令人愉悦的自然夸张，同时保持视角一致性；而SurFhead在推理时直接应用夸张网格会导致可见的扭曲。消融实验验证了三个关键组件的必要性：（1）仅用原始帧训练无法泛化到漫画化几何（Figure 10），（2）仅用 ^*$ 训练会导致中性渲染失真（Figure 11），（3）交替训练才能在两个端点都保持高保真度（Figure 12）。头发遮罩实验（Figure 7）表明，不冻结头发高斯会产生明显的塑料感伪影。与扩散编辑器（GaussianEditor）的对比（Figure 6）显示，纯外观编辑方法存在几何漂移和多视角一致性问题。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 漫画化头像渲染质量 | CLIP-I (图像-文本相似度) | 0.73 | 0.67 (SurFhead) | +8.96% |
| 漫画化方向一致性 | CLIP-D (方向相似度) | 0.014 | 0.0006 (SurFhead) | +2233% |
| 多视角空间一致性 | CLIP-C (空间一致性) | 0.945 | 0.944 (SurFhead) | +0.11% |
| 身份/结构保真度 | DINO (身份一致性) | 0.888 | 0.757 (SurFhead) | +17.3% |
| 自然图像分布一致性 | SD (Score Distillation) | 0.539 | 0.460 (SurFhead) | +17.2% |
局限与改进
论文坦诚地指出了若干局限性。首先，尽管本文方法改善了镜面反射伪影，但仍存在残余的镜面反射问题，以及小的眼睑不准确——在LAT中过度拉伸会被放大，变得视觉上明显。这个问题也延伸到头发：仅用输入视角监督训练（不使用 ^*$）可以大幅缓解，但某些情况下头发会出现轻微的过度平滑。其次，变形后的FLAME网格无法完全覆盖面部表情空间——例如，在某些表情下应该完全闭合的眼睛在漫画化结果中仍然略微张开，导致眼睑几何的误表征。从更广泛的角度看，本文的曲率加权方案依赖于FLAME网格的高斯曲率质量，对于极端表情或非面部区域（如配饰）的处理能力有限。此外，^*$ 的质量直接继承自FLAME网格与图像的对齐精度，小的拟合误差在高强度漫画化时会被放大，特别是在眼睑和眼球等精细结构周围。训练时间约4小时虽然可接受，但仍需要优化过程，无法做到即时生成。
独立分析的弱点
本文存在几个可改进的弱点。第一，镜面反射处理不彻底——尽管交替训练改善了这一问题，但残余的镜面反射伪影仍然存在。改进方向可以是引入基于物理的渲染模型或显式的镜面反射分离模块。第二，FLAME网格的眼睑建模精度有限——眼睑闭合不完美会导致漫画化结果中眼睛状态的误表征。可以通过增强FLAME的眼睑子网格或引入更精细的眼部跟踪来改善。第三，头发区域的处理仍是一个挑战——虽然遮罩机制防止了 ^*$ 引入的伪影，但头发的外观更新仅依赖原始帧监督，可能导致过度平滑。可以考虑引入头发专用的高斯基元或使用扩散先验来增强头发细节。第四，线性插值虽然高效且理论上误差有界，但在某些极端情况下（如 $\gamma$ 接近 $\gamma_f$ 时）可能存在边界效应，可以探索更高阶的插值方案。第五，当前方法假设输入为多视角同步视频，对于单目输入或稀疏视角的适用性未被验证。
未来方向
作者提出了几个有前景的未来研究方向。首先，将可控的夸张增强作为人脸识别管线的即插即用组件——先前研究表明，刻意的形状夸张可以增强识别的几何判别线索 [30]，因此将本文的几何可控夸张集成到人脸识别训练数据增强中，可能提高对姿态和表情变化的鲁棒性。其次，将几何驱动的变形与扩散编辑器结合——目前的扩散编辑器（如GaussianEditor）主要作用于外观，而本文的方法提供几何控制，两者的结合可能实现既光真实感又能联合控制形状和外观的语义编辑。此外，可以探索将本文的曲率驱动变形扩展到其他可变形物体（如动物、卡通角色），或者研究基于学习的曲率权重（而非固定的 $|K|^\gamma$）来实现更灵活的变形控制。实时推理优化也是重要方向——虽然当前方法支持连续夸张控制，但每帧仍需重新计算网格变形和高斯基元变换。
复现评估
本文的复现条件较为透明。代码和模型的开源情况未在论文中明确说明，但作者提供了项目主页 https://c4ricaturegs.github.io。数据集方面，使用的是公开的NeRSemble数据集（16个相机，10个主体），但需要多视角同步视频采集设备，门槛较高。算力要求为单张NVIDIA RTX 3090（24GB显存），训练时间约4小时，这在学术研究中属于可接受范围。实现细节方面，作者使用了SurFhead的训练配置（学习率、球谐函数阶数、高斯增长/修剪策略），并继承了其默认超参数。Poisson方程求解、LAT变换、交替训练等核心组件都有清晰的数学描述，理论上可以独立复现。但FLAME网格提取需要依赖第三方工具（如Face2Face），而头发区域检测和遮罩生成的具体实现细节需要参考补充材料。总体而言，对于熟悉3DGS和网格变形的研究者，复现难度中等；对于新手，可能需要额外的时间理解FLAME框架和JBS皮肤绑定。
论文图表