三角网格无关流匹配的Matérn噪声 Matérn Noise for Triangulation-Agnostic Flow Matching on Meshes
首个支持任意三角剖分的高分辨率网格生成模型
前置知识
三角网格无关性
指生成模型能够应用于任意三角剖分的3D网格，无论其分辨率或三角化方式如何。例如，一个在18k面的SMPL人体网格上训练的模型，应该能够同样地在120万面或非均匀三角剖分的同一网格上生成结果，且生成的分布保持一致。这种特性对于实际应用至关重要，因为现实中的3D模型数据集包含各种不同的三角剖分方式。
本文的核心目标就是实现三角网格无关的生成模型，理解这个概念是理解整个问题设置和解决方案的基础。
流匹配
一种基于去噪的生成建模范式，通过学习一个从简单噪声分布到数据分布的连续变换。具体来说，流匹配考虑一个时间相关的信号，其中时间参数在0到1之间，它在时间为0时是噪声，在时间为1时是数据。训练一个神经网络来预测信号随时间的变化速度（向量场），然后通过求解常微分方程从噪声逐步生成样本。流匹配与扩散模型密切相关，但通常更高效。
本文采用流匹配作为生成框架，需要理解其基本原理才能理解整个生成流程。
Matérn过程
一类高斯随机场，在统计学中被广泛使用。本文使用的特定Matérn过程可以通过求解随机偏微分方程来采样，其中W是白噪声采样，tau是用户选择的参数大于0。其离散化形式通过求解screened Poisson方程来实现，其中L是余切拉普拉斯矩阵，M是质量矩阵，w是白噪声采样。Matérn过程的谱特性使其非常适合作为三角网格无关的噪声分布。
这是本文的核心创新点，Matérn噪声是实现三角网格无关性的关键。
谱分析
通过拉普拉斯算子的特征向量来分析网格上的信号。对于网格拉普拉斯L，求解广义特征值问题，其中phi_i是特征向量（类似傅里叶变换中的正弦波），lambda_i是特征值（类似频率）。任何信号f可以表示为特征向量的线性组合，其中系数是通过投影计算的谱系数。谱分析在几何处理中是核心工具，用于参数化、形状匹配、形状签名等任务。
本文通过谱分析的视角来定义和验证三角网格无关分布，理解谱表示是理解理论推导的关键。
PoissonNet
一种在网格上进行三角网格无关学习的神经网络架构。它在梯度域中操作，首先预测Jacobian速度，然后通过求解泊松方程将其转换为顶点速度。这种架构能够处理网格上的局部和全局信息，并且对三角剖分的变化不敏感。PoissonNet由多个块组成，每个块使用向量MLP，并可能使用NJF头来预测梯度域中的流速度。
这是本文使用的去噪网络，是实现完整生成流程的重要组成部分。
研究动机
现有的网格生成方法无法处理三角网格无关性，具体表现为：训练数据的三角剖分方式会显著影响生成结果，当在测试时遇到未见过的三角剖分时，方法会失效。例如，如果模型在均匀三角剖分的网格上训练，在非均匀三角剖分的同一网格上测试时，生成的信号会与期望分布产生显著偏差。更严重的是，如果模型在低分辨率网格上训练，无法直接应用于高分辨率网格，这在实际应用中是一个重大限制，因为现实世界中的3D模型具有各种不同的分辨率和三角剖分方式。此外，简单的独立高斯噪声采样（每个顶点独立采样）导致的高频能量会随着分辨率的增加而无界增长，使得模型在不同分辨率下的行为不一致。
本文的目标是本文的目标是创建一个适用于三角网格的生成模型，该模型能够在任意三角剖分的网格上生成高质量的信号，无论训练和测试时的三角剖分是否相同。具体来说，模型应该能够在18k面的训练网格上训练，然后在120万面的高分辨率网格上生成同样质量的变形结果。此外，模型应该能够泛化到训练时未见过的形状，例如，在一种人体网格上训练后，能够应用于各种不同的人体形状。最终目标是使网格生成模型达到与图像生成模型类似的实用性和灵活性。
与已有工作不同的是，本文的独特切入角度是从噪声分布本身入手。虽然已经存在一些三角网格无关的网络架构（如PoissonNet、DiffusionNet），但本文发现仅使用这些架构不足以实现采样时的三角网格无关性。关键洞察是：噪声分布本身也需要是三角网格无关的，否则即使网络架构无关，噪声样本的分布变化也会导致去噪器在测试时遇到分布外样本。本文首次系统地定义了三角网格无关分布，并通过谱分析的视角证明了Matérn过程满足这些性质，从而首次实现了真正的三角网格无关网格生成。
核心方法
方法的核心思想是使用Matérn噪声作为初始噪声分布，并将其与流匹配范式和PoissonNet去噪网络结合。首先，从理论上定义什么是三角网格无关分布，通过谱分析确立三个关键性质：各频率系数相互独立、频率统计与网格无关、高频内容有界。然后，观察到Matérn过程在连续情况下满足这些性质，并通过线性有限元离散化实现高效采样。完整流程包括：采样Matérn噪声作为初始信号，使用PoissonNet预测每个时间步的流速度，通过ODE积分逐步去噪直到时间等于1得到最终样本。
核心创新点是发现并证明了特定Matérn过程是三角网格无关噪声分布的理想选择。与通常用于图像的独立高斯噪声不同，Matérn噪声通过求解screened Poisson方程产生，其谱系数的方差为特征值加参数tau的平方的倒数，其中lambda_i是拉普拉斯特征值。这意味着高频分量的能量随频率衰减，保持了三角网格无关性。采样算法非常简单高效：只需要采样白噪声，然后求解线性系统得到噪声信号即可。这是首次将Matérn过程应用于生成任务的噪声采样，也是首次在图形学中使用这一统计工具。
方法步骤详情
完整方法步骤如下：1) 预处理：对每个源网格，计算质量矩阵M和余切拉普拉斯L，预计算Cholesky分解以加速求解。2) 噪声采样：使用采样Matérn噪声的算法。首先采样白噪声，然后求解线性系统得到噪声信号。对于不同形状的源网格，使用预先训练的特征向量预测器提供位置编码。3) 流匹配训练：对于每个数据样本，构造条件概率路径，使用PoissonNet预测Jacobian速度和顶点速度，使用损失函数训练，该损失包括顶点速度和Jacobian速度两部分。4) 采样：从初始噪声开始，使用中点ODE求解器积分向量场，逐步得到下一个信号直到时间等于1。
技术新颖性
技术新颖性体现在多个方面：理论层面，首次给出了三角网格无关分布的严格数学定义，通过谱分析的三个性质来刻画这一概念。算法层面，首次将Matérn过程引入图形学和生成模型领域，证明了其离散化形式满足三角网格无关性，并提供了极其简单的采样算法（求解一个线性系统）。系统层面，首次实现了完整的三角网格无关网格生成流水线，能够处理超过100万面的高分辨率网格，而现有方法无法实现这种泛化。实验层面，展示了方法在复杂任务上的能力，包括生成具有精细细节的弹性平衡状态，以及无需显式参数模型的人体姿态生成。
实验结果
实验结果显示本文方法在多个任务上超越了现有方法。在MOYO数据集的人体姿态生成任务中，本文方法生成的变形与SMPL参数模型非常吻合，MSE指标为0.27乘以10的负4次方，显著优于MDF的1411乘以10的负4次方和DoubleDiffusion的155乘以10的负4次方。更重要的是，本文方法在18k面网格上训练后，能够直接应用于120万面的高分辨率网格，生成时间在0.9秒左右，而现有方法无法实现这种跨分辨率泛化。在弹性形变任务中，训练于9k到10k面网格的模型能够生成70k到400k面网格的多样化平衡状态，章鱼模型的触手能够形成复杂的缠绕配置。在GMM（高斯混合模型）任务上，本文方法在非均匀三角剖分的测试网格上生成信号的统计误差为0.0071，显著优于MDF的0.5245和DoubleDiffusion的0.0325。消融实验验证了Matérn噪声的必要性：使用白噪声或朴素独立高斯噪声都会导致在非均匀三角剖分上失效。此外，方法对拓扑变化和三角剖分质量下降具有一定的鲁棒性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 人体姿态生成（MOYO数据集） | MSE (×10⁻⁴) | 0.27 | MDF: 1411, DoubleDiffusion: 155 | 相比DoubleDiffusion提升82.6%，相比MDF提升三个数量级 |
| 人体姿态生成（MOYO数据集） | MMD (×10⁻²) | 6.93 | MDF: 51.21, DoubleDiffusion: 10.09 | 相比DoubleDiffusion提升31.3%，相比MDF提升86.5% |
| 人体姿态生成（MOYO数据集） | COV | 0.487 | MDF: 0.051, DoubleDiffusion: 0.387 | 相比DoubleDiffusion提升25.8%，相比MDF提升855% |
| GMM生成（非均匀三角剖分） | Test Error | 0.0071 | MDF: 0.5245, DoubleDiffusion: 0.0325 | 相比DoubleDiffusion提升78.2%，相比MDF提升98.6% |
局限与改进
作者承认的局限性包括：方法依赖于PoissonNet作为骨干网络，该网络目前只能处理不要求极端高频内容的任务（如分割和精细纹理生成），限制了方法生成锐利RGB图像等能力。此外，PoissonNet目前仅限于处理单连通分量的网格。Matérn噪声本身对拓扑变化敏感，当源网格出现孔洞时，会在新边界附近产生伪影。方法假设网格有足够好的近似，对于极端劣质的三角剖分，准确性会下降。作者也观察到模型生成的弹性形变有时会产生物理上不可能的自穿透或穿透地面的情况。最后，方法使用单连通分量假设和2-流形假设，虽然Matérn噪声可以推广到任意维度。
独立分析的弱点
独立分析发现以下弱点：1) 高频内容受限：Matérn噪声的高频能量衰减特性虽然在保证三角网格无关性方面有利，但也意味着方法可能不适合需要生成极高频率细节的任务，如锐利的纹理或边缘。改进方向可以是研究混合噪声模型，在保持三角网格无关性的同时引入可控的高频分量。2) 计算开销：虽然求解screened Poisson方程比显式谱分解高效，但对于非常大的网格（超过100万顶点），线性求解仍可能成为瓶颈。改进方向可以是研究多尺度或自适应求解策略。3) 拓扑敏感性：方法对拓扑变化敏感，限制了其在动态拓扑变化场景（如网格分割或合并）中的应用。改进方向可以是研究拓扑感知的噪声采样方法。4) 物理约束：模型没有显式的物理约束，有时会产生物理上不可能的穿透。改进方向可以是结合物理感知的损失函数或后处理步骤。
未来方向
作者提出的未来工作方向包括：立即可应用的方向包括生成现有3D模型的变体、将现有姿态或物理模拟重新定位到新模型、向现有网格模型添加细节。扩展架构的潜在方向包括生成给定网格的时间动画和扩展到体数据，在医学成像中有应用。基于本文成果可延伸的方向包括：1) 研究Matérn过程在纯图形学应用中的潜力，如程序化生成中的噪声建模。2) 探索非网格生成环境中的Matérn过程，如设计像素无关的图像生成器。3) 扩展到更复杂的几何场景，如处理非流形几何、多连通分量或更高维度的流形。4) 结合其他生成范式，如条件生成、文本到3D等。
复现评估
代码、模型检查点、数据集和数据生成脚本已在GitHub上开源（https://github.com/kts707/matern-fm）。实验在NVIDIA H100 GPU上进行，单源生成模型训练约42小时，弹性形变模型训练约36小时。训练数据相对容易获取：MOYO数据集是公开的，弹性形变数据使用IPC物理模拟生成，GMM数据使用随机采样生成。方法依赖于求解线性系统，这在几何处理中有成熟的实现。噪声采样算法非常简单直接，只需几行代码即可实现。整体而言，复现难度中等偏低，主要挑战在于获得足够的计算资源（H100 GPU）和实现PoissonNet架构。
论文图表
展示了模型对弹性模拟实验产生合理的形变，但有时会产生物理上不可能的不准确性，例如穿透地面（从下方观察）以及自穿透。
这张图诚实展示了方法的局限性，是理解当前方法限制的重要视觉证据。
详细描述了采样Matérn噪声的算法：输入质量矩阵M、拉普拉斯L、screening term tau。步骤1：采样独立高斯随机场。步骤2：求解线性系统得到噪声。
这个算法是方法的核心实现，极其简单高效，是实现三角网格无关噪声采样的关键。
描述了归一化Matérn噪声的算法：输入质量矩阵M、拉普拉斯L、用户选择参数c。步骤1：计算归一化因子Gamma为M的负1次方乘以L的Frobenius范数。步骤2：计算归一化screening term tau为Gamma乘以c。步骤3：使用tau通过Algorithm 1计算信号。步骤4：返回归一化信号Gamma的平方根乘以f。
这个算法描述了实现尺度无关性的归一化方案，是保证方法在不同尺度网格上一致性的关键。