LATO.2：基于顶点流与拓扑流的因式分解三维网格生成 LATO.2: Factorized 3D Mesh Generation with Vertex and Topology Flow
将网格生成拆为顶点流与拓扑流两阶段，化解顶点-拓扑纠缠难题
前置知识
网格的顶点与拓扑分离表示
一个网格 $M=(V,E)$ 由顶点位置集合 $V=\{v_i\}\subset\mathbb{R}^3$ 和边集 $E$ 构成，连通性可写成对称邻接矩阵 $A=\{e_{ij}\}\in\{0,1\}^{N\times N}$。顶点坐标是连续实数，而边是否存在是离散的、且每个顶点的连接数（度）可变。本文的核心洞察是：当把二者塞进同一个隐空间时，连续信号与离散组合结构统计特性迥异，会相互纠缠。
理解这一点才能明白为什么此前方法（如 LATO、MeshFlow）会出现'漂移顶点、破碎表面'，以及本文因式分解的动机从何而来
流匹配（Flow Matching）
一种训练连续生成模型的方法：在干净样本 $z_v$ 与高斯噪声 $\epsilon\sim\mathcal{N}(0,I)$ 之间做线性插值 $z_\tau=(1-\tau)z_v+\tau\epsilon$，$\tau\in[0,1]$，模型 $v_\theta$ 学习预测速度场 $(\epsilon-z_v)$，目标为 $\mathbb{E}\|v_\theta(z_\tau,\tau,c)-（\epsilon-z_v)\|_2^2$。相比自回归逐 token 预测，它能在连续空间并行生成，推理更快。
本文的 V-Flow 和 T-Flow 都基于流匹配，且这是它能突破自回归方法 token 序列过长、面数受限瓶颈的关键
顶点位移场（VDF）与稀疏体素隐空间
顶点位移场是一种锚定在网格表面上的稠密连续编码：在表面采样大量点，每个点带位置 $p_k$、法向 $n_k$ 和指向所属面某个顶点的位移向量 $d_k$。通过 PointNet 提点特征后聚合到稀疏体素栅格（如 $1024^3$），再用稀疏 3D 卷积下采样到 $64^3$ 的结构化隐空间。这是 TRELLIS/LATO 系工作的表示基础。
V-VAE 直接继承了这一编码思想，要读懂本文顶点分支必须先理解 VDF 与稀疏体素下采样
邻接掩码注意力（Adjacency-Masked Attention）
在 T-VAE 编码器中，真值连通性仅通过注意力掩码注入：每个顶点 token 只能关注自己和在网格中与之相邻的顶点，掩码 $M_{ij}=0$ 当 $e_{ij}=1$ 或 $i=j$，否则 $-\infty$。由于掩码是观察到边的唯一通道，编码器被迫把拓扑信息吸收进逐顶点隐变量。
这是 T-VAE 能用'逐顶点特征'编码全局拓扑的关键技巧，也是理解拓扑能否从已知顶点恢复的基础
研究动机
艺术家创作的网格拥有紧凑、规整的拓扑：顶点自适应分布、面连接干净连贯，这对绑定、变形、着色与渲染至关重要。然而直接生成这种网格极难，因为网格是混合表示——连续的顶点坐标与变基数、离散组合的连接性耦合在一起。自回归方法（如 MeshGPT、BPT、DeepMesh）把面序列化为 token 逐个预测，能产生规整拓扑，但把大网格序列化会得到极长的 token 流，训练成本暴涨、推理慢、面数被严重限制（如 MeshAnythingV2 仅 CD(L2) 0.1083）。流式拓扑感知方法（MeshFlow、LATO）虽在连续空间并行生成、推理更快，却把顶点几何与连接性塞进同一个共享隐空间联合建模，使得一个流模型必须同时捕捉统计特性迥异的连续位置信号和离散组合结构，这种纠缠让流学习变得困难，表现为顶点漂移、表面破碎。
本文的目标是本文的目标是构建一个因式分解的显式网格生成管线 LATO.2：把网格生成分解为两个串联的流匹配阶段——先生成顶点位置的顶点流（V-Flow），再在已生成的顶点条件下生成连接性的拓扑流（T-Flow），两个阶段都锚定在共享的粗体素骨架上。除提升几何保真度与拓扑连贯性、超越现有拓扑感知生成器外，作者还希望这种因式分解带来共享隐空间设计做不到的能力：可按需控制顶点数、可做局部部件级高分辨率生成、以及拓扑自适应的网格编辑。
与已有工作不同的是，本文的独特切入角度是一个关键洞察：连接性的'离散性'其实是把它与几何联合建模所造成的人为假象。一旦因式分解，每个因子都自然对应连续表示——顶点位置本就是连续量；而在给定已实现顶点的条件下，连接性退化为已知空间点之间的关系，可表达为可被 MLP 解码成逐对边概率的连续逐顶点特征。这与 LATO/MeshFlow 把二者并行耦合在一个隐空间有本质区别：本文显式地让拓扑条件依赖于已实现的顶点，从而把'难学的离散连接性'转化为'给定顶点后更简单的、同质的连续分布'。
核心方法
LATO.2 的整体思路是'先顶点、后拓扑'的解耦生成。直觉上：顶点几何和连接性虽然耦合在最终网格里，但它们的信息性质不同，应该用各自的隐空间和各自的流模型分别建模。技术路线上，框架包含两个表示阶段和两个生成阶段。表示侧用两个专用 VAE：V-VAE 把顶点位移场压缩成 $64^3$、32 通道的稀疏隐变量；T-VAE 把连接性编码为逐顶点特征、解码成逐对边概率。生成侧用两个流模型：V-Flow 在图像（DINOv2 特征）和顶点数条件 $c_{vn}=\log_2 N$ 下采样顶点隐变量；T-Flow 在已实现顶点条件下采样拓扑隐变量。所有部件共享来自 TRELLIS 风格的粗稀疏结构 $\hat{S}$ 作为骨架。训练用约 45 万真实资产加 10 万合成网格，每网格采 819200 个表面点，在 8 张 H100 上训练。
核心创新有两点。其一是子体素偏移头：V-VAE 解码器通过粗到细的稀疏细分和剪枝重建顶点，在最细体素级为每个幸存体素预测一个连续偏移 $\delta_i$，把顶点从体素中心精确偏移，从而补偿量化误差——重建顶点位置为 $\{\hat{v}_i+\delta_i\}$。其二是逐顶点拓扑隐变量与邻接掩码编码：T-VAE 把连接性存为与顶点集 $\hat{V}$ 对齐的逐顶点特征，编码器仅靠注意力掩码（顶点只能关注自身与真值相邻顶点）把边吸收进隐变量，解码器用对称 MLP 分类器预测逐对边概率 $\hat{e}_{ij}=\sigma(\mathrm{MLP}(h_i\oplus h_j)+\mathrm{MLP}(h_j\oplus h_i))$，最后经环检测恢复面。这与此前共享隐空间方法本质不同。
方法步骤详情
完整流程分四步。(1) 粗结构生成：沿用 TRELLIS 流模型，从图像或点云条件生成稀疏结构 $\hat{S}$，规定顶点隐 token 的空间支撑。(2) V-VAE 顶点分支：输入 819200 个带 VDF 的表面点，PointNet 编码后光栅化到 $1024^3$ 稀疏栅格，经稀疏 3D 卷积下采样到 $64^3$、32 通道隐变量 $z_v$；解码器逐级细分剪枝、每步用交叉注意力注入全局上下文，最细级预测 $\hat{v}_i$ 与偏移 $\delta_i$，损失为非对称 focal 剪枝损失加偏移 MSE 加 KL。(3) T-VAE 拓扑分支：编码器对位置做傅里叶位置编码（$K=1024$ bin，宽度 $d=768$）后用带邻接掩码的 transformer（逐顶点隐变量维 $d_z=16$），解码器用全注意力 transformer，候选集含真值正样本、top-K 近邻硬负样本与随机易负样本。(4) T-Flow：在已实现顶点上构建 token（含位置编码），辅以粗几何上下文 $c_g=\mathrm{3DCNN}(\hat{S})$，对 Q/K 做 RMSNorm 稳定注意力，用直线路径流匹配目标训练。
技术新颖性
技术新颖性体现在多个层面。首先，这是首个把顶点几何与连接性显式因式分解为先后两个流阶段、且拓扑流严格条件于已实现顶点的网格生成框架，区别于 LATO 的联合共享隐空间和 MeshFlow 的边中心并行耦合。其次，子体素偏移向量 $\delta_i$ 把顶点表示从'量化到体素中心'升级为'连续浮点定位'，使量化级从 LATO 的 512 提升到 $1024+\delta$，CD(L1) 从 0.0038 降到 0.0003。第三，T-VAE 的邻接掩码注意力是一个巧妙的'信息瓶颈'设计，强制拓扑被压进逐顶点隐变量。第四，拓扑流条件于顶点的设计天然衍生出部件级生成（每部件归一化到满隐空间容量再拼接）和拓扑自适应编辑（拼接、部件变换后重跑 T-Flow），这是单体隐空间方法不具备的。第五，顶点数条件 $c_{vn}=\log_2 N$ 通过 adaLN 注入，让用户直接控制网格分辨率。
实验结果
实验从四维度评估。V-VAE 重建（Table 1）：本文在 $1024+\delta$（浮点）量化级下取得 CD(L2) 0.0000、CD(L1) 0.0003、HD 0.0069，远优于 LATO（512 级，CD(L1) 0.0038）、MeshCraft（0.0524）和 MeshGPT（0.0185），证明子体素偏移头显著降低量化伪影。几何条件生成（Table 2）：本文全面最优，CD(L2) 0.0407、CD(L1) 0.0596、HD 0.0657、NC 0.8341，优于流基线 LATO（0.0421/0.0617/0.0738/0.8262）、MeshFlow（0.0455）和最强自回归 DeepMesh（0.0529）。拓扑生成隔离（Table 3）：真值顶点+T-VAE 上界 CD(L2) 0.0351，完整 V-Flow+T-Flow 为 0.0407，说明误差局限在生成阶段而非自编码器。消融（Table 4/5）：去掉偏移头 CD(L1) 从 0.0003 升至 0.0011 但占用指标不变；去掉几何条件 $c_g$ 使 NC 从 0.8341 降到 0.8238。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 几何条件网格生成（点云条件，Table 2） | Chamfer Distance (L2)↓ | 0.0407 | LATO: 0.0421; MeshFlow: 0.0455 | 相比 LATO -3.3%，相比 MeshFlow -10.5% |
| 几何条件网格生成（Table 2） | Chamfer Distance (L1)↓ | 0.0596 | LATO: 0.0617; DeepMesh(AR): 0.0765 | 相比 LATO -3.4% |
| 几何条件网格生成（Table 2） | Hausdorff Distance↓ | 0.0657 | LATO: 0.0738; MeshFlow: 0.0772 | 相比 LATO -11.0% |
| 几何条件网格生成（Table 2） | Normal Consistency |NC|↑ | 0.8341 | LATO: 0.8262; MeshRipple: 0.8174 | 相比 LATO +0.96% |
| 顶点自编码器重建（Table 1） | CD(L1)↓ | 0.0003 | LATO: 0.0038; MeshGPT: 0.0185 | 相比 LATO 降约 12 倍 |
| 拓扑生成隔离（Table 3，完整管线） | CD(L2)↓ | V-Flow+T-Flow: 0.0407 | 上界 GT-Verts+T-VAE: 0.0351 | 仅比上界高 0.0056，生成误差小 |
局限与改进
作者在结尾承认若干局限。其一，两阶段因式分解意味着拓扑生成在已生成顶点集上工作，因此顶点阶段的几何误差无法在拓扑合成时被纠正，误差会沿管线单向累积。其二，拓扑解码需要考虑所有顶点对关系，复杂度为 $O(N^2)$，在当前分辨率下尚可承受，但对大得多的网格可能需要高效的稀疏候选选择。其三，LATO.2 只关注几何与连接性生成，而生产可用资产通常还需要 UV 坐标、纹理、材质等额外属性。此外我观察到：部件级生成虽能提升面数（如 34 部件达 24003 面），但依赖 OmniPart 式的部件分解，部件边界处的拓扑拼接质量未在定量指标中单独评估；评测指标 CD/HD/NC 主要度量几何而非'艺术家拓扑质量'，缺乏对边流（edge flow）、四边形占比等拓扑规整度的直接度量。
独立分析的弱点
独立分析存在几点弱点。第一，$O(N^2)$ 的边对评分是可扩展性瓶颈：尽管作者称每对只需轻量 MLP，但当顶点数到数万级时全对评分仍昂贵，改进方向是借鉴 T-VAE 训练时的 top-K 近邻候选集，在推理时也做稀疏候选剪枝或层级式边预测。第二，单向管线无误差反馈：顶点误差无法被拓扑纠正，可引入顶点-拓扑的联合或迭代精修（作者自己也提到），让拓扑反馈引导顶点重定位。第三，量化到 $1024$ bin 仍可能在高曲率精细处损失细节，子体素偏移虽缓解但受限于体素分辨率，可考虑自适应分辨率或直接回归浮点坐标的混合策略。第四，缺乏 UV/纹理/材质输出，离生产管线尚有距离，可扩展每个顶点携带更多属性通道。第五，T-Flow 依赖粗结构条件 $c_g$，但无条件采样时质量下降有限（NC 0.8341→0.8238），说明全局几何引导还可设计得更强，例如引入多尺度条件。第六，合成数据（基本几何体经细分/扭曲）覆盖率有限，对极端拓扑结构的泛化可能不足。
未来方向
作者明确提出的方向包括：顶点与拓扑阶段更紧密的交互，通过联合或迭代精修让拓扑反馈改进顶点放置；把因式分解扩展到包含 UV、纹理、材质的完整资产生成。基于成果可延伸的方向更广：其一，把'拓扑条件于已实现顶点'的思想用于网格重拓扑（retopology）与破损网格修复等下游任务，直接复用 T-Flow 的拓扑自适应编辑能力；其二，结合扩散引导或 ControlNet 思路，把拓扑流扩展为可接受拓扑草图、参考网格等多模态条件的可控生成；其三，探索把子体素偏移机制推广到动态网格（动画序列）的顶点时序一致性建模；其四，将部件级生成与材质分配结合，实现真正可生产的分层资产生成；其五，研究如何把 $O(N^2)$ 拓扑解码替换为图神经网络或稀疏注意力，以支持十万级顶点的超大规模网格。
复现评估
复现评估中等偏上。作者给出较多实现细节：每网格采 819200 表面点；V-VAE 编码到 $1024^3$ 稀疏栅格、隐空间 $64^3$×32 通道，解码器用占据剪枝细分+交叉注意力+偏移回归头；V-Flow 用 12 块条件流匹配 transformer，条件为 DINOv2 图像特征与 $c_{vn}=\log_2 N$；T-VAE 顶点坐标离散为 $K=1024$ bin、傅里叶宽度 $d=768$、逐顶点隐变量维 $d_z=16$；各部件参数量明确（V-VAE 约 320M、V-Flow 约 160M、T-VAE 约 180M、T-Flow 约 240M）；优化器 AdamW、学习率 $10^{-4}$；数据为约 45 万真实资产加 10 万合成网格。代码已在 https://github.com/LoHhhha/LATO.2 开源，提升可复现性。但主要障碍是算力：全部训练需 8 张 H100，V-Flow 单独训 7 天、有效批大小 256，完整复现成本高；数据集虽公开但体量大；部分训练超参（调度、损失权重、top-K 大小）未完全列出，需结合开源代码与试错。
论文图表