FLAT：用于几何精确场景生成的前向潜在三角形泼溅 FLAT: Feedforward Latent Triangle Splatting for Geometrically Accurate Scene Generation

FLAT方法的完整步骤如下：首先，给定单张RGB图像 $I_0 \in \mathbb{R}^{H \times W \times 3}$ 和目标相机轨迹 $\{P_t\}_{t=1}^T$，其中每个 $P_t = (K_t, R_t, t_t)$ 表示相机内参和外参。第二，通过渲染沿目标相机轨迹构建基于点云的控制视频。第三，控制视频和相机嵌入条件化冻结的视频扩散模型（Uni3C），视频生成器输出去噪潜变量 $z \in \mathbb{R}^{F' \times C' \times H' \times W'}$。第四，相机信息编码为与视频潜变量对齐的每像素射线嵌入。具体地，从像素对齐的Plücker射线嵌入 $r_{pl} = (o \times d, d)$ 开始，其中 $o \in \mathbb{R}^3$ 和 $d \in S^2$ 是射线原点和方向，使用RPPC参数化 $r_{rppc} = (o - (o \cdot d)d, d)$ 更好地暴露射线位置和相对深度。第五，将 $r_{rppc} \in \mathbb{R}^{T \times 6 \times H \times W}$ 分离为参考点和方向分量，分别用预训练VAE编码器编码后融合并通过零初始化块注入场景解码器。第六，场景解码器（修改的Wan-2.1 VAE解码器）将融合特征映射到三角形参数。第七，每个解码器输出token预测单个三角形泼溅的参数：对于局部 $2 \times 2$ 图像区域的锚定射线，网络预测深度值 $D$、三个形状参数、旋转参数、颜色系数、不透明度和平滑度参数 $\sigma$。第八，三角形中心放置在 $r_o + D \cdot r_d$，其面内几何首先在与射线相切的2D坐标系中定义。从正则中心等边三角形开始，用下三角矩阵 $L = \begin{bmatrix} L_{00} & 0 \\ L_{10} & L_{11} \end{bmatrix} \in \mathbb{R}^{2 \times 2}$ 变换，对角项 $L_{00}$ 和 $L_{11}$ 被强制为正，离对角项 $L_{10}$ 控制剪切。第九，将变换后的顶点平移使其质心与沿射线的锚定点重合。第十，使用射线切向帧将局部2D三角形提升到3D。方向参数化为两个残余倾斜角度和一个面内旋转角度。第十一，通过改进的窗口函数实现可微分光栅化。对于投影三角形 $T_m^{2D}$，令 $L_{m,i}(p) = n_{m,i}^\top p + d_{m,i}$ 表示到第 $i$ 条支撑边线的有符号距离，归一化边响应为 $u_{m,i}(p) = -L_{m,i}(p) / \rho_m$，其中 $\rho_m = -\max_i L_{m,i}(s_m)$ 是内切圆半径。应用平移裁剪 $r_{m,i}(p) = \text{clamp}(u_{m,i}(p) + \epsilon, 0, 1)$，最终窗口值为 $I_m(p) = \prod_{i=1}^3 r_{m,i}(p)^{\sigma_m}$。第十二，渲染图像通过按从前到后深度顺序累积所有重叠三角形的贡献获得，遵循标准alpha合成方程。第十三，可选的轻量级细化步骤将预测的三角形汤转换为完全opaque的、游戏引擎就绪的表示，通过50次迭代的不透明度选择阶段、边界顶点合并和修复阶段完成。

FLAT的技术新颖性体现在多个方面：首次展示了显式的、非体积的表面图元可以从压缩的视频扩散潜空间在单次前向传播中直接解码， formulate了之前未被充分探索的前向扁平图元解码的参数化和训练问题。引入了射线中心的局部三角形参数化，使用约束的Cholesky风格形状变换和围绕射线对齐帧的残差旋转预测，相比直接预测世界空间旋转更数值稳定，避免了早期训练中的不稳定方向、消失渲染支持和模型发散问题。提出了改进的窗口函数，通过乘积形式而非原始三角形泼溅公式中的最大值操作，在可微三角形渲染期间改善梯度流动，这对稳定的前向潜变量模型尤为重要。首次在相同的潜变量解码条件下系统性地比较了3DGS、2DGS和三角形泼溅，表征了渲染质量、几何精度和下游网格兼容性之间的表示权衡。架构上，复用预训练视频VAE的RGB解码器主干而非从头训练小型transformer解码器，简化了具有挑战性问题的优化。提供了首个从前向潜在模型到游戏引擎兼容格式的完整管线，通过轻量级后处理将半透明前向预测转换为完全opaque的三角形。

FLAT存在几个可改进的弱点：首先，视觉质量略逊于纯体积表示，尤其在处理半透明物体、薄结构和雾状效果时，这是因为三角形本质上是扁平的、不透明的表面图元，难以模拟体积效应。改进方向可以是混合表示，结合三角形用于主结构和少量高斯用于体积效果。其次，相机轨迹依赖性强，作者需要使用MapAnything重新计算相机轨迹，这增加了管线的复杂性和潜在的误差累积。改进方向可以是在训练中引入更鲁棒的相机预测模块或数据增强来覆盖更多样的轨迹分布。第三，计算成本高，200,000次迭代在8个H100 GPU上的训练成本限制了广泛实验和超参数搜索。改进方向可以是更高效的架构设计、渐进式训练策略或知识蒸馏。第四，对相机质量敏感，从稀疏视图生成的几何精度可能受限。改进方向可以是引入多尺度特征融合或时序一致性约束来增强几何推理。第五，超参数敏感性，虽然比传统网格提取方法低，但窗口函数中的 $\epsilon$ 和 $\sigma_m$ 仍需要调优。改进方向可以是自适应参数化或学习这些超参数。第六，表面提取后的纹理质量可能下降，虽然作者包含修复阶段，但拓扑变化后的视觉保真度恢复可能不完美。改进方向可以是改进纹理传播算法或联合优化几何和外观。

作者提出的未来方向包括鼓励进一步在显式几何精确的前向场景生成上的工作，以及可控生成模型与实时3D渲染之间的更紧密集成。基于FLAT的成果，可以延伸的研究方向包括：探索其他非体积图元如四边形、凸包或更高级的图元集合，在几何精度、渲染效率和表示复杂度之间找到更好的权衡。研究自适应表示选择，根据场景局部特性动态选择最适合的图元类型（如平坦区域用三角形，体积区域用高斯）。改进网格转换算法，实现更高质量的拓扑重建和纹理映射，减少视觉保真度损失。扩展到更大规模和更多样化的场景，如室外城市场景、动态场景和交互式环境。集成物理属性如材质、摩擦系数等，使生成的场景不仅几何精确而且物理上可模拟。探索实时编辑能力，如形状修改、纹理替换、场景合成等，增强实用性。研究多模态生成，如从文本、草图、点云等多种输入生成3D场景。改进效率，通过模型压缩、量化或更高效的架构降低推理延迟，使方法能够在移动设备上运行。探索与游戏引擎的深度集成，提供即插即用的资产生成管线。研究长期训练和持续学习，使模型能够适应新的场景分布和用户偏好。

FLAT的复现评估涉及多个方面：代码开源程度在论文中未明确说明，项目页面提到 https://flat-splat.github.io，但没有明确说明代码和模型权重是否开源。数据方面，训练使用真实视频（RealEstate10K和DL3DV）和合成数据（25,000张来自S3OD的图像）的混合。真实数据使用RealCam-Vid提供的相机标注，合成数据使用Uni3C模型生成视频并存储轨迹元数据。所有场景使用MapAnything预测度量相机姿势和深度进行尺度统一。伪ground truth表面法线由NormalCrafter预测。评估数据集RealEstate10K和DL3DV是公开的，但相机标注来自RealCam-Vid。算力需求很高，训练在8个H100 GPU上进行200,000次迭代，采用从320p到768p的四阶段渐进训练，这限制了大多数研究机构的复现能力。实现细节使用Uni3C作为视频模型，构建在Wan-2.1之上，生成49到81帧，分辨率432×768。VAE编码器暂时将视频下采样因子 $r_t = 4$，空间下采样 $r_s = 8$。使用AdamW优化器，学习率 $1e^{-4}$。超参数包括损失权重 $\lambda_{rgb} = 1.0$、$\lambda_{perc} = 0.5$、$\lambda_D = 0.01$、$\lambda_N = 0.01$ 和 $\lambda_O = 0.001$，以及不透明度阈值40%。考虑到高算力需求、复杂的训练管线和多数据源混合，复现难度较高，除非作者提供完整的代码、训练脚本和预训练模型。