更少高斯，更多纹理：4K前馈纹理化高斯泼溅

通过解耦几何与纹理的双网络架构，实现4K分辨率的前馈高斯泼溅新视角合成

前置知识

3D Gaussian Splatting (3DGS)

3D高斯泼溅是一种显式的3D场景表示方法，使用一组3D高斯基元来表示场景。每个高斯基元由位置、尺度、旋转、不透明度和颜色（球谐函数系数）参数化。渲染时，通过alpha混合将所有高斯基元投影到2D图像平面，按深度排序后计算最终像素颜色。3DGS的优势在于支持实时渲染，但需要逐场景优化。

LGTM是在3DGS基础上提出的改进方法，理解3DGS的基本原理是理解本文如何解决分辨率扩展问题的前提。

2D Gaussian Splatting (2DGS)

2D高斯泼溅将3D空间中的高斯基元约束为2D平面高斯，通过射线-泼溅交点计算局部坐标u=M_{i,v}(x)，其中M是单应性变换矩阵。2DGS使用高斯函数G(u)=exp(-0.5(u^2+v^2))计算权重，alpha值由a_i(u)=o_i·G(u)给出，颜色通过球谐函数计算。LGTM选择2DGS作为几何基元，因为其更高效且易于纹理化。

LGTM的纹理化高斯基元是基于2DGS扩展的，理解2DGS的渲染方程是理解LGTM如何将纹理融入高斯基元的关键。

Feed-forward Reconstruction

前馈重建是指网络能够直接从输入图像预测3D场景表示，无需对每个场景进行优化。与传统的逐场景优化方法（如原始NeRF和3DGS需要数小时训练）不同，前馈方法通过学习跨场景先验，可以在几秒内完成新场景的重建。但现有前馈方法通常在低分辨率（几百像素）下工作。

本文的核心目标是将前馈重建扩展到4K分辨率，这在之前被认为是不可能的，理解前馈重建的概念和现有局限性是理解本文贡献的基础。

Textured Gaussian Splatting

纹理化高斯泼溅为每个高斯基元附加可学习的纹理贴图，包括颜色纹理T_i^c（T×T×3）和alpha纹理T_i^alpha（T×T），其中T是纹理分辨率。在射线-泼溅交点u处，通过双线性采样从纹理贴图获取颜色和alpha值，替代标准3DGS中的高斯衰减和单一颜色。这使得单个高斯基元能够表示丰富的纹理细节。

LGTM是首个前馈纹理化高斯泼溅方法，理解纹理化高斯基元的概念对于理解LGTM如何用更少的基元实现更高质量的渲染至关重要。

Projective Texture Mapping

投影纹理映射是一种将2D图像映射到3D表面的技术。在LGTM中，对于每个高斯基元i，计算投影先验纹理T_i^{c,proj}[u]=I_v[M_{i,v}^{-1}(u)]，即通过逆变换将高斯基元的局部坐标映射回源图像像素坐标，然后采样RGB颜色。这相当于将源图像渲染回高斯基元纹理贴图的逆过程，为纹理预测提供强高频外观特征。

LGTM的投影纹理映射是其核心创新之一，它高效地将高分辨率图像信息转移到高斯基元纹理上，理解这一机制是理解LGTM如何实现4K纹理预测的关键。

研究动机

现有前馈3D高斯泼溅方法存在严重的分辨率扩展瓶颈。这些方法预测像素对齐的高斯基元，导致基元数量随分辨率平方增长。例如，从512x512扩展到4K（4096x2304）需要约64倍的高斯基元。如Table 1所示，将NoPoSplat扩展到1024x576分辨率时，训练显存已达到61.85 GB（batch size=1）；在2K和4K分辨率下，训练完全失败（OOM）。此外，标准3DGS将外观和几何耦合在每个基元中，即使对于几何简单的表面（如平面纹理表面），也需要大量高斯基元来表示高频纹理，进一步加剧了计算负担。这意味着现有前馈方法只能在低分辨率（几百像素）下工作，无法满足真实世界应用（如AR/VR）对高分辨率的需求。

本文的目标是本文的目标是开发一个能够实现4K分辨率前馈新视角合成的框架，具体要求包括：1）无需逐场景优化即可完成重建；2）使用显著更少的高斯基元；3）在保持高视觉质量的同时实现高效的计算和内存使用。作者希望通过解耦几何和外观的预测，突破现有前馈方法的分辨率限制，使高保真4K新视角合成在前馈方法中首次成为可能。

与已有工作不同的是，本文的独特切入角度是解耦几何与纹理。现有方法将几何参数（位置、尺度、旋转）和外观参数（颜色）耦合在每个高斯基元中，导致两者都随分辨率增长。LGTM提出使用紧凑的几何基元（低分辨率）配合丰富的逐基元纹理贴图（高分辨率），利用场景中自然的频率分离特性：低频几何 vs 高频外观。这种解耦使得几何复杂度与渲染分辨率脱钩，仅需扩展纹理贴图即可提升渲染分辨率。与现有纹理化高斯方法（需要逐场景优化）不同，LGTM是首个将纹理化高斯基元引入前馈框架的方法，同时解决了前馈方法的分辨率限制和纹理化方法的泛化问题。

核心方法

LGTM采用双网络架构，整体思路是将几何预测和纹理预测分离到两个独立的网络中，实现少量几何基元加丰富纹理的高效表示。具体来说，原始网络（Primitive Network）在低分辨率输入上预测紧凑的2DGS几何基元，包括位置、尺度、旋转和颜色；纹理网络（Texture Network）在高分辨率输入上预测每个几何基元的纹理贴图，包括颜色纹理和alpha纹理。这两个网络共享ViT骨干特征，纹理网络通过图像分块（patchification）和投影映射（projective mapping）提取高频特征，然后与几何特征融合。训练采用两阶段策略：第一阶段预训练原始网络建立稳健的几何基础，第二阶段联合训练两个网络以引入纹理细节。

LGTM的核心创新点是解耦几何与外观的双网络架构。与现有前馈3DGS方法（如NoPoSplat、DepthSplat）预测像素对齐的高斯基元不同，LGTM预测一组紧凑的几何基元（如512x288），然后为每个基元分配一个纹理贴图（如2x2、4x4或8x8像素）。这使得基元数量与渲染分辨率脱钩，渲染4K图像只需扩展纹理大小而非增加基元数量。具体而言，LGTM引入了学习的投影纹理化机制：对于每个几何基元，通过逆渲染将源图像信息投影到基元纹理贴图上，提供强高频外观特征，然后纹理网络基于这些特征预测最终的纹理颜色和alpha。这种设计使得LGTM能够用512x288个几何基元实现4K渲染，而NoPoSplat在4K下需要数百万基元且导致OOM。

方法步骤详情

LGTM的方法包含以下关键步骤：(1) 输入准备：给定输入图像集，生成低分辨率版本（如512x288），高分辨率图像如4096x2304。(2) 第一阶段2DGS预训练：原始网络处理低分辨率图像，通过ViT编码器-解码器预测hxw个2DGS参数（位置、尺度、旋转、不透明度、颜色）。关键创新是高分辨率监督：网络预测低分辨率基元网格，但在全分辨率下渲染和监督，迫使网络学习适当大小的预测尺度。(3) 第二阶段纹理预测：纹理网络处理高分辨率图像和原始网络的特征，预测每个基元的纹理贴图。它融合三种特征：分块卷积特征、投影先验特征、骨干特征。投影先验通过将源图像渲染到基元纹理贴图上计算，仅需几毫秒。(4) 联合训练：第二阶段联合训练两个网络，原始网络使用降低的学习率（0.1倍）保持几何稳定性，颜色纹理零初始化后加到球谐基色上。两个阶段都使用光度损失（MSE + LPIPS）监督。

技术新颖性

LGTM的技术新颖性体现在以下几个方面：(1) 首个前馈纹理化高斯泼溅方法：现有纹理化高斯方法（如BBSplat、Gaussian Billboards）都需要逐场景优化，LGTM首次将纹理化高斯基元引入前馈框架，实现了跨场景泛化。(2) 解耦几何与外观的双网络架构：不同于现有方法将所有参数耦合在单个网络中，LGTM将几何和外观分离到两个网络，使得基元数量与渲染分辨率脱钩，这是实现4K渲染的关键。(3) 学习的投影纹理化：LGTM创新性地引入投影先验，通过逆渲染将源图像信息高效转移到基元纹理上（仅需几毫秒），为纹理预测提供强高频特征。这与BBSplat的全局UV纹理图谱不同，LGTM使用逐基元纹理，更灵活且能处理复杂几何拓扑。(4) 无边界双线性采样：LGTM采用无边界采样策略（与BBSplat的有界采样不同），确保四个双线性角权重相等，避免了结合有界采样与标准2DGS不透明度时产生的暗边伪影。(5) 通用框架设计：LGTM可应用于多种基线方法（Flash3D、NoPoSplat、DepthSplat、VGGT），支持单视图、双视图和多视图输入，有无相机位姿均可。

**Figure 6**: Effects of high-resolution re-training

**Figure 7**: Unbounded bilinear texture sampling

实验结果

LGTM在多个实验设置下展示了显著的性能提升和独特的分辨率扩展能力。(1) 分辨率扩展能力（Table 1）：LGTM在2K和4K分辨率下成功训练，显存使用低于30GB，而NoPoSplat在2K及以上分辨率完全失败（OOM）。具体地，LGTM使用512x288几何基元和8x8纹理实现4K渲染，显存仅需28.23GB，而NoPoSplat在1024x576分辨率下已需61.85GB。(2) 两视图新视角合成（Table 2）：在DL3DV数据集4K分辨率下，LGTM（基于NoPoSplat）相比基线3DGS取得LPIPS 0.200 vs 0.351（降低43%）、SSIM 0.803 vs 0.753（提升7%）、PSNR 24.489 vs 23.022（提升6%）。基于DepthSplat在4K下，LGTM取得LPIPS 0.170 vs 0.210（降低19%）、SSIM 0.827 vs 0.801（提升3%）、PSNR 25.508 vs 24.740（提升3%）。(3) 推理效率（Table 4）：与NoPoSplat 2DGS 512x288相比，LGTM 4096x2304模型（像素增加64倍）仅需1.80倍峰值显存和1.47倍总时间，展示了出色的扩展效率。(4) 单视图和多视图（Table 3）：基于Flash3D在4K下，LGTM取得LPIPS 0.219 vs 0.399（降低45%）、SSIM 0.766 vs 0.724（提升6%）、PSNR 21.778 vs 20.068（提升9%）。(5) 消融研究（Table 5）：从NoPoSplat基线逐步添加LGTM组件，高分辨率重训练将LPIPS从0.371降至0.256，图像分块特征进一步降至0.199，纹理颜色降至0.189，完整模型（含纹理alpha）达到0.176。(6) 与逐场景优化比较（Table 7）：DepthSplat + LGTM在DL3DV 4K上优于逐场景优化的3DGS，PSNR 27.99 vs 21.75，SSIM 0.88 vs 0.78，LPIPS 0.15 vs 0.21，且速度快几个数量级。

**Table 1**: LGTM enables high-resolution feed-forward Gaussian splatting

**Table 2**: Novel view synthesis results under two-view setting

**Table 3**: Single-view and multi-view novel view synthesis results

**Table 4**: Inference time and memory benchmark

**Table 5**: Ablation study on LGTM components

**Table 6**: Quantitative comparison across different input view gaps

**Table 7**: Comparison with per-scene optimization

**Figure 3**: Qualitative comparison in the two-view setting

**Figure 4**: Qualitative comparison in the single-view setting

**Figure 5**: Qualitative results of the ablation study

**Figure 8**: Qualitative comparison across different input view gaps

**Figure 9**: Comparing LGTM to per-scene optimization

查看结构化数据

任务	指标	本文	基线	提升
两视图新视角合成 (DL3DV, 4K)	LPIPS	0.200 (NoPoSplat+LGTM), 0.170 (DepthSplat+LGTM)	0.351 (NoPoSplat 3DGS), 0.210 (DepthSplat 3DGS)	43%降低, 19%降低
两视图新视角合成 (DL3DV, 4K)	SSIM	0.803 (NoPoSplat+LGTM), 0.827 (DepthSplat+LGTM)	0.753 (NoPoSplat 3DGS), 0.801 (DepthSplat 3DGS)	7%提升, 3%提升
两视图新视角合成 (DL3DV, 4K)	PSNR	24.489 (NoPoSplat+LGTM), 25.508 (DepthSplat+LGTM)	23.022 (NoPoSplat 3DGS), 24.740 (DepthSplat 3DGS)	6%提升, 3%提升
单视图新视角合成 (DL3DV, 4K)	LPIPS	0.219	0.399 (Flash3D 3DGS)	45%降低
单视图新视角合成 (DL3DV, 4K)	PSNR	21.778	20.068 (Flash3D 3DGS)	9%提升
与逐场景优化比较 (DL3DV, 4K)	PSNR	27.99	21.75 (per-scene 3DGS)	29%提升且速度快数量级
推理效率 (像素增加64倍)	峰值显存	5.51 GB	3.06 GB (NoPoSplat 2DGS 512x288)	仅1.80倍显存增加

局限与改进

作者在论文中明确指出了以下局限性：(1) 几何依赖性：LGTM的重建质量仍然高度依赖几何质量。实验表明，LGTM在单视图设置（Flash3D，无多视图不一致性）中表现最好，在有位姿的双视图设置（DepthSplat）中优于无位姿设置（NoPoSplat），在多视图设置（VGGT，几何精度较低）中提升有限。(2) 纹理分辨率需手动调整：当前框架使用预定义的纹理分辨率，需要手动调整纹理大小以平衡质量和计算成本，缺乏自适应机制。(3) 多视图扩展受限：基于VGGT的4视图版本在4K分辨率下因内存限制未能训练，说明在更多视图输入下的扩展仍有挑战。(4) 观察到的局限：论文主要在室内场景（RE10K、DL3DV）上评估，室外大场景的泛化能力未充分验证；纹理贴图的分辨率选择（2x2、4x4、8x8）是离散的，缺乏连续的纹理分辨率控制；对于非常大的视角变化（gap=40），性能仍有明显下降（PSNR从24.489降至18.862）；论文未讨论动态场景或时序一致性的处理。

独立分析的弱点

基于对论文的独立分析，LGTM存在以下弱点：(1) 纹理分辨率选择缺乏自适应性：当前方法使用固定的纹理分辨率（2x2、4x4、8x8），需要根据目标渲染分辨率手动选择。改进方向：开发自适应纹理分辨率分配机制，根据场景复杂度和基元覆盖区域的纹理丰富度动态调整每个基元的纹理大小，类似adaptive mesh refinement的思想。(2) 几何与纹理的耦合训练：虽然架构上解耦了，但训练仍需两阶段，且第二阶段冻结原始网络的学习率可能限制优化。改进方向：探索端到端的联合训练策略，或使用课程学习逐步增加纹理复杂度。(3) 缺乏显式的纹理压缩：每个基元的纹理独立存储，可能导致冗余。改进方向：引入纹理共享机制或学习的纹理字典，相似基元可以共享纹理模板，进一步减少存储和计算开销。(4) 视角依赖外观处理有限：当前纹理贴图是固定的，对视角依赖的外观（如镜面反射）处理不足。改进方向：将纹理贴图扩展为视角条件的表示，或引入显式的外观分解。(5) 大视角变化下的性能退化：在输入视角差距较大时（gap=40），性能明显下降。改进方向：引入几何补全或不确定性建模来处理遮挡和视角外区域。

未来方向

基于LGTM的成果和当前局限，未来研究可以沿以下方向展开：(1) 自适应纹理分配：开发智能的纹理分辨率分配策略，根据场景内容自动决定每个基元的纹理大小，实现质量-效率的最优平衡。(2) 连续纹理分辨率：探索连续的纹理分辨率控制，而非离散的2x2、4x4、8x8选择，使模型能够更精细地权衡质量与效率。(3) 4K多视图前馈方法：将LGTM扩展到更多视图输入（如8视图、16视图）的4K重建，可能需要更高效的特征聚合机制。(4) 动态场景处理：将LGTM扩展到动态场景的新视角合成，需要引入时序一致性和运动建模。(5) 室外大场景泛化：在更大规模的室外场景数据集上评估和改进LGTM，验证其泛化能力。(6) 与其他3D表示结合：探索将LGTM的纹理化思想与其他3D表示（如NeRF的连续表示、点云的稀疏表示）结合，取长补短。(7) 实时4K渲染优化：虽然LGTM的推理效率已很高，但仍需优化以支持真正的实时4K渲染（如30fps），可能需要定制的GPU内核。

复现评估

LGTM的复现评估如下：开源情况方面，论文提供了项目页面（https://yxlao.github.io/lgtm/），但未明确说明是否开源代码。基于ICLR 2026的发表，预计会有代码发布。数据集方面，使用公开数据集RealEstate10K和DL3DV-10K，数据获取无门槛。RE10K使用官方train-test split，DL3DV使用benchmark子集测试。计算资源方面，论文报告在单个NVIDIA A100 GPU上进行训练和推理。4K分辨率训练需要约28GB显存（Table 1），推理约5.5GB峰值显存（Table 4）。这对于大多数研究机构是可获得的，但4K训练仍需高端GPU。训练策略方面，两阶段训练，第一阶段预训练原始网络，第二阶段联合训练。原始网络在第二阶段使用0.1倍学习率。具体训练细节（迭代次数、学习率等）需参考代码。基线复现方面，论文对基线方法进行了重新训练（使用高分辨率监督），这为公平比较提供了保障，但也意味着复现完整实验需要较多计算资源。总体难度为中等偏高，模型架构相对清晰（双网络加投影纹理化），但实现细节较多（2DGS渲染、投影映射、两阶段训练），且4K训练需要较大显存。

更少高斯，更多纹理：4K前馈纹理化高斯泼溅 Less Gaussians, Texture More: 4K Feed-Forward Textured Splatting