CompactSplat：面向前馈场景重建的空间自适应高斯分布 CompactSplat: Spatially Adaptive Gaussian Distribution for Feedforward Scene Reconstruction
用纹理感知四叉树与层级金字塔采样自适应分配高斯，数量减半且推理时可调稀疏度
前置知识
3D Gaussian Splatting (3DGS)
将场景表示为一组各向异性半透明椭球（3D高斯），每个高斯带3D中心、尺度、旋转、不透明度和球谐颜色系数，通过可微光栅化按深度排序混合渲染图像，实现照片级实时新视角合成，无需网格或隐式场。
本文的输出物就是一组3D高斯，'紧凑化'的对象即高斯数量（GS Num、GPP两个指标），所有实验都在比较每场景的高斯个数。
前馈式泛化3D重建
用大规模数据预训练的神经网络，从少量（通常2张）输入视图一次前向传播直接预测整个场景的3D高斯属性，避免传统3DGS依赖COLMAP点云初始化与逐场景数小时优化的开销。代表工作有pixelSplat、MVSplat、DepthSplat。
本文属于该范式，但指出它们逐像素分配高斯导致冗余，本文改造的对象正是这类网络的高斯生成方式。
四叉树分解
图像的递归四分结构：每个方形块若不满足均匀性条件就分裂成4个等大子象限，自顶向下迭代直至满足停止条件或到达单像素。叶子节点集合即为最终的自适应分区，纹理复杂区域分得细、平坦区域分得粗。
TAP的算法1就是带阈值$\tau$的四叉树，理解它才能明白层级索引$l_k$与推理时稀疏度控制的关系。
多尺度U-Net与DPT头
编码-解码结构在解码各层输出从低到高分辨率的特征金字塔：低分辨率层感受野大、语义强且低通平滑，高分辨率层保留边缘细节。DPT头进一步把中间层特征融合为单一全分辨率预测场。
HPS正是从这些分辨率层级采样高斯属性，让区块的空间频率与特征层级匹配，是方法成立的基础。
HRRC高分辨率渲染一致性
把重建场景的渲染结果放大2倍、4倍后再评估PSNR/SSIM/LPIPS，检验3D表示的结构完整性：若原语稀疏，放大后会出现暗色空洞，深度图中还会被误判为虚假近场伪影。
本文用它证明尺度调制的大高斯能无缝铺满平面、重建是watertight的，而逐像素基线在1024×1024下严重退化。
GPP与GS Num紧凑度指标
GS Num为每场景平均高斯总数，GPP（Gaussian Per Pixel）为平均每像素分得的高斯数。逐像素方法GPP恒为1（pixelSplat约3.0），本文可低至约0.554，直接量化表征冗余程度。
论文的核心卖点就是这两个指标的下降，Fig.4的Pareto曲线横轴正是GPP。
研究动机
现有前馈3DGS方法普遍采用刚性逐像素预测范式：pixelSplat、HiSplat给每个像素分配多个高斯（pixelSplat平均每像素3.0个，RealEstate10K上单场景约393.2k个高斯），MVSplat、TranSplat、DepthSplat、SurfSplat等每像素固定1个（约131.1k个）。但自然场景的纹理与几何复杂度在空间上高度不均，大片墙面、天花板、地面等均质区域既无纹理也无几何变化，却被强制塞满数千个冗余原语，造成表征冗余与存储浪费。更糟的是，逐像素分配无法利用平面的几何先验，原语密度不足时放大渲染会出现空洞：HRRC测试中DepthSplat在1024×1024分辨率下PSNR从27.504跌至16.385，MVSplat跌至17.966，深度图中还出现虚假近场伪影。
本文的目标是本文的目标是构建内容感知的高斯分配框架，打破'一像素一原语'的绑定：在纹理丰富、结构复杂的区域集中分配密集的小高斯以保住高频细节，在平坦均质区域用少量尺度被放大的原语无缝铺满平面，从而在保持甚至超越逐像素基线渲染保真度的同时大幅削减高斯数量。更进一步，希望这种紧凑性在推理时可控——只调节一个分区阈值$\tau$，就能在不重训练网络、不加辅助模块的前提下，用同一组权重连续遍历'保真度-内存占用'的权衡谱，满足VR、游戏等不同部署条件的约束。
与已有工作不同的是，已有减少原语数量的尝试各有局限：TokenGS与C3G用可学习查询把高斯数量与图像分辨率、视图数解耦，但查询是静态训练的，推理时无法调整数量；Off The Grid按图像熵自适应patch密度，却缺少显式层级结构与尺度调制；逐像素系则结构上完全无法压缩。本文的独特切入是图像空间四叉树：TAP以块内最大通道强度极差作纹理复杂度代理，依据'几何复杂必然表现为高频纹理方差'把纹理细分论证为保守充分上界；HPS用平均池化构建离散属性尺度空间，配合尺度条件解码$s_k=\Delta s_k\odot b_k$让单个高斯可按区块足迹膨胀。TAP与HPS的尺度协同天然形成推理时稀疏度旋钮。
核心方法
直觉上，一张室内照片里墙面和地板占大半面积却几乎无信息，家具边缘纹理密集却面积小，均匀的逐像素分配必然大量浪费原语预算。CompactSplat让'原语密度跟随内容走'。技术路线：沿用成熟的双路径编码器——单视支路用预训练深度模型Depth Anything V2提取结构与语义先验，多视支路用自/交叉注意力构建平面扫描代价体保证多视一致性，两路特征拼接后送入多尺度2D U-Net。与以往把所有特征确定性上采样到单一全分辨率图再做逐像素预测不同，解码端被解耦：TAP对输入图像做自顶向下四叉树分割，输出叶子节点的归一化中心$\mu_k$、尺寸$b_k$与层级索引$l_k$；HPS先用DPT头在全分辨率预测统一属性场$A_{base}$，经逐级平均池化构建尺度空间$A=\{A^{L-1},...,A^0\}$，对每个叶子执行$a_k=\mathrm{GridSample}(A^{l_k},\mu_k)$采样并以$s_k=\Delta s_k\odot b_k$调制尺度，解码出3D高斯。
核心创新是用两个协同机制彻底打破1:1像素-原语绑定。其一是TAP的复杂度代理：$\Delta(B)=\max_{c\in[1,C]}\max_{(x,y)\in B}I_c(x,y)-\min_{(x,y)\in B}I_c(x,y)$，即块内最大通道强度极差。作者论证：深度不连续、遮挡、结构边界等几何复杂几乎必然表现为高频纹理方差，即便逆命题不成立（复杂纹理可能位于平坦表面），以纹理细分也保证所有复杂几何都获得密集分配，同时激进剪枝几何纹理双低的均质区。其二是HPS的尺度空间采样：不让网络隐式输出多尺度属性，而是DPT头预测单一全分辨率属性场再低通池化成金字塔——低LoD特征天然覆盖更广上下文且抗锯齿，避免从高频场直接采大块导致的混叠。配合显式尺度调制，从深层采样的单个高斯能形态膨胀、无缝铺满大平面，这是逐像素范式结构上做不到的。
方法步骤详情
训练采用两阶段课程学习。阶段1密集几何初始化：固定阈值$\tau=0$，TAP在全场景以最高LoD细分，行为退化为密集分区、等价于逐像素监督，让双路径编码器与U-Net专注建立多视对应与几何先验，避免联合优化自适应剪枝带来的训练不稳定。阶段2稀疏感知微调：每次迭代从均匀分布$\tau\sim U(0,\tau_{max})$随机采样阈值，让模型经历连续的剪枝率谱，迫使HPS准确学习低分辨率高斯的几何尺度乘子$\Delta s_k$，确保激进剪枝下高斯能膨胀铺满均质区域。损失为光度与感知联合：$\mathcal{L}_{total}=\sum_{m=1}^{M}\mathrm{MSE}(I_{render},I_{gt})+\lambda\cdot\mathrm{LPIPS}(I_{render},I_{gt})$，$\lambda=0.05$，与pixelSplat、MVSplat、DepthSplat的训练协议一致。推理时调大$\tau$即减少高斯数，无需重训练即可在线控制GPP。
技术新颖性
与相关工作对比：逐像素系（pixelSplat每像素多高斯、MVSplat/DepthSplat每像素一个、HiSplat多层）结构上无法减少原语；TokenGS/C3G用可学习查询解耦数量与分辨率，但数量在推理时不可调；Off The Grid用熵自适应patch密度但无显式LoD层级与尺度调制。本文的独特点是三件事闭环：显式四叉树分区（算法1）+离散属性尺度空间+尺度条件解码（算法2），且阈值$\tau$是连续控制旋钮——单一检查点即可遍历Pareto前沿（Fig.4），完全免除稀疏度特定重训练或辅助模块。$s_k=\Delta s_k\odot b_k$把2D分区逻辑显式桥接到3D几何，这样的尺度条件设计在同类前馈3DGS工作中是首次出现。基准选择也严格：主对比对象是GPP=1.0的每像素单高斯系，而非容易打败的多高斯系。
实验结果
RealEstate10K（Table 1）：Ours-L在256×256标准分辨率达PSNR 27.567/SSIM 0.892/LPIPS 0.117，超过DepthSplat的27.504；三项分辨率平均26.392/0.874/0.198优于pixelSplat的25.584，而每场景仅72.6k个高斯，比pixelSplat的393.2k少约82%，比每像素基线的131.1k少约45%。HRRC优势最显著：1024×1024下Ours-L达25.252，DepthSplat崩至16.385、MVSplat仅17.966，稀疏原语放大后出现空洞，尺度调制高斯则铺满平面保持watertight。ACID（Table 2）：Ours在256×256达27.992，接近pixelSplat的28.284；平均26.146虽低约1.3dB，但高斯数仅91.4k（GPP 0.625 vs 3.0），远超MVSplat系的20.263。稀疏控制（Fig.4-5）：调节$\tau$可在GPP约0.39-0.85间连续权衡，低GPP端表面平滑水密、高GPP端边缘锐利，保真度仅轻微下降。
局限与改进
作者承认的局限：CompactSplat假设相机内外参已知，不同于VGGT、MV-DUSt3R、YonoSplat等无位姿方法；贡献列表称在ACID上只是'competitive'而非超越——平均PSNR 26.146确实低于pixelSplat的27.478，说明航拍室外场景上紧凑化有质量代价。我自己的观察：TAP的复杂度代理$\Delta(B)$只是块内强度极差，对噪声、光照渐变和阴影敏感，暗部均质区可能被误判为复杂而过度细分；反过来'高频纹理但几何平坦'的场景（草地、地毯、树叶）会触发不必要的细分，浪费原语且与紧凑初衷相悖；被膨胀的大高斯用球谐颜色表示大面积平面的视角相关光照能力有限；推理端四叉树是串行分裂，极高分辨率下的分区延迟未报告；两阶段课程引入$\tau_{max}$超参，其取值对性能的影响未做消融。
独立分析的弱点
弱点一：复杂度代理过于粗糙。$\Delta(B)$无法区分'高频纹理+平坦几何'与真实几何边界，草丛、毛衣纹理会被过度细分。改进方向：引入预测深度的不连续性或多视几何一致性作为第二判据，只有纹理与几何双重复杂才细分到最高LoD。弱点二：稀疏度控制是全局标量。单一$\tau$作用于全图，无法实现'前景密、背景疏'的差异化分配。改进：把阈值升级为空间变化的阈值场，或按深度/语义重要性加权分区。弱点三：缺少率-失真视角。论文只压缩高斯数量，未做属性量化与熵编码，也未报告渲染FPS与显存占用。改进：把四叉树结构与属性比特深度纳入率失真联合优化框架，给出每bit质量的Pareto曲线。弱点四：大高斯的球谐外观表达受限。改进：对低LoD高斯改用学习式外观贴图或高阶SH。
未来方向
作者提出的方向：紧凑3D先验利于下游任务；附录含DTU/DL3DV/ScanNet跨数据集评估，可深入分析质量-紧凑度权衡在不同几何复杂度数据上的表现。基于成果可延伸：把TAP-HPS范式迁移到动态场景4D高斯与前馈生成式重建；与SLAM或VR流式管线结合，利用$\tau$旋钮做LOD渐进传输——近处用高GPP、远处低GPP；将尺度空间的平均池化替换为学习式抗锯齿滤波（借鉴Mip-Splatting思想）进一步改善低LoD渲染质量；去除位姿依赖，接入VGGT类无标定前端；把四叉树分区做成可微或基于学习的模块，让'哪里密哪里疏'由网络而非规则决定，并以率失真目标端到端训练阈值策略。
复现评估
正文未给出开源代码链接（NeurIPS 2026论文），复现需自行实现。数据侧友好：RE10K/ACID公开且沿用pixelSplat的官方划分与预计算位姿，DTU/DL3DV/ScanNet均可下载。实现难度中等偏高：TAP（算法1）是纯几何操作，NumPy/PyTorch几小时可写完；HPS需要一个DPT头加逐级平均池化加GridSample；单视支路要加载Depth Anything V2预训练权重；多视支路可参考MVSplat/DepthSplat的开源实现。训练成本高：两阶段课程（先$\tau=0$密集训练再随机阈值微调）加DPT头与代价体，通常需多卡A100训练数天，作者未披露GPU配置、训练时长与$\tau_{max}$取值，这些缺失细节是最大复现风险；建议先实现推理端验证TAP/HPS机制，再尝试复现训练。
论文图表
上方对比Reference、CompactSplat与pixelSplat、MVSplat、DepthSplat、YoNoSplat的渲染效果；下方展示推理时可控的原语数量：CompactSplat在纹理丰富区域集中密集高斯，在平坦区域部署扩展的尺度调制原语，用显著更少的原语实现高保真重建。
一张图看懂论文的问题（逐像素冗余）与两大卖点（内容感知分配+推理时可控稀疏度），是全文的摘要级可视化。
伪代码：以$S_{max}\times S_{max}$粗网格初始化队列，逐块计算复杂度$\Delta(B)$，若$\Delta(B)>\tau$且块尺寸大于1×1则分裂为4个子象限入队，否则加入分区集P；输出带归一化中心$\mu_k$、尺寸$b_k$、层级索引$l_k$的叶子集合。
TAP的完整实现细节：$\tau$如何充当动态控制旋钮、LoD索引如何产生，都由此算法严格定义。
伪代码：先从基础属性场$A_{base}$逐级平均池化构建L层属性尺度空间，再对每个分区叶子按其LoD索引$l_k$执行GridSample提取属性向量，解码出旋转、不透明度、球谐与相对尺度乘子$\Delta s_k$，以$s_k=\Delta s_k\odot b_k$调制后生成3D高斯集合。
HPS的实现细节：尺度空间构建与尺度调制公式是方法成立的关键，需与算法1配套阅读。