← 返回 2026-06-04

ZipSplat：用更少高斯做更好的泼溅 ZipSplat: Fewer Gaussians, Better Splats

Alexander Veicht, Sunghwan Hong, Dániel Baráth, Marc Pollefeys 📅 2026-06-03 👍 21 2026-07-13 08:36

3D高斯泼溅 k-means聚类前馈新视角合成可微光栅化场景令牌无位姿重建

arXiv HuggingFace PDF

用场景令牌解耦高斯与像素网格的前馈3D高斯泼溅

前置知识

3D高斯泼溅 (3D Gaussian Splatting, 3DGS)

用一组各向异性3D高斯基元表示场景，每个高斯含中心$\mu$、缩放$s$、旋转$q$、不透明度$\alpha$和球谐颜色$c$，通过可微光栅化渲染新视角。比NeRF隐式场更快、更明确，可实时渲染高质量画面。

ZipSplat的目标就是预测这样一组高斯基元，必须先理解其参数化与可微光栅化训练范式，才能看懂'令牌解码为一组高斯'的输出目标和损失设计。

前馈高斯泼溅 (Feed-forward 3DGS)

区别于逐场景优化(每场景需数分钟到数小时)，前馈方法用神经网络在单次前向中从稀疏图像直接预测高斯，借助多视角先验实现瞬时3D重建。代表工作有MVSplat、NoPoSplat、AnySplat、YoNoSplat。

ZipSplat属于前馈方法家族，要理解其贡献必须先把握这一共享归纳偏置——沿观察射线每像素一个高斯——才能看出'令牌化'为何是本质突破。

像素对齐 (Pixel-alignment)

大多数前馈3DGS沿每条观察射线放置一个高斯，中心$\mu = o + d\cdot r$（$o$为相机原点，$r$为射线方向，$d$为预测深度），把3D放置简化为每像素一个深度，使每个预测都锚定在已观察表面上。

ZipSplat的核心目标就是打破这一'高斯预算绑定相机分辨率而非场景复杂度'的设计，理解像素对齐的利弊才能理解令牌化解耦的动机。

k-means特征空间聚类

对骨干输出的密集视觉令牌在特征空间做k-means，聚合相似令牌为$K = r\cdot T$个聚类中心($r\in(0,1]$为压缩比)。在特征而非空间坐标上聚类，使不同视角对同一表面的冗余观察自动合并，而不同区域保持独立。

这是ZipSplat实现'推理时连续调节高斯预算'的关键机制，也是单一模型覆盖整条质量-效率曲线的基础，是读懂其效率优势的核心。

单向Chamfer损失

仅让预测高斯中心$G$向真值3D点$P$靠拢，$\mathcal{L}_\text{geo}=\sum_{\mu\in G}\min_{p\in P}\|\mu-p\|$，不惩罚未被覆盖的真值点。单向设计是为了避免强制均匀覆盖、破坏自适应聚类。

自由3D放置失去射线的隐式几何接地，需要这一监督把游离高斯拉回表面；理解其单向设计才能看懂整套训练稳定性策略。

DA3 (Depth Anything 3) 多视角基础模型

Depth Anything 3是可在任意视角(含多视角)恢复稠密相对/度量深度的视觉基础模型，提供鲁棒的跨视角注意力。ZipSplat以DA3-Giant(40层、宽度1536)为骨干提取多尺度视觉令牌，并用其生成伪深度监督。

ZipSplat架构与骨干无关但实例化在DA3-Giant上；理解DA3的多视角先验才能看懂表4中ZipSplat与DA3-GS(同骨干、像素对齐)的隔离消融。

研究动机

当前feed-forward 3D Gaussian Splatting方法(MVSplat、NoPoSplat、AnySplat、YoNoSplat、DA3等)共享一个归纳偏置：沿每条观察射线每像素预测一个高斯，中心$\mu=o+d\cdot r$。这把高斯预算绑定到2D相机分辨率而非3D场景内容，带来三个低效：第一，一面白墙与一个纹理丰富的物体占据相同像素数就获得相同高斯容量；第二，重叠视角对同一表面产生重复高斯，内存随输入图像数线性增长而无对应质量收益(24视角下NoPoSplat的PSNR从22.77崩塌到17.86)；第三，每个预测都锚定在已观察射线上，难以把覆盖扩展到遮挡或未观察区域。这三个问题同源于一个设计选择——把3D表示绑定到2D像素网格。

本文的目标是本文提出ZipSplat，一个把高斯放置从像素网格解耦的前馈3DGS架构：把场景视作一小组紧凑的场景令牌而非像素网格，让网络在几何复杂处集中预测、跨视角隐式合并冗余观察。具体目标是：在DL3DV和RealEstate10K上以约6×更少的高斯达到无位姿新视角合成的SOTA，超越最强基线YoNoSplat约1.1–2.1 dB PSNR；零样本泛化到Mip-NeRF360和ScanNet++；并让单一训练模型通过一个推理时可调的压缩比$r$覆盖从高保真到紧凑重建的整条质量-效率曲线。

与已有工作不同的是，已有压缩方法(Long-LRM剪枝、AnySplat可微体素化合并、FreeSplat融合、GGN图去重、TinySplat分阶段压缩、EcoSplat不透明度微调)都是先预测完整per-pixel集合再后处理缩减，没有触及产生冗余的像素对齐本身。并发的C3G用固定DETR查询解码，但因查询与场景无关、无法适应复杂度，超过2K查询质量反而下降。ZipSplat的独特切入是直接预测紧凑集合——令牌由骨干多视角表示动态生成，预算随输入视角与场景复杂度缩放，且压缩在推理时连续可调而无需重训。

核心方法

ZipSplat的整体思路是'先用多视角骨干把图像变成密集令牌，再用聚类压缩成场景令牌，最后用MLP把每个令牌解码为一组自由3D高斯'。技术上：N张输入图像经预训练多视角基础模型DA3-Giant(取第19/29/39层的多尺度令牌)提取$T$个视觉令牌；k-means在特征空间把它们压缩为$K=r\cdot T$个场景令牌$z$；三个'交叉+自注意力'块让场景令牌回查全部视觉令牌并获取全局上下文，颜色跳跃连接把$14\times14$卷积嵌入拼入；最后两层MLP(1536→3072→736)把每个令牌解码为$G=32$个高斯(各23参数)，位置经逆对数激活映射到无约束3D坐标。压缩比$r$是连续的推理时旋钮。

核心创新有三。其一，直接从学习到的场景令牌预测紧凑高斯集合，而不是先预测per-pixel全集再缩减——令牌由骨干多视角表示动态生成而非固定查询(C3G的2K固定查询无法适应复杂度)。其二，自由3D放置：用逆对数激活$\mu_\text{gmean}=\text{inv-log}(\text{MLP}(z_\text{tok}))$把高斯中心从射线约束中解放，让网络按几何内容而非像素位置放置高斯(图3)。其三，特征空间k-means压缩是连续的推理时旋钮，单一训练模型即可覆盖整条质量-效率曲线，无需像C3G那样在固定预算下饱和。

方法步骤详情

流程分五步。(1)多视角令牌提取：DA3-Giant从N张图提取多尺度视觉令牌$T$，有相机先验时编码9维位姿注入(训练20%概率)。(2)聚类压缩：k-means把$T$聚为$K=r\cdot T$个场景令牌$z$，$r\in(0,1]$推理可调。(3)令牌精炼：交叉注意力回查全部$T$恢复细节，自注意力获取全局上下文，共3个交叉+自注意力块。(4)解码：两层MLP把每个$z$解码为$G=32$个高斯(各23参数)，含位置(逆对数激活)、缩放(softplus)、旋转(归一化四元数)、不透明度(sigmoid)、度-1球谐颜色。(5)训练：渲染$L_1$+LPIPS+深度$L_1$加单向Chamfer$\mathcal{L}_\text{geo}$；AdamW lr $3\times10^{-4}$、骨干0.1×速率，视图数2→24与压缩比余弦调度(下限$r_\min=0.5\sqrt{2/N}$)在训练前半段完成，450K步、16卡GH200。

技术新颖性

技术新颖性四点。第一，令牌化解码器在共享骨干(VGGT与DA3-G)上比像素对齐解码器PSNR高1.5–2.7 dB、高斯少13–25×(表4a)，且提升与骨干无关，证明收益来自令牌范式本身。第二，动态场景相关令牌：k-means聚类中心随场景内容由骨干表示形成，而非C3G的固定查询；预算随视角数与复杂度缩放，并在极端压缩($r=0.1$)下k-means比随机选择高0.79 dB(图10)。第三，聚类在特征空间使跨视角冗余令牌自动合并——$r=0.1$时24视角下每个聚类平均来自4.2个视角，这是内存近线性变平的根源(图12)。第四，自由3D放置配套的'几何监督+耦合初始化+渐进视图/压缩调度'整套训练配方，是让'去射线'可行的关键工程贡献。

**Fig. 4**: Gaussians from a single token cluster spatially.

实验结果

核心发现分四层。(1)DL3DV(表1)：无位姿6/12/24视角ZipSplat取得25.24/24.27/24.14 PSNR，仅62K/124K/249K高斯，比YoNoSplat(301K/602K/1.2M，24.10/22.73/22.01)高1.1–2.1 dB且少约6×高斯；比同骨干像素对齐DA3高1.5–2.5 dB、少24×高斯，甚至超过有位姿DepthSplat。有位姿时可做TTO(优化令牌)，50步(约3秒/4090)涨约5 dB，24视角达30.03 PSNR。(2)RE10K(表2)：无位姿26.20 PSNR，比YoNoSplat(24.99)+1.2、比有位姿DepthSplat(24.16)+2.0，有先验升至27.19。(3)跨数据集(表3)：零样本Mip-NeRF360随视角32→128由21.72升到22.29，而DA3从20.94降到20.19；ScanNet++无位姿18.1、有位姿23.5。(4)效率(图12)：192视角下尺度压缩仅102K高斯(9.3MB、401FPS)，YoNoSplat则9.6M高斯(539MB、8.9FPS)。

**Table 1**: Novel view synthesis on DL3DV under various input settings.

**Table 2**: Novel view synthesis on RealEstate10K (6 input views).

**Table 5**: Eval-resolution ablation on DL3DV.

**Table 6**: Resize-filter ablation on DL3DV.

**Fig. 5**: Qualitative comparison on DL3DV from 6 to 128 input views.

**Fig. 6**: Qualitative comparison on RealEstate10K (6 input views).

**Fig. 8**: Quality vs. Gaussian budget.

**Fig. 10**: Token selection strategies.

**Fig. 11**: Inference cost vs. input views.

**Fig. 12**: Output representation efficiency.

查看结构化数据

任务	指标	本文	基线	提升
DL3DV 无位姿新视角合成 (6视角)	PSNR↑ / 高斯数	25.24 PSNR, 62K高斯	YoNoSplat 24.10 PSNR/301K高斯; AnySplat 21.70; C3G 18.70	+1.14 dB vs YoNoSplat，高斯少约5×；超过有位姿DepthSplat(23.42)
DL3DV 无位姿新视角合成 (24视角)	PSNR↑ / 高斯数	24.14 PSNR, 249K高斯	YoNoSplat 22.01 PSNR/1.2M高斯; DA3 21.69 PSNR/6.1M高斯	+2.13 dB vs YoNoSplat，+2.45 dB vs同骨干DA3，高斯少约24×
RealEstate10K 无位姿新视角合成 (6视角)	PSNR↑	26.20 PSNR, 62K高斯	YoNoSplat 24.99; 有位姿DepthSplat 24.16	+1.21 dB vs YoNoSplat，+2.04 dB vs有位姿DepthSplat
ScanNet++ 零样本泛化 (64视角)	PSNR↑	无位姿18.15 / 有位姿23.66	YoNoSplat 16.37; C3G 13.59	无位姿+1.78 dB vs YoNoSplat；有位姿+1.37 dB vs在ScanNet++训练的DA3*
192视角输出表示效率	高斯存储 / FPS	102K高斯, 9.3MB, 401FPS (尺度压缩)	YoNoSplat 9.6M高斯, 539MB, 8.9FPS	存储约少20×(原文口径)，渲染约快45×，90×更少原语
解码器范式消融 (DL3DV 24视角, DA3-G骨干)	PSNR↑ / 高斯数	ZipSplat 24.14 PSNR, 249K高斯	DA3-GS 21.69 PSNR, 6.1M高斯	+2.45 dB，高斯少约24×，隔离出令牌化解码器的贡献

局限与改进

作者承认的局限：(1)稀疏视角下LPIPS不如像素对齐方法，因为后者把输入颜色直接拷进首个高斯通道保留高频色，而ZipSplat从聚合令牌预测；(2)极端压缩($r<0.01$)令牌不足以覆盖场景会丢失整片区域(图13)，且随场景重叠与复杂度而变；(3)失败模式包括复杂植被分配不均、高频区域丢细节、低重叠或运动物体目标退化(图16)。我进一步观察到：几何监督的伪深度来自DA3-Giant(模型预测模型的循环)，误差上限受其偏置限定；训练仅在RE10K+DL3DV两数据集，ScanNet++无位姿仅18.1 PSNR显示分布外泛化仍有明显差距；评测对resize滤波器极敏感(高达1 dB，表6)，跨论文数字可比性存疑。

独立分析的弱点

独立分析弱点与改进方向。第一，TTO需要真值位姿且能涨约5 dB，说明前馈预测仍有大量headroom，改进方向是把TTO的令牌优化蒸馏回前馈网络，或引入自监督重投影损失逼近该增益。第二，k-means不可微且$O(NK)$，虽在中等视角可忽略但192视角的后处理仍占时间，改进方向是用可微/近似聚类或学习型令牌选择器替代。第三，仅2数据集训练、跨域ScanNet++无位姿18.1偏低，改进方向是扩大训练数据并显式加入室内/360°轨迹场景。第四，所有定量结果在252×252评测，高分辨率行为未验证，改进方向是评测更高分辨率下的PSNR/速度权衡。第五，稀疏视角LPIPS弱于像素对齐，改进方向是加颜色跳跃连接或显式高频色监督。

未来方向

作者提出两方向：紧凑表示有利于语义场景理解(每高斯特征很快主导内存)；解耦原语与空间网格可直接扩展到4D动态场景，令牌聚类可同时压缩空间与时间的冗余观察。更广地，作者视ZipSplat为'直接在3D预测几何而非沿射线抬升2D预测'的一步——射线抬升把每个原语绑到估计相机与深度，使位姿/深度误差位移几何，而3D预测放松了这种耦合。基于成果可延伸：(1)把TTO增益蒸馏进前馈以缩小5 dB headroom；(2)端到端联合学习聚类与解码；(3)扩展到大规模/室外场景与高分辨率；(4)与占用/语义/光流等多模态输出共享同一令牌骨干。

复现评估

复现评估：项目页 https://veichta.com/zipsplat 给出，但正文未明确代码与权重是否已开源，需自行实现核心模块。依赖开源充分：DA3-Giant骨干(预训练)、gsplat可微光栅化、PyTorch、基准数据集DL3DV/RE10K/Mip-NeRF360/ScanNet++均公开。算力需求重：16张GH200 GPU、450K步、batch 24/GPU、252分辨率单阶段训练，是相当大的投入；推理评测在单卡4090(24GB)上完成。难度：核心创新在于'自由3D放置+单向Chamfer监督+耦合初始化+渐进压缩/视角调度'整套训练配方，且评测协议(统一252编码、bilinear+抗锯齿下采样真值)对结果影响高达1 dB，必须严格复现协议数字才可比。

论文图表

**Fig. 1**: ZipSplat decouples Gaussians from the pixel grid, achieving higher quality with far fewer gaussians in under a second.
左图DL3DV(24视角)上PSNR vs高斯数(对数轴)：YoNoSplat、DA3Jun、NoPoSplat、C3G等基线按像素对齐线性堆叠，ZipSplat的红星(r可变)在约15K高斯即追平YoNoSplat 380K的质量，30K/60K处反超约2.1 dB。右图给出YoNoSplat(380K, 25.6dB)、ZipSplat(60K, 28.3dB)、C3G(2K, 23.3dB)等的渲染对比。

一张图同时定量和定性说明'更少高斯、更好泼溅'的核心主张，是整篇论文最关键的卖点图，看懂它就抓住了ZipSplat的定位。

Fig. 3: Pixel-aligned vs. token-based Gaussian placement.

对比YoNoSplat(552K高斯)与ZipSplat(114K高斯)：每方法左为渲染、右为高斯中心。YoNoSplat中心均匀铺开镜像2D像素网格，而ZipSplat在几何细节处集中、墙面地板等平坦处稀疏。

直观展示'像素对齐 vs 令牌化'在3D空间分布上的根本差异，是理解自适应容量分配的视觉证据。

Fig. 7: Cross-dataset qualitative comparison on Mip-NeRF360 and ScanNet++.

在Mip-NeRF360(上)与ScanNet++(下)、32/64/128视角下对比ZipSplat与YoNoSplat：ZipSplat几何更锐利、伪影更少，质量随视角增加稳步提升。

是零样本泛化主张(表3)的定性支撑，展示分布外场景与外推视角数的鲁棒性。

Fig. 9: Visual effect of compression.

上排为1×/2×/4×压缩下的渲染新视角，下排为对应令牌簇空间覆盖图：覆盖随压缩变粗，但渲染仍保持锐利。

把压缩比对渲染质量与令牌覆盖的双重影响可视化，解释为何2×/4×压缩仍可用。

**Fig. 13**: Compression failure.
24视角场景在r=1、r=0.1、极端r=0.01下的新视角渲染：r→0.01时令牌太少无法覆盖场景，整片区域消失。

展示方法的失败边界，说明为何训练仅压缩到r_min≈0.29但仍可外推到r=0.1、再小则失效。

Table 3: Cross-dataset generalization.

Mip-NeRF360与ScanNet++上32/64/128视角零样本泛化：ZipSplat无位姿在两数据集均领先所有零样本基线(Mip-NeRF360 21.72→22.29、ScanNet++ 18.1)，有位姿时甚至超过在ScanNet++上训练的AnySplat/DA3(23.5)。

证明ZipSplat的跨域与外推视角数泛化能力，是pixel-aligned方法在密集输入下触及容量上限的关键证据。