SplatAnything：面向任意场景前馈3DGS的高斯间距归一化

把归一化基准从径向距离换成高斯间距中位数，消除前馈3DGS的尺度监督歧义

前置知识

3D 高斯泼溅（3DGS）

用一组各向异性 3D 高斯显式表示场景，每个高斯由中心 $\mu$、不透明度 $\alpha$、协方差 $\Sigma$（通常分解为尺度与旋转四元数）以及球谐系数 sh 组成，通过可微 splatting 投影到屏幕做 $\alpha$ 混合渲染。原版 3DGS 需对每个场景优化数十分钟，但渲染可达实时帧率。

本文的输出就是这样的高斯集合；『高斯的尺度必须与邻域高斯间距匹配才能覆盖表面』这一几何直觉是全文论证的根基，不懂 3DGS 的表示方式就无法理解为何尺度监督会出问题。

前馈式 3DGS 与逐像素高斯预测

用一个神经网络单次前向直接从图像预测全部高斯参数，不做逐场景优化，数秒内出结果。主流做法是让每个有效像素对应一个高斯（中心取该像素深度反投影点），网络只需预测不透明度、旋转、尺度、外观等属性，因此高斯数量与像素数一一对应。

正因为『一个模型要服务所有场景』，不同场景间监督目标的一致性才成为关键问题——本文正是发现逐像素范式下归一化空间选错会导致学习目标跨场景不一致。

几何基础模型（如 VGGT / WorldMirror 2.0）

在海量三维数据上预训练的 Transformer，可从任意数量的图像一次性估计深度、点图、相机内参与位姿；其输出通常位于某个内部归一化坐标系中，绝对尺度不定。本文冻结 WorldMirror 2.0 作为几何前端，只微调其骨干用于高斯预测。

不理解这类模型的输入输出与『尺度不定』特性，就无法理解径向距离归一化的由来，以及 GSNorm 为什么要在几何模型之后再做一次重标定。

径向距离归一化（RDNorm）

现有方法的默认设定：取所有重建 3D 点到参考相机原点的平均距离 $s_r$ 作为场景尺度，把几何、深度、相机平移统一除以 $s_r$，使数值范围稳定、不同场景可比。它只约束这一个全局径向统计量，完全不约束相邻 3D 点之间的间距。

这是被本文批判的对象。Fig. 4 实测 RDNorm 空间下三类场景的中位高斯间距差异高达 4.5 倍，正是监督歧义存在的定量证据，读懂 RDNorm 的局限才能理解论文动机。

针孔相机模型与内参

用焦距 $(f_x,f_y)$ 与主点 $(c_x,c_y)$ 描述像素坐标与相机光线的几何关系：像素 $\mathbf{u}$ 处深度为 $D$ 的反投影点是 $D\cdot[(u-c_x)/f_x,\;(v-c_y)/f_y,\;1]^T$。于是水平相邻像素的 3D 间距约为 $D/f_x$，垂直约为 $D/f_y$。

论文的核心公式——特征高斯间距 $d_i(u)\approx D_i(u)/\sqrt{f_{x,i}f_{y,i}}$——完全建立在针孔模型上，不懂内参就无法推导和理解 GSNorm 的设计。

感知质量指标 LPIPS / DISTS

两者都是基于深度网络特征衡量两幅图像感知差异的指标，数值越低越好。相比逐像素的 PSNR，它们更贴近人眼对纹理、结构与高频细节的感受，其中 DISTS 对纹理失真尤其敏感，常用于评估生成与渲染质量。

本文主基准以 DISTS/LPIPS 为主要指标，并论证 PSNR 会偏爱过度平滑的预测（如 ReSplat 高 PSNR 但外推视角有严重伪影），读实验表格前必须理解这些指标的含义与取舍。

研究动机

现有前馈式 3DGS 方法普遍采用『先深度、后属性』的两段式范式：先用几何基础模型（WorldMirror 2.0、Depth Anything 3 等）估计深度与位姿，再在其输出的坐标系里逐像素预测高斯属性。这些几何模型为了数值稳定，几乎都用径向距离归一化（RDNorm）：以全部重建点到参考相机原点的平均径向距离 $s_r$ 为场景尺度，把整个场景缩放到统一范围。问题在于 RDNorm 只约束一个全局径向统计量，并不约束相邻高斯中心的间距（论文称为 Gaussian spacing），而逐像素预测范式要求高斯尺度与局部间距匹配才能充分覆盖表面。作者实测（Fig. 4）：经 RDNorm 后，物体、室内、户外三类场景的中位高斯间距分别约为 0.30、0.57、1.36，跨场景差异达 4.5 倍；场景尺度、焦距、分辨率、视场角的任何变化都会改变归一化后空间中的间距。于是视觉上相似的局部区域在不同场景下对应完全不同的高斯尺度监督目标：预测器偏向小尺度就在间距大的区域漏出空洞，偏向大尺度则在密集采样区域过度重叠、造成过度平滑（Fig. 7）。这种监督目标的系统性歧义，成为前馈 3DGS 跨场景、跨相机配置泛化的主要瓶颈。

本文的目标是本文的终极目标是让单一前馈模型在任意输入条件下可靠工作：任意数量的输入图像（1 到 100+ 张）、可选相机位姿、约 480p 到 1K 的不同分辨率、从微距物体到大尺度户外的差异巨大的场景，数秒内输出可直接渲染的 3DGS，并支持大幅外推的目标视角。具体拆成两件事：其一，找到并修正监督歧义的根源——预测坐标系本身，用一个更合理的场景级统计量做归一化，使高斯尺度学习目标在不同场景、不同相机配置之间保持一致；其二，建立一套严格的跨场景、跨视角泛化评测基准：覆盖 7 个数据集（ScanNet、NRGBD、DL3DV、Tanks & Temples、Mip-NeRF 360、ETH3D、DTU），在 1/4/8/16/32/64 输入视图下用固定轨迹跨度控制观测密度，并用遮挡感知的对称共视性（0.2–0.6）显式筛选真正外推的目标视角，避免以往基准只在训练域附近做插值评测带来的虚高。

与已有工作不同的是，本文的独特之处在于切入点：以往改进集中在更强的几何骨干、更大的模型与数据或渲染细化（DepthSplat 的单目先验+多视匹配、ReSplat 的渲染迭代优化、AnySplat 的任意视角融合等），它们全部默认沿用几何模型的 RDNorm 坐标空间，没有人质疑『归一化空间本身是否适合高斯预测』。作者把问题形式化为：在逐像素预测下，什么样的场景级标量能保证高斯尺度目标跨场景一致？答案是应该归一化的不是径向距离，而是高斯间距本身——它同时由深度与焦距（像素采样密度）决定。方法改动因此极小，只是把归一化因子从一个统计量换成另一个，闭式求解、零额外参数、零推理开销，却带来系统性提升。配套的第二个贡献是评测协议设计：固定轨迹跨度只改变观测密度（解耦稀疏度与场景覆盖），以几何共视性而非时间距离筛选目标视角（解耦视角难度与相机索引），首次让『跨场景泛化』和『外推能力』可以被受控地测量。

核心方法

先说直觉：针孔相机下，相邻像素反投影得到的高斯中心间距近似等于深度除以焦距，$d\approx D/\sqrt{f_xf_y}$，与相机绝对位置无关。因此存在一个场景级缩放因子能让『中位高斯间距』恒等于 1，让所有场景的高斯尺度目标落入同一参考系。技术路线（Fig. 3）：输入 $N$ 张图像与可选内外参，冻结的 WorldMirror 2.0 预测多视深度、内参与位姿（初始在 RDNorm 空间）；GSNorm 计算特征间距 $d_i(u)$ 的中位数 $s_g$，并把几何、深度、平移统一除以 $s_g$；用缩放后深度反投影，每个有效像素得到一个固定的高斯中心；从几何骨干初始化并微调的 Gaussian Backbone 提取特征，轻量 GSHead（从零训练）逐像素预测不透明度、旋转四元数、log 空间尺度与球谐系数；最后按 AnySplat 的体素合并策略融合多视冗余高斯。训练用 MSE + LPIPS（权重各 1），共 20,000 步，64 块 NVIDIA H20，输入 4–32 视图、分辨率 504–1024 动态变化，两部分学习率分别为 $5\times10^{-6}$ 与 $2\times10^{-5}$。

核心创新是 GSNorm 的定义：$s_g=\mathrm{median}_{i,u\in\Omega_i}\; D_i(u)/\sqrt{f_{x,i}f_{y,i}}$（Eq. 10），再以 $P^g=P/s_g$ 等统一缩放（Eq. 11），使场景级中位高斯间距规范化为 1。与 RDNorm 的本质区别在归一化对象：RDNorm 固定的是『点到相机平均距离』这一全局几何统计，与像素采样密度无关，焦距、分辨率、视场角的变化都会改变归一化空间中的间距；GSNorm 直接固定『每像素高斯中心的代表性间距』，使尺度目标与表面覆盖需求对齐。选 median 而非均值，是因中位数对正缩放等变（可解析求出 $s_g$，无需迭代）且对离群深度鲁棒。附录还对比了两种看似合理的替代：相机距离归一化 CDNorm 在小基线场景崩溃（单视图 DISTS 0.793），深度归一化 DNorm 忽略焦距与分辨率、表现与 RDNorm 相当；作者还证明『事后尺度校准』——在 RDNorm 空间预测后再统一缩放高斯尺度——无法弥补监督歧义（Table 3 中反而更差），说明必须在预测之前对齐预测空间本身。

方法步骤详情

流程分五步。（1）几何预测：输入 $N$ 张图像与可选内外参，冻结的 WorldMirror 2.0 输出各视图深度 $D_i$、内参与位姿，初始在 RDNorm 空间。（2）GSNorm 重标定：对所有有效像素计算特征间距 $d_i(u)\approx D_i(u)/\sqrt{f_xf_y}$，取中位数得 $s_g$（Eq. 10），按 Eq. 11 统一缩放几何、深度与平移。（3）中心构建：用缩放后深度反投影，每个有效像素得到一个高斯中心；中心被固定、不由网络优化——消融显示这是收益最大的设计，放开中心偏移会让网络以牺牲几何换取图像误差。（4）属性预测：微调的 Gaussian Backbone + 从零训练的 GSHead 输出逐像素属性：尺度 $s=\min(\exp(\hat{s}),\,0.3)$，旋转四元数归一化，不透明度 sigmoid，球谐系数直接输出。（5）训练与融合：真实目标位姿渲染监督，$\mathcal{L}=\mathcal{L}_{MSE}+\mathcal{L}_{LPIPS}$；训练时用预测与真值基线比值的中位数做尺度对齐，推理时用逐像素权重图的体素合并去除多视冗余。训练 20,000 步、64 块 H20、4–32 视图、分辨率 504–1024。

技术新颖性

新颖性可以从四个层面看。问题层面：首次把前馈 3DGS 的泛化瓶颈明确定位到『归一化空间与高斯尺度监督的错配』，并用 Fig. 4 的 4.5 倍间距差异给出可量化证据，属于对现有范式隐含假设的批判性分析，而非堆砌新模块。方法层面：GSNorm 极简且原理性强——只是把归一化标量从 $\|P\|$ 的均值换成 $D/\sqrt{f_xf_y}$ 的中位数，闭式解、无参数、无推理开销，却同时编码了深度与像素采样密度；与 CDNorm、DNorm 的系统对比（Table 12）证明这不是『随便换个统计量』，而是唯一同时覆盖两个决定间距因素的选择。评测层面：固定跨度+遮挡感知对称共视性筛选的外推基准填补了领域空白——以往评测多用插值视角，无法暴露外推失效。工程洞察层面：『固定高斯中心优于预测中心偏移』『事后尺度校准无效』『微调骨干/数据扩充/混合视图采样均有效』等消融结论（Table 13）对后续工作具有普遍参考价值。整体上这是一篇『想清楚一个问题，改动一处常数』就能显著推进 SOTA 的工作，体现了分析驱动研究的典型范式。

**Fig. 2**: Normalization space. (a) Radial Distance Normalization canonicalizes a global radial statistic but leaves Gaussian spacing varying across scenes and camera configurations, resulting in inconsistent supervision targets. (b) Gaussian Spacing Normalization canonicalizes a representative statistic of Gaussian spacing, providing a more consistent spatial reference for Gaussian prediction.

**Fig. 3**: Architecture of SplatAnything. Given N input images and optional camera parameters, a frozen geometry foundation model first estimates multi-view geometry. We convert the geometry from its native radial-distance-normalized space to the proposed Gaussian-spacing-normalized space and predict per-pixel Gaussian attribute through a Gaussian backbone and a lightweight GShead.

**Fig. 8**: Source-view trajectory patterns (16 views per panel), visualized in an approximately top-down projection. Dots and arrows denote camera centers and viewing directions, respectively; the gray polyline connects consecutive views, and color indicates capture order. For inward-orbit, × marks the approximate viewing center.

**Fig. 9**: Target-view sampling modes used during training. Blue cameras denote the source views provided as input, while red cameras denote the target views used for rendering supervision.

实验结果

（1）主基准（Table 1，7 数据集、4–64 视图平均）：无位姿下本文在全部 7 个数据集的 DISTS/LPIPS 均第一，如 DTU 0.229/0.483；带位姿优势扩大，DTU DISTS 0.184 对 Mirror2-GS 0.315（低约 42%）。（2）单目（Table 2）：在 NRGBD、DL3DV、T&T、ETH3D、DTU(DISTS) 上超过 SHARP 与 InfiniSplat，如 DL3DV 0.279 对 SHARP 0.335；SHARP 仅在 ScanNet 与 Mip-360 略优。（3）PSNR（Table 10）：带位姿 16/32/64 视图最高（19.12/18.39/18.50），4/8 视图 tttLRM 更高；ReSplat 部分设置 PSNR 领先但外推视角伪影严重，佐证 PSNR 偏爱平滑预测。（4）归一化消融（Table 3/12）：GSNorm 全视图数最优，8 视图 DISTS 0.196 对 RDNorm 0.223（低约 12%）；尺度校准反而恶化至 0.252；CDNorm 单视图崩溃至 0.793。（5）设计消融（Table 13）：固定中心、微调骨干、数据扩充、视图采样均有效，固定中心收益最大。（6）效率（Table 11）：4 视图前向 411ms、64 视图 11.0s，比重型基线（35.9–41.5s）快 3 倍以上，但慢于 Mirror2-GS（6.1s）。（7）全景应用（Fig. 13）：95°×100° 宽视场输入仍可高质量重建。

**Table 1**: Quantitative comparison across seven benchmark datasets, averaged over 4–64 input views. The top-3 results are highlighted as first, second, and third.

**Table 2**: Quantitative comparison of feed-forward 3DGS methods using a single input view.

**Table 3**: Normalization-space ablation across different numbers of input views.

**Table 4**: Details of the training datasets used by SplatAnything.

**Table 10**: Average PSNR comparison under different numbers of input views. Results are averaged across the different datasets.

**Table 11**: Median forward-pass latency per scene (ms) of different methods under different numbers of input views.

**Table 12**: Ablation study of different normalization spaces across different numbers of input views.

**Table 13**: Ablation study of the training design choices across different numbers of input views.

**Fig. 5**: Qualitative comparisons across diverse scenes and viewpoints with multi-view input.

**Fig. 6**: Qualitative comparisons across diverse scenes and viewpoints with monocular input.

**Fig. 7**: Ablation studies on the effect of GSNorm across different scene types.

**Fig. 10**: Qualitative comparisons of different normalization spaces.

**Fig. 13**: Qualitative results of SplatAnything for panoramic images reconstruction. SplatAnything can reconstruct high-quality 3DGS representations from panoramic images with different field of view, demonstrating its strong generalization ability.

查看结构化数据

任务	指标	本文	基线	提升
多视图新视角合成（7 数据集、4–64 输入视图平均、无位姿）	DISTS↓ / LPIPS↓（以 DTU 为例）	0.229 / 0.483	次优 Mirror2-GS：0.347 / 0.617	DISTS 相对次优降低约 34%；全部 7 个数据集两项指标均列第一
多视图新视角合成（Tanks & Temples，大尺度户外，4–64 视图平均）	DISTS↓ / LPIPS↓	0.252 / 0.299	Mirror2-GS 0.306 / 0.351；AnySplat 0.593 / 0.737	相对最强基线 DISTS 降低约 18%，LPIPS 降低约 15%
位姿条件多视图新视角合成（DTU，4–64 视图平均）	DISTS↓ / LPIPS↓	0.184 / 0.364	Mirror2-GS (Pose Cond.) 0.315 / 0.532	DISTS 降低约 42%，LPIPS 降低约 32%
单目输入新视角合成（DL3DV，1 视图）	DISTS↓ / LPIPS↓	0.279 / 0.220	SHARP 0.335 / 0.280；InfiniSplat 0.527 / 0.596	相对 SHARP DISTS 降低约 17%、LPIPS 降低约 21%（ScanNet 与 Mip-NeRF 360 上 SHARP 略优）
归一化空间消融（同一架构与训练设置，8 输入视图）	DISTS↓ / LPIPS↓	GSNorm：0.196 / 0.237	RDNorm 0.223 / 0.272；RDNorm+尺度校准 0.252 / 0.308	相对 RDNorm DISTS 降低约 12%；事后尺度校准不仅无效反而更差
PSNR 对比（7 数据集平均，带位姿条件）	PSNR↑（16 视图）	19.12	Mirror2-GS 18.36；tttLRM 17.61	16/32/64 视图下最优；但 4/8 视图 tttLRM（19.03/19.52）更高，无位姿 16 视图下略低于 YoNoSplat（18.73 vs 18.61）
推理效率（单卡 H20、BF16、448×896，逐场景中位前向延迟）	延迟 ms（64 输入视图）	11,037	Mirror2-GS 6,060；DA3-GS 35,904；QuerySplat 39,583；TokenGS 41,480	比重型基线快 3 倍以上，但慢于最轻量的 Mirror2-GS 约 1.8 倍

局限与改进

作者承认两点局限：一是方法依赖几何基础模型的先验，在极端稀疏或困难输入（如透明、反光、弱纹理表面）下几何估计不可靠时性能会退化；二是模型主要重建输入视角可见的区域，未观测区域会留下空洞，未来需要生成先验补全。我的补充观察：（1）GSNorm 只把场景级中位间距规范化到 1，同一场景内部的局部间距差异（近处细节与远景）仍然存在，网络仍需自行适应尺度变化——Table 3 中 64 视图时 GSNorm 相对 RDNorm 的优势明显缩小（0.217 对 0.224）；（2）多视角累积导致的基元密度问题要靠体素合并补丁解决，GSNorm 与体素合并两个机制耦合，增加了工程复杂度与超参数；（3）主指标是感知类指标，PSNR 在部分设置下低于 tttLRM/ReSplat/YoNoSplat，且全文未报告几何精度指标（如深度/位姿误差），『间距一致性改善监督』的论证主要依赖渲染质量的间接消融；（4）推理延迟随视图数线性增长，64 视图约 11 秒，对机器人、AR 等实时场景偏慢；（5）基准虽覆盖 7 个数据集，但训练数据中包含 ScanNet++、ARKitScenes 等室内数据，与部分测试域存在同分布成分，跨域提升幅度中可能仍含数据红利。

独立分析的弱点

独立分析几个弱点及改进方向。（1）单一全局尺度：中位数只保证『典型间距』一致，对内部结构尺度差异极大的场景（微距物体+远背景共存）仍会有系统性偏移；可改进为分层或局部自适应归一化，或让 GSHead 以局部间距估计为条件输入。（2）对几何模型的强依赖：WorldMirror 2.0 深度失败处高斯中心直接错误，而中心被固定、无法通过渲染损失自纠（完全放开偏移又被证明有害）；可引入逐像素不确定性估计，用不确定性门控的中心偏移在两者间折中。（3）未观测区域空洞：纯回归模型无法补全看不见的内容；作者提出生成先验方向，也可结合多视角一致的视频扩散模型做外推补全。（4）体素合并是后处理启发式，依赖额外预测的权重图；可改为可学习的剪枝/合并机制或 3D token 化表示，让密度控制与预测端到端耦合。（5）延迟随视图数线性增长（64 视图 11s）：可做视图 token 压缩、增量式场景更新或跨帧缓存，面向流式应用。（6）训练成本极高（64 块 H20、2 万步、16 个数据集混合），中小团队难以复现完整系统；不过 GSNorm 本身是一个可以嫁接到任何开源前馈 3DGS 上的『一行修复』，社区应优先在小规模设置下独立验证其有效性。

未来方向

作者明确提出两个方向：更鲁棒的几何估计（应对极端稀疏与困难输入）、引入生成先验补全未观测区域。基于本文成果还可自然延伸：（1）把 GSNorm 推广为可学习的尺度预测或间距分布归一化，处理场景内多尺度结构，弥补中位数只对齐『典型间距』的不足；（2）与全景/世界模型生成管线打通——文中 Fig. 13 已示范用 WorldPano 生成全景再转宽视场视角输入本文模型，可形成『文本/图像→全景→前馈 3DGS→可探索 3D 场景』的生成式内容流水线；（3）扩展到动态场景与 4D 重建，检验间距归一化在时序几何下的稳定性；（4）利用新基准做数据-泛化规模律研究，验证 GSNorm 的收益是否随模型与数据规模放大；（5）把对称共视性外推评测协议推广为社区标准，并加入几何精度指标与下游任务评测（SLAM、机器人操作）；（6）探索 GSNorm 空间与可微渲染精调（ReSplat 式迭代）的结合，以及在 SLAM/在线建图中做增量式前馈重建。

复现评估

复现评估：论文正文与附录均未提供开源代码、项目主页或模型权重链接，目前只能自行实现。分层看复现难度：核心思想极易复现——GSNorm 只需把几何模型输出的深度与相机平移除以 $s_g=\mathrm{median}\;D/\sqrt{f_xf_y}$，一行代码即可加到任何逐像素前馈 3DGS 管线（配合公开的 WorldMirror 2.0 / Depth Anything 3 / VGGT 骨干），在小规模设置下就能验证其有效性。完整系统复现门槛很高：训练用 64 块 NVIDIA H20 跑 20,000 步（相当于数百 A100 天量级），数据为 16 个数据集的混合——合成侧 OmniWorld 10,464 场景、OmniObject3D 5,914、HyperSim 364、TartanGround 635 等，真实侧 ARKitScenes 2,501、ScanNet++ 936、BlendedMVS 502 等——下载与预处理工程量大；评测协议描述详尽（邻接对共视性 20 分位数 ≥0.35 的固定跨度采样、目标视角对称共视性 0.2–0.6、相似变换后对齐），理论上可复现，但 7 个测试数据集的整理与 5 档视图数的完整评测耗时较长。综合判断：核心结论易验证，完整结果难复现，难度中等偏高。

SplatAnything：面向任意场景前馈3DGS的高斯间距归一化 SplatAnything: Gaussian Spacing Normalization for Feed-forward 3DGS across Arbitrary Scenes