GlobalSplat：通过全局场景令牌的高效前馈 3D 高斯泼溅 GlobalSplat: Efficient Feed-Forward 3D Gaussian Splatting via Global Scene Tokens

完整流程分五步：(1) 场景归一化——以相机中心均值与平均朝向构 canonical frame，再按相机星座直径缩放尺度，让相机落入统一视锥；(2) 输入准备——每图 patch 化，Plücker 射线经 $W_\text{ray}$ 得 $\hat r_{i,p}$，与相机中心 Fourier 特征+内参 MLP 的 per-view 码 $e_i$ 相加再拼 RGB token 得 $u_{i,p}$；(3) 双分支编码器——M=2048 个 latent token 投到几何/外观两流，各做与输入的交叉注意与 L=2 次自注意后 MLP 融合，迭代 B=4 次；(4) 双分支解码——几何头预测位置/尺度/旋转/不透明度，外观头预测球谐颜色，每槽生成 Ks=16 候选；(5) 由粗到细课程——用温度 softmax 把候选压成 1→2→4→8，监督 $\mathcal L_\text{ren}$、两子集自监督 $\mathcal L_\text{con}$(深度+不透明度)与 $\mathcal L_\text{reg}$(特征阈值+视锥)。

技术新颖性体现在四个互相耦合的设计。第一是 fixed-budget 场景令牌 + 交叉注意融合，把视图数与表征大小彻底解耦；第二是几何/外观双流架构，从结构上阻止特征坍缩到纹理捷径，作者用 83.4M vs 90M 单流对照证明增益来自结构而非参数；第三是 coarse-to-fine 候选聚合，把容量释放看作'拓扑展开'而非直接全量预测，从而在 16K 预算下稳定优化；第四是绝对相机码与 Plücker 射线并用，弥补了射线参数化在 36+ 视图大规模上下文下的尺度/焦点信息缺失。这是首个把以上要素系统整合到前馈 3DGS 的工作。

独立观察到的弱点及改进方向：(1) 全局令牌表固定为 2048，没有路由器机制意味着不同场景共用同一组查询，专业场景(如室内会议、室外街景)无法自适应容量。改进方向是引入 slot-wise 的激活门控或与 DUSt3R/MASt3R 类似的可学习点查询，让模型根据场景复杂度动态分配 token。(2) 一致性损失只在两个输入子集间比较几何(stop-gradient)，并未在多视图间显式构造对应场，限制了零样本姿态变化下的鲁棒性。可考虑借鉴 PixelSplat 的 cost-volume 或类似 DUSt3R 的全局回归做更直接的对应监督。(3) 双流架构虽然解耦几何与外观，但 Mixer MLP 仅在 token 维度融合，没有显式的跨分支交叉注意，极端纹理单调/反光场景仍可能引发歧义；可以做一次轻量级几何→外观的 cross-attention 来进一步缓解。(4) 当前实验未给出训练 epoch、总参数量与 FLOPs 随分辨率变化曲线，难以判断是否在更高分辨率下仍保持 <2 GB 显存。

作者提出的方向包括：自适应/分层 token 分配以应对城市级、室外大规模场景；通过时空交叉注意力扩展到动态 4D 重建；引入更强单目深度先验缓解极稀疏视角重建。基于成果可做的进一步延伸：(1) 与 LVSM 类'纯潜变量渲染'互补——可把 GlobalSplat 当成显式几何教练，用它的 16K 高斯去蒸馏出更紧致的神经场。(2) 把全球令牌机制推广到多任务(语义分割、表面重建、材质分解)的多任务共享骨架，利用其固定预算实现工业级一致部署。(3) 与 Gaussian Splatting 的后续压缩工作(LightGaussian、TRaIn 等)做后处理链，进一步把 4 MB 缩到 <1 MB 而不损 PSNR。(4) 探索更激进的小型化：把 N=2048 拉到 N=512 甚至 N=128，研究当潜变量压到极小后是否能与逐像素密集管线在轻量场景打成平手。(5) 推广到视频前馈重建，把时序冗余也并入全局令牌。

项目主页 https://r-itk.github.io/globalsplat/ 提供论文与补充；论文 Appendix B 详述实现细节。代码与权重是否开源论文未明确说明(摘要未写 'code available')，但主要对比基线(NoPoSplat、AnySplat、DepthSplat、GGN、Zpressor、C3G、LVSM)全部使用官方公开代码与权重评估。数据使用 C3G 给出的 RealEstate10K 划分(基于 NoPoSplat 的 evaluation_index_re10k.json)，可直接复用。效率基准在单卡 A100 64GB 完成，但 1.79 GB 峰值显存意味着 RTX 4090/3090 等 24GB 卡也可复现。复现难度中等偏低：架构清晰、数据划分公开，主要风险是双流实现细节以及$\lambda_\text{ren},\lambda_\text{con},\lambda_\text{reg},\lambda_\text{thr},\lambda_\text{fru}$ 的调参。