RLSplat：前馈式 3D 高斯泼溅的资源线性预算控制 RLSplat: Resource-Linear Budget Control for Feed-forward 3D Gaussian Splatting

第一步，编码：几何骨干接收 $V$ 张未标定图像，输出相机参数 $\{P_i\}$ 和 $N$ 个锚点 token。第二步，分配：策略头预测比例 $p_n$；推理时确定性地把期望数 $Bp$ 舍入为求和恰为 $B$ 的整数分配 $k$（附录 B）；训练时以 $\mathrm{Mult}(B, \mathrm{sg}(p))$ 采 $C$ 个 rollout，渲染得奖励后按 GSPO 更新。第三步，token 生成：TokenGen 以锚点向量加槽位索引为条件，为每个锚点实例化 $k_n$ 个不同高斯 token（共 $B$ 个），头部预测初始高斯 $g_b^0$（含中心 $\mu_b^0$）。第四步，层次近邻搜索：对 $k_n>0$ 的锚点算质心 $\bar{\mu}_n$，先取 $K_{anc}$ 个最近锚点、再在其中取 $K_{gs}$ 个最近高斯；邻居只用 detach 的初始位置算一次、被 $L$ 层共享。第五步，局部精化：$L$ 层「交叉注意力+前馈」更新 $t_b \leftarrow t_b + \mathrm{CrossAttn}(t_b, \{t_j\}_{j\in\mathcal{N}_{gs}(b)})$，残差头给出 $g_b = g_b^0 + \Delta g_b$。第六步，训练：$\mathcal{L}_{\mathrm{recon}}$（MSE+LPIPS）、$\mathcal{L}_{\mathrm{cam}}$、$\mathcal{L}_{\mathrm{proj}}$（含 cheirality 惩罚，把高斯拴在源图像块）加 $\mathcal{L}_{\mathrm{vor}}$、$\mathcal{L}_{\mathrm{offset}}$；先随机分配训练 40,000 步，再加初始化为均匀分布的策略头微调 5,000 步，预算从 $[2048, 16384V]$ 采样且偏向低端。

技术新颖性体现在四个层面。其一，问题层：首次把预算可控 FF3DGS 的推理代价纳入优化目标，提出「资源线性」这一新评价维度（表示大小、延迟、峰值显存三者随 $B$ 线性缩放），此前 EcoSplat、F4Splat 的延迟与显存均与预算无关。其二，建模层：把高斯数量控制表述为多锚点间的整数分配问题，用多项式分布参数化，使「精确 $B$ 个高斯」成为硬约束而非剪枝后的残差。其三，优化层：将 GSPO 从 LLM 对齐迁移到视觉重建，把一次分配视为长度 $B$ 的序列并做序列级裁剪的重要性比，奖励直接用可微渲染的重建损失，借助 3DGS 的高效光栅化使每步采 $C$ 个 rollout 的训练开销可忽略。其四，效率层：两级层次近邻搜索（锚点级 $K_{anc}$ → 高斯级 $K_{gs}$）把邻居查找从 $O(B^2)$ 降到 $O(B K)$，在 65,536 高斯时搜索耗时从 220.8 ms 降至 8.1 ms；配套的 Voronoi 与 offset 正则把近邻召回率从 60.2% 拉回 99.0%，这是让「局部注意力近似全局注意力」真正成立的关键工程贡献。

第一，奖励信号单一：策略只以 MSE+LPIPS 的重建损失为奖励，缺少感知质量、几何一致性或下游任务（如 3D VLM 理解）导向的信号，改进方向是引入多目标奖励或用偏好模型打分。第二，分配粒度固定在锚点级：预算以整数个高斯在 $N$ 个锚点间划分，锚点自身数量不可控，极端低预算（如 $B < N$）时大量锚点被分到 0，可能产生空间覆盖空洞，可引入层级锚点金字塔允许预算跨尺度调剂。第三，$K_{gs}$、$K_{anc}$ 需用户手工权衡：图 7 显示小预算需要大 $K_{gs}$、大预算可用小 $K_{gs}$ 省显存，但缺乏自动化机制，可训练预算条件化的注意力稀疏度预测器。第四，两阶段训练割裂：基座阶段用随机分配训练解码器，策略阶段再联合微调，随机分配与策略分布的失配可能浪费模型容量，可用课程式采样从均匀分布逐步退火到策略分布。第五，未评估时序一致性：视频流式场景中逐帧独立分配预算可能抖动，导致相邻帧高斯数量与位置跳变，应加入时间平滑正则或递归式预算继承。

作者在结论中未展开未来工作，但基于成果可延伸的方向很多。其一，预算自适应的视频流式重建：根据网络带宽实时调整 $B$，利用线性延迟/显存特性做帧级码率控制。其二，奖励函数扩展：在 PSNR 之外加入深度一致性、语义分割一致性或 3D 视觉语言模型的下游任务奖励，使高斯分配服务于理解而非仅重建。其三，把 GSPO 分配思想迁移回逐场景 3DGS 的 densification：用策略网络指导致密化阶段「在哪加高斯」，替代基于梯度的启发式。其四，层次近邻搜索与八叉树/BVH 等空间数据结构结合，进一步把 $K_{anc}$ 搜索做成增量式，支持高斯数量动态增减的在线更新。其五，推理期的确定性舍入可改为可微松弛（如 Sinkhorn 最优传输匹配），以便端到端联合训练分配与解码，省掉 RL 阶段。其六，在更高分辨率（512+）、真实大场景（如 Mill-19）以及 pose-free 视频输入上验证资源线性性与分配策略的泛化。

复现条件较好：代码已在 GitHub 开源（https://github.com/mlvlab/RLSplat），训练数据 RealEstate10K 与评测数据 ACID 均为公开数据集，评测协议沿用 F4Splat（256×256 分辨率、PSNR/SSIM/LPIPS），硬件为单张 RTX A6000、batch size 1，测延迟前丢弃首个场景做 warm-up 并重置显存计数器，这些细节都明确写在第 4 节。训练成本方面：基座 40,000 步 + 策略 5,000 步，预算采样自 $[2048, 16384V]$，超参 $K_{anc}=K_{gs}=16$、$\delta=0.5$；论文未给出训练所需 GPU 数量与总天数。复现难点集中在 RL 阶段：需要 3DGS 可微光栅化来计算每步 $C$ 个 rollout 的渲染奖励，GSPO 的实现细节与确定性舍入过程分布在附录 B/D/E/F，需要一定的工程经验。总体难度中等偏上：熟悉 3DGS 与 FF3DGS 代码库（如 NoPoSplat/F4Splat 系）的团队可以复现，关键风险点是策略训练的稳定性和 $\mathcal{L}_{\mathrm{vor}}$、$\mathcal{L}_{\mathrm{offset}}$ 的超参敏感性。