Mobile-GS：面向移动端设备的实时高斯泼溅渲染 Mobile-GS: Real-time Gaussian Splatting for Mobile Devices

Mobile-GS 的完整方法分四步。**步骤一（无序渲染公式推导）**：从 3DGS 的 $C = \sum c_i \alpha_i T_i$ 出发，把排序依赖的累乘 $T_i$ 拆成全局透射率 $T = \prod_{j=1}^{N}(1-\alpha_j)$ 和一项无序加权和，得到 $C = (1-T) \frac{\sum c_i \alpha_i w_i}{\sum \alpha_i w_i} + T c_{bg}$（公式 2）。其中权重 $w_i = \frac{\phi_i}{d_i^2} + \frac{\phi_i}{d_i} + \exp(s_{\max}/d_i)$（公式 3），显式地把远端高斯的贡献按深度倒数衰减，并按尺度放大重要高斯的贡献。**步骤二（神经视角增强）**：把视角方向归一化为相机-高斯向量 $P_i = \frac{\mu_i - t_v}{\lVert \mu_i - t_v \rVert}$，与高斯的尺度 $s_i$、旋转 $r_i$、SH 系数 $Y_i$ 拼接后送入 $MLP_f$，输出特征 $F$；再分别用 $MLP_\phi(F)$ 经 ReLU 得到 $\phi_i$，$MLP_o(F)$ 经 Sigmoid 得到 $o_i$（公式 4），$\phi_i$ 用作深度衰减因子、$o_i$ 用作视角相关不透明度补偿。**步骤三（SH 蒸馏与神经矢量量化）**：以 Mini-Splatting 为教师模型，用 $L_{distill} = \frac{1}{|P|}\sum_{p\in P}\lVert C^{tea}_p - C_p \rVert$ 把学生模型（1 阶 SH，即 3×4 系数）的渲染图逼近教师模型，同时引入尺度不变深度蒸馏 $L_{depth}(D, D^{tea}) = \frac{1}{|P|^2}(\sum\log\hat{D}_p - \log\hat{D}^{tea}_p)^2$（公式 5）；高斯属性向量 $z \in \mathbb{R}^{KL}$ 经 K-means 切成 $K$ 个子向量，每子向量用 $2^{10}$ 大小的码本量化，最后 Huffman 编码压缩比特流；SH 特征再分解为漫反射 $h_d$ 和视角相关 $h_v$ 两部分，分别用两个单隐层（64 神经元）的轻量 MLP 重建为 $f_d = MLP_d(h_d, h_v)$、$f_v = MLP_v(h_d, h_v)$（公式 6）。**步骤四（贡献剪枝）**：每隔 $I_{prune}=1000$ 步计算所有高斯的不透明度分位数阈值 $Q_\tau(o)$ 和最大尺度分位数阈值 $Q_\tau(s_{\max})$，把同时低于两个阈值的高斯加入候选集 $C_{prune}$（公式 7）；对候选高斯累积投票票数 $V_g^{(t+1)} = V_g^{(t)} + 1[g \in C_{prune}^{(t)}]$，累计票数超过 $I_{prune} \cdot v = 600$ 的高斯永久删除（公式 8），仅在训练前 25k 步执行以保护后期细节。**步骤五（移动端部署）**：训练在 RTX 3090 上完成 60k 次迭代，使用自定义 CUDA kernel 实现无序渲染，并在第 35k 步启动神经矢量量化；推理阶段用 Vulkan 2.0 重写管线，部署到 Snapdragon 8 Gen 3 上。

技术新颖性体现在三个层面。**渲染机制层面**，公式 (2) 是首个把全局透射率 $T$ 与逐高斯权重 $w_i$ 解耦、且明确建模"远端衰减 + 大尺度增强"的 3DGS 无序渲染公式，物理直觉清晰（远的小高斯贡献小、近的大高斯贡献大），且加法可交换天然适合 GPU 并行；权重公式 (3) 中 $\phi_i$ 是从 MLP 预测的视角相关标量，比 SortFreeGS 用固定参数 $\sigma_i$、$\beta_i$ 灵活得多。**神经增强层面**，相机-高斯向量 $P_i$ 与高斯属性 $(s_i, r_i, Y_i)$ 联合编码的 MLP 设计，让无序渲染的透明伪影能够被显式抑制，消融实验显示去掉这一模块 PSNR 直接从 27.12 跌到 26.68（-0.44 dB），是降幅最大的模块之一。**压缩协同层面**，1 阶 SH 蒸馏（vs LightGaussian 的 2 阶蒸馏）、子向量 K-means 量化（vs 整向量量化）、贡献剪枝（vs 仅按不透明度剪枝）三层叠加的方案没有前例，特别是子向量量化的码本大小 $2^{10}$ 在 PSNR（27.12 vs 2^6 的 25.52）与存储（4.6 MB vs 2^12 的 7.9 MB）之间提供了帕累托最优。

独立审视，本文存在以下可改进之处。**弱点一：训练-推理算力鸿沟**——推理已经能在手机上 127 FPS，但训练仍然需要 1.5 h 的桌面 GPU，这把"移动部署"变成"移动推理"，对真正的端到端移动应用（如现场 AR 重建）不够友好。改进方向是把贡献剪枝（25k 步即可完成大部分减负）和神经矢量量化的训练推到端侧，配合模型蒸馏做 on-device fine-tuning，例如在 NPU 上用 INT8 量化蒸馏教师。**弱点二：无序渲染的伪影虽被 MLP 抑制但未根治**——Fig. 7 显示即便加了神经视角增强，仍然能看到深度歧义区域的细微伪影，PSNR 提升也仅 0.44 dB。改进方向有两个：(a) 在权重公式 (3) 中加入法向一致性约束，让相邻视角的 $\phi_i$ 变化平滑；(b) 用更轻量的 attention 替代 MLP 来建模长程视角依赖。**弱点三：MLP 推理的批处理效率未优化**——Fig. 6 显示 MLP 占 0.14–0.27 ms，是仅次于光栅化的开销，且每个高斯都要单独查询一次 MLP，未做 batched query。改进方向是把 MLP 改为 hash-grid 编码（如 Instant-NGP 风格）并做 tile 级并行推理。**弱点四：量化粒度仍可更细**——当前 NVQ 把属性分成 5 组子向量统一量化，对高频细节（如镜面反射、锐利边缘）粒度仍显粗糙。改进方向是引入残差量化（RQ-VAE 风格），第一阶段量化低频结构、后续阶段编码残差高频。**弱点五：缺乏对动态场景的支持**——3DGS 本身就在朝 4D 扩展，本文没有涉及运动建模，移动端实时动态重建仍有空白。

**作者隐含的延伸方向**：(a) 把贡献剪枝策略（Table 6 验证可作为 MaskGaussian、Mini-Splatting 的插件）推广为通用高斯压缩模块；(b) SH 蒸馏思想可推广到其他高阶属性的蒸馏（如各向异性协方差矩阵）。**基于成果可延伸的研究**：(1) **端侧训练与持续学习**——结合 on-device fine-tuning 和知识蒸馏，让手机能持续更新本地高斯地图，是 AR 导航、SLAM 应用的关键；(2) **4D Mobile-GS**——在静态 Mobile-GS 基础上引入时间维度的变形场（如 deformable 3DGS），探索移动端动态场景重建，目标是手机端 4K 30 FPS 的人体或场景动态捕获；(3) **神经渲染 + 神经缓存**——把视角相关 MLP 的输出做 tile 级缓存，避免重复推理，进一步压低 MLP 开销；(4) **跨场景泛化**——借鉴 Generalizable 3DGS（如 pixelSplat、MVSplat）的思路，让 Mobile-GS 能在少量视图下完成快速初始化；(5) **能耗感知的自适应渲染**——根据手机的电量、温度、用户注视点（如 AR 眼镜的 foveated rendering）动态调整高斯数量、MLP 深度和码本大小，把 MetaSapiens 的 efficiency-aware pruning 思路引入；(6) **量化感知训练与 INT4 推理**——当前 MLP 量化为 16-bit，可进一步压到 INT4 或二值化，配合专用 NPU 推理，理论上还能再降一档功耗。

**开源情况**：作者明确表示"upon acceptance"后会发布完整代码（含训练与评估代码），并提供了项目主页 https://xiaobiaodu.github.io/mobile-gs-project/，截至论文发表（ICLR 2026）按惯例已开源。**数据可获得性**：所用 Mip-NeRF 360、Tanks & Temples、Deep Blending 三个数据集均为公开标准基准，无需特殊许可即可下载。**算力门槛**：训练需单卡 RTX 3090 GPU，60k 次迭代约 1.5 小时；消融实验需多组不同超参组合，对算力有一定累积需求（推测完整复现需 3–5 块 GPU 运行数天）。**复现难度**：中等偏上。**有利因素**：论文给出了完整的四大模块超参（$\lambda_{distill}=1$、$\lambda_{depth}=0.1$、prune interval $I_{prune}=1000$、vote threshold $v=0.6$、$\tau=0.2$、codebook size $2^{10}$），MLP 结构（MLP_f 三层 256-128-64，MLP_d/MLP_v 单隐层 64 神经元）也有详细描述，附录 Table 8 还对比了 SortFreeGS 与 GES 的公式细节；**难点**：(1) 自定义 CUDA kernel 实现深度感知无序渲染对工程能力要求高，普通研究者需深入研究作者开源代码；(2) Vulkan 2.0 移动端部署需要适配手机 GPU 驱动，跨厂商移植可能踩坑；(3) 神经矢量量化的 K-means 初始化、码本训练与 Huffman 编码的串行流程容易出现数值不稳定（特别是 epsilon 取 1e-8 的细节），需要严格对齐论文实现。