← 返回 2026-10-20

FineSplat:细粒度图像块、局部分组与细节化高斯溅射 FineSplat: Fine Patches, Local Groups, Detailed Splats

Hyebin Kim, Hwasik Jeong, Joonhyuk Park, Gyeongjin Kang, Jungwoo Kim, Younghyun Kim, Eunbyung Park 📅 2026-10-18 👍 18 2026-11-11 18:30
3D高斯溅射 前馈3DGS 多视角注意力 新视角合成 无位姿重建

用4×4细patch加视角与3D双重分组,让前馈3DGS以更少高斯数重建更多细节

前置知识

3D Gaussian Splatting (3DGS)

一种显式三维场景表示:场景由大量带位置 $\mu$、协方差、不透明度和颜色的 3D 高斯基元组成,通过可微光栅化沿相机光线做 alpha 合成渲染出图像。与 NeRF 等隐式表示相比,它支持实时渲染,且可以通过对渲染图像与真实图像的差异求梯度来优化所有基元属性。

本文的最终输出就是一组 3D 高斯,理解高斯的属性(尤其位置 $\mu$ 和渲染贡献 $T\alpha$)是读懂 Stage 2 的 3D 锚点、误差聚合和贡献度剪枝的前提。

前馈式 3DGS(feed-forward 3DGS)

不做逐场景迭代优化,而是训练一个网络:输入若干张(有或无相机位姿的)图片,一次前向传播直接预测整个场景的 3D 高斯。网络在海量场景上训练,学到「看图猜高斯」的泛化能力,重建只需几秒,但单次预测难以像逐场景优化那样反复纠正错误,质量仍有差距。

本文正是要缩小前馈方法与逐场景优化的质量差距,其「渲染误差反馈」设计就是对逐场景优化中「渲染—对比—修正」循环的前馈化模拟。

Patch tokenization 与多视角自注意力

ViT 风格的做法是把图像切成 $p\times p$ 的图像块,每块线性嵌入为一个 token,再把多个视角的所有 token 拼在一起做自注意力以交换跨视角信息。几何基础模型(VGGT、π³、DA3 等)通常用 14×14 或 16×16 的粗 patch;若 token 总数为 $M$,全局自注意力复杂度是 $O(M^2)$,token 数量翻倍成本即翻两番。

本文的核心论点是粗 patch 丢失高频细节、细 patch(4×4)又令全局注意力爆炸,整个「双重分组」架构都是为解决这对矛盾而设计的,必须先理解 token 粒度与注意力成本的权衡。

无位姿(pose-free)重建与几何基础模型

当输入图片没有相机位姿时,先用几何基础模型(如 Depth Anything 3, DA3)从无标注多视角图片中联合估计相机内外参与稠密几何。这些模型用大规模数据预训练,具有强几何先验,但其特征建立在粗 token 化之上。本文采用解耦设计:DA3 只负责估位姿,高斯预测交给 FineSplat 自己的网络。

论文同时在 posed 和 pose-free 两种设置下评测,pose-free 实验依赖 DA3 提供的位姿;理解这个解耦设计才能明白为什么作者刻意「不用」基础模型特征来预测高斯。

序列化注意力与空间填充曲线

Point Transformer V3 提出的高效 3D 局部注意力:把 3D 点按 Z-order、Hilbert 等空间填充曲线排序,使 3D 上相邻的点在序列上也相邻,然后只对连续 $S$ 个点组成的窗口做自注意力。相比显式 k 近邻搜索,它以 $O(MS)$ 的代价获得局部 3D 上下文,且对大规模点云扩展性好。

FineSplat 的 Stage 2 完全基于该机制实现「3D 空间分组」,四个注意力块分别用四条不同曲线,让每个 token 在不同步骤遇到不同的 3D 邻居,这是理解方法章节的必要背景。

研究动机

前馈式 3DGS 虽然能在一次前向传播中完成重建,但把逐场景优化中的反复纠错全部压给了网络,因此与逐场景优化方法之间在细粒度几何与外观上仍存在明显质量差距。当前主流做法是在 3D 几何基础模型(如 VGGT、π³、DA3)之上搭建,而这些骨干网络普遍继承 14×14 或 16×16 像素的粗 patch tokenization:一个 token 把大片图像区域压缩成单一向量,重建细结构、锐利边缘和纹理所需的高频线索被丢弃;同时粗 token 之间的注意力空间分辨率有限,跨视角精确对应也更难。实际后果在论文实验中非常直观:在 DL3DV 的 6 视角 posed 设置下,最强的 2Xplat 只有 25.22 dB PSNR,且像素对齐方法的高斯数随分辨率和视角数线性增长,24 视角时膨胀到 1.2M 甚至更多,渲染一个 224×224 的视图用上百万高斯显然冗余。若直接把 patch 变细到 4×4,token 数量约增加 12~16 倍,全局多视角注意力的二次方复杂度会立即变得不可承受,这正是现有方法不敢做细粒度表示的根本原因。

本文的目标是本文的目标是构建一个既能保留细粒度视觉信息、又保持高效与紧凑的前馈 3DGS 框架,具体分解为四个子目标:其一,把 token 粒度从常见的 14×14/16×16 细化到 4×4 像素,让细结构、边缘和纹理信息在编码阶段不被压缩掉;其二,设计一种注意力度量方式,使 4×4 细 token 之间的多视角交互在计算上可行——不是通过暴力全局注意力,而是通过两种互补的局部性(视角维度的邻重视角分组 + 3D 场景空间的近邻分组)来组织交互;其三,弥补单次前向预测「没有机会检查自身错误」的缺陷,利用把高斯渲染回输入视角所得到的重建误差作为显式反馈信号,让网络在少量步骤内自我修正;其四,控制高斯基元数量,使细粒度特征的好处不以基元数爆炸为代价,在相同或更少的高斯预算下达到 state-of-the-art 的渲染质量,并同时覆盖有位姿与无位姿两种输入设定。

与已有工作不同的是,本文的独特切入角度有三点。第一,它拒绝在「粗 token」与「全局注意力」之间二选一:此前的效率方案要么压缩 token 粒度(14×14 patch),要么在视角空间里截断注意力范围(如 MVP 把视角分组),但视角分组本质上是 2D 的截断——对应同一 3D 表面的 token 可能落入不同视角组而永远无法交互,留下不可避免的盲区。FineSplat 把交互问题从视角空间搬到 3D 场景空间:先用预测的高斯中心把 token 升维到世界坐标,再按 3D 邻近性重新分组,让被视角分组拆开的几何相关 token 重新连接。第二,它把逐场景优化中「渲染—对比—修正」的循环蒸馏成显式的第二阶段:渲染误差图与预训练 ResNet-18 特征差拼成误差特征,直接注入 token 更新过程,只需 4 步而非数百次梯度下降。第三,与多数依赖基础模型特征的同行不同,作者刻意只用 DA3 估位姿、不用其特征做高斯预测,因为初步实验表明预训练特征与细粒度 token 结合并无明显增益——这是一个反直觉但诚实的设计决定。

核心方法

FineSplat 的整体直觉是:细粒度表示负责「看得清」,双重分组负责「算得起」,渲染误差反馈负责「改得对」,紧凑解码负责「存得下」。技术路线分为两个阶段。Stage 1(视角分组编码)基于多视角金字塔架构 MVP,把 $N$ 张 $224\times224$ 输入图像切成 4×4 的细 patch,在 14 层层级式 transformer 中逐级处理:前两层在 4×4 token(256 维)上做逐视角(frame-wise)注意力;中间四层在 8×8 token(512 维)上交替做逐视角注意力和视角组注意力(相邻两帧一组);最后八层在 16×16 token(1024 维)上交替做逐视角注意力和跨全部视角的全局注意力。随后用 DPT 风格的头把三级特征由粗到细融合:$z^{(0)} = \mathrm{fuse\_up}(\mathrm{fuse}(\mathrm{up}(F^3)+F^2)) + F^1$,得到 $M = NHW/p^2$ 个细粒度 token。Stage 2(3D 空间分组修正)先用共享的线性高斯头 $D$ 把每个 token 解码为 $K=4$ 个高斯,渲染回所有输入视角得到误差特征,再把 token 按其高斯中心均值升维到 3D 世界坐标,用序列化注意力在 3D 邻域内交换信息(融合自身误差与跨视角聚合误差),以残差形式更新 token,重新解码高斯;该「预测—渲染—3D 重分组—残差更新」循环重复 $T=4$ 步,权重共享。最后可选地按渲染贡献剪枝高斯,得到紧凑的最终表示。

核心创新是「双重分组」:视角分组(view-wise grouping)与 3D 空间分组(3D spatial grouping)捕获两种互补的局部性。已有方法的本质局限在于局部性只定义在视角空间——无论 MVP 的视角组还是其他截断策略,都是固定在输入帧之间划界,而场景中同一块 3D 表面会被多个视角看到,固定分组必然把观察同一表面的 token 拆进不同组,制造盲区。FineSplat 的关键一步是把 Stage 1 输出的细 token 用其预测高斯中心的位置均值 $p_j^{(i)} = \frac{1}{K}\sum_k \mu_{jk}^{(i)}$ 锚定到 3D 空间,形成带特征的点云,再按 3D 邻近性用序列化注意力重新组织交互——这样来自不同视角组、甚至相距很远视角的 token,只要对应场景中相邻的区域就能直接交换信息。第二个关键思想是把重建误差当作一等公民信号:忠实重建理应在输入视角下复现输入图像,因此把当前高斯渲染回输入视角,得到像素误差 $E_n = \hat{I}_n - I_n$ 与 ResNet-18 特征差 $\Delta\phi_n = \phi(\hat{I}_n) - \phi(I_n)$,拼合为误差特征图后分发给每个 token——它同时收到来自源 patch 的自身误差 $e_{\text{self}}$ 和所有可见视角的聚合误差 $e_{\text{agg}}$,相当于把逐场景优化的纠错机制压缩成 4 步前馈计算。

方法步骤详情

完整流程如下。步骤一(位姿估计):pose-free 设定下,由 DA3-Giant 初始化的 40 层位姿估计器(隐藏维 1536、24 头)预测相机内外参,位姿同时 conditioning 两个阶段。步骤二(Stage 1 编码):输入 $N\in\{6,12,24,32\}$ 张图像,经三级金字塔编码并融合为 $M = NHW/16$ 个 4×4 细 token $z^{(0)}\in\mathbb{R}^{M\times d}$。步骤三(初始高斯解码):线性高斯头 $D$ 把每个 token 映射为 $K=4$ 个高斯,每个高斯绑定一个 2×2 非重叠子块,学习二维偏移 $\delta_x = \frac{s}{2}\tanh(\Delta_x),\ \delta_y = \frac{s}{2}\tanh(\Delta_y)$(stride $s=2$,保证 $\delta\in[-s/2,s/2]$ 即不越出自己子块),子块中心 $(u_c,v_c)+(\delta_x,\delta_y)$ 经内参反投影、外参变换得到射线方向。步骤四(误差特征构建):把高斯渲染回每个输入视角,按式 (3) 得到 $F^{err}_n = [E_{err}(E_n, \Delta\phi_n); E_{feat}(F^n_1)]\in\mathbb{R}^{\frac{H}{p}\times\frac{W}{p}\times d_e}$(256 通道:128 误差分支 + 128 图像分支)。步骤五(跨视角误差聚合):对每个 token 检查其 3D 锚点 $p_j$ 在哪些视角可见——视锥测试(深度为正且投影在图内)加遮挡深度测试 $d_{jn} \le (1+\epsilon)D_n(u_{jn})$,$\epsilon=0.15$;按式 (4) 对所有通过测试视角的误差特征做双线性采样后平均得 $\bar{e}^{agg}_j$,与源视角的 $e^{self}_j$ 拼合融合为 $e_j$。步骤六(3D 分组与更新):特征 $h_j = \mathrm{Linear}[z_j^{(i)}; e_j]$(512 维)升维后的点云在 $384^3$ 体素网格上沿 Z-order、Hilbert 及其转置共四条曲线序列化,4 个 pre-norm transformer 块各用一条曲线,在每组 $S=8$ 个连续点上做自注意力,输出经线性层投影为 token 残差 $\Delta z_j^{(i)}$,按式 (5) 更新 $z_j^{(i+1)} = z_j^{(i)} + \Delta z_j^{(i)}$,再由共享头 $D$ 重新解码高斯。步骤七:重复步骤四至六 $T=4$ 次。步骤八(可选剪枝):按式 (9) 计算每个高斯对上下文视角的渲染贡献 $s_i$,保留得分最高的 $K = k\cdot N$ 个($k=10368$/视角)。训练分三阶段:Stage 1 先以像素对齐头训练 120K 迭代再换 patch 对齐头微调 80K 迭代(8 卡);Stage 2 冻结 Stage 1 训 20K 迭代(4 卡),损失 $\mathcal{L} = \frac{1}{T}\sum_{i=1}^{T}\left[\mathcal{L}_2(\hat{I}^{(i)}, I) + \lambda\mathcal{L}_{perc}(\hat{I}^{(i)}, I)\right]$,$\lambda=0.2$(VGG-19 感知损失),步间 token 做 detach;最后全模型端到端微调 10K 迭代(8 卡,pose-free、无相机损失)。全部在 NVIDIA B200 上完成。

技术新颖性

技术新颖性体现在四个层面。其一,架构组合上的新意:把 MVP 的多视角金字塔(2D 视角局部性)与 Point Transformer V3 的序列化注意力(3D 空间局部性)串联成两阶段流水线,两条曲线各自处理一种局部性,且 Stage 2 的 13.2M 参数相对轻量、四步共享权重,证明了「细 token + 双重局部性」可以替代昂贵的全局注意力。其二,误差反馈的使用方式:与 G3R 等从渲染梯度学习更新、或 per-scene 微调 token 的工作不同,FineSplat 用「渲染误差 + 冻结 ResNet-18 特征差 + 最细级图像特征」拼成误差特征图,并区分自身误差与跨视角聚合误差(后者需视锥与遮挡双重测试),使每个 token 不仅知道自己错了,还知道其他视角怎么看这块表面——这与 ATSplat 用预测误差图决定在哪里扩展 token 的思路也不同,这里误差直接参与每一步的特征更新。其三,patch 对齐的亚像素高斯解码:介于像素对齐(高斯数爆炸)与非对齐(细节差、难优化)之间的第三条路——每个 4×4 token 只出 4 个高斯,用 $\tanh$ 有界偏移实现连续亚像素定位,兼顾空间结构保持与基元紧凑。其四,诚实的负面结果:作者发现预训练基础模型特征与细粒度 token 结合并无增益,因而主动放弃这一流行做法,仅用 DA3 估位姿,这对社区是一个有价值的设计空间探索结论。

Method Overview. FineSplat first performs view-wise grouping and applies self-attention within each group, enabling efficient processing of fine-grained tokens. 3D spatial grouping lifts tokens into 3D space and enables interactions among spatially neighboring tokens, including those from different view groups, to enhance cross-view information exchange. Compact Gaussian generation predicts fewer Gaussians per token than existing pixel-aligned methods, maintaining a compact 3DGS representation. Finally, direct error feedback incorporates reconstruction errors obtained by rendering the input views to further refine token representations.
Figure 2: Method Overview. FineSplat first performs view-wise grouping and applies self-attention within each group, enabling efficient processing of fine-grained tokens. 3D spatial grouping lifts tokens into 3D space and enables interactions among spatially neighboring tokens, including those from different view groups, to enhance cross-view information exchange. Compact Gaussian generation predicts fewer Gaussians per token than existing pixel-aligned methods, maintaining a compact 3DGS representation. Finally, direct error feedback incorporates reconstruction errors obtained by rendering the input views to further refine token representations.
Neighbors within a serialized attention window in 3D space. Tokens in the same 3D spatial window share a color. Star: The query tokens in its source view. Circle: 3D positions of the tokens in the attention window projected onto the query's source view. Square: Image patches of the tokens in the attention window in their own source views.
Figure 6: Neighbors within a serialized attention window in 3D space. Tokens in the same 3D spatial window share a color. Star: The query tokens in its source view. Circle: 3D positions of the tokens in the attention window projected onto the query's source view. Square: Image patches of the tokens in the attention window in their own source views.
View selection for e_agg. The query token in the source view (center) is projected into the other context views. Star: query token in its source view. Square: projected location in a view that passes both the frustum and depth tests and is included in e_agg. Cross: projected location in a view that fails the depth test. Red-tinted view: view that fails the frustum test.
Figure 8: View selection for e_agg. The query token in the source view (center) is projected into the other context views. Star: query token in its source view. Square: projected location in a view that passes both the frustum and depth tests and is included in e_agg. Cross: projected location in a view that fails the depth test. Red-tinted view: view that fails the frustum test.

实验结果

核心结果按实验逐一分析。第一个实验(Table 1,DL3DV 主实验):FineSplat 单一模型在 posed 与 pose-free、6/12/24 视角全部配置上刷新纪录,posed 6 视角达 27.325 PSNR / 0.871 SSIM / 0.115 LPIPS(75K 高斯),24 视角仍保持 27.233 PSNR(301K 高斯);相对最强基线 2Xplat,posed 设置 PSNR 最高提升 +2.88 dB(24 视角:27.233 对 24.354),pose-free 最高 +2.75 dB(26.822 对 24.077),而高斯数只有其约 1/4。值得注意的是随视角增加的稳定性:DepthSplat 从 6 到 24 视角从 23.42 跌到 20.09,而本文基本持平甚至略升,作者归因于双重分组能消解多视角冗余与冲突预测。第二个实验(Table 2,RE10K 零样本):仅在 DL3DV 训练的模型 posed 6 视角达 27.394 PSNR,超过所有基线(含在 RE10K 上训练的 2Xplat 27.239);pose-free 26.554 为零样本方法最佳。第三个实验(Table 3,Mip-NeRF 360,域外+视角数外推):posed 设置每个视角数都是最高 PSNR,领先 2.49~3.33 dB;更重要的是对额外视角的利用——32 到 128 视角,基线最多涨 0.5 dB 或不涨反跌,本文涨 1.32 dB(posed)/1.00 dB(pose-free),证明 Stage 2 的 3D 交互把更多视角变成融合证据而非冗余预测。第四个实验(Table 4,Stage 2 步数分析):Stage 1 单独已有 26.11/25.79/25.78 PSNR(6/12/24 视角),1 步 Stage 2 即 +0.85/+1.04 dB,4 步共 +1.22/+1.46 dB(增益随视角增多而扩大);超出训练步数(8、16 步)无进一步增益甚至回退。消融(Table 6-8):视角组大小固定为 2 最优,改成 1(完全无跨视角细粒度交互)Stage 1 在 6 视角掉 4.18 dB,改成 24(单一全局组)掉 2.53 dB;去掉 $e_{\text{self}}$ 掉 0.44~0.62 dB,去掉 $e_{\text{agg}}$ 掉 0.09~0.17 dB 且随视角增多而变大;把 $e_{\text{agg}}$ 限制在本视角组内比随机删除同样数量的可见视角掉得更多(差距从 0.04 到 0.17 dB 随视角扩大),而组外可见视角占比从 55.5%(6 视角)升至 84.0%(24 视角),直接证实跨组信息确实被利用。效率(Figure 7):FineSplat 用比基线细得多的 4×4 patch 仍是 6/12 视角下最快的方法,24 视角快于 ZipSplat,相对最强基线的 PSNR 领先达 2.6 dB(6 视角)到 4.6 dB(24 视角)。附录补充:252×252 Bilinear+AA 协议下 posed 6 视角 28.33 dB;ScanNet++ 零样本(Table 9)posed 领先 DL3DV 训练基线 +1.19~+2.07 dB,且 64/128 视角时反超在 ScanNet++ 上训练的方法;剪枝版 Ours_prune 仅损失约 0.06~0.16 dB 即把高斯压到与 ZipSplat 相同的量级。

Novel view synthesis results on DL3DV with 6, 12, and 24 input views.
Table 1: Novel view synthesis results on DL3DV with 6, 12, and 24 input views.
Cross-dataset generalization results on Mip-NeRF 360 with 32, 64, and 128 input views.
Table 3: Cross-dataset generalization results on Mip-NeRF 360 with 32, 64, and 128 input views.
Rendering quality at each Stage 2 step on DL3DV with 6, 12, and 24 input views. Step 0 denotes the prediction from Stage 1.
Table 4: Rendering quality at each Stage 2 step on DL3DV with 6, 12, and 24 input views. Step 0 denotes the prediction from Stage 1.
Novel view synthesis results on DL3DV with 6, 12, and 24 input views at 252×252 resolution, evaluated on images downsampled with bilinear interpolation with anti-aliasing (Bilinear+AA).
Table 5: Novel view synthesis results on DL3DV with 6, 12, and 24 input views at 252×252 resolution, evaluated on images downsampled with bilinear interpolation with anti-aliasing (Bilinear+AA).
Ablation of the view-group size on DL3DV with 6, 12, and 24 input views.
Table 6: Ablation of the view-group size on DL3DV with 6, 12, and 24 input views.
Masking out the views outside the view group in e_agg at inference time.
Table 8: Masking out the views outside the view group in e_agg at inference time.
Cross-dataset generalization results on ScanNet++ with 32, 64, and 128 input views.
Table 9: Cross-dataset generalization results on ScanNet++ with 32, 64, and 128 input views.
Qualitative comparison on DL3DV with varying numbers of input views.
Figure 3: Qualitative comparison on DL3DV with varying numbers of input views.
Qualitative comparison on RE10K with 6 input views.
Figure 4: Qualitative comparison on RE10K with 6 input views.
Qualitative comparison on Mip-NeRF 360 with varying numbers of input views.
Figure 5: Qualitative comparison on Mip-NeRF 360 with varying numbers of input views.
PSNR against reconstruction time on DL3DV in the posed setting, with each marker annotated by the number of context views.
Figure 7: PSNR against reconstruction time on DL3DV in the posed setting, with each marker annotated by the number of context views.
Qualitative comparison on ScanNet++ with varying numbers of input views.
Figure 10: Qualitative comparison on ScanNet++ with varying numbers of input views.
查看结构化数据
任务指标本文基线提升
新视角合成(DL3DV,posed,24 视角) PSNR (dB) 27.233(301K 高斯) 2Xplat:24.354(1.2M 高斯) +2.88 dB,高斯数约 1/4
新视角合成(DL3DV,pose-free,24 视角) PSNR (dB) 26.822(301K 高斯) 2Xplat:24.077(1.2M 高斯) +2.75 dB,高斯数约 1/4
零样本跨数据集泛化(RE10K,posed,6 视角) PSNR (dB) 27.394(75K 高斯) 2Xplat:26.374(301K 高斯) +1.02 dB
零样本跨数据集泛化(Mip-NeRF 360,posed,128 视角) PSNR (dB) 24.576(1.6M 高斯) 2Xplat:21.250(6.4M 高斯) +3.33 dB,高斯数约 1/4
零样本跨数据集泛化(ScanNet++,posed,128 视角) PSNR (dB) 23.329(1.6M 高斯) 2Xplat:21.260(6.4M 高斯) +2.07 dB,并超过在 ScanNet++ 上训练的方法
紧凑表示(DL3DV,posed,6 视角,剪枝后) PSNR (dB) / 高斯数 27.165 / 62K ZipSplat:23.943 / 62K +3.22 dB(同等高斯预算)
重建效率(DL3DV,posed) PSNR 领先(单位重建时间) 领先最强基线 2.6 dB(6 视角)~ 4.6 dB(24 视角),且为最快方法之一 YoNoSplat / ZipSplat(14×14 patch) 4×4 patch 下质量-时间权衡全面占优

局限与改进

作者明确承认的局限有两条:一是细 patch 并非普适最优——足够大的基础模型在海量数据上训练后可能弥补粗 token 化的损失,本文的结论是在多视角 transformer 中「重新审视 token 粒度」很有效,而非「细 patch 永远更好」;二是预训练基础模型特征与细粒度 token 的结合在初步实验中未见明显改进,如何整合粗粒度语义几何特征以提升泛化仍是开放问题。我自己的观察补充如下:其一,所有评测都在 224×224(附录 252×252)的低分辨率进行,方法在高分辨率(如 512 以上)下 4×4 patch 带来的 token 数与序列化开销是否仍可控,论文未验证;其二,pose-free 设置完全依赖 DA3 初始化的位姿估计器,位姿误差会同时 conditioning 两个阶段,在位姿漂移严重的场景(如 Mip-360 pose-free 起点明显偏低)质量受限;其三,评测时 pose-free 需要额外 200 次迭代的评测期位姿对齐(EPA),这部分测试时计算常被忽略;其四,误差反馈的遮挡测试容差 $\epsilon=0.15$ 是人工设定的相对阈值,对半透明、薄结构或深度不连续密集的场景可能误判可见性;其五,剪枝版虽只掉 0.06~0.16 dB,但剪枝依据仅是上下文视角的渲染贡献,对目标视角可见而上下文视角不可见的高斯可能被误删;其六,Mip-360 上 24.58 dB 的绝对水平距逐场景优化方法仍有距离,无边界场景与复杂背景仍是前馈方法的共同短板。

独立分析的弱点

独立分析四个弱点并给出改进方向。弱点一:误差反馈循环的性价比上限明显。Table 4 显示 4 步之后收益饱和(第 4 步只比第 3 步高 0.03~0.04 dB),16 步甚至回退 0.2~0.4 dB,说明残差更新机制缺乏对「哪些区域仍需修正」的选择性,每步都对全部 $M$ 个 token 做渲染与 3D 注意力。改进方向:引入不确定性估计或误差驱动的稀疏化,只在误差高的区域激活反馈步,类似 ATSplat 的自适应扩展但用于 token 更新。弱点二:3D 分组对初始几何质量的依赖。锚点 $p_j$ 来自第一阶段预测的高斯中心,若初始深度/位置系统性偏差(如纹理弱区域、反射面),token 会被分到错误的 3D 邻域,误差聚合 $e_{\text{agg}}$ 的遮挡测试($\epsilon=0.15$)也会失真,形成「分组错→修正错」的恶性循环。改进方向:在早期步骤用更大的分组半径或软分组(注意力衰减核),随置信度提升逐步收紧,或对锚点位置本身做可学习的修正头。弱点三:剪枝准则与目标视角脱节。贡献分数 $s_i$ 只在上下文视角上累积混合权重 $T_{i,n}(u)\alpha_{i,n}(u)$,一个在上下文视角被遮挡、但对目标视角(尤其轨外视角)重要的高斯会被误删,这可能解释剪枝版 LPIPS 的下降幅度(0.011~0.015)大于 PSNR。改进方向:在贡献分数中加入视角覆盖度先验,或用少量 holdout 视角参与评分。弱点四:单一 $k=10368$/视角 的剪枝预算是全局常数,不随场景复杂度自适应——纹理简单的场景浪费预算,复杂场景不足(C3G 的失败恰恰说明固定 2K 高斯的灾难)。改进方向:按误差分布自适应分配每视角高斯预算,或引入可微的基元数正则。

未来方向

作者提出的方向:如何更有效地把粗粒度、语义与几何信息丰富的基础模型特征与细粒度局部表示融合,尤其用于提升跨域泛化——目前直接拼接特征并无增益,可能需要跨尺度注意力、特征蒸馏或门控机制。基于本文成果可自然延伸的方向包括:其一,更高分辨率与更大的视角数——3D 空间分组的线性扩展性暗示 FineSplat 可能是迈向高分辨率、数百视角前馈重建的合适骨架;其二,把误差反馈循环与逐场景测试时优化(test-time training / per-scene 微调)结合,形成「前馈初始化 + 少步自我修正 + 可选优化」的连续谱,用本文的 4 步结果作为比逐场景优化快几个数量级的初始化;其三,扩展到动态场景与流式输入,Stage 2 的 3D 重分组天然支持增量式加入新视角;其四,不确定性感知的误差特征——当前误差图是无符号的 $\hat{I}_n - I_n$,若携带每个像素的置信度(如由基础模型提供的深度不确定度),遮挡测试可以更鲁棒;其五,与生成式先验结合处理遮挡区域和稀疏视角极端情况;其六,将「渲染误差作为反馈」的思想迁移到表面重建、材质估计等其他以可微渲染为核心的输出头。

复现评估

复现评估:中等偏难。有利因素——项目页 https://hyebinny.github.io/FineSplat/ 已上线,附录实现细节异常详尽:Stage 1 的完整层级结构(层数、每级 token 尺寸、特征维度、注意力形式、视角组大小)、Stage 2 的全部超参($384^3$ 体素网格、四条空间填充曲线、$S=8$、512 维特征、13.2M 参数)、三阶段训练流程与各自迭代数(120K+80K / 20K / 10K)、优化器配置(AdamW,$\beta_1=0.9$,$\beta_2=0.95$,weight decay 0.05,梯度裁剪 1.0,bfloat16,各阶段学习率 2e-5 / 1e-4 / 2e-5)、损失函数(式 6,$\lambda=0.2$ VGG-19)、场景尺度归一化公式(式 7)、遮挡测试(式 8,$\epsilon=0.15$)与剪枝(式 9,$k=10368$)均有精确描述;评测协议(224×224、Lanczos 滤波、EPA 200 迭代)也完整公开,且数据集 DL3DV、RE10K、Mip-NeRF 360、ScanNet++ 全部公开可得。不利因素——论文正文未明确声明代码开源,若代码不发布,复现难度陡增:方法依赖 MVP、Point Transformer V3、DA3-Giant 三个外部组件的精确集成;训练在 NVIDIA B200 上完成(Stage 1 用 8 卡 200K 迭代),算力门槛远超普通实验室;训练细节中「先像素对齐训练再换 patch 对齐头微调」的过渡策略、三阶段的先后冻结关系、步间 detach 等工程选择对最终效果影响可能很大,缺少代码的情况下需要大量试错。综合估计:有代码则 4~8 卡 A100/H100 级别可复现,无代码则接近重写整篇方法。

相似论文推荐