AsySPLAT：面向长序列场景建模的高效非对称3D高斯泼溅 AsySplat: Efficient Asymmetric 3D Gaussian Splatting for Long-Sequence Scene Modeling

完整流程分四步。步骤1（Tokenization）：$V$ 张 $I_i \in \mathbb{R}^{H\times W \times 3}$ 拼接Plücker射线后，以 $p_c=16$、$p_f=8$ 切分，得粗粒度 $C_0 \in \mathbb{R}^{(VHW/p_c^2)\times d_c}$（$d_c=192$）与细粒度 $F_0 \in \mathbb{R}^{V\times(HW/p_f^2)\times d_f}$（$d_f=256$）。步骤2（Geometry Branch，三stage）：每stage先 $N_b=4$ 层双向Mamba $B_l^s=\text{Mamba}(B_{l-1}^s)$，再 $N_a=4$ 层稀疏注意力 $T_l^s=\text{SparseAttn}(T_{l-1}^s)$，维度按 $\{192,512,896\}$ 增大、扩张比 $\{1,2,3\}$；稀疏注意力把序列reshape成2D map，每帧独立卷积聚合上下文（去掉掉1.0+ PSNR），再按 $2\times 2$ 网格分块做self-attention。步骤3（Appearance Branch，三stage）：每stage $N_v=2$ 层MambaVision，$d_f=256$ 不变，全程intra-frame。每stage末bilateral connection：$C^s=\text{Reshape}(\text{CrossAttn}(\tilde{C}^s,\tilde{F}^s))$、$F^s=\text{SelfAttn}(\text{CrossAttn}(\tilde{F}^s,\tilde{C}^s))$。步骤4（Merging）：两token map经 $3\times 3$ 步长 $p_c/p_f=2$ 卷积融合，每像素解码 $p_f^2$ 个高斯，共 $VHW(p_f/p_c)^2$ 个。训练渐进分辨率 $256^2$/bs256/60k → $512^2$/bs64/10k → $540\times 960$/bs64/10k，配FlashAttention-2、梯度检查点、BFloat16、deferred backpropagation。

技术新颖性分四层。第一，'非对称架构'首次把可泛化3DGS中无差别token交互拆成任务感知双分支：粗粒度+90%参数的几何分支 vs 细粒度+10%参数的外观分支，三维度（粒度、计算、参数）同时非对称。第二，bilateral connection用双向cross-attention（细→粗注入高频、粗→细回传几何），去掉任一方向都掉点（fine→coarse掉0.14、coarse→fine掉1.91 PSNR）。第三，把Mamba省下的算力再投资到更多注意力层，并提出稀疏注意力（2D map + 卷积 + $p_g\times p_g$ grid），在540×960阶段把iter从10.5s降到6.0s（减~43%）而性能不降。第四，同参数量下AsySPLAT-98M/24layer全面碾压LongLRM变体（18layer-103M、减宽-99M、hierarchical-102M，PSNR 19.24 vs 18.39/17.71），证明设计紧凑模型非平凡。

独立分析的弱点有四方面。第一，'粗几何即可'假设依赖alpha合成：对极端稀疏视角或强视角差异场景，几何精度下降可能导致高斯错位，alpha合成救不回来。改进：在几何分支引入深度监督或预训练深度先验（如DepthSplat用DepthAnything）。第二，外观分支用intra-frame交互意味着完全依赖几何分支的深度线索做跨视图一致性，若几何分支某帧出错该帧外观无法被其他视图纠正。改进：bilateral connection中加轻量跨视图一致性loss或少量跨帧信息。第三，$p_g=2$ 的稀疏注意力把token分到4块做self-attention，块间信息只能靠卷积传递，对跨视图长距离匹配可能不够。改进：借鉴Shifted Window或dilated grid让块边界交错。第四，AsySPLAT-98M在DL3DV-140零迭代PSNR=24.00，略低于LongLRM零迭代的24.10，说明主训练分布上并非全面领先，零样本优势可能来自参数减少的隐式正则化，机制不清。改进：补充scaling law分析。

作者明确提出的延伸：（1）把非对称设计原则推广到其他视觉任务（暗示可能用于视频、动态场景建模）；（2）稀疏注意力模块可独立用于其他长序列token交互场景。基于成果可延伸的方向：（1）将两条'观察'推广到动态场景3DGS（4D高斯）——动态场景中外观时变性更强，几何估计更难，非对称重分配可能收益更大；（2）探索pose-free设置下的非对称架构，作者在related work提到pose-free可泛化3DGS是开放方向，几何分支的非对称容量是否有助于姿态鲁棒性值得研究；（3）用学习到的patch size替代固定 $p_c/p_f$，让模型自适应地为不同区域分配粒度；（4）把后优化与bilateral connection统一——既然外观比几何容易，能否让后优化只针对几何部分做，进一步加速；（5）将非对称思想与diffusion-based 3D生成结合，外观分支可作为高效的detail decoder。

开源：论文标'Preprint'，提供主页 https://zhongyingji.github.io/asysplat/，但未明确代码开源时间表，大量训练细节说'refer to supplementary materials'但preprint未见。数据：训练用DL3DV（10k+训练场景、140基准场景），评测用DL3DV-140、Tanks&Temples、MipNeRF-360、Deep Blending、Replica——均公开可获取。算力：540×960阶段batch size 2，靠FlashAttention-2+梯度检查点+deferred backpropagation把显存压到48G（单卡A100/H100 80G可跑），累计约54小时（推测需多卡分布式，未明示GPU型号）。难度：高——架构新颖（自研稀疏注意力、bilateral connection）、训练技巧密集、消融仅在256×256下完成。一般实验室复现540×960需多卡A100/H100训练数天；但256×256消融（batch 24, 10k iter）可复现，可用于验证核心思想。