基于U-Net架构的脉冲神经网络用于单幅图像去雾 U-Net-Like Spiking Neural Networks for Single Image Dehazing

DehazeSNN的处理流程包含以下具体步骤：（1）浅层特征提取阶段：输入雾图 $I \in \mathbb{R}^{3 \times H \times W}$，通过3×3卷积层生成浅层特征图 $F \in \mathbb{R}^{C \times H \times W}$。（2）深层特征提取阶段：特征图 $F$ 被送入5阶段的编码器-解码器网络，每个阶段由SNNBlock模块组成，配置为[8, 16, 32, 16, 8]个块（DehazeSNN-L）或[8, 12, 16, 12, 8]个块（DehazeSNN-M），嵌入维度为[24, 48, 96, 48, 24]。每个SNNBlock包含两个残差子模块：OLIFBlock和MLPs，通过Drop Path连接。（3）OLIFBlock内部处理：首先进行深度可分离卷积（DWConv），然后将特征图分解为水平和垂直两个分支。在每个分支中，通过LIF计算累积空间信息，具体公式为 $y_{g+1} = \sum W_g x_g$，$u_{g+1} = \tau u_g(1 - o_g) + y_{g+1}$。当 $u_{g+1} > V_{th}$ 时输出脉冲 $o_{g+1}=1$，否则 $o_{g+1}=0$。最终输出 $r_{g+1} = \max(u_{t+1}^{\text{norm}}, V_{th})$。（4）特征融合：编码器和解码器同层特征通过SKfusion融合，首先逐元素相加，然后通过GAP和MLP生成注意力权重。（5）图像重建：最终通过3×3卷积层输出重建图像 $J \in \mathbb{R}^{3 \times H \times W}$。训练采用L1损失和LPIPS损失的组合，公式为 $\mathcal{L}_{total} = \alpha_1 \mathcal{L}_1 + (1-\alpha_1) \mathcal{L}_{LPIPS}$，其中 $\alpha_1=0.5$。

DehazeSNN的技术新颖性体现在多个层面：首先，在方法论层面，这是脉冲神经网络（SNNs）在图像去雾领域的首次应用，开辟了全新的研究方向。SNNs传统上应用于分类、分割等高层视觉任务，本文证明了其在底层视觉复原任务中的潜力。其次，在模块设计层面，OLIFBlock提出了三项技术创新：（1）正交分组迭代机制——将特征图分解为水平和垂直方向分别处理，打破了传统SNNs依赖时间步累积的限制；（2）连续输出替代二值脉冲——输出 $r_{g+1} = \max(u_{t+1}^{\text{norm}}, V_{th})$ 使网络支持全精度梯度优化，解决了SNNs训练困难的核心问题；（3）空间域累积替代时间域累积——通过group steps实现GPU上的大规模并行计算，突破了SNNs难以在GPU上高效训练的瓶颈。第三，在架构设计层面，SKfusion替代传统的拼接融合方式，通过注意力机制实现自适应特征选择，在保持低计算成本的同时提升融合效果。第四，在性能-效率权衡方面，DehazeSNN-L以4.75M参数和37.27G MACs达到41.26 PSNR，相比参数量相似的DehazeNet（0.009M参数/19.82 PSNR）提升了21.44 PSNR，相比性能相近的DehazeFormer（25.44M参数/40.05 PSNR）减少了81%的参数和87%的MACs。

独立分析DehazeSNN的弱点，可以发现以下几个具体问题及改进方向：（1）正交分组策略的局限性——当前OLIFBlock仅采用水平和垂直两个方向的分组，这种固定的正交分解可能无法有效捕获对角线方向或其他复杂模式的特征。改进方向可以探索自适应方向学习机制，让网络自动学习最优的分组方向，或者增加更多方向的分支（如45°、135°）来增强特征表达能力。（2）模型容量与数据规模的不匹配——实验表明DehazeSNN在小规模数据集（ITS）上表现优异，但在大规模数据集（OTS）上性能下降。这暗示模型的表达能力可能受限于其轻量化设计。改进方向可以探索动态模型缩放策略，根据数据规模自动调整模型容量，或者采用渐进式训练策略逐步增加模型复杂度。（3）损失函数设计的简单性——当前采用固定的L1+LPIPS组合，权重为0.5:0.5。改进方向可以探索自适应权重调整策略，如基于课程学习的权重调度，或引入任务特定的感知损失（如边缘保持损失、结构相似性损失）。（4）缺乏对实际部署场景的评估——未考虑模型量化、剪枝、蒸馏等压缩技术对SNNs特性的影响。改进方向可以探索如何将SNNs的脉冲特性与模型压缩技术相结合，进一步降低实际部署成本。

基于DehazeSNN的成果，可以延伸出以下未来研究方向：（1）SNNs在其他底层视觉任务中的应用——本文证明了SNNs在图像去雾中的潜力，类似的轻量化设计理念可以推广到图像去噪、超分辨率、去模糊、图像增强等其他图像复原任务。特别是那些对计算效率要求高的实时应用（如视频增强、移动端图像处理）可能成为SNNs的理想应用场景。（2）神经形态硬件部署——SNNs天然适合在神经形态芯片（如Intel Loihi、IBM TrueNorth）上运行，未来可以探索DehazeSNN在这些专用硬件上的实际部署效果，可能实现比GPU更高的能效比。（3）混合架构设计——将SNNs与传统ANNs结合，利用SNNs的高效计算处理部分层或模块，同时保留ANNs的强大表达能力处理复杂特征，可能实现更好的性能-效率权衡。（4）自适应脉冲机制——当前OLIFBlock使用固定的阈值 $V_{th}$ 和衰减系数 $\tau$（均为0.25），未来可以探索自适应的脉冲策略，让网络根据不同输入特性动态调整这些参数。（5）多任务联合学习——将去雾与深度估计、语义分割等任务联合训练，可能提升各任务的性能并实现更好的特征共享。论文作者也提到将探索DehazeSNN架构在更多图像复原任务中的应用。

从复现性角度评估，DehazeSNN具有较好的可复现条件：首先，论文明确声明代码已在GitHub公开（https://github.com/HaoranLiu507/DehazeSNN），这大大降低了复现门槛。其次，训练细节描述完整——使用PyTorch框架，AdamW优化器，初始学习率 $5 \times 10^{-5}$（$V_{th}$和$\tau$参数）和 $1 \times 10^{-4}$（其余参数），衰减至 $1 \times 10^{-6}$，指数衰减率 $\beta_1=0.9$，$\beta_2=0.999$，patch size 256×256，batch size 4（L）或5（M），这些参数都明确给出。第三，数据集使用公开基准——RESIDE和RS-Haze均为广泛使用的去雾基准数据集，易于获取和标准化。第四，计算资源需求适中——仅需单张NVIDIA GeForce RTX 4090 GPU即可训练，这是许多研究机构都能提供的硬件条件。第五，模型架构细节清晰——TABLE IV给出了完整的配置参数，包括块数、嵌入维度、MLP比率、LIF参数等，便于精确复现。潜在的复现挑战可能在于SNNs的实现细节，特别是OLIFBlock的正交分组迭代机制和连续输出替代二值脉冲的具体实现，需要仔细参照代码。