CogSENet：基于模糊条件语义路由和显式频率融合的盲图像去模糊 CogSENet: Blind Image Deblurring with Blur-Conditioned Semantic Routing and Explicit Frequency Fusion
受鹰视觉系统启发，提出语义驱动状态空间模型与双频率融合块实现高效盲图像去模糊
前置知识
状态空间模型（SSM）
状态空间模型是一类通过状态向量递推建模序列数据的数学框架，在视觉任务中常用于替代Transformer的self-attention机制。SSM通过状态转移方程和输出方程实现线性复杂度的长程依赖建模，相比self-attention的O(n^2)复杂度具有显著计算优势。选择性扫描机制通过动态调整状态参数（A、B、C矩阵）实现内容自适应的信息传播。
本文的SDSSM模块基于SSM构建，理解SSM的工作原理和选择性扫描机制是掌握语义驱动路由的关键。
小波变换
小波变换是一种时频分析工具，通过将信号分解为不同频率和尺度的分量实现多分辨率表示。Haar小波是最简单的正交小波，通过相邻像素的平均和差分操作将图像分解为低频近似系数和高频细节系数，分别对应全局结构和局部纹理。离散小波变换可以表示为X = W^(-1)[X_LL, X_H]，其中W是小波变换矩阵。
本文的BFFB模块使用小波变换显式解耦高频和低频成分，理解小波变换有助于掌握频率感知的图像恢复机制。
Gumbel-Softmax分布
Gumbel-Softmax是一种用于离散采样的可微分近似方法，通过引入Gumbel噪声g ∼ Gumbel(0,1)和温度参数tau将离散的one-hot分布转换为连续的softmax分布。当tau → 0时逼近离散采样，当tau → ∞时退化为均匀分布。这种方法使端到端训练中的离散决策变得可微分。
本文的SDSSM模块使用Gumbel-Softmax实现端到端可微分的语义路由，理解这种技巧对掌握可微分离散操作至关重要。
CLIP语义先验
CLIP（Contrastive Language-Image Pre-training）是OpenAI提出的多模态模型，通过对比学习在大规模图像-文本对上预训练，学习到通用的视觉-语言联合表示。CLIP图像编码器将图像映射到语义向量空间，不同语义内容的图像在嵌入空间中呈现聚类特性。使用时通常冻结CLIP参数，仅将其作为外部语义先验提取高层语义特征。
本文在瓶颈层使用冻结的CLIP编码器提取全局语义嵌入，通过余弦相似度计算空间注意力图调制深层特征，理解CLIP的语义表示能力是掌握这一机制的基础。
研究动机
现有的盲图像去模糊方法在处理真实世界的空间变化退化时面临严峻挑战。CNN-based方法如Restormer和NAFNet虽然在局部特征提取上表现良好，但由于卷积操作的局部性偏置，难以捕捉长程依赖关系，在处理非均匀模糊时效果受限。Transformer-based方法如SwinIR通过self-attention机制捕获全局交互，但计算复杂度为O(n^2)，难以处理高分辨率输入。更近期的状态空间模型（SSM）方法如EVSSM虽然实现了线性复杂度的全局建模，但缺乏显式的频率分解机制，无法有效区分有效纹理和伪影。具体而言，在RealBlur-R数据集上，即便是最先进的NAFNet（39.80 dB PSNR）也无法完全恢复字符和边缘等高频细节，说明现有方法在语义感知和频率解耦方面存在根本缺陷。大多数方法将恢复视为静态的像素映射回归，忽视了高层语义理解与低层物理退化之间的内在联系。
本文的目标是本文的目标是提出一个统一的框架，将盲图像去模糊从被动的像素回归提升为主动的语义对齐重建过程。通过引入语义驱动的状态建模和显式频率融合，桥接语义感知与物理纹理恢复之间的鸿沟，使网络能够基于语义上下文理解恢复什么内容，并通过可解释的频率分析确定如何恢复。具体目标包括：设计语义驱动的状态空间模块实现内容自适应的token路由；构建双频率融合块显式解耦高频纹理和低频结构；提出连续模糊场与CLIP语义先验的联合调制机制，模拟视觉系统的焦距自适应能力。
与已有工作不同的是，本文的独特切入角度是从鹰视觉系统的生物机制中汲取灵感，将计算机视觉的静态像素映射转变为动态的语义对齐重建。鹰视觉系统通过四个专门化机制实现卓越的清晰度：主动扫视扫描用于语义目标检测，启发本文的SDSSM模块进行语义分组扫描；视网膜功能分化，启发BFFB模块解耦高频/低频成分；连续焦距自适应，启发连续模糊场建模空间变化模糊；记忆回忆启发使用冻结CLIP先验提供高层语义指导。与现有方法不同，本文不是简单地堆叠更深的网络或更复杂的注意力机制，而是从生物视觉的物理可解释性出发，将语义路由、频率感知重建和连续退化条件统一起来，这是一个从算法设计到生物启发的范式转变。
核心方法
CogSENet的整体架构是一个层次化的编码器-解码器网络，由堆叠的CogSF块构建而成。网络首先通过3x3重叠卷积从输入图像提取浅层特征，通道数C=48，然后送入三级对称的编码器-解码器主干。在每一级，特征的空间分辨率为2^(l-1)H x 2^(l-1)W，通道维度为2^(l-1)C。每个CogSF块包含两个互补模块：SDSSM模块用于语义上下文聚合，BFFB模块用于显式双频率细化。与传统U型结构不同，本文仅在瓶颈层注入自顶向下的指导：从输入预测连续模糊场u，并与冻结CLIP编码器提取的全局语义嵌入c联合调制瓶颈特征。编码器和解码器之间通过跳跃连接保留细节，最终通过轻量级3x3重建头预测残差图像并与输入相加。整个网络的浅层特征维度为48，三级主干块的堆叠数量分别为[6, 6, 12]。
本文的核心创新点是将语义路由、频率感知重建和连续退化条件三者统一起来。与现有方法存在本质区别：首先，将长程依赖建模从均匀扫描转变为语义驱动路由，通过SDSSM模块内的非因果token分配实现提示调制的选择性扫描，而非传统SSM的固定因果顺序扫描；其次，将特征处理从隐式空间卷积转变为显式频率解纠缠，通过基于小波变换的分解和专用高频/低频分支（BFFB）确保物理可解释的恢复；最后，将退化建模从离散核预测提升为连续模糊场感知，并联合利用冻结CLIP语义先验进行深层特征调制。这三个创新点分别对应鹰视觉系统的扫视扫描、视网膜分化和焦距自适应机制，使网络能够在理解恢复内容的基础上，通过可解释的频率分析确定恢复方式。
方法步骤详情
方法步骤包含以下完整流程。输入为退化图像I_in，输出为恢复图像。步骤一：特征提取。通过3x3卷积提取浅层特征F_s，通道数C=48。步骤二：编码器处理。特征经过三级编码器，每级包含多个CogSF块。每个CogSF块先通过SDSSM聚合语义上下文：将展平的token序列T通过Gumbel-Softmax采样分配向量p_i，计算语义提示z_i = sum(p_i,k * e_k)，其中E是可学习码本。通过排序算子P_pi将tokens按主导聚类索引重新排列形成语义连续序列，结合交替空间翻转实现非因果全局感知。状态转移方程为h_j = A_bar_j * h_(j-1) + B_bar_j * t_tilde_j，输出方程为y_tilde_j = (C_j * z_tilde_j) * h_j + D * t_tilde_j。步骤三：双频率融合。BFFB通过正交小波变换W将特征X分解为低频近似系数X_LL和高频细节系数X_H。低频分支使用轻量U型模块建模全局结构，高频分支使用密集卷积增强局部细节。并行地，频率域细化分支将信号映射到傅里叶域进行自适应谱滤波。最终通过自适应残差融合，其中beta和gamma是可学习标量。步骤四：瓶颈调制。在编码器第3级后，预测连续模糊场u = d_max * tanh(CNN_blur(I_in))，其中d_max是最大位移约束。将u调整到瓶颈分辨率后与特征F拼接并通过1x1卷积融合得到模糊感知描述符。冻结CLIP图像编码器提取全局语义token c，通过逐像素余弦相似度计算空间注意力图。最后通过残差注意力门控调制原始特征，其中gamma是初始化为零的可学习标量。步骤五：解码器重建。调制后的特征F送入解码器，通过跳跃连接逐级集成高分辨率细节，最终通过重建头预测残差并与输入相加。
技术新颖性
本文的技术新颖性体现在三个方面。首先，SDSSM模块提出了语义驱动的非因果扫描机制，通过Gumbel-Softmax可微分硬路由将tokens按语义聚类重新排列，结合交替空间翻转打破传统SSM的因果约束，实现提示条件下的长程依赖建模。与通用SSM不同，SDSSM在状态空间传播中注入语义提示到发射矩阵C_j，使状态转移具备内容感知能力。其次，BFFB模块显式解耦频率成分，通过小波变换的物理可解释分解而非隐式卷积学习分离高频纹理和低频结构，结合傅里叶域谱滤波实现自适应纹理恢复。这种双频率设计比单纯的注意力机制更具物理可解释性，能够有效区分有效细节和伪影。最后，连续模糊场与CLIP语义先验的联合调制是一个新颖的物理-认知融合机制，将低层退化感知与高层语义理解结合，通过余弦相似度注意力实现焦距自适应的语义引导恢复，模拟生物视觉的主动注意力机制。这种设计在复杂的非均匀模糊场景中比离散核预测更有效，能够捕捉退化的连续空间变化轨迹。
实验结果
本文在多个基准数据集上进行了全面实验验证。在盲图像去模糊任务中，CogSENet在GoPro数据集上达到34.72 dB PSNR和0.9744 SSIM，仅使用8.9M参数，显著优于同量级的FFTformer（34.21 dB，16.6M参数）和EVSSM（34.51 dB，17.1M参数）。增强版本CogSENet+进一步将性能提升至34.91 dB和0.9757 SSIM，在保持19.4M参数的情况下超越了大规模的AdaRevD（34.50 dB，152.4M参数）。跨数据集泛化实验中，在GoPro训练、HIDE测试的设置下达到32.18 dB PSNR和0.9514 SSIM。在真实世界模糊数据集上表现尤为突出，RealBlur-R达到41.83 dB PSNR和0.9799 SSIM，RealBlur-J达到34.54 dB PSNR和0.9473 SSIM。去雨任务中，在Rain100H上达到32.15 dB PSNR和0.9099 SSIM，相比Restormer提升0.69 dB。去噪任务中，在BSD68数据集上达到28.29 dB PSNR和0.8062 SSIM，在高噪声水平下优势明显。去雾任务中，在SOTS数据集上达到28.72 dB PSNR和0.9692 SSIM，超越MPRNet 0.51 dB。消融实验验证了各组件有效性：移除SDSSM导致PSNR降至33.95 dB，移除语义提示降至34.15 dB，移除语义重分组降至34.21 dB；移除BFFB导致PSNR降至33.92 dB，移除高频/低频分解降至34.01 dB；仅使用连续模糊场或仅使用CLIP语义增益有限，但联合调制显著提升性能。可视化分析表明SDSSM学习到的路由图与语义结构一致，连续模糊场能够准确捕捉非均匀退化的空间分布。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 盲图像去模糊（GoPro） | PSNR (dB) | 34.72 | EVSSM | +0.21 |
| 盲图像去模糊（GoPro） | 参数量(M) | 8.9 | FFTformer | -7.7 |
| 盲图像去模糊（RealBlur-R） | PSNR (dB) | 41.83 | MLWNet | +1.14 |
| 图像去雨（Rain100H） | PSNR (dB) | 32.15 | Restormer | +0.69 |
| 图像去噪（BSD68, σ=50） | PSNR (dB) | 28.29 | AirNet | +0.06 |
| 图像去雾（SOTS） | PSNR (dB) | 28.72 | MPRNet | +0.51 |
局限与改进
作者承认的局限性包括：物理-语义联合调制依赖于冻结的CLIP先验，在极端运动模糊破坏了可识别语义线索的情况下，CLIP编码器无法提取有效语义，导致焦距自适应退化为近乎均匀的注意力，模糊场也会错失复杂的局部运动，最终在恢复图像中留下残余模糊和垂直伪影。从论文观察到的额外局限包括：在严重退化的场景（如极低光照或极端运动模糊）中性能可能下降，因为此时语义先验的可靠性降低；小波变换的固定基函数可能无法自适应所有类型的图像退化，对于某些复杂的退化模式可能需要更灵活的频率分解方式；连续模糊场的预测仅基于轻量级CNN，在极其复杂的非均匀模糊（如相机抖动与场景运动同时存在）中可能不够精确；方法在跨任务泛化时需要禁用模糊场分支，说明该组件是任务特定的，限制了通用性；推理时需要CLIP编码器前向传播，虽然冻结参数不参与梯度计算，但仍增加了一定的计算开销。
独立分析的弱点
独立分析的弱点包括：首先，CLIP语义先验的脆弱性在退化场景中尤为明显，当图像模糊到语义无法识别时，整个注意力机制失效，改进方向是引入对退化更鲁棒的语义提取器，例如基于扩散模型的语义特征提取或多尺度语义融合机制。其次，固定的小波基函数限制了频率分解的自适应性，改进方向是学习自适应小波核或使用可学习的频率分解网络，根据图像内容动态调整频率划分。第三，连续模糊场仅基于图像本身预测，没有利用时间信息或相机参数，改进方向是引入视频模态或EXIF元数据作为补充输入，提升模糊场估计的准确性。第四，方法在跨任务泛化时需要手动禁用特定分支，缺乏统一的任务自适应机制，改进方向是设计任务条件化的架构，通过轻量级任务标识符自动启用/禁用相关模块。第五，实验仅报告了静态图像恢复任务，在视频去模糊等时间相关任务上的有效性尚未验证，改进方向是扩展SDSSM的时间维度建模能力，捕获时空联合的长程依赖。
未来方向
作者提出的未来工作方向包括：整合对退化更鲁棒的语义提取器，扩展架构到视频恢复任务。基于本文成果可延伸的研究方向包括：探索更复杂的生物视觉机制，如仿生视网膜的非均匀采样和动态可变焦距；将语义路由扩展到多模态场景，结合文本提示或音频信号指导图像恢复；研究连续模糊场在其他任务中的应用，如图像超分辨率或低光增强；探索更高效的频率分解方法，如基于学习的小波变换或自适应滤波器组；将物理-语义联合调制框架推广到其他低层视觉任务，如去雾、去雨的统一建模；研究SDSSM在大规模高分辨率图像上的可扩展性，优化内存和计算效率；探索元学习机制，使网络能够快速适应新的退化类型而不需要大量重新训练。
复现评估
论文声明训练代码和模型将在CogSENet项目页面开源，这对于复现性评估是积极的。实验使用四张NVIDIA L40 GPU进行训练，提供了详细的训练配置：浅层特征维度48，三级主干块数量[6,6,12]，优化器AdamW，学习率从1e-3退火到1e-7，采用三阶段渐进训练策略（128x128 patch，batch size 32，300K迭代；256x256 patch，batch size 8，300K迭代；320x320 patch，batch size 4，150K迭代）。数据增强包括随机水平/垂直翻转和旋转。评估数据集包括公开的GoPro、HIDE、RealBlur、Rain100L/H、RESIDE-SOTS、BSD68，这些数据集均被广泛使用。然而，论文未提供推理代码、预训练模型权重下载链接、超参数配置文件和详细的安装依赖说明，这对实际复现造成了一定困难。算力要求较高（四张L40 GPU），可能限制部分研究者的复现能力。未报告不同随机种子的方差，无法评估结果的稳定性。虽然提到了CLIP模型的具体版本（冻结使用），但没有说明使用的具体预训练权重来源。总体而言，复现难度为中等，代码开源将有助于降低难度。
论文图表
该图展示了CogSENet的生物视觉启发机制，包含四个子图分别对应鹰视觉系统的四个专门化机制：主动扫视扫描（用于语义目标检测）启发SDSSM的语义分组扫描；视网膜功能分化（区分中央凹的高锐度纹理和周边的广阔结构）启发BFFB的高频/低频解耦；连续焦距自适应启发连续模糊场建模空间变化模糊；记忆回忆启发使用冻结CLIP先验提供高层语义指导。每个子图都清晰地展示了生物机制与本文方法的对应关系。
这张图对理解论文的核心理念至关重要，它不仅展示了方法的生物启发来源，还构建了整个框架的概念框架。四个生物机制的对应关系解释了为什么本文要将语义路由、频率分解和连续建模统一起来，这是理解后续技术细节的前提。
该图展示了失败案例分析，包含6个子图：输入极端运动模糊图像，CLIP引导的注意力图（退化为近乎均匀的注意力），估计的连续模糊场（错失复杂的局部运动），模糊幅度图，重建图像，真实清晰图像。从图中可以看出，在极端运动模糊破坏了可识别语义线索的情况下，CLIP编码器无法提取有效语义，导致注意力机制失效，最终在恢复图像中留下残余模糊和垂直伪影。
这张图对理解论文的局限性很重要。它展示了方法在极端退化场景下的失效模式，解释了为什么CLIP语义先验的可靠性是关键瓶颈。这为未来的改进方向提供了明确的指导，即需要引入对退化更鲁棒的语义提取器。