SDF-Net：面向光学-合成孔径雷达船舶重识别的结构感知解耦特征学习网络 SDF-Net: Structure-Aware Disentangled Feature Learning for Opticall-SAR Ship Re-identification
利用刚性几何结构实现跨模态船舶识别
前置知识
光学-合成孔径雷达跨模态识别
光学传感器通过被动采集太阳光反射成像，工作在可见光波段约0.4-0.7微米；SAR是主动微波传感器，发射厘米级波长电磁波并接收回波，工作在X波段或C波段约3-5.6厘米。两者成像物理机制完全不同：光学受材质吸收光谱和光照条件影响，SAR受表面粗糙度、介电常数和角反射几何控制，导致严重的非线性辐射失真。
理解这两种传感器的物理差异是本文的核心，因为这种主动-被动成像机制的巨大鸿沟使得传统的统计对齐方法失效，需要引入物理先验来解决问题。
解耦特征学习
将网络学习的特征空间分解为模态不变的身份特征和模态特定的风格特征两个子空间。通过正交约束强制这两个子空间相互独立，身份特征包含跨模态的共同线索，特定特征保留传感器独有的物理特性。光学和SAR图像经过同一网络后，输出的特征向量被分解为两个正交的分量。
本文在终端阶段使用解耦策略，但与VI-ReID（可见光-红外行人重识别）不同，不将特定特征视为噪声丢弃，而是通过加性残差融合保留互补信息，这对理解本文的创新设计至关重要。
结构一致性约束
从中间层特征图提取梯度能量统计量，经过实例归一化后构建尺度不变的结构描述符。梯度算子捕获空间强度变化而非绝对幅度，作为高通滤波器本质上不敏感于SAR的相干散射强度缩放。全局空间聚合将离散的高强度角反射器响应整合为宏观船体轮廓，通过计算模态特定原型之间的距离来强制跨模态一致性。
这是SDF-Net的核心物理先验：船舶是刚性目标，其宏观几何结构在跨模态时保持稳定，而纹理外观高度依赖传感器。理解这一点才能明白为什么要在中间层施加结构约束。
非线性辐射失真
由于微波后向散射和可见光反射之间的巨大波长差异，导致两种传感器对同一目标的强度响应根本上不一致。SAR图像遭受乘性相干斑噪声、高强度的金属角反射器响应，以及叠掩、透视缩短和阴影等几何失真；光学图像受云遮挡、海面耀斑和日照变化影响。这种失真不是简单的加性噪声，而是模态特定的物理现象。
NRD是光学-SAR ReID面临的核心挑战，其严重程度远超VI-ReID。传统的基于度量的特征对齐在NRD下变得数学上病态，因为直接的表观对应关系被模态特定信号波动破坏而非简单的高斯噪声。
梯度能量统计量
对中间特征图计算水平方向和垂直方向的一阶偏导数，通过空间积分聚合绝对梯度幅度，得到每通道的全局梯度能量描述符。这个描述符经过实例归一化后，成为尺度不变的结构锚点。计算过程首先使用相邻像素差分计算梯度场，然后对梯度幅值进行空间平均，最后对每个样本独立进行归一化处理。
梯度能量是SCL模块的核心技术，它在保留空间拓扑的同时足够抽象以远离底层噪声。理解这个统计量的计算过程和物理意义有助于掌握SDF-Net如何在中间层提取模态不变的结构先验。
研究动机
光学和SAR图像之间的船舶重识别面临严重的模态鸿沟，这是由两种传感器根本不同的物理成像机制造成的。光学传感器在约0.4-0.7微米的可见光波段被动采集太阳光反射，图像受材质吸收光谱和光照条件控制；SAR传感器在约3-5.6厘米的X波段或C波段主动发射微波并接收后向散射，图像受表面粗糙度、介电常数和角反射几何控制。这种差异不是程度上的，而是物理本质上的：两种传感器测量的是完全不同的物理量。SAR图像遭受乘性相干斑噪声、离散的高强度金属角反射器响应，以及叠掩、透视缩短和阴影等雷达特定几何失真；光学图像受云遮挡、海面耀斑、季节和时间变化的日照强度影响。结果导致严重的非线性辐射失真，在HOSS-ReID数据集上，最先进的TransOSS方法在SAR-to-Optical协议下仅达到38.7%的mAP，表明现有方法无法可靠地跨越这个主动-被动成像鸿沟。
本文的目标是本文的目标是开发一个物理引导的表示学习框架，专门解决光学-SAR船舶重识别的独特挑战。核心思想是明确利用船舶作为刚性目标的物理先验：其宏观几何结构在跨传感器模态和观测条件下保持稳定，特别是在近天底观测几何下。相比之下，纹理外观高度依赖传感器。作者希望设计一个网络，能够在中间特征层级强制执行跨模态几何一致性，同时在终端阶段解耦模态不变的身份特征和模态特定的传感器特征，通过参数自由的加性残差融合整合这些互补线索，最终在HOSS-ReID基准上超越现有方法的性能，同时不增加任何额外的参数。
与已有工作不同的是，现有方法主要从数据驱动的角度解决这个挑战，将跨模态ReID表述为特征分布对齐问题。早期工作侧重于学习共享嵌入空间以减少模态差异，最近的深度模型利用卷积神经网络或Vision Transformer隐式对齐高层语义表示。尽管这些方法取得了令人鼓舞的性能，但它们通常将特征提取视为黑盒过程，缺乏明确的机制来区分模态不变的身份线索和传感器特定干扰如相干斑、海杂波或照明变化。进一步减轻模态差异的最新方法探索了生成合成和复杂的分布匹配策略，虽然这些方法减少了统计分歧，但经常引入过高的计算成本，并有引入幻觉伪影的风险，这些伪影会遮蔽身份关键特征。关键的是，这种纯统计对齐忽略了海上目标作为刚性物体的物理约束。与行人重识别（通常利用可变形姿态对齐或稳定的解剖比例）不同，海上目标表现出强烈的内在几何刚性。作者认识到SAR成像在不同入射角下会引入投影失真如叠掩和透视缩短，虽然这些雷达特定现象改变了微观层面的像素对应关系，但船只的宏观拓扑布局、全局船体比例和上层建筑配置在传感器模态间保持高度的一致性程度。本文的独特角度是直接在表示学习中编码这种物理先验，在跨模态关联中建立物理意义的地形基准，而不是仅仅依赖表示层面的相似性。
核心方法
SDF-Net基于Vision Transformer主干架构，引入两个物理引导的模块。首先是Structure-Aware Consistency Learning模块，在中间特征层提取归一化的梯度能量统计量，通过原型级别的结构一致性损失强制同一船舶的光学和SAR表示在几何上对齐。这充当鲁棒的物理锚点，将表示空间锚定在不变的刚性船体结构上，而不是高度变化的纹理上。其次是Disentangled Feature Learning模块，在终端阶段将抽象表示分解为共享的身份子空间和模态特定的辅助子空间，通过正交约束确保这两个子空间的数学独立性。不同于将特定特征作为噪声丢弃，本文通过加性残差融合策略整合这些互补线索：共享特征作为主要的跨模态锚点，特定特征作为残差细化，在不引入维度冗余的情况下最大化判别能力。整体损失函数包含标签平滑交叉熵损失、加权三元组损失、正交性损失和结构一致性损失，通过超参数平衡身份监督、特征解耦和结构一致性三个目标。
SDF-Net的核心创新是明确地将几何结构作为物理先验纳入跨模态表示学习，这在光学-SAR船舶ReID领域是第一个系统性尝试。与现有方法依赖隐式统计对齐不同，SDF-Net在中间特征层引入尺度不变的结构一致性约束，利用梯度能量统计量构建模态无关的结构描述符。梯度算子捕获空间强度变化而非绝对幅度，作为高通滤波器本质上不敏感于SAR的乘性强度缩放，全局空间聚合将离散的高强度角反射器响应整合为宏观船体轮廓。在终端阶段，SDF-Net解耦特征并通过加性残差融合整合模态特定线索，这与VI-ReID中将特定特征视为噪声丢弃的实践有本质区别。另一个关键创新是选择了中间层（第6块）作为结构锚点，因为浅层被低级噪声主导，深层过于抽象而丢失了精细的几何布局信息，中间层提供了空间保真度和语义抽象的最佳平衡。
方法步骤详情
SDF-Net的完整前向处理流程包含四个主要步骤。首先，输入图像被分割为非重叠的16x16像素补丁，通过跨模态双头Tokenizer处理。光学图像使用独立的线性投影头映射到C维潜在空间，主要捕获基于反射率的纹理原语；SAR图像使用另一个独立的投影头，嵌入通常被相干斑噪声污染的后向散射强度模式。这种双头配置在进入共享Transformer主干之前实现了粗略的辐射对齐。其次，前6个Transformer块处理Token序列，提取中间特征图。SCL模块从该特征图计算水平和垂直方向的一阶偏导数，通过空间积分聚合绝对梯度幅度得到每通道的全局梯度能量描述符，组合为结构特征向量。该描述符经过实例归一化得到尺度不变的归一化结构描述符，然后在每个身份的模态特定原型之间计算结构一致性损失。第三，剩余的Transformer块处理特征，提取终端表示。DFL模块通过两个独立的线性投影头（没有非线性激活）将终端表示分解为共享身份特征和模态特定特征，通过正交约束确保子空间独立性。最后，通过参数自由的加性残差融合得到最终判别性身份表示，用于身份分类和检索。
技术新颖性
SDF-Net的技术新颖性体现在三个方面。首先，这是首个将物理先验系统性引入光学-SAR船舶ReID表示学习的工作，明确利用船舶刚性几何结构作为跨模态锚点。其次，SCL模块在中间Transformer层提取归一化梯度能量统计量，这是尺度不变的结构描述符，能够鲁棒地对抗严重辐射失真，包括SAR的乘性强度缩放和光学图像的照明变化。这种中间层策略是新颖的，因为浅层被噪声主导，深层过于抽象，中间层提供了空间拓扑保留和语义抽象的最佳平衡点。第三，DFL模块的加性残差融合策略与VI-ReID中的解耦实践有本质区别：本文将模态特定特征视为物理传感器足迹如SAR角反射器响应而非噪声，通过残差细化补充共享几何骨架，实现了鲁棒性和判别能力的协同。消融实验表明，SCL单独使用提高SAR-to-Optical mAP但降低Rank-1，这反映了鲁棒性和判别能力的权衡；DFL单独使用在SAR-to-Optical协议下严重退化，证明没有几何引导的解耦在主动-被动跨模态设置下是有害的；只有两者的组合才在所有指标上实现最佳性能，验证了这种设计的必要性。
实验结果
在HOSS-ReID基准上的广泛实验表明，SDF-Net在所有评估指标和检索协议下持续超越现有最先进方法。在综合的All-to-All协议下，SDF-Net达到60.9%的mAP和69.9%的Rank-1准确率，分别超过当前领先基线TransOSS 3.5%和4.0%。性能差距在更具挑战性的SAR-to-Optical任务中尤为显著，SDF-Net将mAP从38.7%提升到46.6%，绝对增长7.9%。这一提升验证了通过Structure-Aware Consistency学习模块将身份表示锚定在模态不变几何骨架上的有效性。通过利用刚性船体结构作为确定的物理锚点，SDF-Net保持了一个对辐射波动远比TransOSS使用的隐式全局注意力机制敏感的鲁棒共享流形。加性残差融合策略进一步通过将模态特定细微差别作为细化而非噪声来整合，增强了模型的判别精度，为跨模态海上目标关联建立了新的最先进性能。消融研究揭示了三个关键发现：SCL单独使用提高SAR-to-Optical mAP但降低Rank-1，反映了鲁棒性和判别能力的经典权衡；DFL单独使用在没有几何正则化时导致模态特定子空间漂移到互不兼容区域，在SAR-to-Optical协议下严重退化；只有SCL和DFL的组合在所有指标上达到最佳结果，证明这些模块不是独立的加性组件，而是互补组件。结构提取层灵敏度分析表明，从浅层提取结构先验导致次优性能，因为早期处理阶段的主要低级辐射噪声和相干斑伪影污染了梯度能量统计量；随着提取层指数增加到中间层，性能指标显著改善，第6块配置达到最佳整体性能；在更深层执行结构一致性导致明显的性能退化，因为高层语义特征变得过于抽象和空间坍塌。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| All-to-All | mAP | 60.9% | TransOSS: 57.4% | +3.5% |
| All-to-All | Rank-1 | 69.9% | TransOSS: 65.9% | +4.0% |
| Optical-to-SAR | mAP | 50.0% | TransOSS: 48.9% | +1.1% |
| Optical-to-SAR | Rank-1 | 35.4% | TransOSS: 33.8% | +1.6% |
| SAR-to-Optical | mAP | 46.6% | TransOSS: 38.7% | +7.9% |
| SAR-to-Optical | Rank-1 | 38.8% | TransOSS: 29.9% | +8.9% |
局限与改进
作者承认的局限性包括：方法在约3.0米地面采样距离以下和入射角约15度以下会性能下降，在这些极端条件下需要几何校正或投影增强训练。DFL在没有SCL的情况下会降低性能，表明这两个模块必须一起部署，不能作为独立的即插即用组件。HOSS-ReID仍然是该领域唯一公开的基准，对其他船舶类型和港口的泛化性有待验证。SDF-Net假设上游船舶检测器提供实例裁剪，检测误差会传播到ReID阶段。作者还观察到两个重复的失败模式：第一个涉及具有高度相似几何轮廓的船舶（可比较的船体轮廓、长宽比和上层建筑布局），SDF-Net会混淆这些船舶，因为SCL模块锚定在宏观几何而不是精细纹理上；第二个涉及低分辨率目标，船舶跨越的像素太少，无法在中间特征层生成可靠的梯度能量统计量。此外，作者指出当前框架在近天底条件下表现良好，但尚未针对更大入射角下的严重几何失真如叠掩和透视缩短进行优化，虽然建议了基于SAR距离-多普勒几何的物理信息投影增强训练策略。
独立分析的弱点
首先，SDF-Net在极端分辨率下性能显著下降。在0.25倍缩放（约3.0米GSD）时，性能下降明显，这是因为当船舶跨越的像素太少时，中间特征层无法生成可靠的梯度能量统计量，结构先验变得模糊不清。改进方向可以包括多尺度特征融合，同时利用浅层的高分辨率信息和中间层的结构信息，或者引入超分辨率预处理模块来增强低分辨率输入的结构细节。其次，SDF-Net在大入射角下（小于15度）性能严重退化，因为SAR的距离轴缩放和剪切模拟的叠掩和透视缩短扭曲了船体足迹。虽然作者提出了基于物理信息的投影增强训练策略，但这需要进一步验证和优化。改进方向可以包括引入显式的几何失真建模模块，或者在特征空间中学习对投影变形的鲁棒表示。第三，DFL模块在没有SCL的正则化下会导致模态特定子空间漂移到互不兼容区域，特别是在SAR-to-Optical协议下。这表明当前的解耦策略过于激进，需要更温和的约束来平衡模态不变性和模态特定性。改进方向可以是引入自适应的融合权重，根据几何锚点的置信度动态调整共享特征和特定特征的贡献，或者设计更复杂的解耦机制，允许模态特定特征在几何锚点不可靠时承担更多责任。第四，SDF-Net将几何相似的不同船舶混淆，因为它过于依赖宏观几何而忽略了精细纹理。改进方向可以包括在终端阶段引入纹理级别的注意力机制，专门用于区分几何相似但实际不同的船舶，或者利用额外的模态（如AIS数据、电子海图）提供身份线索。
未来方向
作者提出的未来方向包括：将物理信息的投影增强整合到训练中，以扩展SDF-Net对更大入射角下严重几何失真的鲁棒性；基于几何锚点置信度的自适应融合权重，使网络能够在几何先验可靠时更多依赖结构锚点，在几何先验模糊时更多依赖模态特定特征；将结构中心范式扩展到近天底观测之外的多视图几何；在更多船舶类型和港口数据上验证泛化性。基于论文成果可延伸的方向包括：将中间梯度能量统计量框架推广到其他传感器对如LiDAR-相机融合，这些传感器对也面临主动-被动成像鸿沟；探索多层级的结构约束，不仅在中间层施加，还在浅层和深层引入适应性的几何正则化；研究端到端联合检测和ReID框架，减少检测误差对ReID阶段的传播；引入时间上下文信息，利用船舶轨迹的连续性来增强身份判别；探索可解释性方法，将学习的结构表示与物理参数（如船长、船宽、上层建筑高度）关联起来，提高系统的透明度和可信任度；研究小样本学习策略，使系统能够快速适应新的船舶类型和港口环境；探索联邦学习框架，在保护数据隐私的前提下聚合多个港口的数据进行模型训练。
复现评估
论文宣布代码和训练模型已在GitHub公开，这是完全开源的。所有实验在单个NVIDIA RTX 3090 GPU（24GB显存）上完成，软件环境为PyTorch 2.2.2和CUDA 11.8。模型使用在TransOSS框架提供的大规模光学-SAR图像对上预训练的ViT-B/16权重初始化，输入图像统一调整为256x128像素。数据增强包括水平翻转（概率0.5）、随机裁剪（零填充）和随机擦除（概率0.2）。使用SGD优化器，权重衰减为0.0001，初始基础学习率为0.0005，在早期阶段包含线性预热策略，在总共100个训练epoch内平滑衰减。联合损失优化的超参数经验设置为正交性权重10.0和结构一致性权重1.0，中间结构特征从第6个Transformer块提取。为了确保跨模态原型一致性损失的可计算性并避免单模态批次，实现了严格的跨模态采样策略：每个大小为32的小批次严格约束包含8个不同的船舶身份，每个身份随机采样4个实例，确保2张光学图像和2张SAR图像的平衡组成。HOSS-ReID数据集是公开可用的，光学图像由吉林-1光学星座以0.75米地面采样距离获取，SAR图像由TY-MINISAR SAR星座以1.0米获取。消融研究提供了四个变体的完整比较，所有变体共享相同的超参数配置以进行受控的组件级比较。复现难度中等，主要挑战在于需要足够的GPU内存来运行ViT-B/16主干，以及需要获取HOSS-ReID数据集。总体而言，论文提供了充分的实验细节和开源资源，使得独立研究者能够复现主要结果。
论文图表
该图直观展示了光学-SAR船舶重识别任务的核心挑战。左侧展示了一幅光学卫星图像，可见光波段下船舶呈现出丰富的视觉细节，受太阳光反射和材料颜色影响；右侧展示了一幅SAR图像，主动微波成像下同一船舶呈现出截然不同的外观，遭受相干斑噪声污染和高强度的金属角反射器响应。图中通过箭头连接了光学和SAR图像中的同一船舶，强调了任务目标：在两种模态间进行身份关联。背景显示了两幅卫星图像的对比，光学图像清晰显示船体纹理和上层建筑细节，而SAR图像主要反映后向散射强度，船体轮廓通过亮斑和暗影来表示。图下方标注了Optical satellite和SAR satellite，明确指出了两种传感器的不同特性。
这张图对理解论文至关重要，因为它直观地展示了光学-SAR跨模态船舶重识别任务面临的根本挑战。通过并排对比同一船舶在两种模态下的外观差异，读者可以立即理解为什么传统基于外观的匹配方法会失败：光学图像中的纹理颜色和材质反射在SAR图像中完全不保留，取而代之的是相干散射效应和几何失真。这为论文的核心动机——利用刚性几何结构作为物理先验——提供了直观的视觉基础，帮助读者理解为什么需要SDF-Net这样的框架来跨越这个主动-被动成像鸿沟。
该表格展示了特征融合策略的消融研究结果，比较了四种不同的融合方法在三个评估协议下的性能。仅使用特定特征的配置在All-to-All协议下达到58.7%的mAP和67.6%的Rank-1，在Optical-to-SAR协议下达到44.3%的mAP和29.2%的Rank-1，在SAR-to-Optical协议下达到43.9%的mAP和35.8%的Rank-1。仅使用共享特征的配置在All-to-All协议下达到59.2%的mAP和68.2%的Rank-1，在Optical-to-SAR协议下达到49.8%的mAP和33.8%的Rank-1，在SAR-to-Optical协议下达到43.1%的mAP和37.3%的Rank-1。连接策略在All-to-All协议下达到59.5%的mAP和68.8%的Rank-1，在Optical-to-SAR协议下达到50.7%的mAP和35.4%的Rank-1，在SAR-to-Optical协议下达到45.1%的mAP和35.8%的Rank-1。加性融合在All-to-All协议下达到60.9%的mAP和69.9%的Rank-1，在Optical-to-SAR协议下达到50.0%的mAP和35.4%的Rank-1，在SAR-to-Optical协议下达到46.6%的mAP和38.8%的Rank-1。
这个表格对理解SDF-Net的终端设计至关重要，它验证了加性残差融合策略相对于其他融合方法的优势。仅使用特定特征产生最低性能，确认了传感器依赖特性（如SAR相干斑模式或光学颜色纹理）在脱离底层身份结构时不足以进行可靠的跨模态匹配。共享特征单独达到不错的mAP，验证了正交约束在隔离模态不变线索方面的有效性，但观察到性能平台期，表明丢弃所有模态特定信息不可避免地导致精细判别细节的丢失。连接策略引入了两倍的维度扩展，在All协议下仅产生微小的提升，反而引入不必要的计算开销和冗余。提出的加性融合达到峰值性能，证明将模态特定特征作为参数高效的残差细化处理在不扩展原始维度的情况下最大化了判别能力。这个表格特别重要，因为它支持了论文与VI-ReID实践的关键区别：不将模态特定特征视为噪声丢弃，而是通过加性互补策略保留这些物理有意义的线索（如SAR角反射器响应编码上层建筑几何，光学颜色和纹理编码材料属性）。
该图展示了SDF-Net对两个关键超参数的敏感性分析，使用热力图可视化。左侧热力图显示mAP随正交性约束权重和结构一致性权重的变化，右侧热力图显示Rank-1的变化。热力图的x轴表示结构一致性权重从0.5到4的取值，y轴表示正交性约束权重从1到15的取值，颜色从浅到深表示性能从低到高。在mAP热力图中，峰值性能出现在正交性权重为10和结构一致性权重为1的组合，达到60.9%的mAP。当结构一致性权重固定为1时，增加正交性约束权重从1到10导致mAP从58.5%单调上升到60.9%，超过10后开始轻微下降。当正交性约束权重固定为10时，结构一致性权重从0.5到2的变化导致mAP在58.5%到60.9%之间波动，最优值在1.0附近。在Rank-1热力图中，类似地，最优性能出现在正交性权重为10和结构一致性权重为1，达到69.9%的Rank-1。热力图整体显示出SDF-Net对超参数变化的鲁棒性，性能在较宽范围内保持相对稳定，没有出现灾难性失效的情况。
这张图对理解SDF-Net的实用性至关重要，因为它证明了框架不需要过度精细的超参数调整，显示出强的泛化潜力。结构权重在1.0附近最优，有效桥接模态差距而不过度支配语义特征空间。同时，增加正交性权重逐步强制共享和特定特征的解耦，在正交性权重为10.0时达到峰值判别能力。偏离这些最优设置导致温和的性能退化而非灾难性失效，这表明SDF-Net的设计具有良好的鲁棒性。这张图特别重要，因为它消除了对复杂超参数搜索的担忧，使研究者更容易复现和扩展该方法。对于跨模态船舶重识别这样的实际应用场景，模型需要对超参数变化保持鲁棒性，因为部署环境可能与训练环境有所不同。这个分析表明SDF-Net满足这一要求，增强了其在实际海上监控任务中的可行性。
该表格展示了baseline（TransOSS）和SDF-Net之间的计算复杂度和性能比较。TransOSS有86.24M参数，推理时需要22.25G FLOPs，在All-to-All协议下达到57.4%的mAP和65.9%的Rank-1。SDF-Net有86.24M参数（与baseline完全相同），推理时需要22.42G FLOPs，在All-to-All协议下达到60.9%的mAP和69.9%的Rank-1。SDF-Net相对于baseline的参数增长为0（零参数增加），FLOPs增长为0.17G（从22.25G到22.42G），即不到0.8%的计算增加。这一微小的计算开销带来了显著的性能提升：mAP从57.4%提升到60.9%（绝对增长3.5%），Rank-1从65.9%提升到69.9%（绝对增长4.0%）。
这个表格对评估SDF-Net的实用性至关重要，它证明了该方法在显著提升性能的同时保持了极高的参数和计算效率。SDF-Net引入零额外参数，这得益于SCL模块中空间梯度积分和实例归一化的无参数性质，以及DFL模块中元素级加性融合的无参数设计。在计算开销方面，SDF-Net仅需22.42G FLOPs，比baseline的22.25G FLOPs增加了0.17G，不到0.8%的增长。这一边际计算开销产生了3.5%的绝对mAP改进和4.0%的绝对Rank-1改进。这个表格特别重要，因为它与许多跨模态对齐方法形成对比，后者经常引入过高的计算成本，如复杂的生成模型或重度注意力机制。SDF-Net的参数和计算效率使其在实际部署中更具吸引力，特别是在资源受限的海上监控场景中，计算和存储预算往往是主要限制因素。这一分析也强化了论文的核心信息：物理引导的结构先验可以在不增加模型复杂度的情况下显著提升跨模态匹配性能。
该图展示了SDF-Net生成的空间注意力图的Grad-CAM可视化，分为四组对应四个不同的船舶实例。每组从左到右依次显示：输入光学图像、对应的光学注意力图、SAR注意力图、输入SAR图像。在光学注意力图中，网络成功定位了船舶的主要判别区域，同时有效缓解了周围海杂波的影响。关键的是，对应的SAR激活表现出高度一致的空间分布。尽管固有相干斑噪声和高强度散射伪影的严重干扰，模型可靠地关注目标对应的空间位置。图中通过颜色强度表示注意力强度，红色表示高注意力区域，蓝色表示低注意力区域。在所有四组中，光学和SAR注意力图都集中在船体轮廓和上层建筑布局上，而非背景噪声或传感器特定伪影。SAR图像中的相干斑噪声和角反射器高亮区域在注意力图中的权重被抑制，网络关注的是跨模态一致的几何结构。
这张图对理解SDF-Net的表示对齐机制至关重要，它从视觉上验证了结构感知一致性学习模块的有效性。严格的跨模态注意力一致性证明了在中间层施加结构约束鼓励网络将特征表示锚定在模态不变的空间布局上，而不是传感器依赖的纹理上，从而建立鲁棒的身份关联。在光学域，网络的注意力成功定位了船舶的主要判别区域，同时有效缓解了周围海杂波的影响。在SAR域，尽管固有相干斑噪声和高强度散射伪影的严重干扰，模型可靠地关注目标对应的空间位置。这种视觉现象支持了论文的核心前提：通过强制执行中间结构约束，网络学习关注刚性船体轮廓和空间布局，这些在光学和SAR图像中都是一致的。这张图特别重要，因为它提供了理论洞察的视觉证据，解释了为什么SDF-Net能够在严重辐射失真下保持稳定的身份表示。它与特征演化图一起，构成了SDF-Net内部机制的完整视觉解释。
该图展示了Vision Transformer不同层深度特征图的热力图演化过程，分为两个模态组。对于每个模态组，列从左到右依次表示原始输入图像，然后是从第2、4、6、8、10、12层提取的特征激活图。在早期处理阶段（第2层和第4层），特征图具有高空间分辨率但仍然严重纠缠于模态特定伪影。在光学域，注意力响应严重被局部背景变化和照明不一致性分散。同时，对应的SAR特征被离散的高强度后向散射点和相干斑噪声主导。这些浅层表示保留了过多的传感器依赖特征，使它们不适合直接几何对齐。随着分层提取进展到中间阶段（第6层），发生了深刻的空间细化。网络有效地过滤掉了模态特定的辐射失真，提炼出船舶的集中和干净的空间布局。物理比例和拓扑结构在这个特定深度得到鲁棒保留，为跨模态匹配提供了最佳和稳定的结构锚点。相反，从第8层到第12层的更深层展示空间保真度的渐进退化。在终端身份分类目标的驱动下，深度自注意力机制积极地聚合全局上下文。因此，特征响应变得空间坍塌和过度抽象。虽然这些终端表示封装了最终检索所需的高判别语义线索，但它们很大程度上丢失了显式结构正则化所需的精细物理定位。
这张图对理解SDF-Net的架构设计选择至关重要，它为为什么选择第6块作为结构提取层提供了视觉解释。从浅层到深层的演化展示了一个明显的过渡，从低级传感器干扰到高级语义抽象。早期层（第2、4层）的特征图仍然严重纠缠于模态特定伪影：光学域被局部背景变化和照明不一致性分散，SAR域被离散的高强度后向散射点和相干斑噪声主导。中间层（第6层）发生了深刻的空间细化，网络有效地过滤掉了模态特定的辐射失真，提炼出船舶的集中和干净的空间布局。更深层（第8-12层）展示空间保真度的渐进退化，特征响应变得空间坍塌和过度抽象。这个视觉现象直接证实了之前的定量消融发现，该发现将第六块识别为结构一致性约束的最佳插入点。这张图特别重要，因为它支持了论文的一个关键直觉：中间层是提取模态不变结构先理的最佳位置，它们保留了足够的空间拓扑来表征船舶的物理布局，同时足够抽象以远离原始辐射噪声。
该图展示了baseline和SDF-Net在三个评估协议下的检索结果的定性比较，分为三列：All-to-All、Optical-to-SAR、SAR-to-Optical。每列分为两行：baseline的检索结果和SDF-Net的检索结果。每行显示查询图像（左上角带问号），后跟前5个检索结果。绿色边界框表示正确匹配，红色边界框表示错误匹配。在All-to-All协议下，baseline在前5个检索结果中只有2-3个正确匹配（绿色），而SDF-Net有4-5个正确匹配。在Optical-to-SAR协议下，baseline经常将光学查询与具有类似海杂波或类似相干斑噪声分布的库图像匹配，导致多个错误匹配（红色），而SDF-Net更准确地基于船体轮廓和空间布局检索对应的SAR图像。在SAR-to-Optical协议下，baseline经常被SAR图像中的角反射器高亮区域或海杂波模式误导，检索到错误的船舶，而SDF-Net即使在查询被相干斑噪声严重污染的低分辨率SAR图像时，也能基于不变结构原语（如船体轮廓和空间布局）准确地检索对应的光学图像。
这张图对理解SDF-Net的实际优越性至关重要，它直观地展示了baseline在跨模态匹配中的脆弱性和SDF-Net的鲁棒性。baseline表现出对跨模态匹配中固有的非线性辐射失真的明显脆弱性。主要由全局外观和纹理相似性驱动，baseline经常在最前排名检索到假阳性候选（由红色边界框指示）。这种失败机制在极具挑战性的Optical-to-SAR和SAR-to-Optical场景中特别明显。不是匹配船舶的物理身份，baseline倾向于将查询与共享类似海洋背景、类似吃水模式或可比较相干斑噪声分布的库图像关联。这种行为突出了当缺乏明确物理约束时纯统计对齐的脆弱性。相反，SDF-Net在所有评估的排名和协议下一致地识别出正确目标，实现了显著更高的真阳性匹配密度。通过结构感知一致性学习模块将特征表示锚定在模态不变几何骨架上，提出的网络成功绕过了复杂海杂波和雷达伪影的干扰。这张图特别重要，因为它将定量性能提升转化为直观的视觉差异，帮助读者理解SDF-Net在实际应用中的优势。
该图展示了SDF-Net失败案例的分析，分为两个面板：左面板显示SAR-to-Optical检索，右面板显示Optical-to-SAR检索。每个面板有三行，每行显示查询图像、正确的地面真值匹配、SDF-Net的排名第一但不正确的预测。在SAR-to-Optical检索中，三个失败案例都涉及具有高度相似几何轮廓的船舶：查询船舶和错误匹配船舶具有可比较的船体轮廓、长宽比和上层建筑布局，导致SDF-Net混淆这些身份。在Optical-to-SAR检索中，三个失败案例中有两个涉及低分辨率目标，船舶跨越的像素太少，无法在中间特征层生成可靠的梯度能量统计量；另一个涉及几何上高度相似的船舶。图中使用绿色边界框表示地面真值匹配，红色边界框表示模型预测，查询图像左上角带问号标记。在低分辨率案例中，SAR图像中的船舶仅由几个像素组成，几何结构模糊不清。在几何相似案例中，两艘船舶具有几乎相同的船体形状和上层建筑布局，唯一的区别在于精细纹理细节。
这张图对理解SDF-Net的局限性和适用边界至关重要，它确定了模型失败的条件。两个重复的失败模式浮现出来。第一个涉及具有高度相似几何轮廓的船舶，SDF-Net会混淆这些船舶，因为SCL模块锚定在宏观几何而不是精细纹理上。这是鲁棒性和判别能力权衡的直接后果：SCL的结构锚定抑制了本可以用于区分几何相似但不同身份的模态特定外观线索。第二个模式涉及低分辨率目标，船舶跨越太少的像素，无法在中间特征层生成可靠的梯度能量统计量，这与稳定性分析中识别的0.25倍分辨率边界一致。这些失败模式定义了结构中心跨模态匹配的实际极限，并激发了讨论中概述的未来方向。这张图特别重要，因为它诚实地展示了SDF-Net的局限性，帮助读者理解该方法的适用范围。它为未来的改进提供了明确的方向：如何在保持结构锚定鲁棒性的同时，区分几何相似的不同船舶；如何在低分辨率条件下增强结构先理的可靠性。