SHAMISA：用于自监督无参考图像质量评估的隐式结构关联的形状建模 SHAMISA: SHAped Modeling of Implicit Structural Associations for Self-supervised No-Reference Image Quality Assessment
基于图加权的非对比自监督框架，联合建模失真与内容，提升无参考图像质量评估泛化性。
前置知识
No-Reference Image Quality Assessment (NR-IQA)
无参考图像质量评估旨在在没有原始无失真图像的情况下，仅从失真图像预测人类感知质量。它通常依赖图像统计特征或深度表示，通过回归将图像特征映射到主观质量分数，如MOS或DMOS。
NR-IQA是本文任务基础，理解其挑战（缺乏参考和标注）对于领会为何引入自监督与关系约束至关重要。
Self-Supervised Learning (SSL)
自监督学习从无标签数据中构建代理任务，例如对比学习通过拉近同一图像的不同增强视图、推开不同样本，非对比方法用方差与协方差正则防止坍塌，学习通用表征。
本文基于非对比SSL（如VICReg）并扩展为图加权不变性，理解这些基础有助于判断其改进与对比。
Contrastive vs Non-contrastive Learning
对比学习方法（如SimCLR）依赖负样本区分正样本对，可能引入采样偏差；非对比方法（如VICReg）避免负样本，通过特征方差、协方差正则与不变性约束表征。
SHAMISA采用非对比框架并用图加权关系替代刚性正样本对，理解两者区别可更好把握其动机。
Graph-weighted Invariance
图加权不变性将二元的增强不变性对扩展为软加权图 $G \in [0,1]^{N \times N}$，其中 $G_{ij}$ 表示样本对之间的关系强度，损失为 $L'_{\mathrm{inv}} = \sum_{i,j} G_{ij} \|z_i - z_j\|_2^2$，实现精细的关系建模。
这是本文核心机制之一，理解其数学形式和与二元对等价的特殊情况有助于把握其改进本质。
Optimal Transport (OT) Clustering Guidance
通过Sinkhorn-Knopp算法在特征空间与可训练原型之间计算平衡分配，并以交叉熵引导样本聚类目标，构建全局结构先验图。
OT导向是本文关系图的重要来源，理解其作用与Sinkhorn平衡约束有助于评估其对全局几何的贡献。
研究动机
现有无参考图像质量评估（NR-IQA）方法在泛化与鲁棒性上面临困难。监督方法依赖昂贵的主观标注（如KADID-10K需30万+评分），难以扩展；自监督方法（如SimCLR、MoCo）源自分类任务，学习内容主导、失真不变的表征，与质量评估中需要同时建模失真与内容相矛盾。现有自监督IQA方法CONTRIQUE按失真类型分组，忽略内容；Re-IQA分离训练内容与失真流，假设浅层融合可恢复复杂交互；ARNIQA对齐等失真样本，强制刚性近邻而忽视内容导致的感知差异。这些方法在跨数据集迁移与真实混合失真场景中表现不稳定，且大多依赖对比损失与负样本采样，易受采样偏差影响。
本文的目标是本文提出SHAMISA，构建一个非对比自监督框架，在不依赖人工质量标注的前提下，学习同时敏感于失真类型与内容特征的统一表征空间。通过组合失真引擎生成可控轨迹，并用双重关系图（元数据驱动与结构内在）构建图加权的VICReg目标，在合成与真实基准上实现更强的泛化性。
与已有工作不同的是，本文切入角度是将刚性二元配对泛化为软、可控的隐式结构关联，并引入双层图监督。与现有工作不同：一是采用组合失真引擎在连续参数空间生成可数失真族，并在每组内仅单因素变化，实现精细可控的严重度轨迹；二是构建Metadata-Driven Graphs（基于失真元数据的软边）与Structurally Intrinsic Graphs（基于kNN与OT聚类的结构图），二者通过stop-gradient交替更新，实现关系引导与表征学习的闭环。这克服了已有方法在内容与失真耦合建模不足、负采样偏差、以及跨内容失真对齐僵化等问题。
核心方法
SHAMISA的核心是通过一个组合失真引擎生成训练批次，再用双重关系图监督一个ResNet-50编码器与MLP投影头的非对比学习，最后冻结编码器并训练线性回归头预测质量。直观上，它像一张关系网：引擎提供关于失真的元数据线索，结构图从特征中涌现的局部几何信息协同塑造表征，最终编码器学到同时感知失真与内容的特征。
核心创新是将刚性二元对齐泛化为图加权不变性，并用双层关系图动态构建软边。与ARNIQA的刚性配对、Re-IQA的分离流以及CONTRIQUE的离散聚类不同，SHAMISA的元数据图基于失真严重度生成连续衰减的相似性权重（如 $G_{\mathrm{rd}}(r_i, x_i) = \exp(-\kappa \lambda_{m^*})$），结构图从kNN与OT聚类中学习长程一致性。这使得相近失真但内容不同的图像被拉近，而严重度变化带来平滑的表征移动，从而在同一个非对比框架内同时建模内容与失真依赖。
方法步骤详情
第一步，构建组合失真引擎：从KADID-10K的24种失真函数（7类）中随机采样有序组合（每类最多一个），连续采样归一化严重度并随机化顺序，形成失真 $C(x;\pi,f,\lambda)$。第二步，批次组织：每mini-batch分 $B=2$ 个tiny-batch，每个tiny-batch选 $R=3$ 个参考，每个参考产生 $C=4$ 个失真组，每组仅一个失真坐标在 $L=5$ 个级别上变化，实现单因素轨迹。第三步，通过ResNet-50编码器 $f_\theta$ 与2层MLP投影 $g_\psi$ 得到 $H = f_\theta(X)$、$Z = g_\psi(H)$。第四步，构建元数据图：参考-失真图 $G_{\mathrm{rd}}$ 使用严重度衰减函数 $\phi(u)=\exp(-\kappa u)$；失真-失真图 $G_{\mathrm{dd}}$ 使用1D严重度间隙的衰减函数；参考-参考图 $G_{\mathrm{rr}}$ 用弱权重连接。第五步，构建结构图：kNN图 $G_{\mathrm{k}}$ 在编码器特征 $H$ 上计算余弦相似度并保留每行 $k_{\mathrm{n}}=31$ 近邻；OT图 $G_{\mathrm{o}}$ 通过Sinkhorn平衡分配构建软原型并计算交叉熵，再归一化并全局稀疏化保留 $K_{\mathrm{g}}=8N$ 条边。第六步，聚合图与加权的VICReg目标：通过超网络 $\Phi$ 学习非负权重 $\omega_i$ 并聚合 $\tilde{G}^{(i)} = \mathrm{sg}(G^{(i)})$ 得到 $G = \sum_i \omega_i \tilde{G}^{(i)}$，总损失 $L_{\mathrm{ssl}} = \alpha L_{\mathrm{var}} + \beta L_{\mathrm{cov}} + \gamma L'_{\mathrm{inv}} + \eta L_{\mathrm{ot}} + \xi R_{\mathrm{graph}}$，其中 $L'_{\mathrm{inv}} = \sum_{i,j:G_{ij}>0} G_{ij} \|z_i - z_j\|_2^2$。第七步，使用stop-gradient对图输入，每次迭代构造图后更新网络权重。第八步，下游NR-IQA：冻结编码器 $f_\theta$，提取多尺度多裁剪特征并连接，训练岭回归器预测质量分数。
技术新颖性
与已有方法相比，SHAMISA在三个层面具备新颖性。一是组合失真引擎支持连续参数与单因素变化，超越离散严重度网格与固定顺序；二是图加权不变性将VICReg的二元不变性泛化为软加权图，引入隐式结构关联；三是双层关系监督：元数据图提供失真语义，结构图保证局部流形与全局拓扑，二者互补。此外，采用非对比框架避免负采样偏差，stop-gradient实现图构建与参数更新的单步交替优化，保证了训练效率。
实验结果
在合成与真实NR-IQA基准上，SHAMISA达到强劲性能。在表I中，SHAMISA在LIVE（SRCC=0.986/PLCC=0.987）、CSIQ（SRCC=0.981/PLCC=0.987）与TID2013（SRCC=0.904/PLCC=0.919）上居首；在KADID-10K（SRCC=0.922/PLCC=0.924）仅次于CONTRIQUE，在FLIVE（SRCC=0.610/PLCC=0.688）与SPAQ（SRCC=0.914/PLCC=0.920）上保持竞争力。六数据集平均SRCC=0.886/PLCC=0.904，优于所有对比SSL方法（ARNIQA SRCC=0.869/PLCC=0.890、Re-IQA SRCC=0.859/PLCC=0.889、CONTRIQUE SRCC=0.862/PLCC=0.878）。跨数据集迁移实验中，SHAMISA在12个合成方向中9个达到SRCC最佳或次佳，在LIVE→CSIQ（SRCC=0.909）、LIVE→TID2013（SRCC=0.700）、CSIQ→TID2013（SRCC=0.729）、TID2013→KADID-10K（SRCC=0.779）等方向显著超越基线（ARNIQA对应为0.904、0.697、0.721、0.726），显示更强的泛化性。gMAD诊断在Waterloo Exploration上表明，SHAMISA作为防御者时攻击者间隙更小，说明质量分箱内一致性更高。t-SNE与UMAP可视化显示，SHAMISA在KADID-10K上形成更清晰的失真族簇结构，在模糊-噪声组合流形上展现出更清晰的条带与更少的中央混杂。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| NR-IQA（合成与真实数据集平均） | SRCC / PLCC | 0.886 / 0.904 | ARNIQA (SSL+LR) | 较ARNIQA的0.869/0.890分别提升1.97%/1.57% |
| LIVE | SRCC / PLCC | 0.986 / 0.987 | Re-IQA (SSL+LR) | 较Re-IQA的0.970/0.971分别提升1.64%/1.65% |
| CSIQ | SRCC / PLCC | 0.981 / 0.987 | ARNIQA (SSL+LR) | 较ARNIQA的0.962/0.973分别提升1.98%/1.44% |
| KADID-10K | SRCC / PLCC | 0.922 / 0.924 | CONTRIQUE (SSL+LR) | 落后CONTRIQUE（0.934/0.937），但优于ARNIQA（0.908/0.912） |
| 跨数据集迁移（LIVE→CSIQ） | SRCC | 0.909 | ARNIQA | 较ARNIQA的0.904提升0.55% |
局限与改进
作者指出SHAMISA在KADID-10K上略逊于CONTRIQUE，可能因为该数据集的失真族与CONTRIQUE预训练方案更接近。实验也表明组合顺序随机化对于性能至关重要，固定顺序会损害结果。此外，本文方法在真实数据集（FLIVE、SPAQ）上与监督方法（如DB-CNN、TReS）仍有差距（SRCC差距约0.3-0.4），暗示自监督学习在复杂真实失真上仍有提升空间。可视化显示亮度与色彩相关失真在表征空间中仍存在交织，表明对这些软性失真的建模仍具挑战性。
独立分析的弱点
一是当前引擎基于KADID-10K的24种函数，未能覆盖真实世界中更复杂的采集链失真，未来可引入采集链建模或真实失真分布；二是OT聚类计算量随批次增长，全局稀疏化需折衷效率与覆盖；三是岭回归头虽简单，但在跨域迁移中可能欠适配，可引入轻量域适应模块；四是对亮度与色彩失真的簇分依然模糊，可能需结合语义先验或光度校正。
未来方向
作者提出利用学习的拓扑结构指导盲图像恢复，并将框架扩展到视频质量评估。基于本文成果可延伸的方向包括：将组合引擎与采集仿真结合提升真实泛化；用图结构进行检索引导的质量评估；将图加权机制迁移到其他感知评估任务（如美观度评估、视觉显著性预测）。另外，可将stop-gradient图构建替换为可微软分配图，以探索更统一的优化。
复现评估
论文提供了项目仓库（GitHub：https://github.com/Mahdi-Naseri/SHAMISA/），实现基于PyTorch。预训练使用KADIS的140k参考图像，一次在NVIDIA H100 80GB上的完整预训练与评估（6数据集）耗时约13.5小时，与ARNIQA相近。超参数在表IV中集中给出，无数据集特定调参。代码包含蒸馏、完整附录、复现细节。总体上，使用公开数据集与标准实现，复现难度中等。
论文图表
