全景成对失真图：面向图像对区域级失真理解的图结构表征 Panoptic Pairwise Distortion Graph
提出一种区域级图结构表征 Distortion Graph，配套 528K 数据集与 PANDA 模型，让图像对失真评估从整体走向细粒度。
前置知识
Distortion Graph (DG, 失真图)
本文提出的核心数据结构：把一对图像（anchor + target）拆成以区域（region/object）为节点、以跨图像比较关系（predicate）和属性（distortion type、severity、score）为边的拓扑图。形式上是一个四元组 $G = (O_{I_A}, O_{I_T}, E_D, E_S)$，其中 $O_{I_A}$、$O_{I_T}$ 是两图中的区域节点集合，$E_D$ 是跨图失真边，$E_S$ 是可选的场景边。
DG 是全文的最小可交付物，所有数据集、模型、benchmark 都围绕它展开；理解不了这个结构，就无法理解 PANDA 在预测什么。
DETR-style 解码器与多任务头
DETR（DEtection TRansformer）将目标检测视为集合预测问题，用 Transformer 的 query-key-value 注意力直接输出类别和框。PANDA 借鉴这一思路，用共享的 Transformer 编码器 + 多个独立 MLP 头，分别预测比较关系、失真类型、严重程度和质量分数。
PANDA 整体就是 DETR 范式在区域级图像对上的延伸；不熟悉这套范式会读不懂四头并行结构的设计动机。
Panoptic Segmentation（全景分割）
全景分割把语义分割（stuff，如天空、草地）和实例分割（things，如人、车）统一到一张标签图上，每个像素都对应一个类别 ID 和一个实例 ID。PANDA 使用 SAM（Segment Anything）作为「map 函数 $\gamma$」将每张图像中的区域切成二值掩码 $m_j^i$。
区域是 DG 的最小单元，没有可靠的全景分割就无法获得跨图区域对齐所需的掩码。
TOPIQ 质量分数
TOPIQ 是一种从语义到失真的 top-down 图像质量评估方法，给定干净参考时可输出 $[0,1]$ 之间的质量分。PANDA 用它做两件事：(i) 计算每个区域的质量标签；(ii) 通过两区域分数之差生成比较关系标签（$|\Delta| < 0.1$ 视为 same，$\pm[0.1,0.3)$ 视为 slightly better/worse，$|\Delta| > 0.3$ 视为 significantly better/worse）。
TOPIQ 是 PANDASET 区域级监督的来源，决定了比较边的真实标签；它的偏差会直接传递到 PANDA 和 PANDABENCH。
DINOv2 自监督视觉特征
DINOv2 是 Meta 发布的 ViT-based 自监督视觉骨干，能在没有人工标注的情况下学到强语义特征。PANDA 默认用 DINOv2 ViT-s（384 维）作为视觉编码器，并通过 $1\times 1$ 卷积让特征保持可学习。
DINOv2 的特征质量决定了 PANDA 能不能把两图中对应区域在嵌入空间中对齐；论文的消融实验对比了 DINOv2、SigLIP 和 768 维变体。
研究动机
现有的图像对比较方法（无论是传统 IQA 模型、还是 Co-Instruct、DepictQA、Q-Instruct 这类多模态大模型）都把图像当成一个整体来处理：要么输出一个标量质量分，要么生成一段「Image A 比 Image B 好」的笼统文本。即使这些方法在 paper 里把任务叫做「comparative」，它们的推理粒度也是 image-level 的。这种粒度带来两个具体痛点：第一，方法被上下文长度卡死，区域一多就无法逐个评估，比如 Co-Instruct 经常重复同一个区域直到 token 用光；第二，模型在多指令下僵化成模板式回答，例如「The image has a moderate level of distortion, with pixelation and blurring. The quality is average」被原封不动地搬到 Person、Sheep、Sky 多个区域上（论文 Figure 2）。当图像中存在复杂空间分布的失真（同一张图里天空被 noise 污染、人物被 blur 模糊、地面反而干净）时，image-level 的方法连「哪一块出了问题」都回答不了，更别提定位 + 评估 + 打分这一整套细粒度判断。
本文的目标是论文的核心目标有两层：(1) 形式上提出一个以区域为基本单元、以跨图比较关系为边的结构化表征 Distortion Graph（DG），把图像对评估从「一张图一个分」提升到「一个区域一个 node + 一条 cross-image edge + 一组属性」；(2) 工程上把这个结构化任务做成可学习的——贡献 PANDASET（528K 图像对，覆盖 15 种失真和 4 个严重度级别）、PANDABENCH（Easy/Medium/Hard 三档难度的评测基准）、以及 PANDA 模型（0.028B 参数，3.53 秒/对，比 Q-Insight 的 274 秒快 78 倍），并通过在 GPT-5 Mini 的 chain-of-thought 中注入 DG 把区域级失真理解准确率再推高约 15%。
与已有工作不同的是，与已有工作相比，本文切入了一个被普遍忽视的「中间表征」位置：之前的研究要么只看单图（Q-Bench、Q-Instruct、Seagull、Q-Ground、GIQA），要么只看整图对（DepictQA、Co-Instruct、M-BAPPS），没有人同时满足 (i) pairwise/比较式、(ii) region-first/以区域为原子、(iii) dense distortion annotation/密集失真标注（distortion type、severity、quality score、comparative relation 四件套）。更关键的是，论文不只是做了一个数据集，而是首次把「region 节点 + 跨图边 + 属性」这一图结构当作一等公民，让它在 PANDASET 里被学习、在 PANDABENCH 里被评测、在 MLLM 的 CoT 里被复用。论文还专门论证了 DG 是一个 general formalism：同一套结构既能表示图像对失真，也能表示视频动作差异（Video Action Differencing）、成对 CT 扫描比较、ISP benchmark 等任务，理论上可以成为跨模态「comparative assessment」的统一骨架。
核心方法
PANDA 的直观想法可以类比为「让一张图的每个区域去另一张图里找它的孪生兄弟，然后把两人的体检报告（失真类型、严重度、质量分）做对比，写在一张关系图上」。技术上，它沿用「视觉骨干 + 分割模块 + Transformer 融合 + 多任务头」的 DETR 范式。给定一对图像 $(I_A, I_T)$，先用 DINOv2 抽特征、用 SAM 切出两图中对齐的 $N_R$ 个区域掩码 $m_j^i$；再用一个可学习的 token pool $\mathcal{T}$（$K$ 个维度为 $H\times W\times 1$ 的可学习向量）通过 Hadamard 积 $h_j^i = m_j^i \odot t_j^i$ 把每个区域「染色」到 token 空间里，投影后与图像特征相加；接下来让 Transformer 编码器跑自注意力，再用 cross-attention 让 $I_A$ 的每个区域去 $I_T$ 的特征里找对应（反之亦然），得到 $y_{j\to k}$；最后用四个 3 层 MLP 头分别预测比较关系（5 类）、失真类型（15 类）、严重度（4 类）和质量分数（L1 回归）。整个流程支持任意数量的区域（每张图最多 112 个，平均 18 个），且推理时一图对只需一次前向。
本文最核心的创新是把「区域级 pairwise 图像评估」从无结构的 free-form 文本输出，重新定义为「以区域为节点、以跨图比较边为关系、以局部属性为标签的有向图」DG。具体地，DG 满足三条公理化性质：(1) Validity——失真边 $E_D$ 只能在跨图节点对 $(o_{A}^i, r, o_{T}^i)$ 之间，不存在 intra-image 三元组；(2) Ordering——关系 $r$ 的方向始终是 anchor 相对 target，因此 $E_D \subseteq O_{I_A} \times R_D \times O_{I_T}$ 且反向边不属于 $E_D$；(3) Functional Comparison——每对匹配区域有且仅有一条比较边，$\forall i\in J: |\{r\in R_D: (o_A^i, r, o_T^i)\in E_D\}| = 1$。这三条性质让 DG 既是紧致的（不会重复或漏标）又是可解释的（每条边都有明确的方向和类型）。和 DepictQA、Co-Instruct 等把「比较」塞进自然语言 prompt 的做法相比，DG 把比较关系显式化、结构化、可计算化，这正是后续 PANDA 训练、PANDABENCH 评测、以及 CoT 增强的根基。
方法步骤详情
PANDA 的端到端流程可拆为五步：第一步是区域提取与对齐。给定图像对 $(I_A, I_T)$，送入 DINOv2 编码器得到 $F_j \in \mathbb{R}^{H\times W\times C}$；同时用 SAM 做全景分割得到每个区域的二值掩码 $m_j^i$，并通过 $O_{I_A}$ 与 $O_{I_T}$ 之间的 one-to-one 匹配保证 $N_{R_A} = N_{R_T} = N_R$。第二步是 Token Pool 关联。为每张图维护 $K$ 个可学习的 $H\times W\times 1$ 向量组成 $\mathcal{T}_j$，从中无放回均匀采样 $N_R$ 个 token $t_j^i$，做 Hadamard 积 $h_j^i = m_j^i \odot t_j^i$，再用卷积投影 $\hat{H}_j = \text{Conv}(H_j)\odot F_j$ 把区域特征注入图像特征空间，视觉编码器特征也用 $1\times 1$ 卷积保留可学习。第三步是 Degradation Decoder 融合。把特征 reshape 成 $D = H\times W$ 个 patch，加位置编码后跑 $L$ 层（默认 $L=4$）Transformer：第 $l$ 层先做自注意力 $y_{l}^{\text{SA}} = \text{MHA}(\hat{F}_k, \hat{F}_k, \hat{F}_k) + \hat{F}_k$，再做 cross-attention 让区域 $j$ 去图像 $k$ 找对应 $y_{j\to k}^{\text{CA}} = \text{MHA}(\hat{H}_j, K_{y^{\text{SA}}}, V_{y^{\text{SA}}}) + \hat{H}_j$，最后用 MLP 汇总 $y_{j\to k} = \text{MLP}(y_{j\to k}^{\text{CA}})$。第四步是四头预测。对 $y_{j\to k}$ 做全局平均池化得 $G_{j\to k}$，送入四个共享结构的 3 层 MLP（LayerNorm + GELU + FC），分别输出比较关系 logits（5 类）、失真类型 logits（15 类）、严重度 logits（4 类）和质量分数标量。第五步是损失与训练。总损失 $\mathcal{L} = \lambda_1 \mathcal{L}_{\text{rel}}^{\text{CE}} + \lambda_2 \mathcal{L}_{\text{dist}}^{\text{CE}} + \lambda_3 \mathcal{L}_{\text{sev}}^{\text{CE}} + \lambda_4 \mathcal{L}_{\text{score}}^{L_1}$，超参数搜索后取 $\lambda = (0.1, 1.0, 0.1, 1.0)$；优化器 AdamW，$lr=1\times 10^{-4}$，weight decay $0.01$，batch size 6，$8\times$ V100 32GB 训 30 epoch 约 1.5 天，推理时单卡 3.53 秒一对。整个架构支持任意 $N_R$（受限于 token pool 容量 $K$），且前向只走一次。
技术新颖性
技术上的新意集中在三点。第一，把 Scene Graph 的 intra-image 模式首次推广到 inter-image pairwise 场景，并把失真信息作为节点属性与跨图边编码进同一个 $4$-tuple，形式上给出 validity / ordering / functional comparison 三条公理，使结构可推理、可评测、可复用。第二，Token Pool + Hadamard 乘积的区域嵌入方式，让 PANDA 能在保持 DINOv2 特征空间的同时把变长、变形的区域 mask 编码成 transformer-friendly 的 patch 序列，比 SoM prompting 的离散标记或 Seagull 的 mask pooling 都要更平滑。第三，四个任务头在统一 cross-attention 之上共享底层特征，使得失真类型 / 严重度 / 比较关系 / 质量分数四类监督互为正则——这一点在消融里表现为「仅用 Linear Probe 或 Attentive Probe 替换 decoder 性能显著下降」，说明 transformer decoder 的 pairwise 区域匹配不可被简单 MLP 取代。
实验结果
实验覆盖 PANDABENCH 三个难度档（Easy/Medium/Hard）、四种任务（比较关系 Accuracy、失真类型 Accuracy、严重度 Accuracy、质量分数 SRCC/PLCC）和 11 个基线（5 个开源 MLLM、4 个闭源 MLLM、随机/线性/注意力探针三档 baseline）。Easy 档（Table 2）下 PANDA 全面领先：比较 0.58 Acc / 0.56 F1（次优 DepictQA† 为 0.49/0.42）、失真类型 0.78 Acc / 0.79 F1（DepictQA† 0.75/0.76）、严重度 0.59 Acc / 0.59 F1（DepictQA† 0.55/0.48）、质量分数 SRCC 0.79 / PLCC 0.83（DepictQA† 0.78/0.77）。闭源 MLLM 紧随其后：GPT-5 Mini 在失真类型上 0.49、严重度 0.36、质量 SRCC 0.52；GPT-4o 在失真类型 0.46、严重度 0.33、SRCC 0.54；Gemini 2.5 Pro 在 SRCC 0.59 上甚至超过 GPT-5 Mini，但 PLCC 0.60 与 PANDA 仍有 0.23 的差距。开源方法（Q-SiT、Q-Insight、DepictQA、Seagull、Gemma-3 27B）大多连结构化 JSON 都吐不出，只能逐区域逐图对查询，且在比较和打分任务上完全无法可靠回答。Hard 档（Table 3）整体掉档，但 PANDA 的衰减最缓：比较 0.40（比 DepictQA† 的 0.33 高 7 个点，比 GPT-5 Mini 的 0.18 高 22 个点），失真 0.27，SRCC 0.36；多个闭源 MLLM（GPT-4o、Gemini 2.5 Pro、GPT-5 Mini）在严重度上已经掉到 0.16–0.20，逼近随机。Medium 档（Table 4）介于两者之间，PANDA 拿 0.44 比较、0.52 失真、0.47 严重度、0.56 SRCC。Figure 4 展示了一个应用亮点：把 PANDA 预测的 DG 当作 chain-of-thought hint 喂给 GPT-5 Mini，Easy 档比较准确率从 0.31 提到 0.52，失真从 0.36 提到 0.67，Hard 档比较从 0.18 提到 0.37，质量从 0.09 提到 0.26，整体约 +15%。Figure 5 的定性案例显示，GPT-5 Mini 并非死抄 DG，而是会在像素证据冲突时覆盖 DG（例如正确识别 anchor 为 darken 而非 DG 预测的 clean）。Table 6 的成本分析极为关键：PANDA 0.028B 参数、单图对 3.53 秒，比 Q-Insight（7B、274.74s）便宜两个数量级以上，单图对 API 成本也明显低于 GPT-4o 的 0.028 美元/对。Table 7 与 Table 8 的零样本迁移进一步证明 DG 不是 PANDASET 过拟合的产物：PANDA 在 KADID10k 上用 score-based 排序达 78.83%、predicate-based 达 76.90%（GPT-5 Mini 84.72% 但需要 8 小时推理，PANDA 仅 4 分钟），在 TID2013 上以 77.8%/78.4% 的准确率超过 mPLUG-Owl2 的 48.5%、LLaVA-1.6 的 57.0%、Q-Instruct 的 55.0%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| PANDABENCH Easy / 比较关系 (Comparison) | Accuracy | 0.58 | DepictQA† 0.49 / GPT-5 Mini 0.31 / Random 0.20 | +9 个点（vs. 最佳基线） |
| PANDABENCH Easy / 失真类型 (Distortion) | Accuracy | 0.78 | DepictQA† 0.75 / GPT-5 Mini 0.49 / Random 0.07 | +3 个点（vs. DepictQA†） |
| PANDABENCH Easy / 严重度 (Severity) | Accuracy | 0.59 | DepictQA† 0.55 / GPT-5 Mini 0.36 / Random 0.25 | +4 个点 |
| PANDABENCH Easy / 质量分数 (Quality Score) | SRCC | 0.79 | DepictQA† 0.78 / Gemini 2.5 Pro 0.59 / Random 0.00 | +1 个点（vs. 最佳基线） |
| PANDABENCH Hard / 比较关系 | Accuracy | 0.40 | DepictQA† 0.33 / GPT-5 Mini 0.18 / Random 0.21 | +7 个点 |
| PANDABENCH Hard / 失真类型 | Accuracy | 0.27 | DepictQA† 0.22 / GPT-5 Mini 0.17 / Random 0.07 | +5 个点 |
| PANDABENCH Hard / 质量分数 | SRCC | 0.36 | DepictQA† 0.18 / GPT-5 Mini 0.09 / Random 0.00 | +18 个点（vs. DepictQA†） |
| KADID10k / 整图排序 (zero-shot) | Ranking Accuracy | 0.7883 (Score) / 0.7690 (Predicate) | Q-Insight 0.6970 / GPT-5 Mini 0.8472 | +9 个点（vs. Q-Insight），且仅需 4 分钟（GPT-5 Mini 8 小时） |
| TID2013 / 整图排序 (zero-shot) | Ranking Accuracy | 0.778 (Score) / 0.784 (Predicate) | LLaVA-1.6 0.570 / Q-Instruct 0.550 / mPLUG-Owl2 0.485 | +21 个点（vs. 最佳开源基线） |
| GPT-5 Mini + DG-CoT (Easy) / 失真类型 | Accuracy | 0.67 | GPT-5 Mini 0.36 | +31 个点（emergent capability） |
局限与改进
作者明确承认的局限有三处：(1) PANDASET 中 14 类失真中只有 noise/blur 与 Seagull-100w 的 ISP 真实失真有重叠，其余都是合成的，这意味着比较关系标签继承自 TOPIQ 的感知偏差，而非人类主观标注；构造一个百万级、人标区域级比较的 PANDASET 需要极大工作量。(2) PANDA 是「minimal yet necessary」的基线，处理复杂区域（如细长分支、被遮挡边界）的能力有限，超出本文的简洁性目标。(3) DG 形式虽好，但作者承认它还停留在图像对上，向视频、3D 场景、多模态的扩展是开放问题。从独立观察角度看，至少还有三点值得注意：(a) DG 比较边由 TOPIQ 分数差值阈值化产生，阈值 0.1/0.3 的人为划分对 PANDABENCH 难度有直接塑形作用，论文未做阈值敏感性消融；(b) 在 Hard 档失真类型准确率仅 0.27，距离饱和仍有较大空间，说明小模型对复杂空间失真的判别力有限；(c) Table 6 显示 PANDA 单图对推理 3.53 秒仍比 Seagull 的 38.19 秒快 10 倍以上，但当区域数接近 token pool 上限 112 时，计算量会随 $N_R$ 接近线性增长，论文未报告最坏情况延迟。
独立分析的弱点
独立分析可以补出几个论文未充分强调的弱点。第一，**对 TOPIQ 的强依赖**：PANDASET 的比较标签与质量分数标签均来自 TOPIQ 分数差，这等于把「人怎么看」和「TOPIQ 怎么看」混为一谈；如果换成 NIMA、MANIQA、或者直接用 MOS 标注，可能会得到不一致的 PANDA。改进方向是引入人类 pairwise 比较的众包标注来解耦，或者把 TOPIQ 当作「教师分布」用贝叶斯方法估计其不确定性。第二，**Token Pool 容量天花板**：当前实现里 $K$ 是固定值且一次性采样 $N_R$ 个，论文未明确 $K$ 与最坏情况延迟的关系；当 $N_R$ 接近 112 时，Hadamard 积的内存和后续 cross-attention 的 $Q$ 矩阵会膨胀。改进方向是采用稀疏采样或每区域独立 MLP 以支持 $N_R\to 256$ 量级。第三，**全图排序的聚合策略过于朴素**：Table 7 中 PANDA 用「多数区域 better 即整图 better」的简单投票做 KADID10k 排序，准确率 78.83% 与 GPT-5 Mini 的 84.72% 仍有 6 个点差距；改进方向是引入可学习的 aggregator（比如一个 region-level Transformer + 分类头）替代规则式投票。第四，**比较关系类别过粗**：5 类（same / slightly better / slightly worse / significantly better / significantly worse）虽然覆盖了 TOPIQ 阈值区间，但在真实主观比较里会出现「A 比 B 在纹理上更好但在颜色上更差」这种多维度偏好；改进方向是允许 predicate 向量（multi-dimensional）或者条件化比较。第五，**闭源 MLLM 评测 prompt 不可控**：Table 9 显示 GPT-4o 在 Easy 档比较任务上标准差高达 0.027，说明 prompt 模板的细微变化会显著影响结果；改进方向是固定全部 API 温度 + 报告多次独立 run 的 bootstrap 置信区间。
未来方向
作者明确点出的方向有三条：(1) 把 DG 嵌入到 MLLM 的 chain-of-thought 中作为中间推理步骤，而不是事后再注入；Figure 4 的 +15% 仅是 hint 模式，end-to-end 训练 MLLM 来输出 DG 应该会更高。(2) 把 DG 推广到视频动作差异（Video Action Differencing）、伪造检测（face forgery）、成对 CT 扫描比较、ISP 评测等场景。(3) 构建百万级、人类标注、真实失真的 PANDASET-Real。基于成果自然延伸的方向还有：(a) 把 DG 接到 diffusion-based IQA 修复模型上，让修复过程以区域为单位进行；(b) 探索 DG 在视觉问答（VQA）任务中的零样本应用——给定一个 region-wise QA 数据集，DG 可以直接转化为结构化回答；(c) 用 DG 做 dataset bias audit——如果 PANDASET 的 15 类失真真实分布并不均匀，DG 的 relational bias 可以暴露出哪些失真被模型系统性忽略。
复现评估
复现难度整体偏低。代码、数据集、训练模型均承诺公开（论文 F.2），主页 aismartperception.github.io/distortion-graph/ 也会作为发布入口。算法侧：模型是 0.028B 参数的 DETR-like 架构，DINOv2 ViT-s + SAM 是直接可调的现成组件，4 层 Transformer decoder + 4 个 3 层 MLP 头实现简单，公开了完整的超参搜索范围 $\lambda \in \{0.01, 0.1, 1.0, 5.0\}$ 和最终取值 $(0.1, 1.0, 0.1, 1.0)$，学习率扫了三个量级选了 $1\times 10^{-4}$。资源侧：训练需 $8\times$ NVIDIA V100 32GB 约 1.5 天（batch size 6），属于中等规模，单卡 V100/A100/4090 都能跑，推理仅 3.53 秒一对、单卡可承担。数据侧：PANDASET 由 2200 张图（1592 来自 PSG、608 来自 Seagull-100w）+ 程序化合成失真构成，构造脚本依赖 OpenCV、Pillow、mmsegmentation 等常规库。唯一可能卡住的环节是 (i) TOPIQ 分数的批量计算、(ii) SAM 分割时对全景类别的对齐、(iii) 15 类失真合成的强度参数（天气类用 Garg & Nayar 2006 的 rain streaks、Guo et al. 2024 的 OneRestore haze model），论文给出了引用但未贴出完整 recipe。闭源 MLLM 评测的可复现性较弱：API 版本会随时间变化（论文用的是 gpt-5-mini-2025-08-07、gpt-4o-2024-11-20），未来读者重跑时性能可能漂移。整体来说，一个有 IQA 经验的工程团队 2-3 周内能复现 PANDA + PANDABENCH 主体结果。
论文图表
左半部分用 Co-Instruct 的实际输出展示「The image has a moderate level of distortion, with pixelation and blurring. The quality is average」模板被原封不动地复用到 Person、Sheep、Sky 三个区域上，且没有给出比较关系、分数，区域识别也遗漏了 Mountain。右半部分用 PANDA 的预测对比，DG 能逐区域给出 clean/blur/noise/oversharpen 等细粒度属性、关系与分数。
直接说明 image-level MLLM 在区域级任务上为何失灵，是 motivation 段落的核心视觉证据。