谱-空间联合归因解释：面向多通道图像的位置-通道 Shapley 方法 Spectral-Spatial Interpretation
逐位置固定观测上下文、在通道间做 Shapley 分配，输出位置×通道完整归因矩阵
前置知识
Shapley 值
合作博弈论中的公平分配方案：把预测任务看成一场博弈，每个输入特征是玩家，联盟的价值是部分特征被遮蔽后模型输出与空联盟输出之差。Shapley 值对特征的所有可能加入顺序做加权平均边际贡献，满足有效性（各玩家分配之和等于总价值）、对称性和零玩家公理，因而被广泛视为最公平的特征归因准则。
SSI 的全部计算就是把标准 Shapley 值应用到一个精心设计的局部博弈上，理解其有效性与边际贡献的定义是读懂方法部分的前提。
扰动式后验归因与删除/插入曲线
对已训练好的黑盒模型，通过遮蔽或替换输入区域来测量预测变化，从而估计各区域的贡献。评估时按归因从高到低逐个遮蔽（删除）并记录目标类别 logit，曲线下面积越小说明归因排序越能快速移除证据；反向逐个恢复（插入）则 AUC 越高越好。这是本文所有 faithfulness 实验的统一评价协议。
论文的 Table 1/2/3 与 ROAD 指标全部建立在删除/插入 AUC 协议上，不理解该协议就无法解读实验数字的含义。
多光谱遥感波段语义
卫星传感器（如 Sentinel-2 的 13 波段、HLS 的 6 波段）在不同电磁波段记录地表反射率：红边与近红外（NIR，如 B8A）对植被敏感（NDVI/NDRE），短波红外（SWIR，如 B12）对火烧痕、建成区敏感。这些由物理规律决定的光谱先验常被用作归因方法是否找到正确证据的外部检验标准。
论文的光谱命中率（Hit@K）与通道删除指标依赖这些波段物理先验，理解波段语义才能明白为什么 SSI 找到红边/NIR 波段算作正确证据。
Owen 值与分层博弈结构
Owen 值（1977）处理带有先验联盟结构的博弈：先在联盟之间做一次 Shapley 分配，再在每个联盟内部对成员做第二次分配，并在所有外部联盟组合上取平均，得到全局有效、上下文平均的层次化账目。它是本文 MC-Owen 基线的理论基础，也是 SSI 要刻意区分的对象。
论文的核心理论贡献之一是说清 SSI 与 Owen 式层次归因的本质差异：SSI 固定观测上下文而非对外部空间联盟取平均，这一对比贯穿方法与实验（§4.5、Table 2）。
研究动机
现有后验解释方法在多通道输入上都会丢掉一半信息。空间归因方法如 Grad-CAM、RISE、Extremal Perturbation 把所有通道聚合后只输出一张热力图，回答了模型看哪里却完全不回答各位置依赖哪些波段；光谱/通道归因方法则用互信息、注意力权重或 SHAP 式分数对波段做全局排序，把通道效应在空间上平均掉，一个平均不重要的波段可能在某个小区域内是决定性的。即便把空间热力图与全局通道向量相乘，也隐含秩一假设 $A(g,c)=s(g)q(c)$，即同一套通道分布在所有位置通用——这在红腹绿背蓝头的 Painted Bunting 鸟类图像或水体、森林、建成区共存（分别对应 B3、B8A、B12）的 Sentinel-2 场景中显然不成立：通道重要性依赖位置，同一个波段在一个区域起决定作用、在另一个区域毫无作用。因此在多光谱数据上，解释应输出每个位置上每个通道各贡献多少，而不是一张热力图或一份全局波段排名。
本文的目标是本文要为多通道视觉模型（RGB 细粒度识别、Sentinel-2 土地覆盖分类、火烧痕分割）构造一种完整的谱-空间联合归因：对每个空间网格位置 $g$ 和每个通道 $c$ 给出分数 $\Phi(g,c)$，从而同时回答证据在哪里（对 $c$ 聚合得空间热图）、靠哪些波段支持（对 $g$ 聚合得光谱排名）、以及每个位置上各通道分别贡献多少（完整矩阵本身）。同时该方法应具备可证明的性质——位置内 Shapley 公平性、通道归因之和恰好等于该位置整体替换为基线时的上下文对比值——并且在计算上远比需要遍历外部空间联盟的 Owen 式层次归因便宜。
与已有工作不同的是，作者的切入角度很克制：贡献不在新的分配规则，而在博弈的设定。他们把玩家定义为位置-通道对 $(g,c)$（与 Owen 值使用相同的分组），但对每个位置 $g$ 固定其余图像为观测到的真实值，只在该位置的通道集合上定义条件博弈 $w_g$ 并套用标准 Shapley 值。这与 Owen 值的语境平均会计根本不同：Owen 要在所有外部空间联盟上平均通道贡献，而 SSI 问的是在这个实际观测到的图像里，该位置各通道贡献了什么。这一『观测上下文』设定带来局部公平性与精确聚合一致性的理论保证，同时把每个位置的问题降为只有 $C$ 个玩家的小博弈，在 HLS 上只需约 4,480 次前向即可超过用 76,800 次前向的 MC-Owen。
核心方法
SSI 把多通道图像的归因对象定义为位置-通道玩家全集 $\mathcal{P}=\mathcal{G}\times\mathcal{C}$。给定模型 $f$ 与输入 $x\in\mathbb{R}^{C\times H\times W}$，先把空间域划分为网格（EuroSAT/HLS 用 8×8，CUB-200 用 16×16），价值函数取中心化形式 $v(S)=z_y(x^S)-z_y(x^{\emptyset})$，即子集 $S$ 保留、其余玩家替换为遮蔽基线（逐通道均值或零）时的目标类 logit 增量，且不假设单调性。每个位置的通道构成一组 $S_g=\{(g,c):c\in\mathcal{C}\}$。对目标位置 $g$，令 $B_g=\mathcal{P}\setminus S_g$ 全部保持观测值，定义条件位置博弈 $w_g(R)=v(B_g\cup R)-v(B_g)$，它只变动位置 $g$ 的通道且满足 $w_g(S_g)=\Delta(g)$（该位置整体替换的对比值）。SSI 就是对 $w_g$ 取标准 Shapley 值：$\Phi(g,c)=\mathrm{Sh}_c(w_g)$，对每个网格单元重复，得到完整的 $C\times H\times W$ 归因矩阵，可直接使用或聚合为空间分数 $\sum_c\Phi(g,c)$ 与光谱分数 $\sum_g\Phi(g,c)$。
核心创新是『观测上下文』的局部条件博弈设定，而非新分配规则。与 Owen 式层次归因在外部空间联盟上做语境平均不同，SSI 固定真实观测的周围图像，只问该位置通道在当前这幅图像中的边际贡献。这带来两条可证性质：定理 1（局部 Shapley 刻画）说明在每个位置上 $\Phi(g,\cdot)$ 是唯一满足局部有效性、位置内对称性、位置内零玩家与可加性的分配；定理 2（上下文聚合一致性）说明 $\sum_{c\in\mathcal{C}}\Phi(g,c)=\Delta(g)$，通道聚合图恰好等于把该位置整体替换为基线的全上下文对比值，且不需要单调性、超模性或任何结构假设。命题 1 进一步证明对一般价值函数，逐位置上下文聚合与全局效率（所有位置的对比值之和等于总价值）不可兼得——SSI 明确选择前者，定位的是局部化光谱证据而非全局价值记账。
方法步骤详情
第一步，选定网格分辨率与遮蔽基线（主实验用逐通道均值，另报零基线），把输入划成 8×8 或 16×16 的网格单元。第二步，定义中心化价值函数 $v(S)=z_y(x^S)-z_y(x^{\emptyset})$；分割任务（HLS 的 UNet）则把真值掩膜区域内燃烧类 logit 取平均作为标量响应。第三步，对每个位置 $g$ 固定 $B_g$ 为观测值，构造条件博弈 $w_g(R)=v(B_g\cup R)-v(B_g)$。第四步，按 Castro 等人的置换采样估计 $\Phi(g,c)$：每个网格单元采 $K=\min(2C,10)$ 个通道置换（$2^C\le 10$ 时穷举全部子集，CUB-200 的 $C=3$ 即精确枚举 8 个子集；EuroSAT $C=13$、HLS $C=6$ 的经验集中度界低于 $10^{-2}$）。第五步，汇总输出完整矩阵 $\Phi\in\mathbb{R}^{C\times H\times W}$，并按需聚合为空间热图与光谱排名。每张图前向次数约为 $G\cdot K(C+1)$，HLS 上即 $64\times 10\times 7=4{,}480$ 次。
技术新颖性
技术新颖性体现在四个层面。其一，归因单元的选择：把玩家定为位置-通道对 $(g,c)$，天然编码多光谱图像的两级结构，而 IG/DeepSHAP 等把稠密图摊平、KernelSHAP 把 $(g,c)$ 当平坦玩家处理、RISE 只有空间维度。其二，语境处理方式：与条件期望式方法（Aas 等）估计条件期望不同，SSI 直接固定观测上下文，属于作者所述语境加权家族 $\alpha_\mu(g,c)=\sum_T\mu(T)\,\mathrm{Sh}_c(w_g^T)$ 的一个端点（$\mu(T)=\mathbf{1}\{T=\mathcal{G}\setminus\{g\}\}$），而 Owen 值用 Shapley 权重对 $T$ 平均。其三，理论刻画：局部公平性、精确聚合一致性以及与全局效率不可兼得的命题 1，把方法的选择讲成了有定理支撑的设计权衡。其四，计算结构：每个位置只需 $C$ 玩家的小博弈，避免 MC-Owen 遍历块内置换带来的外部语境方差，用约 6% 的评估预算反而在所有保留指标上占优。
实验结果
实验覆盖 CUB-200（ResNet-18 微调、16×16 网格）、EuroSAT（13 波段、ResNet-18 从零训练、8×8 网格）与 HLS Burn Scar（6 波段、UNet 分割）。表 1 中 SSI 在三个数据集、均值/零两种基线下全部取得最低联合删除与最高插入 AUC：CUB-200 均值基线联合删除 .0088、插入 .7132，优于 IG（.0112/.2895）和 RISE（.0183/.6886，后者用 8,000 个掩膜而 SSI 仅 2,048 次前向）；EuroSAT 删除 .1397 对 IG 的 .2097；HLS 删除 .1545 明显领先。秩一诊断显示联合与秩一删除的差距随通道数增大（C=13 的 EuroSAT 最大），证明 $A(g,c)=s(g)q(c)$ 的因式分解不充分。图 3 聚合评估：通道删除 AUC HLS 上 SSI .218（RISE .317）、EuroSAT 上 .104；HLS Top-10% 覆盖 mIoU 达 .389 对 DeepSHAP .277、RISE .191；所有 Hit@K 均第一。§4.5 中 SSI 仅用 4,480 次前向（约为 MC-Owen 76,800 次的 6%）在 HLS 全部指标上超过 M=200 的 MC-Owen：联合删除 .155 对 .173、秩一删除 .166 对 .254、mIoU@15% .387 对 .254、Hit@5 .887 对 .730，说明层次分组是有用偏置、观测语境设定再添增益。§4.6 中 SSI 对 Expected Gradients、Guided IG、FullGrad 的十项指标全胜（联合删除 .155 对 .185/.185/.278）；ROAD 协议下 SSI 在九个方法中取得最高 LeRF AUC .657 与最低 MoRF AUC .1143。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CUB-200 联合位置-通道删除（均值基线） | deletion AUC（越低越好） | 0.0088 | IG 0.0112，KernelSHAP 0.0178，RISE 0.0183 | 较最优基线 IG 降低约 21%，较 RISE 降低约 52% |
| CUB-200 网格求和插入（均值基线） | insertion AUC（越高越好） | 0.7132 | RISE 0.6886（8,000 个空间掩膜 vs SSI 2,048 次前向） | +0.0246，且评估预算约为对手的 1/4 |
| EuroSAT 联合删除（均值基线） | deletion AUC | 0.1397 | IG 0.2097，KernelSHAP 0.2434，RISE 0.2130 | 较 IG 降低约 33%，通道数 C=13 时优势最大 |
| HLS Burn Scar：观测语境 vs 语境平均 | 联合删除 / 秩一删除 / Hit@5 | SSI：.155 / .166 / .887，前向 4,480 次 | MC-Owen（M=200）：.173 / .254 / .730，前向 76,800 次 | 十项指标全面领先，评估预算仅约 6% |
| HLS Burn Scar 空间定位 | mIoU @ Top-15% 覆盖 | 0.387 | MC-Owen 0.254；Top-10% 处 SSI .389 vs DeepSHAP .277、RISE .191 | 较 MC-Owen +0.133，较 RISE 翻倍 |
| HLS Burn Scar 对抗梯度基线 | 联合删除 AUC（10 项指标中的一项） | 0.155 | Expected Gradients 0.185，Guided IG 0.185，FullGrad 0.278 | 全部十项指标（删除/插入/mIoU/Hit@K）均为最优 |
| HLS Burn Scar ROAD 鲁棒归因协议 | LeRF AUC ↑ / MoRF AUC ↓ | 0.657 / 0.1143 | 九个受评方法中的其余八个 | 在互补的移除协议下同时取得最佳两端表现 |
局限与改进
作者承认的局限包括：条件博弈 $w_g$ 的语义依赖于遮蔽基线的选择（逐通道均值 vs 零的结果分布明显不同，如 CUB-200 插入 AUC 从 .7132 降到 .5224），这是所有扰动式归因的固有属性；对数百个强相关波段的成像光谱仪数据，逐像素成本随 $C$ 线性增长，需要先做通道筛选或自适应分组；相关验证留作未来工作。我自己的观察是：其一，SSI 刻意放弃了全局有效性（命题 1），因此不能把 $\Phi$ 解释为对总预测值的完整分解，跨位置的协同效应在固定观测语境下被隐藏而非被解释；其二，删除/插入与 ROAD 这类扰动协议天然偏爱为该协议设计的扰动式方法，梯度基线虽被纳入但评测域与训练域的重叠程度未被讨论；其三，理论性质（定理 2 的精确聚合）建立在具体价值函数之上，更换响应定义（如分割中掩膜平均 logit）会改变解释对象的含义；其四，定性案例（图 4）只展示归因模式而非 faithfulness 证据，类别光谱剖面正确并不自动保证空间归因正确。
独立分析的弱点
第一，位置间交互缺失：SSI 在每个位置固定观测邻居，只解释位置内部的通道协同，相邻位置之间的联合证据（例如水体-植被边界的跨像素光谱过渡）没有分解路径，可扩展为对相邻位置对定义小型联合博弈或借用 Shapley 交互指数在 (g,c) 网格上做稀疏交互估计。第二，遮蔽基线的分布偏移：均值/零基线产生的遮蔽图像超出训练分布，logit 响应可能不可靠，改进方向是学习式参考值（如生成式修补、期望梯度式背景分布），并报告基线敏感性曲线而不仅是两种设定。第三，评估协议的循环性：删除/插入指标与扰动式方法共享同一假设，未来应补充人工对齐研究或物理一致性检验（如用辐射传输模型校验归因波段）。第四，成本随 $C$ 和网格数线性增长：CUB-200 的 16×16 网格已需约 2,048 次前向，高分辨率分割场景更贵，可引入通道筛选、自适应网格（显著区域加密）或摊销式代理网络来近似 $\Phi$。第五，分割响应是把燃烧类 logit 在真值掩膜上取平均，响应选择本身会影响归因，缺少对不同响应定义的消融。
未来方向
作者提出的方向：把 SSI 推广到数百波段的高光谱传感器（如 EnMAP），先做通道筛选或自适应分组以压缩谱冗余，再执行局部 Shapley 分配，并在业务化高光谱任务上验证；扩展到其他具有空间定位物理含义的多通道成像领域，包括生物医学显微成像与工业材料检测。基于其成果可自然延伸的方向：在条件博弈 $w_g$ 内引入高阶 Shapley 交互指数以量化通道协同（如红边与 NIR 的联合贡献）；把观测语境设定与 Owen 值在语境加权家族 $\alpha_\mu$ 中插值，系统研究语境分布对归因的影响；为分割/检测等结构化输出定义层次化响应的归因协议；以及探索摊销网络在单次前向内预测 $\Phi(g,c)$ 以服务在线解释场景。
复现评估
复现条件相当好。代码已在 GitHub 开源（https://github.com/AtheavenMa/Spectral-Spatial-Interpretation），三个数据集全部公开：CUB-200-2011、EuroSAT、HLS Burn Scar 均为社区标准基准；模型也很轻量——ImageNet 预训练 ResNet-18 微调、ResNet-18 从零训练与小型 UNet，单张消费级 GPU 即可完成训练。归因阶段的前向预算被明确列出：SSI 每图最多 $G\cdot K(C+1)$ 次（HLS 4,480 次、CUB-200 2,048 次），MC-Owen 基线 76,800 次，附录 B.3 给出各方法的预算核算约定；采样估计的无偏性与集中度界（低于 $10^{-2}$）在附录 A.4/A.5 有推导。论文报告了逐通道均值与零两套基线的完整表格及 bootstrap 标准差，降低了结果不可复现的风险。主要门槛是需要自行实现 MC-Owen 与多个梯度基线以对齐附录 B.2 的描述，以及复现附录 C.3 的光谱先验表；总体难度中低，时间和算力成本都在个人实验室可承受范围。
论文图表
两张对比示例：(a) Painted Bunting 鸟类照片中红色腹部、绿色背部、蓝色头部分别对齐 R、G、B 三个 RGB 通道；(b) Sentinel-2 卫星场景中水体、森林、建成区分别对齐 B3（可见光）、B8A（近红外）、B12（短波红外）波段。
这是全文的问题陈述图：直观展示通道重要性依赖空间位置、秩一假设 $A(g,c)=s(g)q(c)$ 为何失效，是理解 SSI 动机的最短路径。
三个数据集的代表性定性案例：CUB-200 中通道聚合图集中于鸟体而各 RGB 通道空间支撑不同、羽毛主色区域在其主导通道上归因更高；HLS 中 SSI 把高归因置于燃烧痕附近并分配给 Red 与 SWIR 等物理波段；EuroSAT 中植被类的红边与 NIR 波段获得最强归因而红波段排名靠后，基线方法则漏掉红边波段或给出谱均匀分数。
给出 SSI 输出的直观形态——每个位置各通道的归因模式，帮助读者理解『局部化通道证据』具体长什么样；作者也明确说明此图展示归因模式而非 faithfulness 证据。