图像分类器单连通决策区域的实证证据

通过构造保标签曲面实证证明深度神经网络决策区域具有单连通性

前置知识

单连通性

拓扑学概念，指一个区域内的任意闭合环路都可以在不离开该区域的情况下连续收缩到一点。这是比路径连通性更强的条件。例如，圆盘是单连通的，而圆环则不是单连通的，因为圆环中心的空洞使得某些环路无法收缩。

本文研究的核心问题就是图像分类器的决策区域是否满足这一更强的拓扑性质，这直接影响我们对神经网络内部工作机制的理解。

路径连通

指一个区域内任意两点都可以通过完全位于该区域内的连续路径连接。之前的研究已经证明图像分类器的决策区域具有路径连通性，但路径连通并不保证单连通性。

这是本文的出发点。已知决策区域是路径连通的，但本文探索的是更强的单连通性质。

Coons Patch

计算机辅助设计中的经典曲面构造方法，通过混合四条边界曲线并减去角点的双线性插值来构造跨越闭合环路的曲面。给定四条边界曲线，Coons patch 提供了一个自然的几何参考曲面。

本文将构造的保标签曲面与 Coons patch 进行几何比较，用面积比来衡量构造曲面的几何变形程度。

DeepFool

一种迭代线性化方法，用于估计将输入推向决策边界所需的最小扰动。它在输入点附近线性化分类器，迭代寻找跨越决策边界的最小扰动方向和距离。

本文使用 DeepFool 风格的更新来修复偏离目标标签的网格顶点，将其投影回目标决策区域。

研究动机

现有的深度神经网络虽然取得了卓越的性能，但其决策区域的几何和拓扑结构仍未被完全理解。已知的事实是：小扰动可能导致图像跨越决策边界（对抗样本的存在），局部脆弱性不一定意味着全局拓扑破碎。之前的实证研究表明，多个深度图像分类器的决策区域是路径连通的，即同一类别的两个图像通常可以通过连续的路径连接且不离开该决策区域。然而，路径连通性只是零阶拓扑性质，它只测试点是否在同一连通分量中，但不排除决策区域内部存在不可收缩的环路。一个连通区域不一定是单连通的，因此需要进一步研究更强的拓扑性质。

本文的目标是本文的核心目标是从一维路径连通性扩展到二维曲面可填充性，从而对图像分类器决策区域是否具有单连通性进行实证研究。具体而言，我们给定由四个被同一模型预测为相同标签的自然图像构成的闭合环路，然后尝试构造一个跨越该环路的二维参数化曲面。这个构造的曲面必须满足两个关键条件：其边界必须与给定的四条同标签路径一致，且其内部在有限分辨率下必须全部保持在目标决策区域内。如果对于测试的环路我们能够成功构造这样的保标签曲面，这就为决策区域的单连通性假设提供了有限分辨率的实证支持。我们在六个不同的深度学习架构上各测试了一千个环路，涵盖了 ImageNet 数据集的所有一千个类别标签，总共评估了六千个模型特定的环路，以确保结论的普遍性和鲁棒性。

与已有工作不同的是，本文的独特切入点在于从路径连通研究推进到曲面填充研究，这是一个从一维拓扑性质到二维拓扑性质的重要跨越。之前的研究工作，包括 Fawzi 等人在 2018 年的开创性工作，主要关注两个同标签图像之间是否存在连续路径，这实际上是零阶拓扑连通性的检验。然而，路径连通性并不蕴含单连通性，一个连通区域内部仍然可能包含无法收缩的空洞或环路。本文通过研究闭合环路内部的曲面可填充性，直接检验单连通性的核心条件。与从采样数据推断同调特征的拓扑数据分析方法不同，本文构造的是显式的图像空间曲面，这使得我们不仅能够测试存在性，还能研究构造曲面的几何性质，如与 Coons patch 的面积偏差等。另一个关键差异是，本文不仅回答是否可以填充的问题，还通过自适应网格细分策略揭示了不同架构在决策区域几何复杂度上的显著差异。

核心方法

本文提出了一种迭代的四边形网格填充过程，用于构造跨越闭合环路的有限分辨率保标签曲面。整体思路是从四个同标签图像作为环路顶点开始，构造边界路径，然后通过自适应细分网格的方式逐步填充整个区域。当某个四边形网格内部的采样点都保持目标标签时，该网格被接受；否则继续细分。对于偏离标签的顶点，使用 DeepFool 风格的局部投影将其修复回目标决策区域。整个过程持续进行，直到所有网格都通过标签检查或达到分辨率阈值为止。

核心创新点是将拓扑学中的单连通性检验转化为可操作的几何填充问题，并通过自适应网格细分和顶点修复来构造保标签曲面。我们构造曲面 S 使得边界与给定路径一致且内部所有点都被分类为同一标签。与之前只研究路径存在性的工作不同，本文构造的是完整的二维曲面。另一个关键创新是将构造的曲面与 Coons patch 进行几何比较，用面积比来量化构造曲面的几何变形程度。此外，本文提出了基于灰色 RMS 距离的分辨率停止准则，将图像空间中的欧氏距离转换为灰色 RMS 单位，使得实验结果具有可解释的实际意义。

方法步骤详情

方法步骤完整描述如下：首先，从四个同标签图像作为环路顶点开始，按顺序定义环路。由于直接线段不一定保持在目标决策区域中，我们通过初始化边界顶点并使用 DeepFool 修复偏离标签的顶点，构造四条多边形曲线作为边界。然后，我们构建一个共享顶点映射，在二进制网格上表示曲面，确保相邻四边形共享边缘顶点。对于每个四边形，首先根据灰色 RMS 直径阈值检查分辨率接受条件。不满足条件的四边形则在自适应网格上采样，检查分类器预测是否对所有采样点保持目标标签。如果检查通过，接受该四边形；否则将其细分为四个子四边形。新增的顶点如果偏离目标标签，则使用 DeepFool 风格的局部投影进行修复。边缘顶点约束在预定义的边界路径上，内部顶点通过角点的线性平均初始化。

技术新颖性

技术新颖性体现在多个方面。首先，这是首次从曲面填充的角度研究神经网络决策区域的拓扑性质，将单连通性检验转化为可操作的算法问题。其次，提出了自适应网格细分策略，根据四边形的几何大小动态调整采样网格分辨率，使得相邻采样点相对于容差足够接近。第三，将 DeepFool 风格的投影方法用于网格顶点修复，将其作为局部投影机制将偏离标签的顶点推回目标决策区域。第四，提出了基于灰色 RMS 距离的分辨率度量，使得实验结果具有直观的实际意义。最后，通过与 Coons patch 的几何比较，不仅测试了存在性，还量化了构造曲面的几何变形程度。

**Figure 1**: Two-dimensional visualisation of the surface-filling construction.

**Figure 2**: Illustration of the surface-filling procedure.

实验结果

核心发现非常明确：在所有测试的模型和环路中，本文的方法达到了 100% 的成功率，成功构造了有限分辨率的保标签曲面。在默认修复设置下，ResNet-50 成功 999/1000，DenseNet-121 成功 975/1000，EfficientNet-B0 成功 990/1000，ConvNeXt-Tiny 成功 992/1000，ViT-B/16 成功 993/1000，Swin-T 成功 990/1000。使用更强修复设置后，所有 6000 个环路都成功填充。根层级接受率差异显著：DenseNet-121 最低为 6.9%，Swin-T 最高为 42.2%。最终网格复杂度：Swin-T 平均需要 4423.9 个四边形，而 DenseNet-121 需要 22927.3 个四边形。构造曲面与 Coons patch 的面积比分布集中在 1 附近，表明几何上接近自然插值。

**Table 1**: Cross-model success counts.

**Figure 3**: Coverage by refinement level.

**Figure 4**: Acceptance and geometric diagnostics for the constructed surfaces.

查看结构化数据

任务	指标	本文	基线	提升
同标签环路填充成功率	成功填充的环路数量/总环路数	6000/6000 (100%)	无直接基线，之前工作只研究路径连通性	首次实现曲面级别的单连通性实证检验
根层级四边形接受率	直接双线性插值保标签的环路比例	6.9%-42.2% (不同模型)	无基准	量化了需要自适应构造的环路比例
几何偏差	构造曲面与Coons patch的面积比	中位数接近1	无基准	首次量化保标签曲面的几何变形程度

局限与改进

作者承认的局限性包括：本文的结果应被解释为有限分辨率的经验证据，而非形式化的拓扑证明。所提出的过程在选定的灰色 RMS 分辨率下验证采样标签保持，因此无法排除测试环路家族之外的更小尺度的空洞或不可收缩环路。此外，实验只测试了特定类型的环路（由四个同标签自然图像构成的环路），不能推广到所有可能的环路结构。我自己观察到的局限性还包括：方法依赖于 DeepFool 风格的修复过程，对于某些极端情况可能需要大量计算资源。实验只在 ImageNet 验证集上测试，对于其他数据集和领域的泛化性尚未验证。另外，虽然方法在不同架构上都取得了成功，但不同模型需要的网格复杂度差异显著，这暗示不同架构的决策区域几何结构可能有本质差异，这一现象需要更深入的理论解释。

独立分析的弱点

独立分析的弱点包括：计算复杂度较高，特别是在需要大量细分的情况下。例如，DenseNet-121 平均需要超过 22000 个四边形，这意味着大量的分类器调用和修复操作。方法依赖于分类器的可微性或可访问的梯度信息，因为 DeepFool 需要线性化分类器。对于黑盒分类器，这种方法无法直接应用。改进方向包括开发更高效的曲面构造算法，减少不必要的细分；设计针对黑盒分类器的替代修复策略；以及研究如何将有限分辨率的结果提升为拓扑保证，可能通过在采样点之间开发认证保证。另一个弱点是方法目前只处理二维参数域的曲面，对于更高维的同调特征（如更高维的空洞）无法检测，未来可以扩展到更高维的填充问题。

未来方向

作者提出的未来工作方向包括：开发采样点之间的认证保证，以将有限分辨率证据提升为更强的拓扑结论；使用拓扑探针改进对抗理解；以及深化对分类器如何形成决策区域的根本理解。基于本文成果可以延伸的方向包括：将方法扩展到更高维的同调特征检测，如研究决策区域的三维空洞结构；将曲面填充与对抗鲁棒性更直接地联系起来，例如研究不可填充环路与对抗脆弱性之间的相关性；在不同数据集和任务上验证发现，如文本分类、语音识别等；以及开发理论工具来解释为什么不同架构在决策区域几何复杂度上表现出显著差异，例如研究网络架构对决策区域拓扑性质的约束。另一个有前景的方向是将本文的实证发现与理论工作结合，例如研究在什么条件下神经网络必然产生单连通的决策区域。

复现评估

复现评估方面，论文声明代码已在 GitHub 开源，这是积极的信号。实验使用了公开的 ImageNet 验证集和广泛可用的预训练模型（ResNet-50, DenseNet-121, EfficientNet-B0, ConvNeXt-Tiny, ViT-B/16, Swin-T），这些都可以通过标准深度学习框架获取。然而，实验在高性能计算集群上运行，每个环路作为一个独立的 SLURM 数组任务，分配一个 GPU、四个 CPU 核心和 60GB 内存。这意味着完整复现所有 6000 个环路需要相当可观的计算资源。不过，由于每个环路是独立处理的，可以只复现部分实验来验证方法的有效性。论文详细描述了所有超参数设置（灰色 RMS 停止阈值、默认修复设置和更强修复设置），这有助于精确复现。总体而言，在具有足够 GPU 资源的研究环境中，方法的复现难度中等偏高，但关键实验应该是可重复的。

图像分类器单连通决策区域的实证证据 Empirical Evidence for Simply Connected Decision Regions in Image Classifiers