视觉变换器中patch-grid不稳定的相位边缘化方法 Phase Marginalization for Patch-Grid Instability in Vision Transformers
提出相位边缘化解决ViT密集预测中patch分割相位不稳定问题
前置知识
Vision Transformer (ViT)
ViT是一种将图像分割成固定大小patch、然后将每个patch转换为token输入Transformer的架构。不同于CNN的滑动窗口，ViT使用非重叠的规则网格进行tokenization，这引入了离散的空间量化效应。
本文研究的核心问题源于ViT的patchification机制，理解ViT如何将图像离散化为token是理解patch-grid相位不稳定性的基础。
Patch-grid phase
相位是指patch网格相对于图像坐标系的偏移量。相位变化会导致相邻像素在不同相位下被分配到不同的patch中，特别是在语义边界附近，这种变化会改变密集预测头可用的证据。
这是本文要解决的核心干扰变量。相位变化会导致同一像素在不同相位下得到不同的预测结果，这种现象被称为patch-grid相位不稳定性。
Dense prediction
密集预测是指为输入图像的每个像素或像素位置输出预测结果的计算机视觉任务，如语义分割、深度估计、光流等。与图像分类不同，密集预测要求输出与输入具有相同的空间分辨率。
密集预测任务对坐标稳定性要求很高，一个像素的标签不应该依赖于图像分割成patch的任意细节。本文发现ViT在密集预测任务中暴露的patch-grid相位不稳定性比图像分类任务更明显。
Test-time augmentation (TTA)
测试时增强是一种推理时集成技术，通过对输入图像应用多种变换如翻转、裁剪、平移等，对每个变换后的版本进行推理，然后将所有预测结果进行平均或投票。
Phase Marginalization在计算成本上与K-forward TTA相似，但采样的是不同的干扰变量。TTA是本文的主要对比基线，作者证明结构化相位采样比通用shift-based TTA更有效。
研究动机
Vision Transformer将图像转换为固定大小的patch token，这种patchification步骤引入了离散的空间相位：当patch网格相对于图像坐标系平移几个像素时，同一个场景可以用不同的token成员关系来表示。在语义边界附近，相邻像素通常属于不同的类别或具有不同的深度值，这种相位变化会改变密集预测头可用的证据。例如，在Cityscapes实验中，使用不同的patch-grid相位会导致同一像素在分割、深度估计和特征匹配任务中得到不同的预测结果，这种不一致性影响了模型的鲁棒性和可靠性。作者在HPatches数据集上测量了相位方差，发现DINOv3在K=4时的相位方差为0.000082，DINOv2为0.000140，这量化了相位不稳定的程度。
本文的目标是本文的具体目标是提出一种后验边缘化方法来解决patch-grid相位不稳定性问题。作者的核心思想是将patch-grid相位视为一个可测量的干扰变量，而不是通用的图像扰动。主要贡献是Uniform Phase Marginalization，这是一种无需训练的后验方法，它在推理时评估一组结构化的patch-grid相位，将每个相位特定的密集输出逆对齐到原始图像坐标系，然后对它们进行平均。作者希望在固定密集预测器的前提下，证明边缘化patch-grid相位可以提高预测性能，同时提供一个简单诊断和后验边缘化基线。实验在多个任务上验证了该方法的有效性，包括语义分割（GTA5到Cityscapes提升0.82 mIoU、SYNTHIA到Cityscapes提升0.88 mIoU、ADE20K提升0.76到1.39 mIoU）、深度估计（NYU Depth v2的RMSE从0.6506降低到0.6277）和局部特征匹配（HPatches匹配准确率提升0.96到3.75）。
与已有工作不同的是，本文的独特切入角度是将patch-grid相位形式化为一个独特的干扰变量，与通用的图像扰动区分开来。现有的相关工作主要关注三个方向：一是架构方法如DPT、ViT-Adapter、Swin、PVT和overlapping-token设计，通过改变模型或训练流程来解决密集预测或空间结构问题；二是特征去噪方法，研究ViT特征图中的伪影并通过特征去噪或学习校正机制来缓解它们；三是通用测试时增强方法，对图像应用翻转、裁剪或移位等变换并平均预测。这些方法回答不同的部署问题：架构重新设计、适配器训练或替代骨干网络构建。本文的研究问题更狭窄：对于一个固定的密集预测器，边缘化patch-grid相位是否优于标准推理和测试的通用基于移位的TTA控制？作者强调这是一个受控的实证问题，不是声称Phase Marginalization在所有数据集上都比TTA更好。
核心方法
Phase Marginalization的核心思想是将patch-grid相位视为一个干扰变量，通过后验边缘化来消除其对密集预测的影响。整体思路是：不重新设计或重新训练骨干网络，而是保持模型冻结，在推理时评估一小组由patch大小定义的相位，将每个相位特定的密集输出逆对齐到原始图像坐标系，然后对它们进行平均。这种方法是一种结构化的后验边缘化过程，与冻结的DINO风格骨干网络兼容，可以作为推理包装器在现有密集预测模型周围实现。例如，对于patch大小P=16，K=4的相位集合为四个典型象限的子patch相位空间采样，这采样了子patch相位空间的四个典型象限。概念示意图展示了整个流程：单个冻结的密集预测器在结构化patch-grid相位偏移下进行评估；每个输出通过逆对齐映射回原始图像坐标系；然后通过平均logits进行聚合。
核心创新点在于将patch-grid相位作为一个明确的干扰变量，并对其进行结构化采样和精确的逆对齐。与通用TTA的本质区别在于：通用TTA对图像应用变换如翻转、裁剪、移位并平均逆变换后的预测，而Phase Marginalization采样token化本身引入的patch-grid相位变量，并在聚合前对每个预测进行精确的逆对齐到原始像素网格。这使得Phase Marginalization能够在相同的K-forward预算下，比通用基于移位的TTA获得更好的性能。作者在Cityscapes上的受控比较中证明了这一点：Uniform Phase Marginalization达到53.53 mIoU，比最强的通用基于移位的TTA（integer-shift TTA的53.22 mIoU）高出0.31 mIoU。另一个核心创新是定义了相位方差的诊断指标，这可以直接测量相同像素或描述符位置处相位条件表示的离散程度。
方法步骤详情
方法包含四个主要步骤。首先，定义相位偏移算子，它使用反射填充和裁剪来改变patch-grid偏移。对于输入图像和patch大小P，相位是一个偏移。第二，在相位下，冻结的编码器和密集头产生密集logit图。输出表达在移位后的填充坐标系中。第三，在比较或聚合相位之前，通过逆对齐算子将其映射回原始图像坐标：patch输出被重塑为栅格patch网格，使用双线性上采样（align-corners设置为false）上采样到填充的图像分辨率，然后通过逆相位偏移裁剪以恢复原始的场。第四，给定离散相位集合，Uniform Phase Marginalization平均逆对齐的logits。这是本文的中心方法，不更新编码器、密集头或归一化统计量。对于K=4和偶数patch大小P，作者使用四个典型象限的相位集合，这采样了子patch相位空间的四个典型象限。
技术新颖性
技术新颖性体现在多个方面。首先，本文首次将patch-grid相位形式化为一个可测量的干扰变量，为密集ViT预测提供了一个新的诊断视角。其次，提出的Uniform Phase Marginalization是一种完全训练自由的方法，不需要更新模型参数或统计量，只需在推理时进行K次前向传播。第三，与通用TTA不同，Phase Marginalization采样的是patch-size定义的相位，而不是任意的语义或光度增强，并且使用精确的逆对齐而不是通用逆变换。第四，作者在多个任务和数据集上系统评估了该方法，包括跨域设置和域内设置，证明了其跨域泛化能力。第五，作者进行了全面的消融研究，包括K值的scaling研究和与通用TTA的计算匹配对比，证明了K=4是一个实用的成本-精度折中点。最后，作者区分了方法和相关方法家族，按部署假设对方法进行了分类，避免了不公平的比较。
实验结果
核心发现是Uniform Phase Marginalization在所有测量的设置中都优于K=1基线。在语义分割任务上，GTA5到Cityscapes的Target mIoU从51.94提升到52.76（提升0.82），SYNTHIA到Cityscapes从36.00提升到36.88（提升0.88），ADE20K上DINOv3从48.82提升到49.58（提升0.76），DINOv2从43.77提升到45.16（提升1.39）。在深度估计任务上，NYU Depth v2的RMSE从0.6506降低到0.6277（降低0.0229）。在局部特征匹配任务上，HPatches的匹配准确率DINOv3从39.02提升到39.98（提升0.96），DINOv2从24.43提升到28.18（提升3.75）。这些结果表明了方法的跨任务有效性。Cityscapes上的计算匹配比较显示，Uniform Phase Marginalization（53.53 mIoU，87.52 ms/img）比最强的通用基于移位的TTA（integer-shift TTA的53.22 mIoU，82.80 ms/img）高出0.31 mIoU，这证明结构化相位采样比通用移位TTA有适度的优势。K值scaling研究表明，K=4是实用的成本-精度点：K=1到K=2增加0.32 mIoU，K=4增加0.63 mIoU，K=8基本不变，K=16只增加约0.05 mIoU但延迟从87.52增加到347.16 ms/图像。边界局部分割指标也显示改进：GTA5到Cityscapes的Boundary@5px从30.65提升到31.62，Boundary@3px从27.79提升到28.48。HPatches相位方差诊断显示DINOv3为0.000082，DINOv2为0.000140，这量化了相位条件描述符的可变性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 语义分割 (GTA5到Cityscapes) | Target mIoU | 52.76 | 51.94 | +0.82 |
| 语义分割 (SYNTHIA到Cityscapes) | Target mIoU | 36.88 | 36.00 | +0.88 |
| 语义分割 (ADE20K, DINOv3) | mIoU | 49.58 | 48.82 | +0.76 |
| 语义分割 (ADE20K, DINOv2) | mIoU | 45.16 | 43.77 | +1.39 |
| 深度估计 (NYU Depth v2) | RMSE | 0.6277 | 0.6506 | -0.0229 |
| 特征匹配 (HPatches, DINOv3) | Match Accuracy | 39.98 | 39.02 | +0.96 |
| 特征匹配 (HPatches, DINOv2) | Match Accuracy | 28.18 | 24.43 | +3.75 |
| Cityscapes (vs Integer-shift TTA) | mIoU | 53.53 | 53.22 | +0.31 |
局限与改进
作者承认的局限性包括：计算匹配的TTA比较和K值scaling分析仅限于Cityscapes数据集；Uniform Phase Marginalization需要K次前向传播，因此其推理成本与相位数近似线性增长；外部架构和去噪家族如DPT、ViT-Adapter、Swin、PVT和DVT风格的方法需要单独匹配的协议，因此按部署假设讨论而不是在实证表中排名；学习和适应变体是任务依赖的，可能差于训练自由的统一方法。基于观察的局限性包括：HPatches的子指标不是单调变化的，View mAP DINOv3从48.97下降到48.93，这表明方法不是在所有指标上一致改进；学习变体如Learned Phase-Feature Attention Aggregation在一些设置上表现更好，但在其他设置上表现更差；Pre-Transformer Patch-Embedding Averaging是一个失败的设计变体，Target mIoU降低到44.48，远低于K=1和Uniform K=4，这表明相位信息应该在密集输出或对齐特征后对齐和聚合，而不是在patch-embedding级别折叠。
独立分析的弱点
独立分析的第一个弱点是推理延迟较高。K=4的延迟是K=1的4.21倍（87.52 ms/img vs 20.77 ms/img），这对于实时应用可能是不可接受的。改进方向是开发动态相位选择机制，根据图像内容自适应选择最相关的相位子集，而不是使用固定集合。第二个弱点是方法没有从根本上解决ViT tokenization引入的混叠问题，而是在推理时缓解其影响。改进方向是将相位边缘化与架构改进结合，例如overlapping-token设计或移位窗口，从源头上减少相位不稳定性。第三个弱点是学习变体的性能不稳定，在一些任务上优于Uniform K=4，在其他任务上更差。改进方向是分析不同任务的特征表示差异，设计任务特定的相位注意力机制，或者开发更鲁棒的相位权重估计方法。第四个弱点是HPatches子指标的不一致性，View mAP DINOv3从48.97下降到48.93。改进方向是研究不同指标对相位敏感性的差异，设计多目标的相位聚合策略，而不仅仅是logits平均。第五个弱点是Pre-Transformer Patch-Embedding Averaging的失败，这表明早期折叠相位信息是有害的。改进方向是研究在Transformer的不同层次整合相位信息的最佳方式，例如在中间层对齐相位特征，而不是仅在输出层。
未来方向
作者提出的未来研究方向包括将计算匹配的TTA比较和K值scaling分析扩展到其他数据集和任务，以验证K=4作为实用默认的通用性；研究更大的相位集合和自适应相位选择策略，以找到成本-精度的最佳平衡点；探索与其他推理时技术如TENT的结合，以同时边缘化多个干扰变量。基于成果可延伸的未来工作包括：开发动态相位选择机制，使用基于图像内容的启发式方法如边界密度、纹理复杂度来自适应选择最相关的相位子集；研究相位边缘化与架构改进的结合，例如在overlapping-token设计上应用相位边缘化，或者在Swin、PVT的移位窗口设计中结构化采样相位；探索多尺度相位边缘化，在不同分辨率层次上采样和聚合相位，以同时捕获局部和全局信息；开发任务特定的相位聚合策略，例如对于分割任务使用边界感知的相位权重，对于匹配任务使用描述符置信度加权的相位权重；研究相位边缘化在视频密集预测中的应用，例如在光流或视频分割中，时序一致性可能提供额外的约束来减少相位不稳定性。
复现评估
作者声明将在MarginSeg框架中实现评估，并将发布用于生成报告表的代码和结果清单。Cityscapes计算匹配行使用研究中的完整评估运行。对外部架构家族的公平实证比较需要匹配的训练数据、头、检查点、评估代码和推理成本核算。基于观察的复现评估：论文提供了详细的方法描述，包括相位偏移算子和逆对齐算子的数学定义，相位集合的具体公式，以及相位方差的诊断指标。实验设置清晰，包括任务、数据集、骨干网络、指标和基线方法的详细说明。结果表提供了具体的数值和提升，包括跨域和域内设置。消融研究全面，包括K值scaling研究和与通用TTA的计算匹配对比。代码将在MarginSeg框架中开源，预计使用标准GPU配置，每个任务的训练和推理时间应该可以在合理时间内完成。复现难度中等，需要对ViT、密集预测和MarginSeg框架有一定的了解，但详细的实验描述和开源代码将大大降低复现门槛。
论文图表
