PMT：基于冻结视觉编码器的图像和视频分割的纯掩码Transformer PMT: Plain Mask Transformer for Image and Video Segmentation with Frozen Vision Encoders
提出轻量级Plain Mask Decoder实现冻结VFM的高效图像视频分割
前置知识
Vision Foundation Models (VFMs)
在大规模多样化数据集上预训练的视觉基础模型，如 DINO 系列，它们通过自监督学习获取丰富而密集的语义表示，可以服务多个下游任务而无需针对特定任务进行架构设计。DINO 使用对比学习，DINOv2 和 DINOv3 进一步扩大了数据规模和模型容量，使其能够直接输出强大的特征表示。
本文的核心假设是 VFMs 在足够规模时，其编码器已经包含了足够的表示能力，可以替代传统的任务特定组件。理解 VFMs 的工作原理和预训练机制对于理解为什么可以冻结编码器至关重要。
Vision Transformer (ViT)
ViT 将图像分割为非重叠的 patch，线性投影为 patch tokens，然后通过多个 Transformer 层进行处理。每层包含多头自注意力（MHSA）和前馈网络（FFN），使用残差连接和层归一化。最终 tokens 可以重新排列为空间网格产生图像特征。ViT 的全局注意力机制使其能够捕获长距离依赖。
本文的 PMT 方法基于 ViT 架构，其 Plain Mask Decoder 的设计直接借鉴了 ViT 的层结构。理解 ViT 的注意力机制和 token 处理方式对于理解为什么 EoMT 的查询注入方法与冻结编码器不兼容是必要的。
Mask Transformer 范式
这是一种统一的分割框架，通过一组可学习的对象查询来预测分割掩码和类别标签。查询通过 Transformer 解码器中的交替自注意力和交叉注意力来细化，每个处理后的查询通过线性层预测类别，通过与图像特征的点积预测二值分割掩码。这种方法统一了语义、实例和全景分割。
EoMT 和本文的 PMT 都属于这个范式，但 EoMT 将查询注入到编码器内部，而 PMT 将查询处理移到编码器外部的轻量级解码器中。理解这个范式有助于理解 PMD 如何模仿 EoMT 的行为。
Rotary Position Embeddings (RoPE)
旋转位置嵌入通过在点积之前旋转查询和键来直接在注意力计算中编码相对空间位置。这是一种无参数的位置编码方法，因为旋转是位置的确定性函数。RoPE 被广泛应用于现代大语言模型和视觉模型中，因为它提供了高效且有效的位置感知能力。
PMT 在 Plain Mask Decoder 中应用 RoPE 来为查询提供显式的空间上下文，补充 patch tokens 中已经嵌入的位置信息。理解 RoPE 有助于理解为什么 PMT 能够在保持编码器冻结的同时实现精确的空间定位。
FlashAttention
FlashAttention 是一种注意力算法的精确实现，通过对注意力计算进行分块和重计算来优化内存访问模式。它减少了 HBM 访问次数，显著提高了训练和推理速度，同时保持了数值精度。FlashAttention-2 进一步优化了并行性和工作负载分配。
本文在推理时使用 FlashAttention-2 来加速，并且 PMD 的设计兼容 FlashAttention（不像 EoMT 的掩码注意力）。理解 FlashAttention 有助于理解 PMT 的速度优势来源。
研究动机
现有的基于 VFM 的编码器分割方法存在一个根本性矛盾：虽然 Vision Foundation Models 在大规模数据上预训练后具备服务多个下游任务的潜力，但最先进的编码器方法如 EoMT 和 VidEoMT 必须微调整个编码器才能工作。这是因为这些方法将可学习的查询注入到 ViT 编码器的自注意力层内部，预训练的注意力权重从未见过这些新 tokens，必须通过微调才能学会如何处理它们。在冻结编码器的设置下，表 1 显示从 ViT-Adapter + Mask2Former 到 EoMT 的逐步简化过程中，当移除所有任务特定组件达到纯编码器设计时，全景质量从 52.0 崩溃到仅 6.8，证明这种联合 patch-查询注意力与冻结权重根本不兼容。这意味着每个任务和数据集都需要单独的微调编码器，无法实现 VFMs 承诺的多任务共享优势。
本文的目标是本文的目标是在保持 Vision Foundation Model 编码器完全冻结的前提下，设计一个能够实现高精度图像和视频分割的架构。具体而言，作者希望复现 EoMT 和 VidEoMT 的编码器简洁性和低延迟，同时保持编码器的可重用性，使得单个冻结编码器可以同时服务多个下游任务。这是一个在架构简洁性、推理速度和多任务部署之间的三重优化目标，需要在不牺牲准确性的前提下，找到一种在冻结特征上执行分割查询处理的新方法。
与已有工作不同的是，本文的独特切入角度是识别并实验验证了一个基本限制：编码器分割模型的查询注入方法与冻结编码器不兼容。作者不是简单地改进现有的冻结编码器方法（如 ViT-Adapter + Mask2Former），而是从根本上重新思考问题：如果 EoMT 最后的 L2 个编码器层已经在执行有效的查询处理，为什么不能用一个独立的轻量级解码器来复制这种行为？这种外移而非内嵌的思路使得查询处理模块可以独立训练，而冻结的编码器保持不变，从而实现了编码器的多任务共享。
核心方法
Plain Mask Transformer (PMT) 的核心思想是将 EoMT 和 VidEoMT 中编码器内部的查询处理逻辑外移到一个独立的轻量级解码器中。整个架构包括一个冻结的 ViT 编码器（如 DINOv3）、一个 Plain Mask Decoder (PMD) 和一个掩码模块。冻结的编码器负责提取图像特征，同时通过 lateral connections 从多个编码器层收集特征。PMD 是一个与编码器层结构相同的 Transformer 解码器，它接收可学习的查询和从编码器提取的 patch tokens，通过标准的自注意力联合处理它们。这种设计模仿了 EoMT 最后 L2 个编码器层的行为，但保持编码器完全冻结。掩码模块对每个输出查询预测类别标签和分割掩码。对于视频分割，PMT 采用 VidEoMT 的查询传播机制，将前一帧的查询输出与可学习查询融合，从而实现时序推理而无需专门的跟踪模块。
核心创新点在于识别了编码器分割模型的查询注入与冻结编码器根本不兼容的问题，并提出 Plain Mask Decoder 作为解决方案。与 EoMT 将查询注入编码器内部不同，PMD 是一个独立于编码器的轻量级 Transformer 解码器，它使用全新的注意力权重来处理查询和 patch tokens。这使得预训练的编码器可以保持完全冻结，同时解码器能够学会有效的查询-特征交互。另一个关键创新是 lateral connections，它从不同深度的编码器层提取特征，补偿了冻结编码器无法适应目标任务的限制。这些设计共同实现了架构简洁性、高推理速度和编码器可重用性的统一。
方法步骤详情
PMT 的工作流程分为四个主要步骤。第一步是特征提取和 lateral connections：冻结的 ViT 编码器处理输入图像，从 L 个编码器层中均匀选择 Lc 层，提取每层的 patch tokens Xl。对所有提取的 token 特征应用编码器最后的层归一化，然后通过可训练的批量归一化层，最后通过带残差连接的两层 MLP 进行投影。所有分支的特征按元素求和为单一的多深度表示，形成输入解码器的 patch tokens。第二步是 Plain Mask Decoder 处理：将可学习的查询 Qlrn 和 patch tokens 拼接为单一序列，通过 Ld=6 个标准 Transformer 层处理。每层使用多头自注意力，所有 tokens 相互关注，联合实现查询自注意力、patch token 自注意力和双向查询-patch 注意力。第三步是位置编码：对解码器层应用 RoPE，patch tokens 保留编码器分配的网格坐标，查询 tokens 不接收位置编码以保持排列不变性。第四步是掩码预测：对每个输出查询，通过线性层预测类别 logits ci，通过三层 HMLP 后与上采样的 patch tokens 的点积预测 H/4 乘以 W/4 分辨率的掩码 logits。对于视频分割，在 t 大于 0 时使用 QFt 等于 Linear(Qt-1) 加上 Qlrn 融合前一帧查询与可学习查询。
技术新颖性
技术新颖性体现在多个方面。首先，Plain Mask Decoder 是第一个专门为冻结 VFM 设计的分割解码器，它在保持编码器冻结的同时实现了与全微调方法相当的精度。其次，lateral connections 的设计借鉴了 FPN 的多尺度特征融合思想，但将其应用于冻结编码器的特征，这是一个简单而有效的创新。第三，RoPE 在解码器中的应用为查询提供了显式的空间上下文，而无需额外的可学习参数。第四，整个设计无缝扩展到视频分割，通过简单的查询传播机制替代了复杂的跟踪模块。实验证明，PMT 在 COCO val2017 上达到 56.1 PQ，比冻结编码器基线 ViT-Adapter + Mask2Former（48 FPS, 56.4 PQ）快约 3 倍，同时精度仅降低 0.3；在 YouTube-VIS 2019 上达到 69.2 AP，比 CAVIS（15 FPS, 68.8 AP）快约 8 倍，甚至超过全微调的 VidEoMT。
实验结果
实验验证了三个核心发现。首先，编码器分割模型的查询注入与冻结编码器根本不兼容。表 1 显示，在冻结 DINOv3 编码器设置下，从 ViT-Adapter + Mask2Former 逐步移除任务特定组件时，当达到纯编码器 EoMT 配置时，全景质量从 52.0 崩溃到 6.8，验证了冻结的 MHSA 无法有意义地处理从未见过的查询 tokens。其次，Plain Mask Decoder 能够有效恢复性能。表 2 显示，从崩溃的冻结 EoMT 基线（22.3 PQ）开始，添加独立 PMD 立即提升到 51.4 PQ，加入 lateral connections 进一步提升到 55.0 PQ，应用 RoPE 达到最终的 55.5 PQ（DINOv2）和 56.1 PQ（DINOv3）。第三，大规模预训练对 PMT 至关重要。表 3 显示，在 COCO 上，DINOv3 和 DINOv2 下 PMT 与 ViT-Adapter + M2F 的精度差距仅 0.3 和 0.2 PQ，但在 ImageNet-21K 下差距扩大到 1.3 PQ，ImageNet-1K 下达到 2.4 PQ，证明冻结编码器必须携带足够丰富的特征。视频分割实验同样验证了 PMT 的有效性。在 YouTube-VIS 2019 上，PMT (DINOv3) 达到 69.2 AP，比冻结编码器基线 CAVIS（68.8 AP）高 0.4 AP，同时速度快 8.7 倍（113 vs 13 FPS）；在全微调的 VidEoMT 达到 68.9 AP，PMT 甚至略有超越，同时速度相近（113 vs 133 FPS）。表 10 的视频语义分割结果更为惊人，PMT (DINOv3) 在 VSPW 上达到 65.7 mIoU，创造了新的 state-of-the-art，甚至超过了全微调的 VidEoMT (DINOv2) 的 64.9 mIoU。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 全景分割 | PQ | 56.1 | ViT-Adapter + Mask2Former (56.4) | 速度提升约3倍 (141 vs 48 FPS) |
| 全景分割 | PQ | 56.1 | EoMT (DINOv3, 56.8) | 编码器冻结，精度仅差0.7 |
| 实例分割 | AP | 45.4 | ViT-Adapter + Mask2Former (45.9) | 速度提升约3倍，精度差0.5 |
| 语义分割 | mIoU | 58.5 | ViT-Adapter + Mask2Former (58.7) | 速度提升3.2倍 (128 vs 40 FPS) |
| 视频实例分割 | AP | 69.2 | CAVIS (68.8) | 精度提升0.4，速度提升8.7倍 (113 vs 13 FPS) |
| 视频实例分割 | AP | 69.2 | VidEoMT (68.9) | 精度超越全微调方法，编码器冻结 |
| 视频全景分割 | VPQ | 55.5 | CAVIS (56.8) | 精度差1.3，速度提升6.4倍 (58 vs 9 FPS) |
| 视频语义分割 | mIoU | 65.7 | VidEoMT (DINOv2, 64.9) | 达到新SOTA，编码器冻结 |
局限与改进
作者在论文中指出了几个局限性。首先，PMT 的效果依赖于大规模预训练。表 3 清楚显示，当预训练数据规模减小时，PMT 与 ViT-Adapter + M2F 的精度差距扩大，从 DINOv3 的 0.3 PQ 增加到 ImageNet-1K 的 2.4 PQ。这意味着在没有足够大规模预训练的情况下，PMD 无法完全补偿任务特定模块的缺失。其次，表 5 显示解码器性能在 6 层后饱和，增加到 8 层没有带来额外增益，但计算量仍在增加。第三，在视频全景分割任务（VIPSeg）上，PMT 与 CAVIS 的精度差距（1.3 VPQ）大于其他任务，作者认为这是由于 VPS 任务的更高复杂性。此外，从实验设置看，PMT 评估使用的是 640 乘以 640 分辨率，而一些全微调方法使用更高分辨率（如 800 乘以 800），这可能影响公平比较。最后，虽然 PMT 支持多任务部署，但论文没有展示在同时服务多个任务时的实际性能表现，这需要在实际部署中进一步验证。
独立分析的弱点
独立分析的第一个弱点是 PMD 仍然需要一定数量的可训练参数（357M 总参数中 PMD 约占 42M），虽然远小于完整的 Mask2Former 解码器，但在极端资源受限场景下可能仍有优化空间。第二个弱点是 lateral connections 的设计相对简单，只是均匀选择编码器层并将特征求和，可能没有充分利用不同层的语义和空间信息。可以探索更精细的特征融合策略，如基于相似度的加权融合或跨层注意力机制。第三个弱点是 RoPE 的应用虽然有效，但查询 tokens 完全没有位置编码，在某些需要显式位置感知的场景下可能不足。第四个弱点是视频分割仅使用简单的查询传播机制（线性投影加元素求和），没有利用更复杂的时序建模技术，如时序注意力或光流引导的传播。对于长视频或快速运动场景，这可能成为性能瓶颈。改进方向包括探索更轻量的 PMD 架构（如使用共享权重或低秩分解）、设计更智能的 lateral connections、为查询添加自适应位置编码，以及引入更有效的时序建模机制。
未来方向
作者在结论中提到了一个未来方向：将 PMT 扩展到更多分割任务和其他视觉任务。从论文结果可以延伸的几个方向包括：首先，探索 PMT 在 3D 视觉任务（如点云分割、神经辐射场）中的应用，这需要设计适合 3D 数据的 lateral connections 和查询处理机制。其次，研究 PMT 在开放词汇分割中的潜力，利用冻结的 VFM（如 CLIP）的强语义表示能力。第三，优化 PMT 的部署效率，包括量化、剪枝和蒸馏技术，使其更适合边缘设备。第四，研究在同时服务多个任务时的参数共享策略，例如为不同任务使用共享的 PMD 但任务特定的查询初始化。第五，探索自适应的 lateral connections，根据输入图像或任务动态选择和加权不同层的特征。最后，可以研究 PMD 与其他高效注意力机制的兼容性，如 Linear Attention 或 Sparse Attention，以进一步降低计算成本。这些方向都有潜力进一步推进冻结编码器的多任务部署范式。
复现评估
PMT 的复现性评估较为积极。作者在论文中明确说明代码已在 GitHub 上开源：https://github.com/tue-mps/pmt，这是复现的关键资源。实验设置详细说明了使用的预训练模型（DINOv3-L, DINOv2-L）、训练超参数（图像任务使用 batch size 16，学习率 2 乘以 10 的负 4 次方，余弦退火调度器，Coco 训练 12 轮，ADE20K 16 轮；视频任务使用 batch size 8，5 帧窗口，学习率 10 的负 4 次方，多项式学习率衰减），以及评估配置（NVIDIA H100 GPU，FlashAttention-2，torch.compile max-autotune 模式）。论文提供了完整的消融实验，包括从 ViT-Adapter + Mask2Former 到 EoMT 的逐步简化（表 1）、从 EoMT 到 PMT 的逐步构建（表 2）、预训练影响（表 3）、模型规模影响（表 4）和解码器层数影响（表 5），这些为理解方法贡献提供了充分证据。主要挑战是计算资源需求：训练需要 H100 GPU 和大规模预训练模型下载。但由于编码器是冻结的，训练只需要更新相对较少的参数，这降低了显存需求。总体而言，PMT 的复现难度中等，主要门槛是硬件资源而非代码或配置的不确定性。
论文图表
这张表展示了 PMT 在 VSPW 上的视频语义分割结果。使用 DINOv2，PMT 达到 94.6 mVC16 和 64.3 mIoU，GFLOPs 2049，FPS 60。DVIS++ 为 62.8 mIoU，FPS 13。VidEoMT (DINOv2) 为 64.9 mIoU，FPS 73。使用 DINOv3，PMT 达到 94.9 mVC16 和 65.7 mIoU，FPS 57，创造了新的 state-of-the-art，超过了 VidEoMT (DINOv2) 的 64.9 mIoU。
这张表展示了一个令人惊讶的结果：PMT 在冻结编码器下创造了新的 state-of-the-art，甚至超过了全微调方法。这强有力地证明了 PMT 设计的有效性。