基于半监督基础模型蒸馏训练学生专家网络

三阶段半监督蒸馏框架，将视觉基础模型压缩为11倍小的实例分割专家。

前置知识

知识蒸馏 (Knowledge Distillation)

把一个大型「教师」模型学到的知识转移到一个轻量「学生」模型中，使学生模型在参数量和算力大幅缩减的情况下尽量逼近教师表现。常见做法包括匹配输出 logits、中间特征或关系矩阵等。

本文核心机制就是把 568M 参数的 VFM 教师压缩成 52M 的学生，属于典型的「基础模型下游蒸馏」应用。

自训练 (Self-training / Pseudo-labeling)

在半监督学习里，模型先用少量标注数据训练，再对大量无标注数据预测高置信度伪标签，然后把这些伪标签当作额外监督信号迭代训练自己。简单但容易把错误循环放大。

本文三阶段流水线中，第 1 和第 2 阶段都在用伪标签做自训练，但加了一个对比正则项来抑制误差累积。

对比学习 (Contrastive Learning)

通过拉近「正样本对」(同一图像的不同增强或同一实例的特征)、推远「负样本对」(不同实例的特征) 来学习判别性表征。InfoNCE/NT-Xent 是其典型损失函数。

本文的 Instance-aware Pixel-wise Contrastive Loss 就是对像素级 InfoNCE 的改造，关键创新在「怎么选难负样本」。

实例分割 (Instance Segmentation)

同时完成「分类每个像素属于哪一类」和「区分同类不同个体」的任务，比语义分割难，因为需要逐实例 mask。代表模型有 Mask R-CNN、Mask2Former、SAM。

本文的应用场景就是实例分割，标注成本极高（逐像素 mask），正是半监督蒸馏最有价值的痛点。

视觉基础模型 (Vision Foundation Model, VFM)

在大规模数据上预训练、可迁移到多种下游任务的通用视觉模型，如 SAM、Grounding-DINO、DINOv2 等。它们泛化强但参数量大、推理慢，难以直接部署。

教师就是 SAM2-L 与 mm-Grounding-DINO-L 的融合体，本文要解决的就是「怎么把它高效蒸馏成可部署的小模型」。

研究动机

实例分割要求每个像素都打上「类别+实例 ID」的标签，标注成本比分类或检测高出一个数量级，给实际项目带来极大障碍。视觉基础模型（VFM）虽然在零样本场景下表现不错，但有两个致命短板：第一，参数量动辄数百 M（例如本文教师融合体达到 568M），FLOPS 高达 76.92G、单帧延迟 350ms，无法满足自动驾驶、机器人感知等实时低功耗部署需求；第二，VFM 是「通用目的」训练，对特定下游任务（如街景中的 car、person 多类别密集实例）的专精度往往不足，零样本在 Cityscapes 仅 22.0 maskAP、ADE20K 仅 8.1 maskAP。现有半监督蒸馏方法要么把 VFM 当成冻结的特征抽取器（[22, 25]），无法更新其空间判别能力；要么只做粗粒度语义任务（[26]），忽视实例级 mask 分离；要么虽然处理实例分割（[27, 57]），但没有充分利用无标注数据的结构来精修密集 mask，导致相邻同类实例分不开、低标签情况下退化明显。

本文的目标是提出一个统一的半监督知识蒸馏（SSKD）框架 SSKD，能把预训练 VFM 教师在少量标注 + 大量无标注数据的条件下压缩为约 11 倍小、推理快 12.5 倍的学生专家，且学生最终在 maskAP 上既显著超过零样本 VFM，也超过经过自适应的教师。具体量化目标：在 Cityscapes 用 10% 标注数据时学生达到 33.9 maskAP / 58.7 maskAP50，相对零样本教师提升 +11.9 AP，相对自适应教师提升 +3.4 AP；在 ADE20K 同样条件下达到 16.7 maskAP / 28.0 maskAP50。

与已有工作不同的是，本文抓住了「无标注数据上像素级对比信号」这一被现有方法系统性忽视的杠杆。区别于把对比学习仅用于教师-学生表征对齐（[15, 41, 63]），本文设计了一个实例感知的像素级对比损失，在教师自适应和学生蒸馏两个阶段都维持这个自监督信号，并通过 mask+class 联合的采样分布去挖掘「真正难」的负样本对，从而在不引入二次复杂度的情况下拉开不同实例在嵌入空间中的距离。这是把对比学习从「分类辅助」升格为「dense prediction 主干正则」的尝试。

核心方法

直觉上，可以把整个流程想象成「师傅带徒弟」：先让师傅（VFM 教师）进入目标领域做一次实战培训（教师自适应），让他生成更准确的示范；再让徒弟（小模型）边看师傅演示边自己摸索（蒸馏），并且师傅会特别指出「这两个东西容易被搞混，注意区分」（实例感知对比损失）；最后徒弟单独拿真实标签做一遍精修，把模仿带来的偏差抹掉。技术路线上，这是一个三阶段流水线，统一用同一个目标函数 $\mathcal{J}(\theta; \mathcal{D}_l, \mathcal{D}_u; \lambda_{semi}, \lambda_{pxl})$ 串起监督项 $L_{sup}$、伪标签项 $L_{semi}$、像素对比项 $L_{pxl}$，通过系数切换把三阶段衔接起来。

本文最核心的创新是实例感知的像素级对比损失 $L_{pxl}$，它不靠教师-学生表征对齐，而是把无标注像素当作自监督信号。设计上先用模型自身的 mask logit $M \in \mathbb{R}^{B\times K\times H\times W}$ 和 class logit $L \in \mathbb{R}^{B\times K\times(C+1)}$ 构造联合概率 $y[b,p] = [P_m; F_c]$，再算去偏分数 $s_{deb} = \max(0, 1-\langle \tilde y, \tilde y'\rangle)$，按此比例采样负样本做 NT-Xent。和已有方法的本质区别有三：(1) 把对比损失升格为密集预测的主干正则而非分类辅助，让「同实例像素拉近、跨实例像素推远」成为显式几何约束；(2) 用 mask+class 融合概率避开「同类不同实例被误推到一起」的反模式；(3) 在教师自适应阶段就开启这个信号，使教师产出的伪标签天然具备「实例边界干净」的特性，学生蒸馏因此水涨船高。

方法步骤详情

三阶段流水线。阶段一（教师自适应）：用 $D_l$ 对 mm-Grounding-DINO-L + SAM2-L 融合教师微调 1k 步得 $\theta'_T$，对 $D_u$ 生成伪标签并联合训练 5k 步，目标 $\min_\theta \mathcal{J}(\theta; D_l, D_u; 1, \lambda_{pxl})$。阶段二（知识转移）：冻结 $\theta''_T$，学生（22M DINOv2-S + 22M DPT + 轻量 transformer，共 52M）训练 90k 步，目标 $\mathcal{J}(\theta_s; D_l, D_u; \lambda_{semi}, \lambda_{pxl})$。阶段三（精修）：仅在 $D_l$ 上微调 2k 步。对比损失输入为弱/强视图经 MLP 投影并 $\ell_2$ 归一化的嵌入，positive 同位置强视图，negatives 按 $s_{deb}$ 采 $R$ 个，损失形式为 NT-Xent。关键超参 $\lambda_{pxl}=0.2$、$K=256$、伪标签阈值 0.3、$T=0.2$。

技术新颖性

技术新颖性体现在三方面。第一，统一目标函数的形式化：把监督、伪标签、对比正则塞进一个 $\mathcal{J}$ 表达式，仅通过 $(\lambda_{semi}, \lambda_{pxl})$ 的取值切换就能对应三阶段，避免多损失调参混乱。第二，去偏实例感知采样分布：相比 DenseCL [44]、ContrastMask [48] 等把同类的不同实例像素一起当作负样本的方案，本文显式利用 mask+class 融合分布计算 $s_{deb}$，使采样真正落在「跨实例」像素上。第三，理论支撑：作者给出 Assumption 3.1（采样负样本属于不同实例的概率 $p>0.5$）和 Proposition 3.1（一次梯度更新使期望实例间距 $\Delta_{emp}$ 增长 $\varepsilon=\Theta(p\lambda_{pxl})>0$），并通过监测 FNR 和 $\Delta_{emp}$ 在 90k 步训练中观察到 $p>0.9$ 且间距近似线性增长，为方法选择提供了可解释依据。

**Figure 1**: Framework overview. Three-stage pipeline (teacher adaptation → knowledge transfer → student refinement) and detailed view of stage 2 showing fused mask/class score maps, anchor sampling, and MLP projection for the contrastive loss.

**Figure 3**: Empirical validation of Proposition 3.1: empirical margin, false negative rate, and contrastive loss across training iterations.

**Figure 5**: Qualitative bias reduction in stage-wise distillation.

**Figure 8**: Attention maps of the teacher model before and after adaptation.

实验结果

Cityscapes 和 ADE20K 均 SOTA。10% 标签下 Cityscapes 学生精修后 33.9 maskAP / 58.7 maskAP50，相对零样本 VFM +11.9 AP、相对自适应教师 +3.4 AP；ADE20K 精修后 16.7 / 28.0，相对零样本 +8.6 AP、自适应教师 +1.5 AP。低标注优势更显著：5% 标签时 Cityscapes 学生 30.7 AP，远超 PAIS（18.0）和 Guided Distillation（23.0）；30% 标签时 40.4 AP，超 S4M（37.8）。损失消融：仅 $L_{sup}$ 学生 21.1，加 $L_{semi}$ 跳到 30.7，再加 $L_{pxl}$ 达 32.2。教师自适应贡献巨大——去掉它学生从 33.9 跌到 25.7。负采样融合（32.2）显著优于 Uniform（29.4）、Mask-Only（30.6）、Class-Only（31.1）。学生相对教师 -90.8% 参数、-99.2% 延迟、+1720% FPS，AP 反涨 +54%。

**Table 1**: Main results on Cityscapes and ADE20K with 10% labeled data.

**Table 2**: Ablations on Cityscapes (10% labels): effect of loss terms.

**Table 3**: Ablations on Cityscapes (10% labels): effect of training stages.

**Table 4**: Ablation of negative sampling strategies on Cityscapes.

**Table 5**: Architecture ablations on Cityscapes: encoder backbone and decoder head.

**Table 6**: Scalability across label fractions on Cityscapes.

**Figure 2**: Efficiency comparison (log scale).

**Figure 4**: Qualitative results on Cityscapes: Guided distillation vs. our method.

查看结构化数据

任务	指标	本文	基线	提升
Cityscapes 实例分割 (10% 标签)	maskAP / maskAP50	33.9 / 58.7 (精修后)	S4M 33.3 / 56.7；Guided dist. 30.8 / 52.9；Zero-shot VFM 22.0 / 42.3	相对 S4M +0.6 AP；相对零-shot VFM +11.9 AP
ADE20K 实例分割 (10% 标签)	maskAP / maskAP50	16.7 / 28.0 (精修后)	Vemulapalli 等 5.1 / 9.3；Self-training 14.6 / 23.6；Guided dist. 14.2 / 23.8	相对 Guided dist. +2.5 AP；相对 zero-shot VFM (8.1/18.2) +8.6 AP
Cityscapes 5% 标签 (低资源)	maskAP	30.7 (精修后)	PAIS 18.0；Guided dist. 23.0；S4M 30.1	相对 PAIS +12.7 AP；相对 Guided dist. +7.7 AP
Cityscapes 30% 标签 (中等资源)	maskAP	40.4 (精修后)	PAIS 32.8；Guided dist. 35.6；S4M 37.8	相对最强基线 S4M +2.6 AP
学生模型推理效率	Params / FLOPS / Latency / FPS	52M / 4.56G / 2.85ms / 102 FPS	教师 568M / 76.92G / 350.87ms / 5.6 FPS	参数 -90.8%、延迟 -99.2%、FPS +1720%

局限与改进

作者在结论中明确指出该多阶段流水线较为复杂，未来希望简化；本文只在 Cityscapes（街景）和 ADE20K（通用场景）两类数据集上验证，对医学影像、遥感、视频时序等更广领域的迁移性未给出证据。此外，论文主要汇报 10% 标注设置下的详细结果，更极端的 1% 标签场景未涉及；负采样策略在 Cityscapes 上表现良好的经验值（$p>0.9$）是否在其他域同样成立也未交叉验证。从我的观察看，论文对计算资源的报告偏乐观——teacher 适配虽只 ~3.5 GPU·h，但实际教师融合 Grounding-DINO + SAM2-L 的前向开销极大，普通研究者想跑通需具备 2×A100 和数十 GB 显存；学生训练 ~17 GPU·h 在 4090 上完成看似亲民，但要复现全套消融（多个教师变体、采样策略、超参扫描）累计仍是数十天 GPU 时间。另一个隐性限制是负样本采样依赖 mask+class 概率，伪标签早期若质量很差，$s_{deb}$ 会把对比损失引向噪声区域，需要靠阈值 0.3 和较长的预热迭代来稳定。

独立分析的弱点

独立分析看，方法至少有三个弱点。第一，阶段 2 中学生要同时匹配监督、伪标签、对比正则三项，三者梯度量级差异可能引发训练不稳定（论文未给出各项损失梯度范数演化曲线），改进方向是引入 GradNorm 或动态加权让三项自动平衡。第二，对比损失负样本仅在 mini-batch 内采样，实验显示 memory bank (10k) 能再涨 +0.5 maskAP，但训练时间 ×2.2，若部署到延迟极敏感的场景可把 K=256 缩到 64 并配合更大有效 batch size。第三，教师用 mm-Grounding-DINO（开源替代）代替最新版 Grounding-DINO，意味着教师本身可能不是当下最强 VFM，改进方向是引入 Grounded-SAM、Sa2VA 等更新融合体作为教师，看 $L_{pxl}$ 在更强教师下能否继续放大差距。此外论文未分析跨域（如 Cityscapes → BDD100K）泛化能力，对自动驾驶真实场景下「地理分布漂移」的鲁棒性未知。

未来方向

作者在结论中提到未来会简化多阶段流水线、扩展到更多领域、推广到更广的高效感知设置。基于成果可延伸的方向还包括：(1) 将 SSKD 推广到视频实例分割（VIS），利用时序一致性强化 $L_{pxl}$；(2) 把实例感知对比损失蒸馏到开放词汇检测（open-vocabulary detection）中，使学生能识别未见类别；(3) 探索把 $L_{pxl}$ 用于扩散模型的特征蒸馏，借助高维嵌入空间进一步拉开实例边界；(4) 在端到端神经架构搜索（NAS）框架下，让对比损失的 $\lambda_{pxl}$、采样数 $K$、温度 $T$ 与学生结构联合优化；(5) 结合最近 LoRA 或 Adapter 类的参数高效微调，把教师自适应阶段的算力再降一档，让整个框架在单卡 4090 上可复现。

复现评估

复现难度中等偏上。截至提交论文未给出官方代码仓库链接，但实验设置披露充分：硬件 Ubuntu 22.04 / Python 3.10 / PyTorch 2.6.0 / CUDA 12.6，教师适配用 2×A100，学生训练用 2×RTX 4090。学习率（教师 $5\times 10^{-5}$、学生编码器 $5\times 10^{-6}$、解码器 $5\times 10^{-5}$）、AdamW、伪标签阈值 0.3、$\lambda_{pxl}=0.2$、$K=256$、$T=0.2$ 等超参齐全。Cityscapes（2,975/500）和 ADE20K（20,210/2,000）均公开。两个门槛需克服：(1) Grounding-DINO 最新版不完全开源，需用 mm-Grounding-DINO 替代，与最优教师配置可能存差距；(2) 教师融合体前向开销大，需较多显存。若接受替代教师并具备 2×A100 算力，10% 标签下的 33.9 maskAP 预计能在 ±1 AP 范围内复现，但完整复现全部消融（30+ 组实验）累计需数十天 GPU 时间。