扩散模型作为通用分割学习器 Diffusion Model as a Generalist Segmentation Learner
把预训练扩散模型改造为统一的语义/开放词汇/跨域分割框架
前置知识
扩散模型 (Diffusion Model)
通过前向加噪与反向去噪学习数据分布的生成模型。Stable Diffusion v2 用 VAE 把图像压缩到潜空间，再用 U-Net 在潜空间中迭代去噪，并以 CLIP 文本嵌入为条件。
本文直接复用 Stable Diffusion v2 的 U-Net、VAE 和 CLIP 文本编码器作为分割主干，必须先理解其潜空间结构与条件注入机制。
潜空间扩散 (Latent Diffusion)
不在像素空间而是在 VAE 潜空间里执行扩散，可显著降低算力开销。Stable Diffusion 用 $z=\mathcal{E}(x)$ 编码，再由 $\mathcal{D}(z)$ 解码。
DiGSeg 把分割掩膜也编码到潜空间 $\mathcal{E}(y)$ 与图像潜变量拼接，再让 U-Net 学习去噪；这是它能复用 SD 权重的关键。
DDPM/DDIM 采样与噪声调度
DDPM 定义前向 $q(y_t|\bar{\alpha}_t y_0+\sqrt{1-\bar{\alpha}_t}\epsilon)$ 与反向去噪过程；DDIM 通过确定性跳跃大幅减少推理步数。本文还使用多分辨率 + 退火噪声策略。
论文核心是重新参数化分割为条件去噪任务，并把 DDIM-trailing、ensemble、$\tau$ 阈值等技巧都用到了极致。
CLIP 视觉-语言对齐
CLIP 通过对比学习把图像与文本投影到同一特征空间，文本编码器对类别名 'A photo of a dog' 输出归一化嵌入 $t_{clip}$，可为零样本识别提供语义支撑。
DiGSeg 用冻结 CLIP 在多尺度上向 U-Net 注入文本，使模型既支持闭集也能按任意文本 prompt 完成开放词汇分割。
开放词汇与跨域分割
开放词汇要求在测试时识别训练集未见过的类别；跨域则指同一模型在自然图像、医学、遥感、农业等差异极大的数据上都能工作。
这两个属性是论文宣称通用性的核心证据，需要先了解 mIoU、A-847/PC-459 等基准的评价方式。
研究动机
当前分割系统生态高度碎片化：自然图像的语义/实例/全景分割依赖 Mask2Former、OneFormer 等不同架构；开放词汇方法如 ODISE、ZegFormer 又依赖额外的区域提议网络；进入医学、遥感、农业领域则需重新设计 backbone 与标签空间（如 DeepLabv3 在 DeepGlobe 上仅 61.97 IoU）。更关键的是，所有基于扩散的旧方法（DiffSeg、DiffCut、DiffuMask、Seg4Diff）都把扩散模型当作特征抽取器，通过后处理 attention map 得到掩膜，结果碎片化、噪声大、跨层一致性差——例如 DiffSeg 依赖低分辨率 attention 牺牲了细节，高分辨率又缺乏语义一致性。作者在文中明确指出，'the field currently lacks a unified and conditioned interface that can convert a pretrained diffusion model into a comprehensive segmentation engine'，因此迫切需要一个能同时覆盖闭集、开放词汇与跨域的统一模型。
本文的目标是本文提出 DiGSeg（Diffusion Models as a Generalist Segmentation Learner），目标是把预训练 Stable Diffusion v2 改造为一个真正的通用分割引擎：保留扩散模型的丰富视觉先验，但通过显式的条件化微调让它直接生成高质量、文本可控的分割掩膜；最终在 COCO、ADE20K、Pascal Context 等常规基准上拿到 SOTA，并在 DeepGlobe、PhenoBench、REFUGE-2、BDD100K 等医疗/遥感/农业/驾驶数据集上无需任何架构改动即可工作。
与已有工作不同的是，与 ODISE、DiffSeg 等把扩散当特征抽取器的事后利用方式不同，DiGSeg 选择了'反向条件'思路——不再是 $p_\theta(x|y)$ 由掩膜生成图像，而是建模 $p_\theta(y|x,t_{clip})$ 由图像和文本直接生成分割潜变量，并把掩膜和图像一起编码进 SD-VAE 的潜空间拼接后输入 U-Net；同时引入多尺度 CLIP 文本条件、Annealed Multi-Resolution Noise 训练策略和 DDIM-trailing 推理，在闭集/开放词汇/跨域三个维度上都跑通了统一管线。
核心方法
直觉上，作者想把 Stable Diffusion v2 这个'图像生成专家'改造成'图像理解专家'，但又不想丢掉它的视觉先验。具体做法是：把 RGB 图像 $x$ 和对应的灰度分割掩膜 $y$ 都送入冻结的 SD-VAE 编码器 $\mathcal{E}$，得到潜变量 $z_x, z_y$；在训练时按 DDPM 公式把噪声加到 $z_y$ 上得到 $z_y^t$，然后让 U-Net $\epsilon_\theta$ 在图像条件 $z_x$ 和 CLIP 文本条件 $t_{clip}$ 下预测噪声 $\hat{\epsilon}=\epsilon_\theta(z_y^t, z_x, t, t_{clip})$，损失函数就是 MSE $\mathcal{L}_{seg}=\mathbb{E}_{t,\epsilon}\|\epsilon-\hat{\epsilon}\|_2^2$。推理时从 $z_T^y\sim\mathcal{N}(0,I)$ 出发，用 DDIM-trailing 迭代去噪得到干净的 $z_0^y$，再由冻结的 VAE 解码器 $\mathcal{D}$ 还原为分割图。
核心创新是把分割任务反向条件化：用 $p_\theta(y|x,t_{clip})$ 替换掉传统扩散的 $p_\theta(x|y)$，并把图像潜变量作为额外的 conditioning 拼接到 U-Net 的输入上。配合三条差异化设计：(1) Visual Latent Pathway——把 mask 也当三通道'图像'喂给 VAE，从而复用 SD 的全部权重；(2) CLIP-Aligned Text Conditioner——在 U-Net 的 $1/4$ 与 $1/8$ 尺度做 cross-attention，实现多尺度语言-视觉对齐；(3) Annealed Multi-Resolution Noise——训练噪声由不同分辨率的金字塔组成并随时间退火，先学细节再学语义结构。这套组合让 SD 不再是'偶尔能给出可用 mask 的生成器'，而是被显式教成'分割模型'。
方法步骤详情
训练阶段：(1) 输入 RGB $x\in\mathbb{R}^{H\times W\times 3}$ 与对应 mask $y$，把单通道 mask 复制到三通道再送入冻结 VAE，得到 $z_x=\mathcal{E}(x)$、$z_y=\mathcal{E}(y)$；(2) 类别名送入冻结 CLIP 文本编码器得到 $t_{clip}$；(3) 随机采样 $t\in\{1,\dots,T\}$，按 $z_y^t=\sqrt{\bar{\alpha}_t}\,z_y+\sqrt{1-\bar{\alpha}_t}\,\epsilon$ 加噪；(4) 把 $z_y^t$、$z_x$、$t$、$t_{clip}$ 喂给只微调 cross-attention 与 mid-block 的 U-Net $\epsilon_\theta$；(5) 计算 $\mathcal{L}_{seg}=\|\epsilon-\epsilon_\theta(z_y^t,z_x,t,t_{clip})\|_2^2$ 并反向传播。推理阶段：(1) 对图像 $x$ 编码为 $z_x=\mathcal{E}(x)$；(2) 用 CLIP 图像+patch 相似度为每张图筛选候选类别 $\mathcal{C}(x)$，并把对应 $t_c$ 注入；(3) 用 DDIM-trailing（仅需 1 步即饱和）从 $z_T^y$ 去噪到 $z_0^y$；(4) 用 $\hat{y}=\mathcal{D}(z_0^y)$ 还原 mask，并对 8 次不同种子预测在潜空间平均，再以 $\tau=0.7$ 阈值二值化、$\tau_{bg}$ 过滤背景。
技术新颖性
技术新颖性体现在四个层面：第一，把分割重新表述为条件潜扩散生成任务，让'反向条件'从特例变成主路径，与 Marigold 预测连续深度的做法形成离散标签版的对照；第二，Visual Latent Pathway 设计让单通道 mask 也能复用为三通道训练的 SD-VAE，且解码重建误差仅 0.0022（标准差），证实 VAE 不会损伤分割结构；第三，Annealed Multi-Resolution Noise 把低频先验与高频细节同时引入训练噪声，在 ADE20K 上比单纯 Gaussian 噪声提升 +1.9 mIoU；第四，DDIM-trailing + ensemble-8 的组合在 1 步时即可得到 56.8 mIoU，把传统扩散推理从 50 步压缩到极低开销，相对 SegMAN（48.2 mIoU）仍领先 +2.1。
实验结果
在五个开放词汇基准上，DiGSeg 用 ViT-L/14 主干分别取得 A-847 19.9、 PC-459 29.2、A-150 43.2、PC-59 68.4、Cityscapes 38.5 mIoU，全部超过第二名 +1.4 到 +2.8 不等；用 ViT-B/16 轻量版同样在五个基准上达到 17.5 / 23.1 / 37.2 / 62.7 / 36.5，分别领先 +3.3、+2.0、+1.6、+3.7、+1.3。闭集语义分割中，DiGSeg 在 COCO 拿到 50.8 mIoU（+2.1 vs 第二名），ADE20K 拿到 58.6 mIoU（+1.3），超过 SegFormer-B5、Mask2Former、OneFormer、EoMT、OffSeg-L 等强基线。跨域测试更具说服力：在 DeepGlobe 道路分割上 IoU 65.78（+8.50）、Precision 79.93、Recall 78.92、F1 78.79，几乎所有指标都领先 EoMT、SegMAN、MambaVision 等专门设计的遥感模型；在 PhenoBench 农作物数据集上 mIoU 76.66、IoU_{crop} 90.94、IoU_{weed} 62.38，相对 SegMAN 提升 +1.81/+2.03/+1.59。消融实验还显示：仅用 1/2 ADE20K 训练数据性能几乎不退化；multi-resolution + annealed noise 组合比单 Gaussian 噪声提升 +1.9；ensemble-10 比 ensemble-1 在 COCO 上额外提升 +1.9。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Open-vocabulary segmentation on A-847 (ViT-L/14) | mIoU (%) | 19.9 | ESC-Net 18.1 | +1.8 |
| Open-vocabulary segmentation on PC-459 (ViT-L/14) | mIoU (%) | 29.2 | ESC-Net 27.0 | +2.2 |
| Open-vocabulary segmentation on A-150 (ViT-L/14) | mIoU (%) | 43.2 | ESC-Net 41.8 | +1.4 |
| Open-vocabulary segmentation on PC-59 (ViT-L/14) | mIoU (%) | 68.4 | HyperCLIP 64.2 | +2.8 |
| Open-vocabulary segmentation on Cityscapes (ViT-L/14) | mIoU (%) | 38.5 | Mask-Adapter 37.9 | +0.6 |
| Semantic segmentation on COCO | mIoU (%) | 50.8 | MambaVision-B 48.7 | +2.1 |
| Semantic segmentation on ADE20K | mIoU (%) | 58.6 | OneFormer 57.0 / EoMT 57.1 | +1.3 to +1.6 |
| Road segmentation on DeepGlobe | IoU (%) | 65.78 | CGC-Net 68.80 (specialized) | 作者的相对第二名 EoMT 52.52 提升 +13.26；整体优于 EoMT/SegMAN/MambaVision |
| Cross-domain Phenobench weed-crop | mIoU (%) | 76.66 | MambaVision 73.91 | +2.75 |
| Data efficiency on ADE20K (1/2 data) | mIoU (%) | ≈58.6 (近满数据) | full data 58.6 | 几乎不退化 |
局限与改进
作者明确承认的最大局限是医学影像：REFUGE-2 上 DiGSeg 只拿到 34.5 IoU / 51.3 Dice，低于 EoMT 49.9 / 66.6，论文将之归因于 CLIP 在医学文本上对齐弱、'medical terminology is sparsely represented'。从数字上看，轻量 ViT-B/16 版本相对 ViT-L/14 在所有基准都有 5-7 mIoU 的下降，说明文本通道容量对最终性能很关键——一旦 CLIP 嵌入不够强，整个开放词汇能力会被拖垮。此外，推理速度依然是扩散模型的硬伤：8×2 ensemble + DDIM-trailing 仅 3.15 FPS，比 OneFormer 这类前馈模型慢一个数量级；未使用 ensemble 时 FPS 可达 11.27 但精度掉到 56.8，意味着速度-精度的取舍非常陡峭。最后，论文并未在 Cityscapes 与 BDD100K 等大尺度驾驶场景上做闭集训练（仅做跨域评估），从 Table 5 看仅靠 COCO+ADE20K 训练的模型在 Cityscapes 上仅 41.22 mIoU，跨城市场景仍需专用数据。
独立分析的弱点
独立分析三个弱点：(1) 推理开销——即便 DDIM-trailing 1 步也要跑 8 次 ensemble 才达 58.6 mIoU，单次仅 56.8；E-Step 1×1 vs 8×2 的差距为 +2.6 mIoU 但 FPS 从 11.27 跌到 3.15，未来应结合一致性模型 (consistency model) 或蒸馏把 ensemble 折算成单次生成；(2) 类别筛选依赖 CLIP 余弦相似度——$\tau_{patch}$、$\tau_{bg}$ 等超参对长尾类别极敏感，若候选类别被错漏（如对小型物体的 patch 响应不够），将直接漏分割，可考虑引入 SAM 风格的 class-agnostic mask proposal 兜底；(3) 跨域在医学上仍弱——CLIP 文本嵌入不足以承载 CT/MRI/眼底等医学语义，且 SD-VAE 的潜空间在低对比度医学图像上未必保留细节，需要引入 BiomedCLIP 或医学专用 VAE 来补齐。
未来方向
作者在 Discussion 中明确把 DiGSeg 与 Vision Banana 视为同一条轨迹上的互补点：前者展示扩散先验可以做密集预测，后者展示图像生成器可以输出可视化任务结果，未来可探索 '分割+生成' 一体的多任务统一模型。基于本文的成果，还可延伸出几条方向：(1) 把 DDIM-trailing + consistency distillation 引入，把推理压缩到 1 步且保留 ensemble 收益；(2) 用 BiomedCLIP、RemoteCLIP 替换 CLIP 文本编码器，把通用框架拓展到医学/遥感零样本；(3) 引入多模态大语言模型作为类别推荐器，把候选类别筛选从硬阈值改为软推理；(4) 与 SAM 3、Depth Anything 3 等基础模型组合，构建生成-理解全栈 pipeline。
复现评估
论文给出了较完整的实现细节：使用 SDv2 U-Net，DDPM T=1000 步训练 + DDIM 1-50 步推理，图像 resize 到 $512\times 512$，加随机水平翻转与 0.8-1.2 尺度抖动；AdamW lr=$1\times 10^{-4}$，batch=16，8 卡 A100 训练约 1 天；只微调 cross-attention（$1/4$、$1/8$ 尺度与 mid-block）和一个 MLP 投影，其余卷积与 VAE 全部冻结。数据来自 COCO-Stuff + ADE20K 训练，可直接复用公开 SDv2 与 CLIP 权重。算力门槛对一般实验室偏高（需要 8×A100），但因为是微调而非从头训练，单卡 A100 通过小 batch+梯度累积也可勉强跑通。论文未承诺代码开源（arXiv 2604 版本号暗示 2026 年 4 月发布），不过项目页 https://wang-haoxiao.github.io/DiGSeg/2026 提供了定性结果。
论文图表
顶部为方法命名 'DiGSeg'，下面并列展示同一模型在语义分割、开放词汇查询、医学、遥感、农业等不同下游任务上的统一输出，强调一个扩散模型即可应对多种分割场景。
这是全文 motivation 的视觉总纲——直接展示'一个模型统一多任务'的目标，论证 fragmented 现状与 unified 接口的差距。
上半部分用 ViT-L/14 主干对比 14 种方法，DiGSeg 取得 19.9 / 29.2 / 43.2 / 68.4 / 38.5；下半部分用 ViT-B/16 对比 11 种方法，DiGSeg 取得 17.5 / 23.1 / 37.2 / 62.7 / 36.5，全部为最佳并以绿色标出相对第二名的提升幅度。
这是开放词汇 SOTA 的核心定量证据，论文 60% 的篇幅围绕它展开。
对比 SegFormer-B5、Mask2Former、OneFormer、LDMSeg、EoMT、MambaVision 等 13 种方法；DiGSeg 在 COCO 拿到 50.8 (+2.1)，ADE20K 拿到 58.6 (+1.3)。
证实 DiGSeg 不止在开放词汇上有效，闭集任务同样领先，是'通用'主张的必要证据。
IoU/Precision/Recall/F1 四列；DiGSeg 取得 65.78/79.93/78.92/78.79，比第二名 EoMT(52.52/72.88/71.35/72.10) 提升 +13.26/+7.05/+7.57/+6.69，且超越专门为遥感设计的 CGC-Net(68.80 IoU 但精度未给出) 之外的所有通用基线。
跨域能力的代表性定量证据，证明同一模型在 DeepGlobe 道路任务上与专用模型同台竞技。
对比 Standard Gaussian、w/ Annealed、w/ Multi-resolution、w/ Multi-res + Ann. 四种训练噪声；multi-resolution + annealing 在 COCO 50.8、ADE20K 58.6，是四个组合中最优。
支撑 Annealed Multi-Resolution Noise 的设计选择，证明它比单纯 Gaussian 高 +1.9 mIoU。
分别用 COCO、ADE20K、COCO+ADE20K 训练后在 Cityscapes/BDD100K 测试；ADE20K 单数据集训练结果最佳（Citys. 41.22, BDD 37.55），mix 训练反而下降到 38.74/36.89。
揭示了一个反直觉的发现：跨域效果更依赖数据相关性而非数据量，对未来研究者设计训练集有指导意义。