RGBD20K：面向 RGB-D 语义分割的大规模基准数据集 RGBD20K: A Large-Scale Benchmark for RGB-D Semantic Segmentation
构建2万对、160类大规模RGB-D分割基准，提出分数提纯融合SPF模型刷新SOTA
前置知识
RGB-D 语义分割
以对齐的彩色图与深度图为输入，为每个像素预测类别标签的稠密预测任务。深度通道提供几何线索（物体边界、前后遮挡关系），在杂乱室内场景中能缓解纯 RGB 方法对外观相似物体的混淆。深度与 RGB 通常由不同传感器采集，存在分辨率与分布差异，融合是核心难点。
本文两大贡献——RGBD20K 数据集与 SPF 融合模型——全部围绕这一任务展开，理解任务定义与深度信息的价值是读懂动机和方法设计的前提。
mIoU（平均交并比）
语义分割的标准评测指标。对每个类别计算预测掩码与真值掩码的交并比 $IoU = |A \cap B| / |A \cup B|$，再对所有类别取平均得到 mIoU。它同时惩罚漏检与误检，对边界质量敏感，因此也间接反映标注质量。
论文所有主实验（Table III）、标注质量分析和消融实验都以 mIoU 报告，例如 SPF 在 RGBD20K 上达到 46.3%，读懂全文必须熟悉这个指标。
多头注意力与 Q/K/V
Transformer 核心算子：输入经线性投影得到查询 $Q$、键 $K$、值 $V$，注意力权重由 $Q$ 与 $K$ 的相似度经 softmax 归一化后加权聚合 $V$，多个头并行捕获不同子空间的关系。$K$ 决定被关注什么，$V$ 决定聚合什么内容。
SPF 的核心创新正是在注意力计算之前对 $K$ 和 $V$ 进行提纯，必须理解 Q/K/V 三者的角色分工才能看懂论文公式 (4)-(6) 的设计意图。
跨模态融合范式
将 RGB 与深度两路特征结合的策略谱系：早期是双骨干加复杂交互模块（CMX、TokenFusion），近期有基于提示学习的 DPLNet、统一表征学习的 DFormer，以及 GeminiFusion 的像素级融合。关键难点在于两模态分布不一致、深度分支预训练权重失配、融合模块计算开销大。
论文相关工作综述和消融实验都围绕融合范式展开，SPF 本质上是在 GeminiFusion 框架内替换融合模块的产物，了解谱系才能定位其创新。
长尾分布
数据集中少数类别样本极多、多数类别样本极少的分布形态，与真实世界中物体出现频率一致。训练时模型容易偏向头部类，尾部类精度低；基准是否保留长尾会直接影响对模型泛化能力的评估。
RGBD20K 有意保留自然长尾分布（160 类共 368,312 个掩码），这是理解基准难度设定以及各方法在 RGBD20K 上 mIoU 大幅下滑现象的关键背景。
研究动机
现有 RGB-D 语义分割基准在三个维度上严重制约了模型上限。数据规模方面，NYUv1 仅 2,347 对、NYUv2 仅 1,449 对标注图像，SUN RGB-D 扩展到 10,335 对但仍不足以喂饱现代深度网络和视觉 Transformer。语义覆盖方面，NYUv1/NYUv2/SUN RGB-D 分别只有 13/40/37 个类别，无法刻画真实环境的细粒度语义结构；场景类型也局限于有限的室内布局（SUN RGB-D 47 种 vs RGBD20K 75 种），光照、遮挡、物体排布的多样性不足。更关键的是标注质量：SUN RGB-D 等数据集存在类别歧义、错误标签与粗糙边界（论文 Fig. 5 给出实例），作者实测仅把测试集标注精修后，预训练 DPLNet 的 mIoU 就从 52.8 升到 55.0，说明噪声标注既污染训练监督、又系统性低估模型真实水平。这些因素叠加，导致现有方法在复杂开放场景中泛化能力差。
本文的目标是本文的目标是构建一个规模、语义覆盖与标注质量三者兼得的新一代 RGB-D 基准，并给出强基线模型。具体有三：其一，汇集 20,000 对高质量、深度对齐的 RGB-D 图像，规模约为 SUN RGB-D 的 2 倍、NYUv2 的 13 倍以上；其二，建立 160 个细粒度类别、75 种场景类型的语义体系（表内掩码共 368,312 个，平均每图 18.4 个），让模型学到更可泛化的表征，同时保留贴近真实世界的长尾分布；其三，通过多阶段人工精修统一来自 SUN RGB-D、DIML RGB-D 等 7 个异构来源的标注，解决长期存在的边界错位与标签噪声。在数据之上，作者提出分数提纯融合（SPF）网络作为强基线，在 NYUv2、SUN RGB-D（含精修版 SUN RGB-D†）与 RGBD20K 三个基准上全面达到 SOTA，并开源数据与模型以推动通用 RGB-D 感知研究。
与已有工作不同的是，本文的独特之处在于同时攻击数据与方法两端，且两条线互相印证。数据侧，既有大规模资源多服务于其他目标：Matterport3D 有 194,400 张图但主要面向 3D 重建与房间级分类，2D-3D-S 有 70,496 张但只解析 13 个粗类（墙、地板、天花板），ScanNet 聚集体素化重建，近期的 RealSee3D 提供约 30 万视角却主攻三维重建与平面图生成——它们作为连续扫描还常带投影标注，缺乏像素级边界精度。RGBD20K 用多源整合+统一 160 类体系+多轮人工精修+深度感知遮挡排序填补细粒度 2D 语义感知的空档。方法侧，现有融合要么堆叠复杂交互模块（CMX、TokenFusion）导致开销大且深度分支复用 RGB 预训练权重存在分布失配，要么让注意力同时承担去噪与长程上下文聚合两种职责而产生注意力稀释。SPF 提出先提纯、后注意原则，把去噪职责从注意力中剥离，这一视角此前未被系统探索。
核心方法
SPF 的直觉很朴素：与其让注意力机制在充满噪声的特征上边去噪边聚合，不如先给每个像素的跨模态特征打一个可靠性分数，用分数把 Key/Value 提纯成干净的表征，再做标准注意力。技术上，SPF 沿用 GeminiFusion 框架：RGB 与深度共享一个类似 SegFormer 的四阶段层次化编码器（骨干 Swin-L-384，SPF 总参数 416.4M），每个阶段通过融合模块交换信息，最后接 SegFormer 解码头输出分割结果。创新集中在把每个阶段的融合模块替换为分数提纯融合模块：先对两模态的 Q 做对齐投影 $F_{rgb}=W_{rgb}Q_{rgb}+b_{rgb}$、$F_d=W_dQ_d+b_d$，再用关系仲裁器（2 层 MLP+Sigmoid）生成逐像素可靠性分数，最后按分数对可学习噪声与跨模态投影特征做归一化加权，构造提纯后的 $K$ 与 $V$ 供多头注意力使用。整套设计在 RGBD20K 上取得 46.3% mIoU，在全部四个评测设定上刷新 SOTA。
核心创新是先提纯、后注意（purify-then-attend）设计原则，与已有方法的本质区别在于对注意力职责的重新划分。标准交叉注意力存在注意力稀释问题：注意力必须同时处理跨模态不一致（传感器噪声、深度边界错位）与聚合长程上下文，二者相互干扰，削弱判别性特征学习。SPF 把可靠性显式建模为逐像素分数：关系仲裁器对拼接特征输出 $S_f^{rgb}=\sigma(\text{MLP}([Q_{rgb};F_d]))$，经 Split 拆为模态内分量 $S_{rgb}$ 与跨模态分量 $S_{rgb\leftarrow d}$，随后做分数加权对齐，例如 $K_{rgb}=\frac{(Q_{rgb}+e_k^{rgb})\odot S_{rgb}+F_d\odot S_{rgb\leftarrow d}}{S_{rgb}+S_{rgb\leftarrow d}+\epsilon}$，其中 $e_k^{rgb}$ 为逐层可学习噪声、$\epsilon$ 为稳定常数。这样进入 MHA 的 $K/V$ 已预先滤除深度边缘伪影等噪声，注意力只需专注高保真上下文聚合，去噪与聚合两种职责彻底解耦。
方法步骤详情
流程分四步。第一步特征提取：RGB 与深度图进入共享四阶段层次化编码器（Swin-L 骨干），各阶段输出多尺度特征，评测分辨率按基准设定（RGBD20K 为 480×640）。第二步互惠分数生成：对两路 Q 做线性投影得对齐嵌入；关系仲裁器（2 层 MLP+Sigmoid）交叉检视两路特征，输出 $S_f^{rgb}=\sigma(\text{MLP}([Q_{rgb};F_d]))$，Split 拆成模态内分数 $S_{rgb}$ 与跨模态分数 $S_{rgb\leftarrow d}$（深度支路对称）。第三步分数引导的成分增强：用分数对 Q 加可学习噪声项与对方模态投影特征做归一化加权，得提纯的 $K_{rgb},V_{rgb}$ 与 $K_d,V_d$，在注意力入口完成净化。第四步注意力与输出：在提纯表征上计算 $O_{rgb}=\text{MHA}(Q_{rgb},K_{rgb},V_{rgb})$，残差连接回恒等流再过 FFN 进入下一阶段；最终特征送 SegFormer 解码头生成掩码。训练 300 epoch 分三段，学习率 $6\times10^{-5}/3\times10^{-5}/1.5\times10^{-5}$，poly 衰减，权重衰减 0.01，4 张 H100。
技术新颖性
新颖性可从三个层面评价。范式层面：把多模态融合从设计更复杂的交互模块转向在注意力入口处净化 K/V，将可靠性显式参数化为逐像素分数，是对注意力职责边界的重新划分，与 CMX/TokenFusion 的模块堆叠、DPLNet 的提示学习、DFormer 的统一表征学习路线都不同。机制层面：互惠分数生成是双向交叉检视——RGB 分数由 $[Q_{rgb};F_d]$ 预测、深度分数由 $[Q_d;F_{rgb}]$ 预测，再拆分模态内/跨模态分量分别加权，保证两个方向对称增强；消融证明只增强单侧（仅 RGB 45.8% 或仅深度 46.0%）或只作用于 K（46.0%）/V（45.9%）都不如双侧同时作用（46.3%）。工程层面：逐层可学习加性噪声 $e_k$ 优于随机高斯噪声（46.3% vs 45.3%）与乘性注入（46.1%）；2 层 MLP+Sigmoid 仲裁器优于 Softmax（-0.5%）、1×1 CNN（-0.8%）与 3×3 CNN（-0.9%）。每个组件选择都有对照实验支撑，属于小而扎实但幅度有限的创新。
实验结果
主实验（Table III）显示 SPF 在全部四个设定上 SOTA：NYUv2 上 60.5%（超 GeminiFusion 60.2%、DPLNet 59.3%），SUN RGB-D 上 55.0%（超 DFormer v2 53.3%），精修标注的 SUN RGB-D† 上 62.2%（超 GeminiFusion 61.5%），RGBD20K 上 46.3%（超 GeminiFusion 45.4%、CMX 43.9%）；DPLNet 在 RGBD20K 仅 28.0%，说明大规模细粒度数据显著拉开方法差距。标注质量实验是独立发现：仅精修测试集，预训练 DPLNet 的 mIoU 即从 52.8 升至 55.0（+2.2）；精修标注同时用于训练与测试（SUN RGB-D†）后 DPLNet 达 59.0（+6.2），各方法普遍提升 2-7 个点，证明标注噪声曾系统性低估模型性能。消融逐项验证：去掉对齐投影降 0.6%（45.7%），去掉分数降 0.8%（45.5%）；可学习加性噪声最优（46.3% vs 随机高斯 45.3%）；MLP+Sigmoid 仲裁器最优。所有方法在 RGBD20K 上均大幅低于小数据集表现（最高 46.3%），确认其作为更难基准的区分度。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RGB-D 语义分割（NYUv2，40 类） | mIoU (%) | 60.5（SPF，Swin-L-384，416.4M 参数） | GeminiFusion 60.2 / DPLNet 59.3 / DFormer v2 58.4 | +0.3 / +1.2 / +2.1 |
| RGB-D 语义分割（SUN RGB-D，37 类） | mIoU (%) | 55.0（SPF） | GeminiFusion 54.6 / DFormer v2 53.3 / DPLNet 52.8 | +0.4 / +1.7 / +2.2 |
| RGB-D 语义分割（SUN RGB-D†，精修标注重训） | mIoU (%) | 62.2（SPF） | GeminiFusion 61.5 / DPLNet 59.0 / DFormer v2 59.7 | +0.7 / +3.2 / +2.5 |
| RGB-D 语义分割（RGBD20K，160 类） | mIoU (%) | 46.3（SPF） | GeminiFusion 45.4 / CMX 43.9 / DPLNet 28.0 | +0.9 / +2.4 / +18.3 |
| 标注质量影响（预训练 DPLNet 仅换精修测试集标注） | mIoU (%) | 55.0 | 52.8（原始 SUN RGB-D 标注） | +2.2 |
局限与改进
作者承认的局限：RGBD20K 聚焦室内场景，未覆盖机器人与自动驾驶常见的室外条件；测试集仅占 10%（2,000 对），虽经分层抽样保留场景/类别/深度分布并包含全部 160 类，但绝对规模有限。我自己的观察：其一，SPF 参数量高达 416.4M（比 GeminiFusion 的 369.2M 还多 47.2M），需 4 张 H100 训练 300 epoch，而 DFormer v1 用 39M 参数就在 NYUv2 拿到 57.2%，效率维度上 SPF 的性价比存疑；其二，RGBD20K 上最佳 mIoU 仅 46.3%，且所有方法都大幅下滑（DPLNet 从 59.3 跌到 28.0），论文未深入剖析失败模式究竟源于长尾类、细粒度类混淆还是边界质量；其三，主结果提升幅度普遍只有 0.3-0.9 点，且与最强基线共享 Swin-L 骨干与训练配置，各消融组件贡献均在 1 个点以内，数据红利与方法创新难以完全解耦；其四，论文宣称数据集支持开放词汇与零样本任务，但未提供任何相关实验证据。
独立分析的弱点
弱点一：可靠性分数缺乏可解释性验证。论文没有可视化 $S_{rgb\leftarrow d}$ 的空间分布（例如是否真在深度边缘伪影处变低），分数提纯的机制解释停留在公式层面，建议补充分数图热力可视化与失败案例分析。弱点二：提升的统计显著性存疑。主结果领先多在 0.3-0.9 点、消融差距 0.2-1.0 点，论文未报告多次运行的方差或显著性检验，如此小的差距可能被训练随机性淹没。弱点三：类别体系与旧基准不兼容。160 类与 NYUv2 的 40 类、SUN RGB-D 的 37 类无法直接对齐，跨数据集迁移与公平对比需要映射协议，论文未提供，这削弱了它替代旧基准的说服力。弱点四：数据来源以 SUN RGB-D 为主体（10,335/20,000，占 52%），精修与原始标签的比例、逐类精修统计未披露，长尾尾部类别的标注可靠性难以核验。改进方向：发布分数可视化工具与逐类混淆矩阵，补充跨数据集类别映射表，对尾部类别做人工抽检并公开报告。
未来方向
作者提出的方向：依托 RGBD20K 发展开放词汇与零样本感知（数据集设计已预留类别灵活扩展机制），并面向机器人与自主系统推进下一代通用 RGB-D 感知。基于本文成果可延伸的方向：其一，把 SPF 的提纯思想推广到其他模态对（RGB-T、RGB-事件、LiDAR-相机），DeLiVER 等任意模态基准是现成试验场；其二，研究标注精修的自动化——用大模型预标注加人工复核，降低 20,000 对图像多轮人工精修的成本，并把精修前后的 mIoU 变化量作为可复用的标注质量度量；其三，针对 RGBD20K 暴露的巨大差距（DPLNet 仅 28.0%），专门研究长尾与细粒度类别处理，如类别平衡采样、利用其物体-部件层级标注设计层级损失；其四，效率化改造：借鉴 DFormer 的深度低信息密度假设为 SPF 设计轻量深度分支，把 416.4M 参数压到可部署规模；其五，把 SPF 的可靠性分数作为不确定性估计，用于主动学习采样或下游机器人规划的安全决策。
复现评估
复现条件总体友好但有缺口。数据方面，论文宣称开源 RGBD20K（正文给出链接），20,000 对图像与精修标注可下载，且完整列出 7 个来源（SUN RGB-D 10,335、DIML RGB-D 8,365、RGB-D Mirror 824、VidSOD 100、DepthTrack 98、RGBD1K 235、ARKitTrack 43），但部分来源有各自 license，整合后再分发条款需确认。模型方面，SPF 基于 GeminiFusion 开源代码构建，Swin-L 骨干公开可得，论文给出完整公式 (1)-(6) 与训练超参（300 epoch、三段学习率、poly 衰减、权重衰减 0.01、各基准输入分辨率），复现路径清晰。算力是主要门槛：4 张 NVIDIA H100 训练 300 epoch，个人无法本地全量复现，需云端多卡（估计数百 GPU 时）或缩小骨干。难度评估：跑通推理与微调为中等难度；完整复现 Table III 全部 10 个方法成本很高，建议优先复现 SPF 与 GeminiFusion 两个关键对照。
论文图表
三组柱状对比图：(a) 图像数量、(b) 物体类别数、(c) 场景类别数。RGBD20K 以 20,000 对图像、160 个类别、75 种场景全面超越 NYUv1（2,347 张/13 类/7 场景）、NYUv2（1,449 张/40 类/26 场景）和 SUN RGB-D（10,335 张/37 类/47 场景）。
一张图直观呈现论文最核心的卖点——数据规模与语义覆盖的数量级跃升，是快速理解论文动机的最佳入口。
分为 (a) 像素级分布与 (b) 类别级分布两个子图，展示 160 个类别上的掩码像素与实例数量，呈现明显的自然长尾形态：少数头部类占大部分像素，大量尾部类样本稀少。
说明数据集有意保留真实世界的物体频率分布，这既是基准更具挑战性的原因，也是解读各方法在 RGBD20K 上 mIoU 普遍偏低的关键背景。
展示办公室、教室、卧室、客厅、厨房、礼堂、音乐室、健身房、实验室、图书馆、餐厅、机房、零售店、教堂、仓库等 16 种场景的标注样例，可见像素级语义掩码覆盖细粒度物体，且物体部件标注链接到父物体形成轻量层级结构。
让读者直观检验 160 类细粒度标注的真实质量、场景多样性与层级标注设计，比数字更能说明数据集的含金量。
对比四个基准的年份、类别数、图像数、场景数、掩码总数与平均每图掩码数：NYUv1（2011，13 类，2,347 张）、NYUv2（2012，40 类，1,449 张，33,749 掩码，23.3/图）、SUN RGB-D（2015，37 类，10,335 张，146,617 掩码，14.2/图）、RGBD20K（2026，160 类，20,000 张，75 场景，368,312 掩码，18.4/图）。
用硬数字量化既有基准在规模、语义覆盖、场景多样性上的三重局限，是动机部分最核心的证据表。
列出 RGBD20K 的 7 个数据来源及各自图像数与任务类型：SUN RGB-D 10,335（语义分割）、RGB-D Mirror 824（语义分割）、VidSOD 100（显著性检测）、DepthTrack 98（跟踪）、RGBD1K 235（跟踪）、ARKitTrack 43（跟踪）、DIML RGB-D 8,365（预训练），合计 20,000 对。
揭示数据集的异构整合策略与来源可追溯性，也暴露了 SUN RGB-D 占比过半这一构成特点，对评估数据多样性很重要。
10 个方法（PGDENet、TokenFusion、GeminiFusion、MultiMAE、CMX、CMNeXt、DFormer v1/v2、DPLNet、SPF）在 NYUv2、SUN RGB-D、SUN RGB-D†、RGBD20K 四列上的 mIoU，附骨干与参数量。SPF 依次取得 60.5/55.0/62.2/46.3 全面第一；DPLNet 在 RGBD20K 仅 28.0；所有方法在 † 列普遍提升 2-7 个点。
主结果表，同时承载 SOTA 对比、标注精修影响与 RGBD20K 难度区分度三重信息，是全文最重要的表格。
在 RGBD20K 上消融：完整 SPF 46.3%；去掉 RGB/深度对齐投影 45.7%（-0.6）；去掉分数 45.5%（-0.8）；分数仅作用于 K 46.0%（-0.3）、仅作用于 V 45.9%（-0.4）、仅作用于 RGB 支路 45.8%（-0.5）、仅作用于深度支路 46.0%（-0.3）。
证明跨模态投影对齐与双向（RGB 与深度、K 与 V 同时）分数增强缺一不可，是方法每个设计决策的实验依据。
对比噪声注入策略：可学习噪声加性注入最优 46.3%；可学习噪声乘性注入 46.1%（-0.2）；随机高斯噪声加性注入 45.3%（-1.0）；随机高斯噪声乘性注入 45.5%（-0.8）。
验证逐层可学习加性噪声这一细节设计的必要性，并与 GeminiFusion 此前关于层特定可学习噪声的发现形成呼应。
对比关系仲裁器的实现形式：2 层 MLP+Sigmoid 最优 46.3%；2 层 MLP+Softmax 45.8%（-0.5）；1×1 CNN+Sigmoid 45.5%（-0.8）；3×3 CNN+Sigmoid 45.4%（-0.9）。
说明分数生成器的最优实现是带 Sigmoid 的 2 层 MLP，为后续工作复现或改进 SPF 提供明确配置。