NTIRE 2026 视频显著性预测挑战赛：方法与结果综述 NTIRE 2026 Challenge on Video Saliency Prediction: Methods and Results
基于5000+众包鼠标追踪数据，7支队伍用大模型视频主干角逐视频显著性预测SOTA。
前置知识
视觉显著性预测
显著性预测旨在模拟人类视觉系统，自动生成与人类注视点分布一致的概率密度图（saliency map）。输入是图像或视频帧，输出是同尺寸灰度图，亮处代表'该像素更可能吸引注意力'。现代方法用深度网络学习时空注意力，是感知引导压缩、质量评估的核心前置模块。
本挑战赛任务就是用算法生成显著性图，所有方案都围绕如何提升CC、SIM、AUC-J、NSS四个指标展开。
注视点与众包替代
传统眼动数据需专用眼动仪，单视频成本高、难以扩展。众包替代（如鼠标追踪）让用户用鼠标控制光标代替视线，多人叠加后高斯平滑+归一化得到接近眼动仪的注视密度图。SALICON 已验证此方法可靠性。
本数据集 2000 段视频由 5000+ 众包用户通过鼠标追踪标注，每段视频由 70+ 人评分，是目前规模最大的公开视频显著性数据集之一。
InternVideo2 与 V-JEPA2
InternVideo2 是上海AI实验室的多模态视频基础模型，最高达 6B 参数。V-JEPA2 是 Meta 的视频联合嵌入预测架构（ViT-g/16），采用自监督掩码预测目标在无标注视频上预训练，其表征对物体恒存、形状一致性天然敏感。两者均可通过 LoRA 微调迁移。
冠军 iLearn（InternVideo2-6B）和亚军 CVSP（V-JEPA2 Giant）都依赖这两个大型预训练主干，验证了'大模型+小适配器'范式的优势。
扩散模型与状态空间模型
扩散模型通过迭代去噪从随机噪声生成目标分布，已在生成、分割、显著性任务上展现强大能力。状态空间模型（如 Mamba）以线性复杂度建模长序列依赖，能替代 Transformer 处理高分辨率时空特征。SHU-MIIPLab 的 SSF-DiffNet 即结合两者。
这是本次挑战赛唯一使用扩散范式的方法，在第六名仍能取得 AUC-J=0.8797 的强结果。
研究动机
显著性预测是感知引导编码、客观质量评估、自适应重定向等任务的关键前置模块，但当前公开视频显著性数据集规模极为有限：最大 Hollywood-2 仅 1707 段、19 名被试；DHF1K 仅 1000 段、17 名被试。眼动仪采集成本高、流程复杂，难以扩展，导致深度学习模型在数据量上长期受限。已有数据集分辨率低、场景单一、缺乏音频标注，无法满足 2026 年沉浸式多媒体、360° 视频、3D 网格等新兴应用的需求。从模型侧看，早期手工特征方法对动态场景时空建模能力不足；近年神经网络方法虽有所提升，但多模态融合、自监督大模型的潜力尚未被充分挖掘，社区缺少统一的对比基准。
本文的目标是本文及 NTIRE 2026 视频显著性预测挑战赛的具体目标包括三方面：第一，发布一个规模空前（2000 段 FullHD 视频、1M+ 帧、5000+ 众包用户、70+ 人/视频）的新基准；第二，搭建统一的评估平台（CC、SIM、AUC-Judd、NSS 四指标联合排名）以横向对比主流方案；第三，推动并记录社区最优方法，验证大模型预训练主干、多模态融合、扩散生成、状态空间模型等前沿技术在显著性预测上的可行性与上限。
与已有工作不同的是，本挑战赛的独特切入角度在于'数据+基准+方法'三位一体：在数据侧，依托改进的众包流程（用户筛选、预/后处理）将单视频标注人数推到 70+ 人/视频，远超 Hollywood-2（19 人）和 DHF1K（17 人），同时确保分辨率≥FullHD、纵横比 3:1、30FPS、CRF 23、立体声音频标准化；在基准侧，引入 300 公开 + 500 私有双测试集防止过拟合，并要求最终阶段提交可复现代码；在方法侧，召集 7 支获胜团队系统性地覆盖了 InternVideo2、V-JEPA2、DiffSal、SalFoM、TMFI、DINOv3、SAM2 等多种主流主干与范式，使读者能直接对比不同技术路线的优劣。
核心方法
本次挑战赛的方法论整体围绕'大规模预训练主干 + 多尺度时空解码 + 任务特定增强'展开。所有 7 支获胜团队均使用深度神经网络，未见传统手工特征方法。技术路线可归纳为三条主线：第一条是'大型视频主干 + 多专家解码器集成'，以 iLearn（InternVideo2-6B + 双专家 logit 集成）和 ARK MMLAB（InternVideo2-1B + 时序注意力 + 层级解码器）为代表；第二条是'自监督表征 + 预测编码驱动'，CVSP 团队（V-JEPA2 Giant + 3D 卷积解码器 + 4 种子集成）以预测编码理论为基础；第三条是'多模态/扩散/状态空间等范式创新'，AAM 引入音频-视觉-文本三模态 + 双曲空间层级建模，SHU-MIIPLab 用 Mamba 块融合 RGB 与光流再驱动扩散去噪，NTR 提出视频流+图像流双流轻量方案，Vertex 在 TMFI 基础上新增 bottom-up 路径实现双向多尺度融合。
与已有方法相比，本挑战赛的核心创新点体现在三方面。其一是'大模型+小适配'范式的普及：7 支团队中有 6 支采用 1B+ 级预训练主干（InternVideo2、V-JEPA2、DINOv3、SAM2 Hiera），通过 LoRA 或冻结主干迁移到显著性任务，显著缩小了从头训练的数据需求和算力门槛——iLearn 仅用两阶段微调就在 4 指标上全面超越 64M 参数的 NTR 轻量方案。其二是'互补性集成'的极致发挥：iLearn 用乘法门控+空间先验（Expert 1）与拼接融合+深监督（Expert 2）形成结构性互补，在 logit 空间做加权融合；Vertex 将 TMFI 顶向下融合扩展为 8 尺度的顶-底双向融合，再与 DiffSal、SalFoM、原始 TMFI 四模型加权集成；AAM 引入双曲空间实现视觉-文本的层级蕴含约束。其三是'显式生成/物理建模'的回归：CVSP 重提预测编码理论，把显著性定义为'对世界生成模型的预测误差'。
方法步骤详情
以冠军 iLearn 为例说明典型流程。输入视频按 16 帧采样 clip 并 resize。Step 1：InternVideo2-Stage2 6B 主干冻结后挂 LoRA，从 11/23/35/47 层抽 4 尺度时空特征。Step 2：双专家并行解码——Expert 1 用最深层得时间注意力图，乘法门控自顶向下调制浅层，经 ResBlend3D 细化输出显著性图，接 CenterBias 头注入注视中心偏好。Expert 2 把 4 尺度特征投影到统一通道，沿 top-down 拼接+3D 残差融合，挂多中间层 SaliencyHead 形成 deep supervision。Step 3：logit 集成——两专家输出反 sigmoid 平均再 sigmoid 回概率空间。Step 4：两阶段训练——Stage 1 冻结主干训 4 epochs（LR=$2\times 10^{-4}$），Stage 2 注入 LoRA 微调 3 epochs（主干 $1\times 10^{-5}$），损失 $L = L_{KL} + L_{CC} + L_{SIM} + L_{NSS}$。
技术新颖性
技术新颖性上，本工作集中体现三方面突破。第一，主干规模跨代升级：iLearn（6880M 参数）和 CVSP（V-JEPA2 Giant，约 1B+）把显著性预测从'百万级'推向'十亿级'主干，证明通用视频表征在任务专用微调后能稳定达到 SOTA——iLearn 在私有测试集上 CC=0.8280、SIM=0.6927、AUC-J=0.8921、NSS=3.3229，平均秩 1.75 居首。第二，预测编码与显著性深度绑定：CVSP 是首个将 V-JEPA2 完整用于显著性预测的工作，4 种子集成让单模型方差大幅降低；其基于预测误差的显著性定义与 Fokker-Planck 注意力建模（AAM）分别从'静态表征'和'动态演化'两个角度给出物理可解释建模。第三，多模态与生成范式融合：AAM 首创性地把音频/视觉/文本统一映射到双曲空间做 entailment cone 约束，用 FPD 建模注意力随时间的漂移-扩散-修正；SHU-MIIPLab 用 Mamba 块实现 RGB→光流的语义注入和时空对齐，再以迭代去噪生成显著性图——这些范式在传统显著性文献中极少出现。
实验结果
挑战赛最终结果（Table 1）在私有测试集（500 段）上呈'两超多强'格局。iLearn 与 CVSP 以平均秩 1.75 并列前两名：按 CC 指标 iLearn 略胜（0.8280 vs 0.8272）；SIM 上 iLearn 领先（0.6927 vs 0.6640）；但 AUC-J（0.8982 vs 0.8921）和 NSS（3.4156 vs 3.3229）上 CVSP 反超。ARK MMLAB 排名第三（平均秩 3.00），其 AUC-J=0.8913、NSS=3.4562 居全场最高 NSS 之一。Vertex 团队（平均秩 3.50）以 534M 参数取得 4 指标均衡表现（CC=0.7962、AUC-J=0.8856）。AAM 与 SHU-MIIPLab 并列 5.75。NTR 以 64M 参数取得平均秩 6.50，CC=0.6927 约为 iLearn 的 84%，但参数量仅为其 0.93%，轻量化潜力极大。组织方 Center Prior 基线（CC=0.4101、NSS=1.3054）被所有深度方案碾压（提升 1.7~2.0 倍）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 显著性预测（私有测试集，500段） | Pearson CC ↑ | 0.8280 (iLearn 冠军) | 0.4101 (Center Prior) | iLearn 提升 +0.4179（约 102%），NTR 轻量方案（0.6927）也较基线提升 +0.2826（约 69%） |
| 显著性预测（私有测试集） | SIM ↑ | 0.6927 (iLearn 冠军) | 0.4081 (Center Prior) | iLearn 提升 +0.2846（约 70%），所有深度方案均显著高于基线 |
| 显著性预测（私有测试集） | AUC-Judd ↑ | 0.8982 (CVSP 亚军) | 0.6911 (Center Prior) | CVSP 提升 +0.2071（约 30%），ARK MMLAB 紧随 0.8913 |
| 显著性预测（私有测试集） | NSS ↑ | 3.4562 (ARK MMLAB) | 1.3054 (Center Prior) | ARK MMLAB 提升 +2.1508（约 165%），CVSP 紧随 3.4156 |
| 参数-性能权衡 | 参数量 / 平均秩 | iLearn 6880M / 1.75；NTR 64M / 6.50 | Center Prior 0 / 8.00 | iLearn 以 100× 参数换 4.7 名的秩提升；NTR 以 0.93% 参数量实现 81% 的 iLearn 性能 |
局限与改进
本工作从作者承认与读者观察两个角度均有局限。**作者承认的局限**：第一，数据集在自由观看（free-viewing）场景下采集，对任务驱动（task-driven）注意力的建模能力未经验证；第二，众包鼠标追踪虽在质量上逼近眼动仪，但与真实眼动仍存在偏差，特别是对快速眼跳和中央凹分辨率的模拟不足；第三，数据规模虽达 2000 段，但与图像显著性数据集（如 SALICON 10K+）相比仍较小。**读者可观察的局限**：第一，参赛方案参数量跨度极大（64M~6880M，相差 100 倍），但最终 CC 仅差 0.1353（iLearn 0.8280 vs NTR 0.6927），说明显著性任务存在明显'收益递减'；第二，所有 7 支团队均依赖全监督训练，未探索半监督/自监督在显著性预测上的潜力；第三，测试集仅 800 段视频，缺乏对 360° 视频、VR 内容、3D 网格等新兴模态的覆盖；第四，多数方案未提供按场景/类别/视频长度/运动幅度的细分分析；第五，组织方基线（Center Prior）过于简单，CC 仅 0.4101，建议未来加入更强传统基线作为参考。
独立分析的弱点
独立分析本工作存在以下可改进方向。**第一，评估指标单一**：本挑战赛仅使用 CC、SIM、AUC-J、NSS 四个空间显著性指标，缺少对时序一致性、注视点预测的直接评估——视频显著性应额外关注相邻帧预测稳定性，建议引入 tCC、SIM_t、AUC_t 等时序扩展指标。**第二，方法同质化**：7 支团队中有 5 支使用 InternVideo2 或类似大型视频主干，主干层面的'军备竞赛'掩盖了对轻量化、实时性、可解释性的探索，建议未来增设'轻量级赛道'约束参数量 < 100M。**第三，数据集偏差**：90% 视频来自 YouTube，众包用户的人口统计学偏差（年龄、地域、文化背景）可能影响显著性图的普适性，建议报告评估者分布并探索跨文化显著性差异。**第四，缺乏失败案例分析**：所有 7 支团队均报告最佳性能，未分析在快速运动、复杂背景、低光照、小目标等难例上的表现差异。**第五，依赖未开源组件**：部分团队（如 iLearn 的 InternVideo2-6B、CVSP 的 V-JEPA2 Giant）对底层预训练权重许可证有依赖，复现门槛高。
未来方向
基于本挑战赛的成果，未来可从以下方向延伸。**作者提出的方向**：数据集与基准可扩展到 360° 视频、VR 头显注视、3D 网格显著性等新兴模态；评估可加入时序一致性、跨文化泛化、跨设备迁移等新指标。**基于成果可延伸的方向**：第一，'显著性即生成'范式深化：CVSP 的预测编码理论 + SHU-MIIPLab 的扩散生成提示显著性预测可从'回归到一帧图'升级为'生成一段注视轨迹'；第二，多模态显著性融合的统一框架：AAM 已展示音频-视觉-文本三模态的可行性，未来可探索场景图、动作标签等语义先验作为附加条件；第三，自监督显著性学习：当前所有方案都依赖全监督，可探索对比学习、掩码预测等自监督目标的迁移；第四，轻量级实时显著性：NTR 64M 模型在边缘设备部署的潜力巨大；第五，显著性驱动的下游应用闭环：将 SOTA 显著性模型接入感知引导编码、客观质量评估等任务，端到端联合优化。
复现评估
复现性评估整体良好但存在门槛。**开源情况**：所有数据（2000 段视频+显著性标注+训练/测试划分）和组织方基线已公开发布在 https://github.com/msu-video-group/NTIRE26_Saliency_Prediction，7 支团队均通过代码审查并提交可运行代码。**算力需求**：iLearn 需 ≥ 80GB 显存（A100 80G）跑 InternVideo2-6B（6880M），两阶段训练 7 epoch 约需数天；NTR 仅 64M 参数，单卡 RTX 3090 即可数小时内完成。**复现难度梯度**：NTR < SHU-MIIPLab < ARK MMLAB < Vertex < CVSP < iLearn < AAM（双曲空间+FPD 最复杂）。**潜在障碍**：InternVideo2-6B、V-JEPA2 Giant 主干需向原作者申请许可证；CVSP 在 4 个随机种子上集成，需 4 倍计算量；扩展数据集需自行组织众包平台招募评估者。对有充足算力的实验室可复现性高，中小团队建议从 NTR、SHU-MIIPLab 等中等复杂度方案入手。
论文图表