VIOLA：面向最少标注的视频上下文学习 VIOLA: Towards Video In-Context Learning with Minimal Annotations

VIOLA 的完整流程包含三个阶段共六个步骤。第一阶段——选择性标注：步骤 1，提取所有未标注视频的视觉嵌入 z_i，使用 InternVideo2 作为视频编码器；步骤 2，拟合 K=B 个成分的 GMM 模型，计算每个样本的后验概率 gamma_{ik}；步骤 3，对冻结的 MLLM 进行零样本推理，计算置信度 c_i^zero（生成序列中最小 token 概率）；步骤 4，在每个簇内选择最大化选择分数 S_k(u_i) 的样本，形成标注集 D_L。第二阶段——伪标注：步骤 5，对剩余未标注样本，从 D_L 中基于视觉相似度检索上下文，进行 in-context 推理生成伪标签，仅保留置信度超过 95 百分位的样本，形成伪标签集 D_P。第三阶段——推理：步骤 6，构建混合池 D_H = D_L 并集 D_P，对测试查询通过置信度感知检索选择 Top-K demonstration（使用复合分数 r_i），通过置信度感知提示格式化答案（人工标注标记为 Ground-truth，伪标签标记置信度百分比），进行最终推理。视频采样率为 1 FPS，超过 32 秒的视频均匀下采样至 32 帧，每个 demonstration 视频包含 16 帧，上下文示例数 m=8。

本文的技术新颖性体现在多个层面。首先，在理论层面，将半监督主动学习（SSAL）范式适配到视频 ICL 场景是一个重要的视角创新，将选择性标注和伪标签从独立策略整合为统一框架。其次，在选择策略上，密度-不确定性加权采样是传统多样性、不确定性、代表性三种策略的融合创新，通过 GMM 后验概率量化代表性，通过零样本置信度量化信息量，通过参数 lambda 灵活调节两者的权重。这种设计特别针对视频数据的特殊性——视频特征的高冗余和任务无关噪声（如背景变化）使得仅追求多样性的方法容易选到语义离群点。第三，在推理机制上，置信度感知检索和提示的双机制设计是视频 ICL 领域的首次尝试，特别是将标签来源和置信度百分比显式编码到 prompt 中的软门控机制，让模型能自适应地区分人工验证的 ground truth 和模型预测的 pseudo-label。这种设计利用了 MLLM 理解自然语言提示的能力，避免了复杂的后处理机制。

尽管 VIOLA 取得了显著成果，但仍存在几个值得改进的弱点。首先，GMM 聚类假设语义空间可以用固定数量的高斯成分建模，但视频嵌入空间的结构可能远比高斯混合复杂，特别是在涉及多粒度语义（如粗粒度场景类别和细粒度动作区分）时。改进方向包括探索非参数聚类方法（如 Dirichlet Process GMM）或基于密度的聚类（如 HDBSCAN），以更灵活地适应数据的内在结构。其次，零样本置信度估计使用最小 token 概率可能过于保守，容易将长序列中的正常低概率 token 误判为不确定性信号。可以考虑使用平均 token 概率、熵值或基于采样的方差来更准确地估计不确定性。第三，置信度过滤阈值（95 百分位）是固定的，没有根据数据集特性进行自适应调整。在噪声程度不同的数据集上，这个阈值可能不是最优的，可以引入自适应阈值选择机制。第四，框架将所有伪标签视为同等质量（仅通过置信度区分），没有考虑伪标签之间的多样性，这可能导致在高置信度样本过于集中时丧失语义覆盖。

作者提出的未来工作方向包括探索集成领域适配编码器以增强在极端分布偏移场景下的鲁棒性。基于本文成果，还可以延伸多个研究方向。第一，可以探索动态标注预算分配策略，根据数据集的复杂度和模型的不确定性自适应地决定在不同语义簇上分配多少标注预算，而非均匀分配。第二，可以将框架扩展到多轮交互场景，允许模型在推理过程中主动请求标注（active querying），形成一种交互式的适应范式。第三，可以探索跨模态的置信度传播，利用文本模态的高置信度来增强视频伪标签的质量。第四，可以研究如何将本文的置信度感知机制与模型微调结合，在 ICL 适应的基础上进一步提升性能。第五，可以探索在更复杂的视频理解任务（如视频问答、时序定位、多视频推理）上应用本文框架。最后，可以研究如何将框架扩展到流式场景，支持新领域的持续适应。

本文的复现性总体较好。论文使用了四个开源 MLLM（Qwen2-VL-7B、VideoLLaMA3-7B、Qwen3-VL-8B、LLaVA-Video-7B）和 InternVideo2 作为视频编码器，这些模型都可以公开获取。实验涉及的 9 个数据集涵盖了多个公开可用的基准（如 UCF-Crime）和专业数据集（如 EgoSurgery、ENIGMA）。论文提供了详细的实现细节，包括视频采样率（1 FPS）、帧数限制（32 帧）、上下文示例数（m=8）、每个示例的帧数（16 帧）和置信度阈值（95 百分位）。超参数 lambda=0.5 和 tau 的设置也有说明。然而，论文没有明确提及代码是否开源，这对于完整复现框架细节（特别是 GMM 拟合、置信度计算和检索策略的具体实现）可能构成一定障碍。此外，使用 4 个 7-8B 参数的模型进行实验需要相当的 GPU 资源，对于资源有限的研究者可能存在一定的复现门槛。论文提到的 Supplementary Material 中可能包含更多实现细节，但在此提供的文本中未见完整内容。