VideoDetective：通过外部查询与内在相关性联合搜索实现长视频理解 VideoDetective: Clue Hunting via both Extrinsic Query and Intrinsic Relevance for Long Video Understanding
利用视觉-时间亲和力图和假设-验证-细化循环，在稀疏观察下定位长视频关键线索
前置知识
多模态大语言模型（MLLM）
结合视觉编码器和大语言模型的架构，能够同时处理图像/视频和文本输入。典型流程是用视觉编码器（如SigLIP、CLIP）提取视觉特征，投影到语言模型的嵌入空间后与文本一起输入LLM进行推理。在长视频理解任务中，MLLM面临的核心挑战是上下文窗口有限（通常几千到几万token），无法直接处理动辄数分钟甚至数小时的视频内容
本文提出的VideoDetective是一个推理框架，需要与下游MLLM配合使用。理解MLLM的工作机制和上下文限制，才能理解为什么需要「看更少但知道更多」的策略
图扩散/标签传播（Graph Diffusion / Label Propagation）
一种半监督学习技术，核心思想是给定图上少量已标注节点的标签值，通过图的邻接结构将标签值平滑地传播到未标注节点。经典方法是Zhou等人2004年提出的，通过最小化「一致性」和「平滑性」两个目标来求解全局标签分布。一致性要求推断结果与已知观测值一致，平滑性要求在图上相连的节点有相近的标签值。传播过程可以用迭代公式 $F^{(t+1)} = \beta W_{norm} F^{(t)} + (1-\beta) Y^{(t+1)}$ 实现
VideoDetective的核心技术之一就是将视频片段的相关性分数视为「标签」，通过图扩散从少量观测片段传播到整个视频。理解标签传播的原理是理解本文方法的关键
亲和力图（Affinity Graph）
一种无向加权图，节点代表数据样本（本文中是视频片段），边权重反映节点间的相似度或关联程度。构建亲和力图时通常结合多种相似度度量，本文融合了视觉相似度（基于特征向量的余弦相似度）和时间邻近度（基于指数衰减核）。为了计算效率和避免过平滑，通常会进行稀疏化处理（保留每个节点的top-k邻居）并对称归一化
VideoDetective将长视频建模为视觉-时间亲和力图，这是整个框架的拓扑基础。图的质量直接决定了相关性传播的效果
非极大值抑制（NMS, Non-Maximum Suppression）
经典的目标检测后处理技术，用于从大量重叠的候选框中选择最优的检测结果。核心思想是：选择置信度最高的候选框，然后抑制与其高度重叠的其他候选框（降低其置信度），重复此过程直到没有候选框剩余。本文提出的Graph-NMS是其图结构上的变体，抑制的是亲和力图上的邻居节点而非空间上的重叠框
在最终选择关键片段时，需要避免选择时间或语义上高度冗余的片段。Graph-NMS确保选出的证据既高置信度又有多样性
查询分解（Query Decomposition）
将用户的一个复杂查询分解为多个语义层面（facets），每个层面包含关键词集合和语义描述。例如查询「视频中谁在什么时候做了什么动作」可以分解为「谁」（人物关键词）、「什么时候」（时间关键词）、「什么动作」（事件语义描述）等子问题。这种分解使得检索过程可以针对不同语义维度分别进行线索搜索，避免信息干扰
VideoDetective使用查询分解来指导初始锚点选择和后续的验证过程。没有分解的「盲目传播」会导致性能大幅下降（实验中从55.6%降至47.8%）
研究动机
长视频理解对多模态大语言模型（MLLM）是一个核心挑战。一个几分钟的视频可能包含数百甚至上千帧，其token总量远超现有模型的上下文窗口限制（即使是支持百万token的模型，对密集采样的计算成本也难以承受）。为应对这一问题，现有方法主要采用查询驱动的策略：关键帧采样方法（如LVNet）根据查询信息选择「信息量大」的帧；检索增强方法（如VideoRAG）将视频内容转为文本后通过文本相似度检索线索；Agent方法（如VideoAgent）利用LLM规划和工具调用进行多步推理。然而，这些方法共享一个根本性局限：它们都是单向的「查询→视频」搜索范式，完全依赖查询信息来匹配帧或片段，忽略了视频本身的内在结构。视频不是一系列孤立帧的线性序列，它具有连贯的时间动态和因果连续性——前后片段之间存在语义关联，可以从局部推断全局。忽视这种内在结构意味着：一旦初始查询匹配不准确，就没有纠错机制；无法利用「看到A事件发生在B附近，推断B可能发生」这种时空邻近性推理
本文的目标是本文的目标是提出一种新的长视频理解推理框架，能够同时利用外部查询信息和视频内部的片段间相关性，在有限的观察预算下（如只观察10个片段）实现对整个视频的全局语义理解。具体而言，框架需要满足以下目标：（1）将视频建模为图结构，显式编码视觉语义和时间连续性；（2）通过稀疏观察迭代地推断整个视频的相关性分布；（3）作为即插即用的推理框架，与各种现有MLLM骨干网络配合使用并带来一致的性能提升；（4）在VideoMME-long等主流长视频基准上取得显著的准确率提升
与已有工作不同的是，本文的独特切入角度在于：不假设单次先验驱动的步骤能够直接定位真正有信息量的区域，也不假设一旦早期猜测错误就必须从头开始。相反，VideoDetective将视频建模为视觉-时间亲和力图，联合利用查询信息和视频内部的片段间相关性，通过稀疏观察来建模查询相关性在整个视频上的分布。每次观察一个片段，不仅获得该片段本身的查询相关性分数，还通过图扩散将这一信息「传播」到邻近的未观察片段，从而让每个观察片段在有限的观察预算下贡献尽可能多的信息增益。这种「假设-验证-细化」的迭代循环使得模型能够逐步从稀疏观察中恢复视频的完整语义结构，实现「看更少但知道更多」（See Less but Know More）
核心方法
VideoDetective的核心思想可以用一个类比来理解：想象你是一个侦探在一个大型商场里寻找线索。你不知道目标在哪里，但你知道要找什么（查询）。传统方法是一层一层地搜索（密集采样），或者根据描述直接去最可能的店铺（查询匹配）。VideoDetective的做法更聪明：首先，你把商场的平面图画出来（构建亲和力图），标注哪些店铺类型相似、哪些位置相邻。然后你随机选一家店铺进去看看（初始锚点），发现这里有你要找的部分线索（验证）。根据商场平面图，你推断旁边的店铺可能也有相关线索（图扩散更新信念场），于是下一次去旁边的店铺。如果发现那家店铺没有更多线索，你就根据当前最「可疑」的未访问区域去探索（全局缺口填补）。如此迭代，直到观察预算用完，最后把收集到的所有线索汇总交给分析员（MLLM）得出结论。技术路线上，框架分为三个阶段：（1）预处理阶段——将视频分割成语义片段，提取特征，构建视觉-时间亲和力图，分解查询为语义层面；（2）迭代推理阶段——执行假设-验证-细化循环，逐步更新全局信念场；（3）证据聚合阶段——通过Graph-NMS选择关键片段，组装紧凑的多模态证据集输入MLLM生成最终答案
VideoDetective最本质的创新在于将「外部查询相关性」（extrinsic query relevance）和「内部视频相关性」（intrinsic video affinity）联合建模，而现有方法只利用前者。具体而言，现有方法的共同范式是：给定查询Q，找到与Q最匹配的视频片段S = argmax sim(Q, V_i)。这种单向匹配有两个致命缺陷：（1）如果初始匹配不准确，没有纠错机制；（2）无法利用视频的内在结构——比如发现片段A与查询高度相关，而片段B与A在视觉和时间上都高度相似，那么B也很可能相关，即使B与查询的直接匹配分数不高。VideoDetective通过构建视觉-时间亲和力图来显式编码这种内在结构，然后在图上执行信念传播：当观察到某个片段的相关性分数时，不仅记录该片段的分数，还通过图扩散将其传播到邻近片段。这意味着每次观察都能提供「全局」的信息增益，而不仅仅是「局部」的。另一个关键创新是假设-验证-细化循环中的「信息导向锚点选择」：不是随机选择下一个要观察的片段，而是根据当前的信念场选择最「不确定」或「最可能有信息」的区域，使得有限的观察预算被分配到信息增益最大的地方
方法步骤详情
VideoDetective的完整推理流程如下。第一步，预处理：将输入视频以1fps采样提取帧特征（使用SigLIP视觉编码器），基于相邻帧的余弦相似度下降（阈值 $\theta_{sim}=0.82$）识别场景边界，将视频分割为K个语义片段，每个片段用其帧特征的平均值作为节点表示。同时，用VLM生成全局事件时间线，为每个片段生成粗粒度的事件描述。第二步，查询分解：用LLM将用户查询分解为R个语义层面（facets），每个层面包含关键词集合 $K_r$（用于稀疏词汇匹配）和语义描述集合 $P_r$（用于稠密语义匹配）。第三步，初始化：对每个语义层面，计算混合先验分数——融合关键词到帧的稀疏视觉匹配和描述到时间线的稠密语义匹配，选择初始锚点片段。第四步，迭代推理循环（默认10次）：假设阶段——如果有未解决的语义层面，选择当前信念场中与已访问锚点有强连接的未访问邻居作为下一个锚点；如果所有层面都已解决，则选择全局信念最高的未访问片段进行缺口填补。验证阶段——对锚点片段观察9帧（1fps），提取多源证据（VLM生成的视觉描述、EasyOCR提取的屏幕文字、Whisper提取的语音转录），通过IDF加权词汇匹配和SigLIP语义匹配计算查询相关性分数。细化阶段——将观察到的分数注入信念向量Y，通过迭代图扩散公式 $F^{(t+1)} = \beta W_{norm} F^{(t)} + (1-\beta) Y^{(t+1)}$ 更新全局信念场F，其中 $\beta=0.6$ 平衡平滑性和一致性。第五步，证据聚合：对收敛的信念场应用Graph-NMS（抑制因子 $\eta=0.2$）选择8个多样化的高置信度片段，每个片段采样4帧，加上最佳文本证据，组装成结构化提示输入MLLM生成最终答案
技术新颖性
VideoDetective在技术上的新颖性体现在三个层面。第一，建模范式创新：与现有方法将长视频理解视为「查询驱动的信息检索」不同，本文将其建模为「稀疏观测下的图上信念传播」问题。这种范式转换使得框架能够自然地融合外部查询信息和内部视频结构，而非仅仅依赖前者。第二，图构建创新：本文提出的视觉-时间亲和力图同时编码了两种互补的关联——视觉相似度（基于节点特征的余弦相似度，截断负值）和时间邻近度（基于指数衰减核 $W_{time}^{(ij)} = \exp(-|t_i - t_j|/\tau)$），通过加权融合 $W = \alpha W_{sim} + (1-\alpha) W_{time}$（$\alpha=0.6$）得到最终的亲和力矩阵。这种融合确保了「视觉相似的片段高度连接以支持跨时间的信息共享」和「时间相邻的片段保持连接以利用事件的时间连续性」两个目标同时满足。第三，推理机制创新：假设-验证-细化循环中的两个选择策略——「信息邻居探索」（当验证反馈不足时，从当前锚点的强连接邻居中选择下一个锚点）和「全局缺口填补」（当所有语义层面都已验证时，选择全局信念最高的未访问片段）——是首次在长视频理解中引入主动学习（active learning）的思想，使得观察预算被分配到信息增益最大的地方
实验结果
本文在四个主流长视频理解基准上进行了全面实验，结果令人信服。首先是跨骨干网络的泛化性验证：在VideoMME-long无字幕子集上，VideoDetective为InternVL-2.5（8B）带来了7.5%的准确率提升，为Oryx-1.5（7B）带来7.0%的提升，在其他骨干网络上也取得了一致的稳健增益。这证明框架是即插即用的，不依赖于特定模型架构。其次是与代表性方法的受控对比：在统一使用Qwen3VL-8B作为骨干、32帧采样的条件下，VideoDetective在VideoMME-long上达到55.6%，显著优于LVNet（40.4%）、DVD（42.6%）、VideoAgent（42.0%）和VideoRAG（50.3%）。当升级到更强的SeedVL-1.5（20B）骨干时，VideoDetective达到65.6%，进一步拉开差距。最引人注目的是与SOTA模型的对比：VideoDetective（SeedVL-1.5，20B）在LongVideoBench验证集上达到67.9%的准确率，不仅超越了参数量大得多的LLaVA-Video-72B（63.9%），还超过了领先的商业模型Gemini-2.5-pro（66.8%）和GPT-4o（66.7%）。消融研究揭示了各组件的贡献：移除图传播机制导致4.2%的性能下降；移除查询分解和迭代细化分别导致7.8%和4.6%的下降；移除文本证据导致5.7%的下降。模态扩展分析发现了一个有趣的不对称性：固定VLM升级LLM（8B→30B）几乎无提升（55.6%→55.8%），但固定LLM升级VLM到SeedVL-1.5则带来质的飞跃（55.6%→65.1%，+9.5%），表明在VideoDetective框架下性能瓶颈仍在视觉模型
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VideoMME-long（无字幕） | Accuracy (%) | 55.6（8B）/ 65.6（20B） | 50.2（Qwen3-VL-8B基线）/ 63.1（SeedVL-1.5基线） | +5.4% / +2.5% |
| LVBench（无辅助转录） | Accuracy (%) | 43.2（8B）/ 51.3（20B） | 41.1（Qwen3-VL-8B）/ 46.1（SeedVL-1.5） | +2.1% / +5.2% |
| MLVU（测试集） | Accuracy (%) | 56.3（8B）/ 63.8（20B） | 50.1（Qwen3-VL-8B）/ 54.9（SeedVL-1.5） | +6.2% / +8.9% |
| LongVideoBench（验证集） | Accuracy (%) | 60.2（8B）/ 67.9（20B） | 58.9（Qwen3-VL-8B）/ 63.8（SeedVL-1.5） | +1.3% / +4.1% |
局限与改进
作者在论文中坦承了方法的局限性：框架依赖于VLM的自反思能力来提供反馈信号（如「missing keywords」），未来工作可能需要探索更精细的相关性评估机制以提高鲁棒性。从我的观察来看，还存在以下局限：（1）计算效率问题——虽然相比密集采样方法更高效，但VideoDetective的端到端处理时间约为65秒/视频（8B配置），其中假设-验证-细化循环占48%的时间，对于实时应用或大规模处理仍有改进空间；（2）对VLM质量的依赖——模态扩展分析表明VLM是性能瓶颈，这意味着在资源受限场景下（只能使用较小的VLM），框架的增益可能受限；（3）查询分解的质量——如果LLM对查询的分解不准确，后续的线索搜索会受到影响，论文中移除查询分解导致7.8%的性能下降也印证了这一点；（4）场景分割的敏感性——框架依赖于基于视觉相似度的场景边界检测（阈值 $\theta_{sim}=0.82$），在场景变化不明显的视频中可能产生不合理的分割
独立分析的弱点
基于对论文的深入分析，我识别出以下几个弱点和改进方向。第一，迭代过程的自适应性不足：当前框架使用固定的迭代预算（默认10次），但不同视频的复杂度差异很大。一个简单的短视频可能3-4次迭代就收敛了，而一个复杂的长视频可能需要更多。可以设计基于信念场收敛检测的提前停止机制——当相邻两次迭代的信念场变化小于阈度时停止，既节省计算又不影响质量。第二，证据来源的局限性：当前仅使用视觉描述、OCR和ASR三种证据源，但视频中可能包含更丰富的信息（如人物表情、动作细节、场景氛围等），这些在粗粒度的描述中可能丢失。可以引入更细粒度的视觉问答（VQA）机制，针对特定语义层面提出针对性问题。第三，图构建的静态性：亲和力图在预处理阶段构建后就固定了，但随着迭代的进行，我们对视频的理解在不断深化，某些「隐藏」的关联可能会浮现。可以考虑动态更新图结构——当发现某些片段与查询高度相关时，增强它们与视觉相似片段的连接权重
未来方向
作者提出未来可以探索更精细的相关性评估机制来替代当前依赖VLM自反思的方案。基于本文的成果，我认为还有以下延伸方向：（1）将VideoDetective的信念传播思想应用于视频摘要和视频高亮检测任务——全局信念场本身就反映了视频各部分的「重要性分布」，可以直接用于指导摘要生成；（2）探索多视频场景下的扩展——当需要跨多个视频回答问题时（如「比较这两个视频中的XX」），可以构建跨视频的亲和力图，利用视频间的语义关联进行联合推理；（3）与强化学习结合——将假设-验证-细化循环建模为马尔可夫决策过程，用RL学习最优的锚点选择策略，而非当前的启发式规则；（4）引入人类反馈——在迭代过程中允许用户提供弱监督信号（如「这个方向是对的」或「继续找」），进一步提高搜索效率
复现评估
论文在复现性方面做得较好。代码已开源在GitHub（https://videodetective.github.io/），提供了完整的实现。数据集方面，使用的四个基准（VideoMME、LVBench、MLVU、LongVideoBench）都是公开可获取的标准评测集。算力需求方面，开源模型的实验在NVIDIA RTX 4090集群上完成，商业模型通过官方API调用。从Table 6的阶段分解来看，单个视频的处理约需65秒（8B配置），其中预处理24秒、迭代推理31秒、最终回答10秒，token消耗约38k。这个算力需求对研究者来说是可接受的。复现难度中等——框架本身不涉及复杂的训练过程（纯推理），但需要部署多个模型（VLM、LLM规划器、SigLIP编码器、EasyOCR、Whisper），且迭代推理的实现涉及图构建、信念传播、NMS等多个模块的协调。论文提供了详细的超参数设置（Appendix D），包括图构建参数（$\alpha=0.6$, $\tau=30.0$, $k=8$）、迭代参数（$\beta=0.6$, $T_{prop}=7$）、证据选择参数（$m=8$, $\eta=0.2$）等，降低了复现难度
论文图表
