VideoSearch-R1: 通过软查询精炼实现迭代视频检索与推理 VideoSearch-R1: Iterative Video Retrieval and Reasoning via Soft Query Refinement
提出软查询精炼方法，在连续潜在空间中迭代优化视频检索查询，结合强化学习实现检索与推理的端到端训练。
前置知识
Video Corpus Moment Retrieval (VCMR)
VCMR 是一个视频理解任务，要求模型从大规模视频语料库中检索与文本查询相关的视频，并进一步定位该视频中最匹配查询的时间段。这结合了两个子任务：视频级检索（inter-video reasoning）和时序定位（intra-video reasoning）。例如，给定查询一个人穿着灰色T恤涂润肤露，模型需要先找到包含这个场景的视频，然后输出开始和结束时间戳。
VCMR 是本文的核心任务，它统一了检索和推理两个阶段，展示了 VideoSearch-R1 如何将这两个任务集成在一个多轮交互框架中。理解 VCMR 是理解为什么需要迭代检索和推理的关键。
Group Relative Policy Optimization (GRPO)
GRPO 是一种强化学习算法，通过在组内计算相对优势来优化策略。具体来说，它计算样本奖励与组内平均奖励的归一化差值作为优势函数。这种方法不需要计算价值函数，更适合大语言模型的策略优化，因为它减少了计算开销并提高了训练稳定性。
GRPO 是 VideoSearch-R1 训练的核心算法，用于优化多轮推理策略。它允许模型探索不同的检索和推理轨迹，并通过奖励信号来强化高效的行为。
Soft Query Refinement (SQR)
SQR 是本文提出的核心创新，它在连续的潜在空间中生成查询表示，而不是在离散的文本空间中重写查询。具体来说，模型自回归地生成固定数量 N 个软查询 token，这些 token 是连续向量嵌入，直接用于修改查询表示。精炼后的查询用于下一轮检索。
SQR 是与硬查询精炼（HQR）的关键区别。HQR 生成文本形式的查询重写，通常较长且可能引入语义噪声。SQR 在潜在空间中直接优化查询表示，能够更精细、高效地调整查询，需要的 token 数量更少，同时获得更好的检索性能。
InfoNCE Loss
InfoNCE 是一种对比学习目标函数，用于训练软查询 token。公式鼓励精炼后的查询与正确视频更相似，与错误视频更不相似。这个目标函数为软查询 token 提供了比传统的下一个 token 预测更丰富的监督信号。
InfoNCE 损失为软查询 token 提供了比传统的下一个 token 预测更丰富的监督信号。通过显式地考虑负视频信息，它提供了更有区分性的监督，使 SQR 能够生成更有效的查询表示。
研究动机
现有方法将视频检索作为预处理步骤，一旦初始检索失败，就没有机制来优化搜索，导致后续的细粒度视频内推理也失败。例如，在 VCMR 任务中，如果第一步检索到的视频不包含查询描述的场景，那么即使后面的时序定位模型再精确，也无法得到正确的结果。此外，现有的智能体框架通常假设查询相关的视频已经给出，只专注于视频内推理任务，跳过了视频检索阶段，这在需要动态从大规模语料库中识别和检索相关视频的实际应用场景中变得次优。
本文的目标是本文提出 VideoSearch-R1，一个智能体框架，通过多轮交互与视频搜索引擎，实现迭代视频检索和推理。具体目标包括：统一跨视频语料库的推理（视频检索）和检索视频内的推理（时序定位）；引入软查询精炼（SQR），在连续潜在空间中优化查询，而不是在离散文本空间中重写查询；使用强化学习（GRPO）联合优化检索和推理过程，通过任务级奖励信号指导 SQR 和推理过程。
与已有工作不同的是，本文的独特切入角度是将检索和推理集成在一个多轮交互框架中，而不是将它们作为两个独立的阶段。与现有的视频智能体框架不同，VideoSearch-R1 不假设查询相关的视频已经给出，而是通过迭代检索、验证、精炼和推理的循环，自主地识别和检索相关视频。另一个独特之处是提出了软查询精炼（SQR），通过在潜在空间中生成连续的查询表示，而不是文本重写，实现了更高效、更精细的查询调整。
核心方法
VideoSearch-R1 的整体思路是构建一个能够与外部视频搜索引擎进行多轮交互的智能体系统。在每一轮中，系统首先使用当前查询调用搜索引擎检索 top-1 视频，然后验证该视频是否匹配查询，生成推理轨迹和匹配决策。如果匹配，则进行时序定位预测开始和结束时间戳；如果不匹配，则通过软查询精炼（SQR）生成软查询 token，这些 token 被添加到原始查询中以形成精炼的查询，用于下一轮检索。这个过程持续进行，直到找到匹配的视频或达到最大迭代次数。训练采用两阶段：第一阶段使用监督微调（SFT）建立结构化推理模式和软查询生成能力；第二阶段使用 GRPO 优化多轮推理策略，通过多个奖励信号来强化高效的行为。
VideoSearch-R1 的核心创新点是将检索和推理集成在一个多轮交互框架中，并通过软查询精炼（SQR）在连续潜在空间中优化查询。与现有方法的本质区别在于：大多数方法将检索作为预处理步骤，一旦失败就无法恢复，而 VideoSearch-R1 通过迭代检索和精炼，能够自我纠正检索错误；大多数智能体框架假设查询相关的视频已经给出，而 VideoSearch-R1 通过外部搜索引擎动态检索视频；软查询精炼在潜在空间中生成连续的查询表示，而不是文本重写，能够更精细、高效地调整查询，需要的 token 数量更少。
方法步骤详情
VideoSearch-R1 的方法步骤包括四个主要阶段。第一阶段是监督微调（SFT）：模型从 2K 个查询-视频对样本中学习结构化推理模式和软查询生成能力。对于匹配的查询-视频对，模型学习生成语义对齐的解释和时序边界的理由；对于不匹配的查询-视频对，模型学习解释语义不匹配，并鼓励通过软查询生成进行查询精炼。软查询 token 使用基于 InfoNCE 的对比目标进行优化，以最大化与正确视频的相似性，最小化与错误视频的相似性。第二阶段是强化学习训练：使用 GRPO 优化多轮推理策略，设计四个互补的奖励信号：格式奖励鼓励模型遵循预定义的推理和软查询结构；验证奖励监督查询-视频匹配验证；检索奖励通过复用 SFT 阶段的检索目标来监督软查询 token；时间定位奖励通过计算预测和真实时间戳之间的 IoU 来促进准确的时刻定位。第三阶段是多轮交互推理：在每一轮中，模型评估当前查询和检索视频之间的语义对齐，如果识别出不匹配，则生成 N=8 个软查询 token，将这些 token 添加到原始查询嵌入序列中，并馈入视频搜索引擎，搜索引擎根据精炼的查询重新排序候选视频并返回 top-1 视频。这个多轮过程持续进行，直到模型验证正确的匹配并产生最终的时序定位预测，或达到最大检索次数 T=2。第四阶段是时序定位：当找到匹配的视频时，模型进行视频内推理，以预测检索到的视频中与查询最相关的精确时间边界。
技术新颖性
VideoSearch-R1 的技术新颖性体现在三个方面：统一的检索-推理框架：这是第一个将跨视频语料库的推理（视频检索）和视频内的推理（时序定位）集成在一个多轮交互循环中的框架，通过迭代检索、验证、精炼和推理，实现了这两个任务的紧密集成和联合优化；软查询精炼（SQR）：在连续潜在空间中生成查询表示，而不是离散文本重写，能够更精细、高效地调整查询，需要的 token 数量更少（8 个 vs 硬查询精炼的 26.8 个），同时获得更好的检索性能（R@1 从 57.6 提升到 61.1）；强化学习优化的多轮推理策略：使用 GRPO 优化多轮推理轨迹，通过多个奖励信号来强化高效的行为，使模型能够探索不同的检索和推理策略，并与下游目标更好地对齐。
实验结果
VideoSearch-R1 在三个 VCMR 基准测试（Charades-FIG、DiDeMo-FIG、ActivityNet-FIG）上取得了最先进的性能。在 DiDeMo-FIG 数据集上，VideoSearch-R1 相比 Qwen3-VL-2B (FT) 基线，0.3/R@1 从 23.6 提升到 33.3（提升了 9.7），0.5/R@1 从 22.1 提升到 30.2（提升了 8.1），0.7/R@1 从 16.7 提升到 19.7（提升了 3.0）。验证准确率（VER）从 73.1% 提升到 74.6%。视频检索（VR）的 R@1 从 54.8 提升到 59.0（提升了 4.2），R@5 从 79.3 提升到 82.0（提升了 2.7），R@10 从 85.6 提升到 87.8（提升了 2.2）。在 ActivityNet-FIG 数据集上，0.3/R@1 从 29.1 提升到 33.8（提升了 4.7），0.5/R@1 从 19.2 提升到 22.3（提升了 3.1），0.7/R@1 从 11.4 提升到 12.3（提升了 0.9）。验证准确率（VER）从 83.1% 提升到 83.3%。视频检索（VR）的 R@1 从 55.1 提升到 61.1（提升了 6.0），R@5 从 78.8 提升到 81.7（提升了 2.9），R@10 从 86.7 提升到 88.5（提升了 1.8）。在 Charades-FIG 数据集上，0.3/R@1 从 12.9 提升到 16.5（提升了 3.6），0.5/R@1 从 10.4 提升到 13.4（提升了 3.0），0.7/R@1 从 7.2 提升到 8.2（提升了 1.0）。验证准确率（VER）从 74.7% 提升到 75.7%。视频检索（VR）的 R@1 从 21.6 提升到 24.6（提升了 3.0），R@5 从 41.8 提升到 42.9（提升了 1.1），R@10 从 51.5 提升到 52.2（提升了 0.7）。消融研究表明，SFT 阶段建立了强基础，但 RL 阶段对提升真正的时序推理至关重要。奖励设计的消融研究表明，每个奖励组件针对迭代检索和推理流水线的不同阶段，它们的组合实现了结构格式、检索对齐、验证可靠性和细粒度时序定位的整体优化。分析表明，SQR 有效地精炼原始查询，平均 R@1 随着软查询 token 的增加而持续改进，从无精炼的 0.54 提升到 8 个 token 的 0.61。与硬查询精炼（HQR）相比，SQR 使用更少的 token（8 个 vs 26.8 个）获得了更好的检索性能（R@1 从 57.6 提升到 61.1）。多轮推理的影响研究表明，性能从第一轮到第二轮有明显改进，之后在 T=3 时趋于饱和，表明少量的精炼轮次足以有效平衡计算效率和检索准确性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Video Corpus Moment Retrieval (VCMR) on DiDeMo-FIG | 0.3/R@1 | 33.3 | Qwen3-VL-2B (FT): 23.6 | +9.7 |
| Video Retrieval (VR) on ActivityNet-FIG | R@1 | 61.1 | Qwen3-VL-2B (FT): 55.1 | +6.0 |
| Verification Accuracy (VER) on DiDeMo-FIG | Accuracy | 74.6% | Qwen3-VL-2B (FT): 73.1% | +1.5% |
| Video Corpus Moment Retrieval (VCMR) on ActivityNet-FIG | 0.5/R@1 | 22.3 | Qwen3-VL-2B (FT): 19.2 | +3.1 |
| Video Corpus Moment Retrieval (VCMR) on Charades-FIG | 0.3/R@1 | 16.5 | Qwen3-VL-2B (FT): 12.9 | +3.6 |
局限与改进
本文的局限性包括：对外部搜索引擎的依赖：VideoSearch-R1 的性能很大程度上取决于外部视频搜索引擎（Qwen3-VL-Embedding-2B）的能力。如果初始检索阶段就错过了正确视频，即使经过多轮精炼，也可能难以恢复。最大迭代次数的限制：论文将最大迭代次数设置为 T=2，虽然实验表明性能在 T=3 时趋于饱和，但在更复杂或更大的视频语料库中，可能需要更多的迭代次数才能找到正确的视频。单向检索策略：当验证失败时，模型不会重新评估前几轮的候选视频，而是继续生成精炼的查询。这可能导致错过已经被检索到但在前几轮中被错误验证的视频。计算开销：多轮检索和推理需要更多的计算资源，特别是在大规模视频语料库上。泛化能力：论文在三个 VCMR 基准测试上评估了模型，但没有在其他视频检索或推理任务上评估其泛化能力。作者承认，虽然 VideoSearch-R1 在 VCMR 任务上表现出色，但其在其他任务上的有效性还需要进一步研究。
独立分析的弱点
VideoSearch-R1 的独立分析弱点包括：检索策略的局限性：当前的方法只检索 top-1 视频，然后验证和精炼。如果 top-1 视频不正确，模型不会重新评估 top-2、top-3 等候选视频，而是继续精炼查询。改进方向是引入更智能的检索策略，例如在每个精炼轮次中检索多个候选视频，或者根据置信度决定是精炼查询还是探索其他候选视频。软查询 token 的数量固定：论文固定了软查询 token 的数量为 N=8，但不同的查询可能需要不同数量的精炼。改进方向是动态确定软查询 token 的数量，或者让模型学习何时停止生成精炼 token。缺乏明确的错误恢复机制：当模型在多轮迭代中陷入局部最优时，缺乏明确的机制来检测和恢复。改进方向是引入收敛检测或回溯机制，当检索结果不再改进时，尝试不同的策略。对视觉模型的依赖：VideoSearch-R1 依赖于 Qwen3-VL-2B-Instruct 作为基础视觉语言模型，如果这个模型的视觉理解能力有限，也会影响 VideoSearch-R1 的性能。改进方向是探索更强的视觉语言模型或集成多个视觉模型的预测。缺乏对视频长度的处理：论文没有明确讨论如何处理不同长度的视频，特别是超长视频。改进方向是引入视频长度自适应的采样策略或多尺度视频表示。
未来方向
未来的研究方向包括：扩展到更多视频任务：将 VideoSearch-R1 应用于其他视频理解和检索任务，如视频问答、视频摘要、视频异常检测等。作者提出了将框架扩展到需要迭代检索和推理的其他多模态任务的可能性。改进软查询精炼：探索更复杂的软查询表示，例如层次化软查询或基于注意力的软查询聚合。作者提出了研究软查询 token 的可解释性和可视化，以更好地理解它们如何精炼查询。多智能体协作：引入多个智能体，每个负责不同的任务（如检索、验证、精炼、时序定位），通过协作来提高整体性能。作者提出了探索不同智能体之间的通信和协调机制。自适应迭代次数：研究如何根据查询的复杂性和视频语料库的大小，自适应地确定最大迭代次数，而不是固定为 T=2。作者提出了基于置信度或性能饱和的自适应停止条件。跨模态查询精炼：探索不仅精炼文本查询，还精炼视觉查询或跨模态查询表示的可能性。作者提出了研究如何在视频检索任务中利用跨模态的查询精炼。实时视频检索：研究如何在实时或近实时的视频检索场景中应用 VideoSearch-R1，例如直播视频监控或实时视频推荐。作者提出了优化推理速度和延迟的潜在方法。
复现评估
论文声称代码和模型检查点将公开可从 mlvlab.github.io/VideoSearch-R1 获取，这将有助于复现性。训练使用 Qwen3-VL-2B-Instruct 作为基础模型，总视觉 token 数设置为 4096（通过以 1 FPS 采样最多 64 帧来实现）。软查询 token 数量设置为 N=8。在第一阶段（SFT）中，模型在每个数据集的 2K 样本上微调了 2K 步，使用 AdamW 优化器，学习率为 2e-5。在第二阶段（RL）中，模型从 SFT 检查点初始化，使用 AdamW 优化器，学习率为 5e-7，权重衰减为 0.01，最大梯度范数为 1.0。KL 系数设置为 beta=0.01，rollout 大小为 G=8，解码温度为 1.0。最大推理轮数设置为 T=2。论文提供了详细的实验设置和超参数，这有助于复现性。然而，训练和推理需要大量的计算资源，特别是用于处理大量视觉 token 的 GPU 内存。论文没有提供具体的硬件配置或训练时间，这使得评估所需的计算成本变得困难。此外，依赖外部视频搜索引擎（Qwen3-VL-Embedding-2B）也增加了复现的复杂性，需要确保这个搜索引擎的可用性和一致性。总体而言，虽然论文声称将公开代码和模型，但复现可能仍然具有挑战性，特别是在没有充足计算资源的情况下。
论文图表
