LongVideo-R1：低成本长视频理解的智能导航框架 LongVideo-R1: Smart Navigation for Low-cost Long Video Understanding
通过层次化推理和主动探索，实现高效长视频问答
前置知识
多模态大语言模型（MLLM）
多模态大语言模型是将视觉信息（如图像、视频）与文本信息融合的大规模预训练模型。它通过视觉编码器将图像或视频帧转换为离散token，然后与文本token一起输入到Transformer架构中进行联合推理。典型的MLLM包括Qwen-VL、InternVL等，它们能够处理视觉问答、图像描述等任务。在视频理解领域，MLLM需要处理大量视觉帧，面临上下文长度限制的挑战。
LongVideo-R1基于MLLM构建，理解MLLM的工作原理和局限性（特别是上下文长度限制）是理解本文动机的关键。
链式思维推理（Chain-of-Thought）
链式思维推理是一种让大语言模型逐步展示推理过程的技术。模型不是直接输出答案，而是先生成中间推理步骤，类似于人类的思考过程。这种方法可以提高复杂任务的准确性，因为模型可以分解问题、逐步推理。在工具增强的场景中，链式思维还可以与工具调用结合，形成思考-调用工具-观察结果-继续思考的循环。
本文提出的CoTwT（Chain-of-Thought with Tool）是核心方法，它将链式思维与视频工具调用结合，实现智能的视频导航。
强化学习与GRPO
强化学习（RL）是一种通过与环境交互来学习最优策略的机器学习范式。GRPO（Group Relative Policy Optimization）是DeepSeek提出的一种高效策略优化算法，它通过组内相对比较来估计优势函数，避免了传统PPO中需要训练独立critic模型的开销。GRPO通过计算同一问题多个rollout的奖励均值和标准差来归一化优势，实现稳定的策略更新。
LongVideo-R1使用GRPO进行强化学习训练，理解GRPO的原理有助于理解模型如何学习高效的视频导航策略。
层次化视频表示
层次化视频表示是将长视频组织成树状结构的技术。根节点代表整个视频，每个非叶节点被均匀分割为K个子节点，形成多层结构。这种表示允许模型从粗粒度（高层）到细粒度（底层）逐步探索视频内容，类似于人类浏览视频时先看概览再聚焦细节的方式。典型的层次结构有3层深度，叶子节点对应约16秒的视频片段。
LongVideo-R1的核心创新之一就是利用层次化视频表示实现高效导航，避免穷举搜索所有视频片段。
Pareto最优
Pareto最优是指在多目标优化中，无法在不损害其他目标的情况下改善任何一个目标的状态。在本文中，Pareto最优指的是在准确率和计算效率之间找到最佳平衡点——即在保持有竞争力的问答准确率的同时，最小化计算开销。这种权衡分析对于实际部署非常重要，因为真实应用往往有计算预算限制。
本文的核心目标就是找到长视频理解中准确率-效率的Pareto最优解，这是评估方法实用性的关键视角。
研究动机
现有长视频理解方法面临严重的计算效率瓶颈。当前主流的多模态大语言模型（MLLM）由于上下文长度限制，无法一次性处理完整的长视频（1-2小时），被迫采用暴力穷举的流水线：将视频分割成短片段，对每个片段进行详尽处理（如生成描述或总结事件），最后整合结果生成答案。这种方法的计算复杂度与视频长度呈线性关系。例如，Ego-R1和VideoTree等方法虽然在长视频问答上取得了有竞争力的准确率，但它们需要处理的视频片段数量随视频时长线性增长，导致计算成本和延迟变得不可接受。以Video-MME数据集为例，Ego-R1需要平均每30秒生成一次视频描述，在长视频上产生平均86个描述片段，计算开销极大。这严重限制了MLLM在实际场景中的部署，如需要低延迟响应的具身智能体和受预算限制的高吞吐视频聊天服务。
本文的目标是本文提出一种新的研究范式：在有限计算预算下进行长视频理解。不同于单纯优化问答准确率，本文主张更好的模型效能评估标准是实现准确率与效率的Pareto最优权衡。具体目标是：在保持有竞争力的问答准确率（如在LVBench上达到50%以上）的同时，将推理轮次控制在平均10-15轮，将每个问题的推理时间控制在3分钟左右，相比传统穷举方法（如Ego-R1需要数十分钟）实现数量级的效率提升。同时，框架需要能够扩展到超长视频（如10小时以上的电视剧）的理解任务。
与已有工作不同的是，本文的独特切入角度在于将长视频理解重新定义为一个智能导航问题，而非穷举处理问题。现有方法虽然也使用了智能体架构（如VideoAgent、VCA等），但它们要么需要穷举处理大部分视频段，要么缺乏明确的效率优化目标。本文观察到，人类观看长视频时会采用层次化的浏览策略：先看概览，再根据问题定位到相关片段，如果信息不足再进一步细化。本文将这种直觉形式化为一个带有推理和终止控制的闭环机制，让模型学会何时停止探索和下一步去哪里探索。这种主动探索的视角，配合专门设计的位置奖励函数，是现有工作所忽视的关键点。
核心方法
LongVideo-R1的核心思想是让模型像人类一样智能地浏览长视频：从高层概览开始，根据问题逐步聚焦到相关片段，一旦收集到足够信息就立即停止探索。整体技术路线分为三个层次：首先，将长视频组织成层次化树结构，支持不同粒度的快速切换；其次，构建一个基于链式思维的工具调用框架（CoTwT），让推理模型在每一步决定是继续探索还是给出答案；最后，通过SFT冷启动和RL精细调优两个阶段训练模型，其中RL阶段使用专门设计的奖励函数来平衡准确率和效率。整个系统包含两个核心工具：video_cap()用于生成视频片段描述，video_qa()用于在叶子节点回答具体问题。推理模型（基于Qwen3-8B）在每个步骤分析已收集的信息，决定下一步操作——可能是向下钻取更细粒度的片段、横向遍历相邻片段、或回溯到上层重新获取上下文。
本文最本质的创新是将长视频理解从被动处理转变为主动探索，并通过强化学习让模型学会高效的导航策略。与已有方法的核心区别在于：(1) 层次化探索而非线性扫描——模型可以在不同时间粒度间快速跳转，而不是按顺序处理每个片段；(2) 自适应终止而非固定处理——模型学会判断信息是否足够，一旦可以回答问题就立即停止，避免不必要的计算；(3) 位置奖励而非仅答案奖励——专门设计的$r_{loc}$奖励函数同时考虑覆盖率（coverage）和精确率（precision），鼓励模型准确定位关键片段同时惩罚冗余探索。这种设计让模型在训练过程中自然学会少即是多的哲学：用更少的探索步骤找到最关键的视频内容。核心的奖励函数设计为$R = w_{ans} \cdot r_{ans} + w_{loc} \cdot r_{loc} + w_{repeat} \cdot r_{repeat}$，其中$r_{loc}$的F1-like度量$2 \cdot \frac{cov \times pre}{cov + pre}$是实现效率优化的关键。
方法步骤详情
LongVideo-R1的推理过程遵循Algorithm 1描述的层次化视频推理流程。输入是一个长视频$V$和问题$q$。首先，将视频组织成深度$D=3$、宽度$K=\text{round}(\sqrt[3]{T/16})$的树结构，其中$T$是视频时长（秒），叶子节点对应约16秒的片段。推理开始时，模型首先获取顶层节点的视频描述$t_0 = \text{video\_cap}(V)$作为初始上下文。然后进入推理循环：推理模型$r_{ea}()$分析当前的聊天历史$E$和问题$q$，生成推理陈述$r_l$。如果$r_l$包含答案，则提取最终答案并结束；否则，$r_l$会指定下一步要调用的工具和目标片段。模型可能调用$\text{video\_cap}()$获取更细粒度的描述，或在叶子节点调用$\text{video\_qa}()$直接回答问题。每一步的输出$S_l$包含推理陈述$r_l$和工具输出（描述$t_l$或答案$a$）。整个过程持续直到产生答案或达到最大迭代次数（默认30轮）。这种CoTwT格式$E = [S_1, S_2, \ldots, S_L]$使得推理过程完全由自然语言构成，便于理解和调试。
技术新颖性
LongVideo-R1的技术新颖性体现在多个方面。首先，在数据构建上，本文利用CGBench的线索标注（clue-grounded annotations）和GPT-5生成33K高质量的CoTwT轨迹，这是首次为长视频智能体构建如此大规模的监督数据。数据生成过程包含迭代修正机制：当GPT-5生成错误答案时，系统会逐步提供更精确的线索提示，保证轨迹的正确性同时最小化信息泄露。其次，在训练范式上，本文采用两阶段策略：SFT阶段让模型学会格式化的推理序列，RL阶段通过GRPO算法进一步优化导航效率。RL阶段的创新在于将视频推理过程建模为交互式探索环境，视频工具作为动作空间，层次化视频作为环境状态。最重要的技术贡献是位置奖励$r_{loc}$的设计，它同时考虑覆盖率$cov = \frac{|I_{model} \cap I_{gt}|}{|I_{gt}|}$和精确率$pre = \frac{|I_{model} \cap I_{gt}|}{|I_{model}|}$，这是现有工作未尝试过的。此外，重复访问惩罚$r_{repeat}$也是新颖的设计，有效减少冗余探索。
实验结果
LongVideo-R1在多个长视频理解基准上展示了优秀的准确率-效率权衡。在LVBench数据集上，LongVideo-R1达到50.0%的整体准确率，超越所有其他基于智能体的方法至少5.6个百分点。特别值得注意的是，它在关键信息检索（KIR）和时间定位（TG）两个子类别上表现突出，分别达到56.4%和56.4%，其中TG任务超越第二名10.9个百分点。使用8B参数的LLM，LongVideo-R1甚至超越了GPT-4o（48.9%）和GLM-4V-plus（48.7%）等商业模型。在效率方面，LongVideo-R1仅需平均10.5轮推理即可完成问答，而Ego-R1在Video-MME上需要86个描述片段。在Video-MME-Long数据集上，LongVideo-R1达到64.4%准确率（使用字幕后为68.6%），在MLVU上达到68.1%（更新版本为71.3%）。消融实验表明，SFT数据规模对性能有显著影响：使用完整33K数据训练的模型在LVBench上比10K子集高出3.9个百分点。位置奖励$r_{loc}$的贡献也很大：移除$r_{loc}$后，LVBench准确率从50.0%下降到45.8%，KIR从56.4%下降到49.1%。在超长视频场景中（如10小时以上的电视剧），LongVideo-R1仅需10-20轮推理即可准确定位关键片段并回答问题，而其他方法要么无法处理如此长的视频，要么需要线性增长的计算成本。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LVBench长视频问答 | 整体准确率(%) | 50.0 | AdaReTake-72B: 53.3, VideoChat-Flash-7B: 48.2 | 超越AdaReTake-72B（使用72B模型）在智能体方法中领先，且模型仅8B参数 |
| LVBench时间定位(TG) | TG准确率(%) | 56.4 | AdaReTake-72B: 45.5, VCA: 38.0 | 超越第二名10.9个百分点，显著提升时间定位能力 |
| Video-MME-Long | 准确率(%) | 64.4 | Ego-R1: 64.9, VideoTree: 60.4 | 与Ego-R1相当，但计算效率显著更高（10.5轮 vs 86片段） |
| MLVU | 准确率(%) | 68.1 | VideoChat-Flash-7B: 74.7, Ego-R1: 64.9 | 在智能体方法中表现有竞争力，效率优势明显 |
局限与改进
LongVideo-R1存在几个明显的局限性。首先，模型有时会被语义相关但实际无关的视频片段分散注意力。如论文附录D所示，当视频中出现与问题关键词相似但不相关的场景时，模型可能陷入错误的探索分支，无法自主回到正确片段。虽然提供简单的文本提示可以引导模型回到正轨，但这需要人工干预。其次，框架对视频描述工具的质量高度依赖——如果video_cap()生成的描述不够准确或遗漏关键信息，推理模型很难做出正确的导航决策。第三，层次化均匀分割假设视频内容是均匀分布的，但实际上语义相关内容可能跨越多个片段边界，导致定位模糊。第四，当前框架仅支持两个工具（video_cap和video_qa），限制了处理更复杂任务的能力。最后，虽然效率显著提升，但在MLVU等包含大量短视频的数据集上，LongVideo-R1的优势并不明显，因为这些数据集更适合均匀采样方法。
独立分析的弱点
基于独立分析，LongVideo-R1存在几个值得改进的弱点。第一，层次化树结构采用均匀分割策略，这与视频内容的语义结构不匹配——相邻片段可能包含完全不同的内容，而相关事件可能跨越片段边界。改进方向是引入基于场景检测或动作边界的自适应分割，或使用可学习的分割策略。第二，当前的奖励设计虽然创新，但$r_{loc}$仅考虑时间区间的集合操作，未考虑片段的语义相关性。可以设计更精细的奖励，如基于注意力权重或语义相似度的加权覆盖率。第三，模型在遇到死胡同（陷入无关片段）时缺乏有效的回溯机制——它可能重复访问同一区域或在无关片段间跳跃。可以引入显式的放弃动作或基于信息增益的回溯策略。第四，推理效率仍有优化空间：当前每一步都需要完整的推理模型前向传播，可以考虑缓存中间状态或使用更轻量级的路由模型来决定导航方向。第五，视频描述工具是离线预训练的，未针对导航任务优化——可以考虑将视频描述模型与推理模型联合训练。
未来方向
论文作者提出了几个有前景的未来方向。首先是扩展工具集：当前仅使用video_cap()和video_qa()两个工具，未来可以引入视频实例识别、视频片段分割等工具来增强模型能力，同时需要添加新的奖励项来惩罚工具使用的总计算成本。其次是高级设置：当前假设每个视频问答独立处理，但在实际场景中一个视频可能对应多个问答对，此时模型可以分摊导航开销，或在增量问答中复用已有信息。第三是增强视频描述：LongVideo-R1的性能高度依赖视频描述质量，这是一个新的研究方向——如何为智能体场景优化视频描述工具。基于论文成果还可以延伸出更多方向：(1) 将框架扩展到视频摘要、视频高亮检测等其他长视频任务；(2) 探索主动学习策略，让模型在推理过程中请求更多信息（如字幕、音频）；(3) 开发在线自适应机制，根据视频内容动态调整树结构和探索策略；(4) 研究多智能体协作，多个专门化的智能体分工处理不同类型的视频内容。
复现评估
LongVideo-R1的复现条件相对友好。代码和数据已开源于GitHub仓库（https://github.com/qiujihao19/LongVideo-R1）。模型基于开源的Qwen3-8B构建，视频工具使用Qwen2.5-VL-72B和Qwen2.5-VL-32B，均为公开可用的模型。训练数据方面，SFT数据包含33K样本，由CGBench数据集的800个视频和5.6K问答对生成，数据生成过程使用了GPT-5 API（这是主要的复现成本）。RL训练使用CGBench剩余的400个视频和约4.2K问答对。算力需求方面，论文在8块NVIDIA H800 GPU（80GB）上训练，SFT阶段384步，RL阶段696步，使用FSDP分片和混合精度训练。推理时间在A800上测试，单个问题平均约135秒（LVBench上约176秒）。整体复现难度中等：主要挑战在于高质量CoTwT轨迹的生成（需要GPT-5或同等能力的模型），以及RL训练的稳定性。论文提供的详细超参数（Table 8）和提示模板（Table 9、10）有助于复现。
论文图表
左图展示了LongVideo-R1的核心动机：高效的长视频理解需要模型具备两个关键能力——(1)判断已收集的信息是否足够回答问题，(2)如果不足够，导航到最可能包含有用信息的下一个片段。右图展示了在LVBench数据集上的准确率-效率权衡比较，LongVideo-R1在3分钟内达到50.0%准确率，实现了最佳的权衡。
这张图直观展示了本文的核心问题和解决方案定位，帮助读者理解为什么需要智能导航而非穷举搜索。
比较了使用不同规模的视频描述模型（Qwen2.5-VL-3B/7B/32B/72B）的效果。32B模型在LVBench上达到49.8%，72B达到50.0%，但推理时间从50.5秒增加到175.7秒。展示了模型规模与效率的权衡。
为实际部署提供模型选择指导，展示可调节的效率-准确率权衡。
比较了不同最大推理轮数（10/20/25/30）的效果。30轮达到最佳准确率（LVBench 50.0%），但10轮也能达到43.0%，推理时间从175.7秒减少到103.6秒。展示了可调节的探索深度。
展示了如何通过调整最大轮数来控制计算预算，适应不同应用场景。
列出了SFT和RL阶段的详细超参数：SFT使用Qwen3-8B初始化、学习率1e-5、3个epoch、batch size 32；RL使用LongVideo-R1-SFT初始化、学习率1e-6、2个epoch、batch size 12、16个rollout。
提供复现所需的详细训练配置。