VideoAtlas: 对数计算量的长视频导航

将长视频理解为分层环境导航，实现O(log T)计算复杂度的零样本视频问答

前置知识

递归语言模型（RLM）

递归语言模型是一种处理超长上下文的技术，它允许智能体通过递归调用子智能体来查询任意长度的上下文，而不是将所有内容一次性放入模型的上下文窗口。每个子智能体调用返回精确的符号变量（而非压缩摘要），主智能体将这些结果累积起来形成最终答案。这种方法的访问深度与内容长度呈对数关系，使得处理百万级token的长文档成为可能。

Video-RLM将RLM从文本域扩展到视频域，需要理解RLM如何将长上下文问题转化为递归搜索问题，以及VideoAtlas如何提供类似的结构化环境使视频内容也能被递归探索。

马尔可夫决策过程（MDP）

马尔可夫决策过程是强化学习中的形式化框架，由状态空间S、动作空间A、转移函数P和奖励函数R组成。在VideoAtlas中，状态包括当前时间位置、深度、正负记忆等；动作包括EXPAND、ZOOM、INVESTIGATE、ADD_TO_SCRATCHPAD等；观测是渲染的网格图像。通过将视频理解形式化为MDP，论文打开了从零样本推理到强化学习探索策略的直接路径。

理解MDP形式化可以明白为什么VideoAtlas是一个任务无关的通用环境，以及如何通过改变奖励函数支持不同的任务（QA、时序定位、摘要、异常检测）。

多模态前缀缓存

多模态前缀缓存是vLLM等推理框架的优化技术，它检测多次推理调用中重复的图像token前缀，只计算一次KV缓存，后续调用直接命中缓存。在DFS探索过程中，每个工作智能体会多次查看相同的网格视图（ADD_TO_SCRATCHPAD步骤不会改变导航状态），这产生了固有的视觉token冗余。vLLM自动识别这种冗余，无需代码改动即可透明处理。

这是VideoAtlas实现高效计算的关键技术之一。实验显示在10小时视频上达到36-42%的命中率（短视频最高61%），这是为什么论文声称对数计算量在实际部署中可行的重要原因。

分层网格表示

VideoAtlas将视频表示为递归的K×K图像网格（默认K=8，共64个单元格）。根网格S0将整个视频渲染为联络单（contact sheet）形式，每个单元格显示该时间区间中点的代表帧。对单元格应用EXPAND动作会生成子网格，将时间分辨率提高K平方倍。深度为d时，时间分辨率为Delta_td = T除以K的2(d+1)次方，最多需要Dmax等于log以K平方为底(T乘fps)向上取整步即可达到亚秒级精度。这种结构在整个系统中统一使用：视频、中间调查、智能体的内部证据记忆都渲染为网格。

这是VideoAtlas的核心创新。分层网格提供了同时无损、可导航、可扩展、免字幕、免预处理的表示，是整个系统能够实现O(log T)复杂度的基础。

研究动机

现有长视频理解方法面临两个核心挑战：表示挑战和长上下文挑战。表示方面，均匀采样方法（如标准VLM）引入严重的时间稀疏性，在实际预算下（如1小时视频采样64帧），时间步长达约56秒/帧，系统性遗漏短事件、细粒度视觉细节和场景转换。更严重的是，在固定上下文窗口内，增加采样帧数会迫使每帧分辨率成比例下降，形成根本性的覆盖-保真度权衡。长上下文方面，基于字幕或智能体的管道将视频折叠为文本，丢失视觉保真度。例如，LLoVi将密集采样的短片段转换为文本摘要，MR.Video使用MapReduce设计对片段并行字幕化然后合成。即使这些系统自适应采样帧，其中间记忆和决策仍基于文本而非结构化视觉空间。转录或抽象过程中被忽略的任何视觉细节无法通过后续推理恢复。这些范式还面临截然不同的可扩展性瓶颈：标准VLM管道必须在推理开始前解码视频、提取帧并在CPU上执行视觉token化，仅预处理就可能消耗数百GB系统RAM；基于字幕的方法避免了内存问题，但产生不同成本：离线字幕化阶段与视频时长线性相关且不可逆地丢弃视觉保真度。

本文的目标是本文的具体目标是创建一个任务无关的视频理解环境，该环境必须同时满足五个关键属性：无损（任意分辨率下的帧级访问）、可导航（智能体导向）、可扩展（无上下文天花板）、免字幕（原生视觉推理）和免预处理（无需离线解码）。通过将视频理解重新定义为在形式化定义的几何环境中导航，部署Master-Worker智能体扩展递归语言模型到视频域，实现深度控制的计算预算和对数级成本增长。最终目标是在长视频问答任务上实现与现有方法可比或更好的精度，同时计算复杂度随视频时长对数增长而非线性增长。

与已有工作不同的是，本文的独特切入角度是借鉴电影剪辑师的概览-识别-缩放工作流程。当电影剪辑师需要在一部电影的数万帧中找到特定场景时，标准解决方案是使用联络单（显示采样镜头的合成图像）快速识别有前景的区域，然后仅缩放到那些片段。这种概览、识别、缩放的循环是高效视觉导航的关键，而当前VLM完全缺乏这种能力。现有方法要么依赖均匀采样（丢失短事件），要么依赖文本中间表示（丢失视觉细节），要么依赖离线预处理（内存和可扩展性问题）。VideoAtlas的洞察是：长视频问题本质上是一个长上下文问题，视频是上下文，需要的是智能体递归探索它而不压缩它的机制。RLMs为文本提供了这种机制，但需要结构化环境才能递归进入。VideoAtlas正是为视频领域提供这种结构。

核心方法

VideoAtlas的方法整体思路是将视频理解重新定义为在形式化定义的层次化环境中导航。技术路线分为两部分：首先构建VideoAtlas环境，这是一个任务无关的环境，将任何视频渲染为可导航的层次化网格；然后部署Video-RLM，这是一个并行Master-Worker智能体架构，在VideoAtlas内操作来回答关于任意长视频的问题。直觉上，这模仿了人类浏览长视频的方式：先看整体联络单了解视频的全貌，然后逐层缩放到感兴趣的特定时间段，直到找到所需的详细信息。整个系统完全基于视觉推理，无需字幕或文本转换，实现了端到端的无损表示。

核心创新点是将视频表示为递归的K×K图像网格，这种表示在整个系统中统一使用（视频本身、中间调查、智能体的内部证据记忆都是网格形式）。这种设计有三个本质区别于已有方法：第一，它是无损的，可以在任意分辨率下访问任意帧，不需要转换成文本；第二，它是可导航的，智能体可以自主决定探索哪些区域和探索多深；第三，它的计算复杂度是O(log T)而非O(T)，因为随着视频时长增加，只需要少量额外的深度层级。另一个关键创新是环境预算概念：通过限制最大探索深度d，可以直接控制时间分辨率和计算量，提供了一个原则性的计算-精度超参数，这与以往方法控制采样数量而非结构分辨率的思路有本质区别。

方法步骤详情

VideoAtlas的工作流程分为五个主要步骤。第一步是搜索任务提取：在视觉探索之前，一个仅文本步骤将原始查询转换为具体的搜索任务。例如，将伦敦会议后签署了什么条约转换为找到伦敦会议场景，立即查找文本叠加或字幕中的条约名称。这个搜索任务指导所有后续提示。第二步是Master全局探测：Master检查根网格S0（带有黑色死区）和当前证据记忆本M正，然后为下一轮选择有前景的单元格。使用带有虚拟损失的优先队列确保已分配给工作智能体的单元格被优先级降低，防止冗余探索。第三步是工作智能体并行探索：每个工作智能体从边界接收一个单元格并自主探索。支持两种模式：DFS模式（深度优先搜索，适合定位特定细节）和BFS模式（广度优先搜索，适合理解序列或流程）。工作智能体使用EXPAND、ZOOM、INVESTIGATE、ADD_TO_SCRATCHPAD、BACKTRACK等动作钻入分配的区域。第四步是Master不确定性分析：每轮结束后，Master执行三项任务：充分性检查（是否有足够证据）、时间插值（建议目标搜索边界）、动态记忆修剪。如果证据充分，则生成最终答案；否则开始新一轮。第五步是最终决策：探索终止后，Master看到证据记忆本网格并评估每个候选答案，基于实际收集的证据帧（渲染为带标签的网格）而非文本摘要做出最终决定。

技术新颖性

技术新颖性体现在四个方面。第一，递归分层网格表示是视频理解中首次提出的真正无损、可导航、可扩展的视觉表示。它完全避免了字幕化、离线预处理和上下文窗口天花板，同时提供了原则性的计算预算机制（通过控制深度d）。第二，扩展RLMs到视频域是首次将递归语言模型的范式从文本成功迁移到多模态域。VideoAtlas为视频提供了RLMs所需的结构化环境。第三，环境预算而非智能体预算是一种全新的计算控制范式。以往的VideoARM等方法是控制采样密度（每个间隔采样多少帧），而VideoAtlas控制环境本身的时间分辨率（每个深度层级将时间几何细分），提供了与视频时长和查询粒度校准的形式精度保证。第四，自适应计算分配是一个涌现属性而非设计目标。实验显示系统根据证据分布自动调整计算量：分散答案（3+个位置）比局部化答案消耗多40%的token（322K vs 230K）。这种自适应行为来自Master的不确定性分析、充分性机制和分层结构的交互，无需显式监督。

**Figure 2**: The VideoAtlas Environment

**Figure 6**: Navigation grid before and after exploration

实验结果

论文通过三个关键发现验证了方法的有效性。第一，对数计算增长：在10小时扩展基准上，Video-RLM的计算成本亚线性增长。当视频时长从1分钟增加到10小时（600倍增加）时，Video-RLM的计算成本只亚线性增加，层级以对数方式增加深度（log以K平方为底T乘fps），充分性机制在发现证据后停止探索。基于字幕的管道线性缩放，无论查询如何，每个片段都必须字幕化，10小时需要超过140万token/查询。Video-RLM使用仅148K有效token实现可比精度（9.7倍减少）。第二，环境预算：在30个采样的LVB-10hr问题上，深度d等于0（仅根网格）时精度为30%，d等于2（137ms跨度）时升至43.3%，然后在深度3-4处平台化（此时最细分辨率低于1毫秒，超出任何有意义的视觉粒度）。在实践中，将最大深度设置为第一个亚秒层级，该层级自动适应视频时长（1分钟视频在d等于1达到亚秒，10小时视频在d等于2）。深度d因此是一个直接控制时间分辨率而非帧数量的原则性计算-精度超参数。第三，自适应计算：将LVB问题按包含答案证据的地面真值时间位置数量分组，分散答案（3+个位置）比局部化答案消耗多40%token（322K vs 230K）。这是从Master的不确定性分析、充分性机制和分层结构交互中产生的涌现行为。第四，工作智能体扩展：在30个采样的LVB-10hr问题上，将工作智能体数量从1增加到7，归一化后的墙钟时间从588秒降至257秒（2.25倍加速），而精度保持稳定（40-47%）。这是环境的结构属性：每个子树是自包含的，因此添加工作智能体提高吞吐量而不修改搜索协议。

**Table 1**: Comparison of long-video QA methods

**Table 2**: Video QA accuracy (%) on the standard (Long) subsets

**Table 3**: 10-hour variant: accuracy (%) and average tokens per question

**Table 4**: Accuracy (%) by question type

**Table 5**: Accuracy (%) by reasoning level

**Table 6**: Accuracy (%) by topic category

**Table 7**: Average per-question compute breakdown for Video-RLM (Qwen3.5, 3B active)

**Table 8**: vLLM multimodal prefix cache hit rates for Qwen3.5 across video durations

**Figure 1**: Logarithmic compute scaling with video duration

**Figure 4**: (a) Environment budgeting: accuracy and tokens vs. max depth on subset of LVB-10hr. (b) Adaptive compute: average tokens scale with evidence spread without ground-truth supervision.

**Figure 5**: Wall-clock time (normalized to equal workload) vs. number of workers 30 questions sampled from LVB-10hr

查看结构化数据

任务	指标	本文	基线	提升
标准长视频QA	准确率 (%)	52.5 (Qwen) / 72.0 (Gemini)	GPT-5: 72.6 / 81.8; VideoARM: 76.4 / 81.2; Uniform Qwen: 61.5 / 63.8	Video-RLM (Gemini)在LVB达到72.0%，仅比Gemini-3-Flash直接性能(74.5%)低2.5个百分点，用3B活跃参数匹配了28B活跃参数的InternVL3.5，证明了VLM无关性和计算效率
10小时扩展QA	准确率 (%) / 平均Token数	47.7 / 146K (Qwen LVB), 70.1 / 307K (Gemini LVB)	Uniform Qwen: 49.2 / 212K, -12.3点下降; LLM over Captions: 62.1 / 207K (LVB), 36.0 / 235K (VMME), -28.2点下降	Video-RLM在LVB-10hr仅下降4.8点（Qwen）和1.9点（Gemini），而均匀采样下降12.3点，字幕化方法在VMME-10hr下降28.2点（无字幕时），证明了结构化环境导航缓冲了智能体对抗时长扩展
计算效率	Token数 / 10小时视频	148K-403K (取决于基干模型)	Caption-based: 1.4M+; Uniform VLM: 212K-232K	Video-RLM相比基于字幕的方法节省最多9.7倍token，在可比精度下实现了对数而非线性计算增长
主题分类	准确率 (%) LVB-10hr	56.7 (Cooking), 46.7 (Geography), 52.1 (STEM), 54.8 (History)	无	Life-Vlogs最困难（26.7%），因为快速视觉变化、非正式拍摄和极少字幕；Cooking-Recipes最好（56.7%），因为结构化步骤和清晰视觉指示

局限与改进

论文明确指出了四个主要局限性。第一，VLM感知瓶颈：系统的感知上限完全由基干VLM设定。错误分析揭示了三种主导失败模式，全部是VLM依赖而非架构依赖：VLM感知错误（误读文本叠加、混淆视觉上相似的场景）、过早充分性（Master尽管存在矛盾仍声明证据充分）、文本锁定（当字幕可用时过度依赖字幕线索）。第二，无锚点探索开销：当根网格S0不包含查询的视觉明显锚点时，智能体可能需要额外探索轮次才能找到相关区域。Master通过每轮新收集的证据细化后续单元格分配来逐步缓解这一点。第三，评估范围：仅在多选QA上验证。MDP公式化支持时序定位、摘要和异常检测（只有奖励信号改变，环境不改变），但这些仍需经验演示。第四，仅零样本：完全通过零样本VLM推理解决MDP，这是最弱可能的智能体。离散有限动作空间使VideoAtlas直接兼容RL训练（PPO、DQN），这可能提高探索效率，但留待未来工作。

独立分析的弱点

独立分析的弱点包括：VLM感知错误是主要瓶颈，特别是在颜色识别、文本阅读和空间关系推理方面。例如，在LVB-10hr中，L1感知任务下降9.6点（59.4到49.8）而L2关系任务仅下降2.7点（47.6到44.9），表明额外的时间距离主要损害低级视觉识别而非关系推理。这是基干模型限制，环境架构无法完全解决。第二个弱点是序列类型问题最困难：SSS（场景序列摘要）仅21.4%，SAA为33.3%，需要跨越完整视频排序多个事件，需要广泛覆盖和时间精度。第三个弱点是Life-Vlogs类别最困难（1小时35.3%，10小时26.7%），因为这些视频具有快速视觉变化、非正式拍摄和极少字幕，最严重影响VLM感知。第四个弱点是当前实现仅支持多选QA，不支持开放式问答或需要生成答案的任务。改进方向：引入RL训练提高探索效率；开发方法将语义相关信息上采样到更浅的深度层；扩展支持更多任务类型如时序定位和摘要；集成更强的VLM基干或训练专门的视觉编码器；添加跨帧一致性检查和自我验证机制。

未来方向

作者提出的未来方向包括：将MDP公式化扩展到时序定位、摘要和异常检测任务（只需改变奖励信号）；应用强化学习（PPO、DQN）学习探索策略，因为离散有限动作空间使VideoAtlas直接兼容RL训练；开发方法将语义相关信息上采样到更浅的深度层，以提高无锚点场景的探索效率。基于成果可延伸的方向：扩展到开放域视频理解而不仅是基准QA；集成多模态嵌入检索作为补充导航机制；支持实时流式视频分析；探索分层网格在其他模态（如3D点云、时序信号）中的应用；开发分布式架构支持超大规模视频库；研究自适应网格大小K和深度限制的自动调优；集成用户反馈循环实现交互式视频浏览。

复现评估

复现评估：代码已在GitHub开源（github.com/mohammad2012191/VideoAtlas）。使用的数据集为公开基准LongVideoBench和Video-MME。10小时扩展变体通过从每个基准连接多个视频构建，每个查询的目标视频放置在干扰项之间的随机位置。实验使用Qwen3.5-35B-A3B（35B总参数，3B活跃/前向传递）和Gemini-3-Flash作为基干，通过vLLM在4乘A100 80 GB GPU上服务。每个网格图像统一渲染为320乘320像素分辨率，网格大小K等于8。平均token消耗有详细分解：LVB-Long为149K（Master 28K + Worker 121K），LVB-10hr为250K（Master 30K + Worker 219K）。vLLM多模态前缀缓存在不同时长下达到35-61%命中率。系统在零样本设置下运行，无视频特定训练。复现难度中等，需要多GPU环境和vLLM推理框架，但所有组件都是开源的。实验设计透明，包括详细提示模板和端到端追踪示例。

VideoAtlas: 对数计算量的长视频导航 VideoAtlas: Navigating Long-Form Video in Logarithmic Compute