VideoLoop：以循环工作记忆对抗长视频智能体的语义颠簸 VideoLoop: Looped Working Memory Against Semantic Thrashing in Long-Form Video Agents
外循环探索视频，内循环每步从文件系统检索并重写有界工作记忆，消除语义颠簸
前置知识
语义颠簸（Semantic Thrashing）
借用操作系统 1968 年 Denning 提出的内存颠簸概念：当活跃进程的页需求 $\Lambda(t)=\sum_{i\in I(t)} W_i(t,\delta)$ 超过物理内存 $M$ 时，系统把大部分周期花在换页而非有效工作上。本文将其类比到视频智能体：工作记忆超出 LVLM 有效上下文容量 $C$ 后，关键证据的注意力被累积观察稀释，计算开销增加而推理根基反而退化。
这是论文的核心问题定义与命名来源，理解它才能明白双循环设计所针对的失败模式。
Append-only 工作记忆
多数现有视频智能体采用的单调更新策略：每步把新观察并入记忆 $M_t = M_{t-1} \cup \{o_t\}$，从不删除。论文用状态散度 $Dist(M_t,K_q)=|M_t \triangle K_q|$（记忆与目标证据集 $K_q$ 的对称差）证明：追加新目标证据可减小散度，但新引入的噪声会永久占据上下文预算，append-only 结构上无法清理。
它是本文批判的基线设计，全部实验对比都围绕它与双循环重写的差异展开。
ReAct 式智能体循环
LLM 控制器在推理-行动-观察循环中迭代：每步读取当前状态，选择工具（抽帧分析、转写、执行代码等），把结果并入已知信息，再决定下一步看哪里。这是当前 agentic 视频理解（VideoAgent、DVD 等）的主流范式，在长视频上通常优于单次推理。
VideoLoop 的外循环就是 ReAct 式智能体，理解该范式才能定位内循环在其上增加的记忆管理层。
LVLM 有效上下文容量
大型视觉语言模型虽宣称支持百万级 token 上下文，但实测有效容量远小于标称值：上下文过长时模型难以可靠检索与整合中间信息（lost in the middle、RULER 等研究）。因此记忆规模 $|M_t|$ 超过有效容量 $C$ 后，性能不升反降。
它解释了为什么工作记忆必须有界（本文设 32K token 预算 $B_M$），是语义颠簸发生的根源。
编码沙盒智能体
智能体在带文件系统的沙盒环境中通过编写和执行代码来探索数据，而非依赖预定义管线。工具集极小（分析、转写、执行、作答），中间产物（帧、字幕、脚本、JSON）均以文件形式持久化，可随时按需读取。
VideoLoop 的 Tier 3 无界文件系统建立在沙盒之上，这是它能无损保存全部观察的物理基础。
研究动机
长视频理解要求智能体在数千帧、几十分钟到数小时的视频中迭代搜集稀疏分散的证据。现有 agentic 方法（VideoAgent、DVD、LensWalk 等）普遍采用单循环加 append-only 工作记忆：每步执行 $M_t = M_{t-1} \cup \{o_t\}$，把观察无差别累积进 LVLM 的有界上下文。论文给出结构性论证：把工作记忆 $M_t$ 与目标证据集 $K_q$ 视为同一证据全集的子集，其状态散度 $Dist(M_t,K_q)=|M_t \triangle K_q|$ 在追加更新下的变化为 $-|o_t \cap (K_q \setminus M_{t-1})| + |o_t \setminus (K_q \cup M_{t-1})|$——追加能补入新目标证据，却结构上无法移除已积累的噪声。这种「语义颠簸」有实测证据：append-only 智能体的盲判检索性从 VideoMME (long) 最易四分位 Q1 的 86.7% 崩至最难 Q4 的 60.9%，准确率仅 81.9%，且迭代越多看帧越多、检索反而平台化甚至退化。
本文的目标是本文目标是让长视频智能体在任意长的迭代后仍能可靠取用已发现的证据，把「记忆应当被策划而非被累积」落到实处。具体设计目标有三：其一，配备无界外部存储——持久沙盒文件系统，无损保留全部观察帧、时间戳转写、中间分析与代码产物，不丢失任何原始证据；其二，引入独立的内循环记忆编排器，在每步之后从文件系统检索与问题相关的产物，按固定预算 $B_M=32$K token 重写六节有界工作记忆，使总上下文 $|C_t|$ 与迭代步数 $t$ 无关；其三，在 VideoMME (long)、VideoMMMU、LongVideoBench (long) 三个基准上超越原生 LVLM 与先前 agentic 系统，并以即插即用方式提升 Gemini 3.1 Pro、Gemini 3 Flash、Kimi K2.5、MiMo-V2-Omni 四个骨干，平均增益 4.2 个百分点且无需任何再训练。
与已有工作不同的是，独特切入有三点。其一，问题定义层面：作者不把长视频智能体的性能退化当作调参或提示工程问题，而是借 1968 年 Denning 的操作系统颠簸理论做结构性论证，证明 append-only 更新在集合论意义上必然无法删除噪声，失败是结构性的而非偶然的超参问题。其二，架构层面：不同于把压缩、剪枝或知识图谱合并塞进单循环，VideoLoop 把推理与记忆管理解耦成两个各守固定预算的耦合循环，内循环编排器拥有对完整轨迹历史的随机读权限。其三，工程层面：选择在编码沙盒内运行，外循环只靠四个原语工具现场组合检索与分析例程，无预建索引、无固定模式，与 DVD 等需要预先构建多粒度视频库的方法形成鲜明对比。
核心方法
直觉上，VideoLoop 像给智能体配了一位档案管理员：探索者（外循环）只管看视频和写笔记，管理员（内循环）每步之后整理桌面，把最有用的留在桌上（有界工作记忆），其余归档到无限档案柜（沙盒文件系统）里随取随用。技术上，系统包含策略模型 $\pi$、四工具集合 $\mathcal{T}$、工作记忆 $\mathcal{M}$、编排器 $\pi_m$ 与持久沙盒文件系统 $\mathcal{F}$ 五个组件。外循环在第 $t$ 步读取 $C_t=\{q, \mathcal{M}_t, \Omega_t\}$（问题、重写后的工作记忆、最近 $k=8$ 轮的思考-行动-观察滑窗），执行 ANALYZE、TRANSCRIBE、EXECUTE 或 ANSWER；新观察 $o_t$ 先写入 $\mathcal{F}$。内循环随后基于 $q, \mathcal{M}_t, a_t, o_t$、压缩清单 $H_{t+1}$ 与文件索引 $I_{t+1}$ 发出节级编辑，保证不变式 $|\mathcal{M}_t| \le B_M = 32$K token，因此总上下文大小恒定、与 $t$ 无关。
核心创新是把工作记忆从只增不减的日志变成每步重写的策划文档。工作记忆是六节类型化文档：元数据、叙事理解、带时间戳证据、时间覆盖、活动日志、开放调查目标。编排器逐节但跨节联合决策，发出 UPDATE/APPEND/DELETE 编辑：$\mathcal{M}_{t+1} = \mathrm{APPLY}(D_t, \mathcal{M}_t)$，$D_t = \pi_m(q, \mathcal{M}_t, a_t, o_t, H_{t+1}, I_{t+1})$。论文用四个量刻画单次重写质量：移除的噪声 $\rho_t$、导入的缺失目标证据 $\sigma_t$、误删的目标证据 $\mu_t$、新引入的噪声 $\nu_t$，推导出散度变化 $-\rho_t - \sigma_t + \mu_t + \nu_t$，仅当 $\rho_t + \sigma_t \ge \mu_t + \nu_t$ 时重写才有益——这是质量条件而非无条件保证。与 MemGPT、VideoMem、WorldMM 不同，主动检索、跨段合并与节级编辑由专门的内循环智能体在固定预算下联合完成。
方法步骤详情
第一步，初始化：$\mathcal{M}_0 = \emptyset$，外循环只看到问题 $q$；首步观察后，$\pi_m$ 据 $q$ 与首观察填六节模板。第二步，外循环推理行动：策略 $\pi$ 读 $C_t=\{q,\mathcal{M}_t,\Omega_t\}$，产出推理 $r_t$ 与动作 $a_t$：ANALYZE 对自选帧回答子问题；TRANSCRIBE 返回时间戳转写；EXECUTE 在沙盒执行代码并把产物持久化到 $\mathcal{F}$；ANSWER 提交答案终止。观察 $o_t$ 先落盘再选择性纳入 $\mathcal{M}_{t+1}$。第三步，内循环重写：$\pi_m$ 读取 $q,\mathcal{M}_t,a_t,o_t$ 与索引 $I_{t+1}$，用 read_file 检索产物，逐节发出 UPDATE/APPEND/DELETE 编辑。第四步，终止与兜底：迭代限 6 到 $N=50$ 步，未作答时用 $\hat{y}=\pi(\hat{q},\mathcal{M}_N)$ 兜底；清单每积累 $h=30$ 条未摘要记录就压缩最旧 $b=10$ 条。
技术新颖性
技术新颖性体现在四个层面。第一，形式化贡献：用对称差散度把「记忆质量」变成可分析的量，推导出追加更新（式 4）与重写更新（式 8）的散度变化公式，让「为什么需要删除算子」从直觉上升为结构命题，这在视频智能体文献中少见。第二，架构贡献：三层存储层次（Tier 1 有界六节工作记忆 $\le 32$K、Tier 2 重要性加权可导航的压缩动作清单、Tier 3 无损沙盒文件系统）配合跨节联合编辑，区别于滑动窗口、KV-cache 剪枝等被动压缩手段。第三，诊断贡献：提出盲判官协议——用只读上下文快照、不看视频与工具的独立模型（Gemini 3.1 Flash-Lite）作答来度量证据可检索性，把语义颠簸变成可观测的曲线。第四，成本贡献：靠文件系统外置证据，输入 token 从 584.6K 降到 559.0K，在 +3.9 个百分点精度提升下总 token 开销仅 +0.5%，实现几乎零成本的记忆策划。
实验结果
主实验（Table 1）：Gemini 3.1 Pro 加 VideoLoop 在 VideoMME (long) 达 88.3%（原生 83.8%，+4.5），VideoMMMU 总体 88.8%（+4.2），LongVideoBench (long) 80.9%（+3.2），对最强先前系统领先 +7.1/+10.4/+4.5；Gemini 3 Flash 为 85.8/87.7/73.8，Kimi K2.5、MiMo-V2-Omni 各+3.5/+3.7。消融（Table 2）：原生 80.7 → append-only 81.9 → 仅双循环 83.3 → 加文件系统 85.8；最难 Q4 70.7→80.0（+9.3），文件系统主要修复高难场景检索崩溃。盲判官（Figure 4）：检索性从 Q1 94.7% 仅降至 Q4 81.1%，append-only 从 86.7% 崩至 60.9%。Token 效率（Table 3）：每题 618.2K（基线 614.9K，+0.5%），输入 token 反降至 559.0K。行为分析（Figure 5）：帧更少、迭代更少、分布更均匀。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VideoMME (long) 多项选择（900 题） | 准确率 | 88.3%（Gemini 3.1 Pro + VideoLoop） | 83.8%（原生 Gemini 3.1 Pro）；此前最强 agentic 系统 VideoSeek/VideoARM 81.2% | +4.5 pp（对原生）；+7.1 pp（对最强先前系统） |
| VideoMMMU 总体（900 题） | 准确率 | 88.8%（感知 90.7 / 理解 87.7 / 适应 88.0） | 84.6%（原生 Gemini 3.1 Pro） | +4.2 pp |
| LongVideoBench (long)（564 题） | 准确率 | 80.9% | 77.7%（原生 Gemini 3.1 Pro） | +3.2 pp |
| VideoMME (long) 记忆消融（Gemini 3 Flash） | 准确率 | 85.8%（双循环 + 文件系统） | 81.9%（append-only）；80.7%（原生单次推理） | +3.9 pp（对 append-only）；+5.1 pp（对原生） |
| VideoMME (long) Q4 最难四分位证据可检索性 | 盲判官准确率 | 81.1% | 60.9%（append-only 智能体） | +20.2 pp |
| VideoMME (long) Token 成本 | 每题平均 token | 618.2K（85.8%） | 614.9K（append-only，81.9%） | 精度 +3.9 pp，总成本仅 +0.5%，输入 token 减少 25.6K |
局限与改进
作者承认的局限：其一，式 (8) 只是重写质量的条件不等式（$\rho_t + \sigma_t \ge \mu_t + \nu_t$），编排器完全可能误删目标证据（$\mu_t>0$）或引入新噪声（$\nu_t>0$），方法没有无条件保证；其二，Table 2/3 的消融每配置只跑一次（one run per configuration），900 题选择题上的方差与噪声未被报告；其三，仅双循环（无文件系统）版本要多花 5.2% token 才换来 +1.4 pp，说明收益高度依赖文件系统这一关键组件。我自己的观察：四个散度量 $\rho,\sigma,\mu,\nu$ 依赖事先知道 $K_q$，实际系统中编排器只能隐式近似，无法在线监控重写质量；策略与编排器均使用闭源 frontier 模型（Gemini 3.1 Pro/3 Flash），结论对开源小模型的适用性未验证；三个基准均为多项选择题，开放式长视频问答、时间定位等任务未覆盖；编排器检索工具仅有 read_file，依赖文件索引的导航质量，缺少语义检索能力。
独立分析的弱点
弱点一：误删风险无兜底。编排器的 DELETE 编辑可能移除后续步骤才显现价值的目标证据，文件系统只能事后重新发现、不能撤销错误编辑；改进方向是给删除引入软删除与一步回滚机制，或对高价值节（如时间戳证据）设置删除保护。弱点二：32K token 预算是手工常量。$B_M$ 需低于有效容量 $C$，但 $C$ 随模型变化，固定 32K 对弱模型可能仍过大；改进方向是按模型自动校准预算，或让编排器自适应输出预算请求。弱点三：每步强制调用编排器产生固定输出开销（输出 token 从 30.3K 涨到 59.2K），对简单问题前几步可能无需重写；改进方向是用散度代理信号按需触发内循环。弱点四：评估局限于多项选择题与闭源模型；改进方向是在开源骨干（如 Qwen-VL 系）上复现，并扩展到开放问答与流式视频场景。弱点五：文件检索仅靠 read_file 与索引清单，文件数量爆炸时导航成本上升；改进方向是引入嵌入式语义索引或分层摘要视图。
未来方向
作者在结论中把成果升华为一般原则：「记忆应当被策划，而非被累积」，并明确指出其适用于视频之外的长程智能体。基于此可延伸的方向包括：把双循环记忆编排推广到网页智能体、具身导航、科学发现等需要数百步工具调用的场景；将编排器的编辑决策与可学习的保留策略（如 VideoMem 的学习型删除）结合，用强化学习直接优化 $\rho_t + \sigma_t - \mu_t - \nu_t$ 这一重写收益；研究多个智能体共享同一持久文件系统的协同记忆策划与并发编辑一致性；把盲判官协议产品化为在线监控指标，实时检测语义颠簸并触发深度重写；以及在流式在线视频上探索工作记忆的增量重写而非批式整理。此外，沙盒文件系统与 RAG 式语义索引的结合、编排器与策略模型能否由同一个小模型兼任以降低成本，都是值得验证的工程科学问题。
复现评估
复现条件中等偏友好。代码已给出链接，基准全部公开：VideoMME (long) 900 题、VideoMMMU 900 题（300 视频）、LongVideoBench (long) 564 题（188 视频），难度四分位由 Claude Opus 4.8 排序加人工复核，关键超参披露完整（$B_M=32$K、$N\in[6,50]$、$k=8$、$b=10$、$h=30$、关键帧 $\le 6$）。主要障碍有三：其一，策略与编排器依赖 Gemini 3.1 Pro 与 Gemini 3 Flash 闭源 API，标 * 的原生基线也是作者自测，第三方完整复现需持续 API 费用，VideoMMMU 还需 Whisper-large 转录音频。其二，无需任何训练，但每题约 618K token，仅 VideoMME (long) 900 题就消耗约 5.6 亿 token，成本可观。其三，沙盒执行环境、六节记忆模板与清单压缩逻辑需按论文自行实现，消融每配置仅单次运行，复现精度可能有小幅波动。总体属于「工程量大但路径清晰」的可复现工作。
论文图表
左右对照示意图：(a) 单循环视频智能体把每次工具结果追加进受 LVLM 上下文约束的工作记忆，上下文累积后关键证据注意力被稀释，有效检索先升后崩，VideoMME (long) 最终准确率 81.9%；(b) VideoLoop 增加内循环编排，工具结果写入无界文件系统，记忆编排器每步检索并重写有界工作记忆，准确率提升至 85.8%（+3.9，Gemini 3 Flash）。
一图点明论文动机与核心卖点：语义颠簸现象与其解法的正面对比，是理解全文的入口。
柱状图对比四个策略模型（Gemini 3.1 Pro、Gemini 3 Flash、Kimi K2.5、MiMo-V2-Omni）在 VideoMME (long) 上原生推理与加 VideoLoop 的准确率：83.8→88.3（+4.5）、80.7→85.8（+5.1），Kimi K2.5 与 MiMo-V2-Omni 分别从 76.6 与 79.4 升至 80.3 与 82.9（+3.5/+3.7）。
证明方法的即插即用性：增益不依赖特定骨干，能把更强的推理引擎转化为更高的视频理解能力。