CoEvoWhen：面向超长视频时序定位的策略–工具协同进化 CoEvoWhen: Policy-Tool Coevolution for Ultra-Long Video Temporal Grounding
冻结VLM，协同进化高层策略与媒体工具，让超长视频定位更准且更省
前置知识
视频时序定位（Video Temporal Grounding）
给定一段未剪辑视频和一条自然语言查询，模型需要输出视频中与查询语义对应的时间区间集合 $\hat{Y} = \{[\hat{s}_n, \hat{e}_n]\}$。它是视频理解与剪辑、检索等下游操作之间的桥梁。当视频长达数十分钟到数小时时，目标事件可能只占时间线的千分之几，任务就从整体理解退化为在大时间范围内先搜索、再精修边界。
这是本文要解决的任务本身，论文的全部指标、基准与失败模式分析都围绕区间预测的质量展开，不理解任务设定就无法理解策略与工具各自优化的对象。
IoU 与 IoU AUC
IoU（交并比）衡量预测区间与真值区间的重叠程度：$\mathrm{IoU} = \mu(\hat{U} \cap U^*) / \mu(\hat{U} \cup U^*)$。IoU AUC 则是在阈值 $t_k = k/100$ 上计算命中率曲线 $C_{\mathrm{IoU}}(t_k)$ 并做梯形积分，得到 0–1 之间的单一分数，反映在所有严格程度下的整体表现；Recall@0.5 表示 IoU 超过 0.5 的查询比例。
论文主表全部由 IoU AUC、mIoU、Recall@0.5 等指标构成，读懂这些指标才能判断 +74.9% 这类提升究竟意味着什么，以及为什么多事件基准还要额外看 F1@0.5 和 Rejection-F1。
外部技能与免参数进化
指把任务经验写成模型权重之外的可复用资产：自然语言策略文档（如 SKILL.md）加可执行工具代码，运行时注入系统提示并注册为可调用函数。模型参数完全冻结，进化只改这些外部文件。与之相对的是微调路线（如 TimeLens），后者改变权重但难以解释和迁移。
本文的一切改进都发生在参数之外，这是它能在三个不同 VLM 上复用同一套方法、并零样本迁移到长视频 QA 的根本原因，也是理解「策略–工具协同进化」区别于强化学习微调的关键。
视觉 token 预算
VLM 处理图像/视频时会把像素编码成视觉 token，一张图或一段视频消耗的 token 数由分辨率和采样参数决定。agentic 推理中每轮历史都会重新送入模型，因此累计视觉 token 成本是每次观察的 token 随轮次求和再对查询取平均。长视频下这一成本往往是推理延迟和费用的主导项。
本文的核心主张之一是「更准的同时更省」，Table 2 和 Figure 4 都以每查询累计视觉 token 数（k/query）为效率指标，理解预算的构成（图像 vs 视频）才能看懂预算在模态间重新分配这一现象。
Agentic 多轮工具调用推理
模型不一次性输出答案，而是循环执行推理、调用工具、观察结果、整合证据：每轮产生动作 $a_t = (j_t, \eta_t)$，即选择工具 $j_t$ 并给出符合其接口的参数 $\eta_t$，工具返回的图像或视频进入模型上下文，直到模型认为证据充分或达到轮数上限（本文为 24 轮）才提交最终答案。
本文把定位看作主动获取、比较、验证证据的过程，执行轨迹 $R_i$ 正是多轮推理的完整记录，是进化反馈的原料；理解这一循环才能理解轨迹中暴露的失败模式如何转化为策略与工具的更新。
接触表（Contact Sheet）/ 缩略图网格
把几十到上百帧按时间戳排布、压缩拼接成一张大图（如 8 张表 × 24 帧），使一次图像观察就能覆盖长达数十分钟的时间范围，同时保留每帧的时间对应关系。相比逐帧查看或视频输入，它用极少 token 换取紧凑的长程覆盖，是本文进化出的关键工具形态。
案例研究（Figure 6、7）显示进化技能的突破点正是用 contact sheet 做全局扫描——192 帧打包成 8 张表一次看完 100 分钟视频，从而抓住基线稀疏采样漏掉的 11 秒短场景。
研究动机
超长视频时序定位要求模型在数十分钟甚至数小时的视频中找出与自然语言查询对应的时间区间，而目标事件往往只占时间线的极小一部分：本文的进化集中 80/100 条查询为稀疏目标（目标总时长不超过 30 秒或视频时长的 1%），88/100 条至少含一个不超过 10 秒的短区间；ExtremeWhenBench 的视频平均长达 75.8 分钟、最长 542.5 分钟。传统做法把视频一次性压缩成固定帧序列送入 VLM（如 Qwen3.5-27B 均匀采 768 帧、闭源模型普遍 128 帧），粗采样会漏掉短暂事件或关键细节，反复细看又令视觉 token 成本爆炸，Table 1 中这些一次性基线的 IoU AUC 普遍低于 0.39、ExtremeWhenBench mIoU 多在 0.005–0.10 之间。已有的 agentic 方法（VideoAgent、VideoTree、DVD 等）虽引入多步搜索与工具调用，但其观察机制与媒体处理能力完全预先定义，模型只能被动适应固定的证据形式，难以按每条查询的证据需求在精度与视觉开销之间动态权衡。
本文的目标是本文的目标是：在不更新视觉语言模型（VLM）任何参数的前提下，把超长视频时序定位的任务经验沉淀为一个可复用的外部技能，同时提升定位精度并降低推理时的视觉 token 开销。具体而言，作者希望冻结的 VLM 在进化所得技能的引导下，能自主决定在哪个时间范围搜索、保留哪些候选、何时用图像观察做长程覆盖与远距候选对比、何时用视频观察验证动作顺序与边界，全程不依赖一个更强的外部规划模型；并且该技能能在不同 VLM 骨干间泛化、能零样本迁移到长视频问答等其他任务。量化目标是在 VUE-LVTR、ExtremeWhenBench、CoMET-Bench 三个基准上同时取得精度提升（IoU AUC、mIoU、Recall@0.5、Rejection-F1）与 token 成本下降，并通过 policy-only/tool-only 与 image-only/video-only 消融验证协同进化的必要性。
与已有工作不同的是，本文的独特切入点是「策略与工具相互依赖、必须协同进化」这一视角。作者的关键洞察是：高层策略决定需要什么证据、何时获取、如何组织搜索，而媒体工具决定模型实际能收到的证据的形式与粒度——例如跨远距候选的对比需要紧凑且保留时间对应关系的图像观察，判断动作顺序、状态变化与事件连续性则需要局部视频观察。只精炼策略会受限于既有工具的能力上限，只扩充工具也不保证模型会有效使用。与最近的自进化工作相比：ExpeL、XSkill 只蒸馏语言经验；Voyager 只积累可检索代码；SkillSmith 虽同时改技能与工具，但把工具更新限制在对既有工具库的预定义操作内；META 把轨迹抽象为宏工具却把任务级编排器留在进化回路之外。本文则让策略文档与工具源码在同一个由执行轨迹加真值区间构成的反馈上共同进化，且推理时不需要额外的强规划器。
核心方法
直觉上，这相当于给一个不换脑子（参数冻结）的员工：一边根据踩过的坑修订工作手册（策略），一边升级他手里的工具箱（工具代码），两者由同一批实战复盘驱动。技术路线是把技能形式化为 $S^{(k)} = (\Pi^{(k)}, \mathcal{T}^{(k)})$，其中 $\Pi^{(k)}$ 是自然语言策略文档（SKILL.md 加三个参考文件），$\mathcal{T}^{(k)} = \{\tau_j^{(k)}\}_{j=1}^{J_k}$ 是可执行媒体工具集合，每个工具 $\tau_j = (d_j, \sigma_j, f_j)$ 由能力描述、接口规范和源码构成，工具数量 $J_k$ 随创建、合并、退役而变化。进化共 $K$ 轮：冻结 VLM 用当前技能执行一小批定位任务产生轨迹 $R_i(S^{(k)})$，与真值区间 $Y_i^*$ 配对成反馈批次 $B_k = \{R_i(S^{(k)}), Y_i^*\}$；外部技能更新器 $\mathcal{U}$（论文用 Codex，即 GPT-5.5 xhigh）分析轨迹后输出策略补丁 $\Delta\Pi^{(k)}$ 与工具补丁 $\Delta\mathcal{T}^{(k)}$，经补丁算子 $\oplus$ 应用得到 $S^{(k+1)} = S^{(k)} \oplus \Delta S^{(k)}$。论文对 100 条进化查询做单次遍历、每 4 条一批共约 25 次更新，最终得到 $S^* = S^{(K)}$。推理时策略并入系统提示、工具注册为可调用函数，VLM 在最多 24 轮内自主编排调用。
核心创新是从同一批执行反馈中协同进化策略与工具。执行轨迹中暴露的候选遗漏、边界误差、动态歧义等失败模式，既指向搜索决策层面的改进（写进 policy-notes.md 等策略文档），也指向证据获取能力的改进（修改工具的描述 $d_j$、接口 $\sigma_j$、源码 $f_j$，或新建工具）。例如轨迹反复显示稀疏采帧漏掉 10 秒级短事件，更新器就合成 make_contact_sheet 之类的缩略图网格工具，把上百帧打包成带时间戳的图像表格，一次图像观察即可覆盖长时段；轨迹显示动作阶段与连续性判断不可靠，就形成先用图像定位候选、再用单个短片段验证完整动作链的策略。与已有工作的本质区别在于：改进不停留在提示词与调用序列层面，而是延伸到证据的实际采样与呈现方式；同时图像观察（紧凑长程覆盖、远距候选对比、静态细节与边界帧）与视频观察（运动、事件顺序、状态迁移、连续性）这两种互补模态的编排策略本身也是进化的对象，最终形成图像全局搜索、候选精修加选择性视频验证的协同工作流。
方法步骤详情
第一步，构建最小基础技能 $S^{(0)}$：策略部分仅含基本定位协议（用源视频秒作答、禁用音频/转写/外部模型等）和各观察模式的初级说明，不含任何搜索或编排策略；工具部分只有 6 个原语——probe_media（读时长/分辨率/帧率）、extract_frames_at（按时间戳抽帧）、extract_video_clip（抽无声片段）、inspect_images、inspect_video（把图像/视频放进 VLM 视觉上下文）、final_answer（提交预测）。第二步，任务执行：冻结 VLM（Qwen3.5-27B，vLLM、bfloat16、262,144 上下文、thinking 开启、贪心解码）在 4 条查询上做多轮推理，每轮依 $a_t = (j_t, \eta_t) \sim M_\theta(\cdot \mid q_i, H_{t-1}; \Pi^{(k)}, \mathcal{T}^{(k)})$ 选择工具并给出符合接口的参数，历史按 $H_t = H_{t-1} \| a_t$ 累积，工具返回的观察追加进上下文。第三步，反馈构造：完整轨迹与真值区间配对成 $B_k$。第四步，技能更新：Codex 阅读全部轨迹，提炼可复用经验改写策略文档（禁止抄写样本特定的视频名、问题文本、真值区间），同时用编码能力修改、合并、退役或新建工具；进化过程中陆续出现缩略图网格、时间条带包、稠密重采样帧审查、片段卷轴等工具，形成全局扫描、候选集维护、局部重采样、证据审计的工作流，并把 token 用量作为技能质量的一部分纳入更新考量。第五步，重复 25 批得到 $S^*$。第六步，推理评估：策略并入系统提示、工具注册为函数，VLM 自主编排直到证据充分或达 24 轮上限后调用 final_answer 输出 $\hat{Y}_i(S^*)$。
技术新颖性
技术新颖性体现在三个层面。其一，进化对象从怎么用工具扩展到工具本身是什么：更新器直接合成或修改工具源码（tool.py 与 tool.json），使证据采样与呈现能力可被任务经验重塑，这超出了 SkillSmith 那种对既有工具库做预定义操作的更新方式，也不同于 Voyager 只积累可检索代码而不与策略耦合。其二，策略与工具被显式建模为互适应的两条进化线：消融（Figure 3）显示冻结策略造成的精度损失大于冻结工具，说明新工具能力必须靠策略组织才能兑现；联合进化比 policy-only 在 IoU AUC 上高 0.0243 且省 40.6% token，比 tool-only 高 0.0735 且省 25.5%，量化地证明了二者的互补性。其三，图像/视频双模态观察的协调是显式进化目标：Table 4 表明联合两种模态比任何单模态技能在所有定位指标上更优且更省 token，而现有 agentic 框架的模态编排基本是手工预设的。整个过程无梯度更新，经验以文档加代码的形式外置，天然可移植到其他 VLM（Qwen3.5-9B/27B、Qwen3.6-27B）并零样本迁移到 QA 任务。
实验结果
主实验（Table 1）在三个超长视频定位基准上，进化技能全面超越 7 个 VLM 与 agent 基线。以 Qwen3.5-27B 为骨干：VUE-LVTR held-out 集（307 条、与进化集不相交）IoU AUC 从基线技能的 0.4107 升至 0.5137（+25.1%），IoU@0.5 从 0.4267 升至 0.5603（+31.3%），而最强一次性基线 TimeLens-7B 仅 0.2758、GPT-5.6 Luna 仅 0.2510、agent 基线 VideoMind-7B 仅 0.2000；ExtremeWhenBench（平均 75.8 分钟、2273 条）mIoU 0.1507→0.2636（+74.9%）、Recall@0.5 0.1478→0.2785（+88.4%），说明在超出进化数据分布的小时级视频上依然有效；CoMET-Bench 多事件定位（1599 条、含目标缺失查询）mIoU 0.1355→0.1635（+20.7%），Rejection-F1 66.13→77.06（+10.93），拒判能力同步提升。效率（Table 2）：每查询平均视觉 token 从 202.6k 降至 141.9k（VUE-LVTR，−30.0%），ExtremeWhenBench −11.4%、CoMET-Bench −18.9%；结构上视频 token 骤降（VUE-LVTR 40.57k→0.52k，−98.7%）、图像 token 成为主要预算，模型调用次数下降 24–43%。跨 VLM（Table 3）：Qwen3.5-9B 上 ExtremeWhenBench mIoU +99.2%（0.0626→0.1247），Qwen3.6-27B 上 +24.7%（0.1691→0.2109），各自独立进化均有效。跨任务迁移：把定位技能直接用于长视频 QA，Qwen3.5-27B 在 LVBench 45.45%→54.10%（+8.65）、LSDBench 61.27%→69.25%（+7.98），未做任何 QA 专属进化。消融（Figure 3、Table 4）：联合进化优于 policy-only 与 tool-only，图像+视频协调优于任一单模态。案例（Figure 6、7）：两条 ExtremeWhenBench 查询 IoU 从 0 提到 1，视觉 token 分别降 51.27% 与 45.78%。类别分析（Table 11–14）显示收益不均匀：Qwen3.6-27B 在 Environment 类 mIoU 微降 7.3%，事件数 ≥16 的分组 F1@0.5 仍只有 0.02–0.05，密集多事件仍是硬骨头。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VUE-LVTR 超长视频时序定位（30.1–105.5 min，held-out 307 条） | IoU AUC | 0.5137（Qwen3.5-27B + 进化技能） | 0.4107（同 VLM + 基线技能）；最强外部基线 TimeLens-7B 为 0.2758 | +0.1030（+25.1%） |
| VUE-LVTR 超长视频时序定位 | IoU@0.5 | 0.5603 | 0.4267（基线技能） | +0.1336（+31.3%） |
| ExtremeWhenBench 时序定位（45.0–542.5 min，2273 条） | mIoU | 0.2636 | 0.1507（基线技能）；最强外部基线 TimeLens-7B 为 0.1024 | +0.1129（+74.9%） |
| ExtremeWhenBench 时序定位 | Recall@0.5 | 0.2785 | 0.1478（基线技能） | +0.1307（+88.4%） |
| CoMET-Bench 多事件时序定位（≥30 min，1599 条） | mIoU | 0.1635 | 0.1355（基线技能） | +0.0280（+20.7%） |
| CoMET-Bench 目标缺失拒判 | Rejection-F1 | 77.06 | 66.13（基线技能） | +10.93（+16.5%） |
| 推理效率（VUE-LVTR held-out） | 平均累计视觉 token（k/query） | 141.89 | 202.58（基线技能） | −60.69（−30.0%） |
| 跨 VLM 泛化（Qwen3.5-9B，ExtremeWhenBench） | mIoU | 0.1247（独立进化技能） | 0.0626（基线技能） | +0.0621（+99.2%） |
| 零样本迁移到长视频 QA（LVBench） | Overall 准确率（%） | 54.10（直接套用定位技能） | 45.45（基线技能） | +8.65（+19.0%） |
| 零样本迁移到长视频 QA（LSDBench） | Overall 准确率（%） | 69.25 | 61.27（基线技能） | +7.98（+13.0%） |
局限与改进
作者明确承认的局限（附录 E）：进化仅使用来自单一数据源（VUE-TR-V2）的 100 条有标注查询，更大规模、更多来源、无标注反馈下的进化尚待探索；所有视觉观察都由主 VLM 直接执行，未考虑委派给子 agent；目前仅覆盖视觉模态。我的补充观察：第一，进化质量强依赖外部更新器，论文用闭源的 Codex（GPT-5.5 xhigh），技能进化路径不可完全复现，也无法消融更新器本身的影响；第二，收益分布不均，Qwen3.6-27B 在 Environment 类别倒退 7.3%、事件数 ≥16 的分组 F1@0.5 绝对值极低（0.02–0.05），说明协同进化并未解决密集多事件定位的本质困难；第三，token 预算是模态间的重新分配而非单纯压缩，CoMET-Bench 上图像 token 反升 35.6%（Qwen3.5-27B，67.57k→91.65k），在图像计费更高的部署场景未必划算；第四，24 轮推理上限、每批 4 条、单次遍历等关键超参数缺乏敏感性分析；第五，技能以自然语言文档加 Python 代码持续累积，25 轮后规模尚可控，但更长进化周期下的策略冲突与工具膨胀没有讨论；第六，VUE-LVTR 仅 307 条评测查询，指标波动可能较大。
独立分析的弱点
独立分析出的弱点及改进方向：(1) 依赖真值区间做反馈，限制了进化的可扩展性——可改用多次采样自一致性投票构造伪标签，或用不同技能版本间的胜率对比等弱信号替代精确标注；(2) 更新器单一且闭源，进化的质量与安全性无保证——可引入开源代码模型并加自动化验证回路：每个工具补丁先过单元测试与沙箱执行，再在小型回归评测集上确认不降级才合入；(3) 单次遍历 100 条查询，后期批次的学习信号可能被早期已修复的问题占据——可做课程化采样，按当前技能的失败模式动态挑选下一批进化查询；(4) 工具合并/退役由更新器自由裁量，缺少形式化的能力覆盖检查——可维护一张观察需求到工具的覆盖清单，确保每类证据需求始终有工具支撑；(5) 进化集偏稀疏短目标（80/100 稀疏、88/100 含 ≤10 秒区间），技能可能过拟合此类查询——应纳入密集多事件、相似场景重复出现等更均衡的难度分布；(6) 推理侧 24 轮上限与 token 预算的权衡未系统研究——可将预算作为条件输入，让策略学会在紧预算下退化到更省的搜索模式。
未来方向
作者提出的方向（附录 E）：把进化扩展到更多数据源与更大规模、探索无需标注反馈的进化；研究主 agent 何时直接观察、何时委派给子 agent 以及如何高效协调；把框架推广到音频、语音、文本并存的 omni-modal 设定。基于本文成果可自然延伸的方向：其一，把技能库做成可检索、可跨任务持续积累的长期记忆，让定位、QA、高亮检测共享同一工具生态，考察技能间迁移与干扰；其二，将协同进化与参数化训练（如对 VLM 做工具调用相关的强化学习）结合，检验外置技能与内化能力是否互补；其三，把视觉 token 成本作为显式优化目标做成本感知的策略学习，而非依赖更新器的启发式权衡；其四，扩展到流式/在线视频场景，让技能支持增量式证据索引与时间回看；其五，从理论上刻画策略–工具协同进化的收敛性与技能复杂度的增长规律。
复现评估
复现条件总体较好但有几个卡点。有利条件：论文附录给出系统提示、基础技能全文（SKILL.md 与三个参考文档的结构）、6 个基础工具的功能表、Codex 更新器的完整 prompt 与进化规则、进化集构造规则（100 条、视频≥30 分钟、稀疏/边界敏感统计）、三个基准的指标数学定义与全部 7 个基线的评测协议、模型运行配置（vLLM、bfloat16、262,144 上下文、thinking 开启、贪心解码、每轮最多 4096 token、每查询最多 24 轮），项目页为 aim-uofa.github.io/CoEvoWhen。VLM（Qwen3.5/3.6 系列）开源可本地部署，全程无训练，算力以多轮推理为主。卡点：外部更新器是闭源 Codex（GPT-5.5 xhigh），API 成本与版本差异会直接改变进化出的策略与工具，论文未随文给出进化后技能与工具的最终源码（需依赖官方仓库开源）；进化集构造含人工筛选成分；三个基准合计约 4000 条评测查询，每次评测需数千次多轮 agentic 推理，评测成本不低。总体评估：中等偏上难度，核心思想可复现，精确复现表中数字依赖作者放出的技能与工具资产及相近的更新器版本。
论文图表
展示协同进化的具体机制：轨迹信号（碎片化/未跟踪的搜索、粗粒度短事件边界、动态连续性歧义）分别驱动策略与工具的成对更新——如缩略图网格加全局扫描策略解决候选遗漏、帧重采样工具加局部精修策略解决边界误差、升级视频片段加动态升级策略解决歧义，最终形成全局扫描（Thumbnail Grid）、候选集维护（Candidate Set）、帧采样（Frame Sampler）、证据审计（Evidence Audit）四阶段工作流。
这是理解协同二字本质的图：失败模式如何同时映射到策略条目与工具代码两类更新，以及进化出的四大功能模块如何对应定位任务的四个证据需求阶段。