TimeLens2：基于多模态大模型的通用视频时序定位 TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs
把时序证据当区间集，从数据验证到 Wasserstein 奖励全程对齐，小模型全面超越超大模型。
前置知识
视频时序定位 (Video Temporal Grounding)
给定一段自然语言查询和一段视频，预测视频中和查询对应的时间区间 $[s_k, e_k]$。它是视频描述「发生了什么」之外，回答「在什么时候发生」的任务，相当于给视频回答加上时间维度的「引用」，让输出可追溯。证据可能只占整段视频的几秒，也可能在不连续的多个时刻反复出现。
本文研究的核心任务。理解「定位」是预测时间区间集合，而非生成文本，是读懂全文方法和奖励设计的前提。
时序交并比 tIoU (Temporal IoU) 与 mIoU
把预测区间与真值区间在时间轴上做交并比，$\text{tIoU} = |\hat{Y} \cap Y| / |\hat{Y} \cup Y|$。mIoU 是所有样本的平均 tIoU；R1@0.5 表示排名第一的预测中 tIoU 超过 0.5 的比例。它们是时序定位的主流评测指标，但作为奖励时存在「零重叠平台」问题：所有不相交的预测都得 0，无法区分近距 miss 和远距错误。
本文方法的核心动机正是 tIoU 作为 RL 奖励的信息缺失，理解它的「平台效应」才能看懂为什么需要 Wasserstein 奖励。
GRPO (Group Relative Policy Optimization)
一种用于大语言模型的强化学习方法：对每个 prompt 采样多个 completion（如 8 个），在同一组内对奖励做均值中心化得到组相对优势 $A_i = R_i - \bar{R}$，再更新策略，省去独立的 value 模型。关键在于组内必须有奖励差异——若整组奖励都相同（如全是 0），中心化后没有任何梯度信号。
本文用 GRPO 做几何校准，而 tIoU 在「全零组」上无法产生学习信号；理解 GRPO 的组相对特性，才能理解 RTW 为何能把 75.8% 的沉默组救回来。
1-Wasserstein 距离 W1 (Earth Mover's Distance)
衡量把一个概率分布搬运/重塑成另一个分布所需的最小「运输代价」。在一维情形有精确的 CDF 形式：$W_1(\mu_A, \mu_B) = \int |F_A(t) - F_B(t)|\,dt$，其中 $F_A$ 是分布的累积分布函数。它对两个分布的整体形状差异给出稠密、连续的度量，即使分布完全不重叠也有有限值。
本文把区间集合提升为合并支撑上的均匀分布，用精确 W1 构造奖励 $R_{TW}$，这是与 tIoU 互补、稠密且无需匹配的核心创新。
多区间/集合式定位 (Multi-span / Interval-set Grounding)
证据不一定只在一个连续区间，可能在不连续的多个时刻反复出现，因此预测应是一个变基数区间集合 $Y = \{[s_k, e_k]\}_{k=1}^{K}$，$K$ 可变。这统一了单区间与多区间定位，也带来了「基数不一致」「等价分裂」等集合层面的难点。
全文把证据作为「一等的区间集合」贯穿监督与优化，理解集合视角是理解为何 tIoU 与 NGIoU 单一匹配都脆弱的关键。
研究动机
视频多模态大模型（MLLM）能描述视频里「发生了什么」，却几乎不能指出证据「在何时出现」；没有时间支撑，用户仍需在整条时间线上自己找证据，再正确的描述也无法被核实。时序定位本身也不是单一形态的任务：在长达一小时的视频中，关键证据可能只有几秒、可能在不连续的多个时刻反复出现、可能来自第一人称或第三人称视角，查询可能是陈述句也可能是问句。现有工作面临两个结构性错配。其一是监督错配：长视频标注往往是一次性的全局决策，而相关时刻稀疏、相似干扰又密集，单遍标注者容易把相似事件弄混、漏掉重复证据、或给出不精确的边界；同时很多数据集只覆盖短视频、陈述式描述、单区间答案。其二是优化错配：next-token 预测能学会时间戳语法，却缺少显式的区间级目标；用 tIoU 做强化学习虽更贴近评测，但所有不相交预测都得零分，让「差一点点」的近 miss 和「差很远」的错误无法区分；对多区间目标，一对一匹配在分裂、合并、基数不一致时又非常脆弱。
本文的目标是本文要构建一个通用的视频时序定位 MLLM：用单一模型、统一的输出接口，跨视频长度、跨领域、跨查询形式、跨视角，预测变基数（单或多）的证据区间集合。具体目标包括：（1）构建可靠的长视频多区间监督数据 TimeLens2-93K，把脆弱的单次全局标注变成可验证、可复现的证据标注；（2）设计一个几何感知的奖励，能对不完美（不相交、基数不等、被分裂）的预测按「接近真值的程度」给出稠密反馈；（3）在不显著放大模型规模的前提下，让 2B/4B/8B 的小模型在覆盖长短视频、多区间、问句、第一人称的七个基准上全面超越同等规模甚至大得多的开源与闭源基线，并把对骨干模型 Qwen3-VL 的提升量化到具体 mIoU 点数（2B/4B/8B 分别提升 14.2/13.0/18.1）。
与已有工作不同的是，以往工作要么只解决「数据规模」问题（用密集字幕、流程视频、弱对齐叙事来扩量），要么只解决「奖励稀疏」问题（用 tIoU 或 NGIoU 做强化学习），但都把证据当作孤立的边界或需要匹配的对象，没有把证据当作一等的「区间集合」从监督一路贯穿到优化。TimeLens2 的独特切入角度是：把证据的集合属性当作第一性原理——在构造监督时让集合可验证（双代理独立定位+共识+语义校验+边界精修），在优化时让集合可几何度量（对合并支撑计算精确一维 W1，天然对等价分裂不变、对基数不等鲁棒）。这样它既不是单纯扩数据，也不是单纯改奖励，而是统一解决了「证据集合」在数据与目标两端的表示错配。
核心方法
整体思路可以用一句话概括：让时序证据「可被审计」。作者把这件事拆成两段。第一段是制造可信的「区间集合」标签——直觉上就像把一次草率的整体判断，换成一条逐级收紧的流水线：先用全局/分段字幕充当语义索引去提议候选证据，再用两个不同归纳偏置的定位代理各自从视频本身重新定位，靠共识筛掉不稳定的，再用嵌入校验语义相关性，最后只在通过校验的小窗口里做边界精修。第二段是训练——先做长上下文监督微调让模型学会「在长视频里搜索证据并按规范输出区间集合」，再用 GRPO 做「几何校准」直接优化解码出的区间集合。技术路线的核心是把证据当区间集合贯穿始终：数据是变基数集合 $Y=\{[s_k,e_k]\}_{k=1}^{K}$，奖励是对合并支撑的稠密度量，而不是单区间或一对一匹配。
最本质的创新有两个，都围绕「区间集合」展开。第一个是 TimeLens2-93K 的证据验证流水线：把一次脆弱的全局标注决策分解成一串越来越聚焦的局部决策——字幕派生提议 → 双代理独立再定位 → 跨代理时间共识（$\text{IoU}_{\text{set}}>0.9$）与嵌入语义校验（余弦相似度 $\geq 0.5$）→ 局部边界精修，既保留重复证据又让长视频监督可靠。第二个也是最关键的，是时间 Wasserstein 奖励 $R_{TW}$：把每个非空区间集合 $A$ 提升为合并支撑上的均匀分布 $\mu_A(t)=\mathbf{1}\{t\in\text{merge}(A)\}/\ell(A)$，再算预测与真值两个一维分布的精确 W1，转成归一化相似度 $R_{TW}=\exp(-W(\hat{Y},Y)/(|\text{merge}(Y)|+\epsilon))$。这给所有不相交预测都提供稠密、与分裂方式无关、无需匹配的几何反馈，补上 tIoU 的「零重叠平台」漏洞，也避开 NGIoU 一对一匹配在分裂/合并时的脆弱性。总奖励为 $R(\hat{Y},Y)=R_{\text{tIoU}}+R_{TW}-\mathbf{1}_{\text{invalid}}$。
方法步骤详情
数据构造分六步。第1步【源池】：34,867 个 YouTube 视频跨 15 领域，按 5 个时长区间分层采样，把搜索难度设为可控轴。第2步【层级字幕】：PySceneDetect 切成 20–60s 片段，Qwen3-VL-235B 生成全局+分段字幕。第3步【查询合成】：Kimi-K2.5 以字幕为条件联合生成不冗余的陈述式查询并选出支持片段，形成粗提议 $P(q)\subseteq C(v)$（可含不相交片段）。第4步【双代理本地定位】：Qwen3-VL-30B-A3B 与 TimeLens-8B 各自从片段以 1 秒分辨率返回区间或空集，映射回原始时间轴得 $\hat{Y}_Q$、$\hat{Y}_T$。第5步【共识+语义校验】：$\text{IoU}_{\text{set}}>0.9$ 做时间可复现性筛选（保留 Qwen 为规范），嵌入余弦相似度 $\geq 0.5$ 做语义校验。第6步【边界精修】：Qwen3-VL-235B 在 ±3 秒窗口预测转折点，合并间隔 $\leq 1$ 秒的相邻区间。最终 23,793 视频、93,232 实例（12,091 多区间）。训练分两阶段：SFT 用 93K+TimeLens-100K+Ego4D-NLQ，保留全视频上下文，独立采样 27 种请求与 28 种响应格式；再用 SFT 检查点每样本生成 8 个离策略 rollout 按平均 tIoU 反向加权做难样本挖掘。GRPO 每 prompt 8 生成、组奖励均值中心化、默认奖励 $R_{\text{tIoU}}+R_{TW}-\mathbf{1}_{\text{invalid}}$，视觉编码器冻结。
技术新颖性
新颖性体现在三处对既有方法的本质区别。对数据而言，TimeLens/TimeSuite 等靠扩量或指令调优，而 TimeLens2 把长视频标注重新定义为一个「证据验证问题」，用双代理共识+语义嵌入+局部边界精修的级联，把 735.4K 的原始标注压缩到 93.2K 却换来更高质量，证明质量优于数量。对奖励而言，MUSEG 的 NGIoU 虽也给不相交区间分级反馈，但依赖按起始时间排序的一对一匹配，对预测的分裂/合并/基数变化非常敏感（论文图3c/3d 显示同一合并支撑只因切分不同就得到 1.0 与 0.32 的不同分数）；RTW 直接比较合并后的时间质量分布，天然对等价分裂不变、对基数不等鲁棒。与空间检测里的 NWD（用高斯代理盒子算 W2）相比，TimeLens2 把变基数区间集合的合并支撑当作一维均匀分布，能算出精确 W1（CDF 闭式），而不是高斯近似。此外，把「证据集合」从监督到优化一以贯之地统一，也是它区别于「只改数据」或「只改奖励」的路线的关键。
实验结果
在七个基准上 TimeLens2 跨规模、跨场景一致领先。2B 平均 44.5 mIoU，比 Qwen3-VL-2B 高 14.2 点、比 TimeLens-8B 高 2.4 点，七项双指标击败所有同规模基线；4B 平均 47.7，七项中六项双指标超越此前所有模型（含更大/闭源），比 Qwen3.5-397B-A17B 平均高 7.5；8B 平均 48.0，比 Qwen3-VL-8B 高 18.1，R1@0.5 全七项最佳、mIoU 六项最佳（仅 QVHighlights 以 0.2 点微输 Gemini 2.5 Pro）。增益最大处恰是搜索最难的长视频：4B 在 VUE-TR +19.6、VUE-TR-V2 +27.8。消融很有信息量：TimeLens2-93K 仅 5% 就把平均从 34.7 拉到 42.8，20% 到 45.3，全集到 45.8（两段式曲线）；级联精修把数据 735.4K→174.2K→93.2K，mIoU 42.0→43.4→44.1→45.8（边界精修单独 +1.7）；长上下文 16K→100K 使平均 44.4→46.4，且 VUE-TR 在 64K→100K 出现 1.8 点阈值跳变；请求/响应格式多样性联合增益超单独之和。奖励消融显示 $R_{TW}$（均匀支撑）47.7 优于纯 tIoU 47.0、端点/中心/边界高斯、NGIoU 的 47.1。机制诊断：RTW 对近距 miss 恢复 21.9%、中距 15.8%、远距仅 5.7%，并把 GRPO 全零 tIoU 组救回 75.8%，常数奖励组从 13.8% 降到 3.6%。注意 93K 只含陈述式查询却把问句 MomentSeeker 从 15.3 提到 25.8，说明学到的是搜索能力而非模板模仿。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 七基准平均 mIoU（2B） | avg mIoU (%) | 44.5 | Qwen3-VL-2B: 30.3 | +14.2 点，且在全部七项双指标击败所有同规模开源基线 |
| 七基准平均 mIoU（4B） | avg mIoU (%) | 47.7 | Qwen3.5-397B-A17B: 40.2 | +7.5 点，七项中六项双指标超越此前所有模型 |
| 七基准平均 mIoU（8B） | avg mIoU (%) | 48.0 | Qwen3-VL-8B: 29.9 | +18.1 点，R1@0.5 全部七项最佳 |
| VUE-TR-V2（长视频多区间） | mIoU (%) | TimeLens2-4B: 48.1 | Qwen3-VL-4B: 20.3 | +27.8 点，搜索难度最高处增益最大 |
| MomentSeeker（问句形式，仅声明式数据训练） | mIoU (%) | 25.8 | Qwen3-VL-4B 骨干: 15.3 | +10.5 点，证明学到搜索能力而非模板模仿 |
| RL 奖励消融（七基准平均） | avg mIoU (%) | RtIoU+RTW: 47.7 | 纯 RtIoU: 47.0 / RNGIoU: 47.1 | RTW 优于 tIoU 0.7 点、优于 NGIoU 0.6 点，且在多区间基准领先 1.0–1.4 点 |
局限与改进
作者承认的局限包括：级联精修在 VUE-TR 和 MomentSeeker 上各损失 0.5 点，说明边界精修在少数情况下会过度收紧；TimeLens2-93K 只含陈述式查询，问句能力靠迁移获得而非直接训练；正文主指标限定在 mIoU 与 R1@0.5（更细的 R1@0.3/0.7 放在附录）。我自己的观察有三点：其一，整条数据流水线高度依赖强教师模型（Qwen3-VL-235B-A22B、Qwen3-VL-30B-A3B、TimeLens-8B、Kimi-K2.5），如果两个定位代理共享某种系统性偏差，共识门槛 0.9 与嵌入阈值 0.5 未必能滤掉，语义校验用的是同一 Qwen3-VL-Embedding 体系，存在「同源错误自证」的风险；其二，$R_{TW}$ 把区间集合坍缩成合并支撑上的均匀分布，默认证据在区间内是时间均匀的，对于「关键时刻只在区间内某一瞬」的事件可能不够敏锐；其三，正文实验未报告推理延迟与显存，而 100K/160K token 上下文的实际部署成本对很多下游场景是个隐性门槛。
独立分析的弱点
第一个弱点是数据构造的「教师依赖」：TimeLens2-93K 的质量上限被 Qwen3-VL-235B、TimeLens-8B、Kimi-K2.5 等强模型决定，复现成本高且难以迁移到没有这类教师的环境。改进方向是用更弱的开放模型 + 多代理投票扩容，或引入自训练/弱监督让流水线逐步自举。第二个弱点是 RTW 的均匀支撑假设：它丢失了区间内部的「显著性结构」，对「某一瞬才关键」的事件（如体育进球、手术关键操作）反馈偏粗。改进方向是在均匀分布上叠加一个由视觉显著性或注意力加权的质量分布，做加权 W1。第三个弱点是阈值启发式：共识 0.9、嵌入 0.5、合并间隔 $\leq 1$s 都是手调常数，在不同领域可能水土不服。改进方向是把这些阈值做成可学习或自适应（如按视频时长/事件密度归一化）。第四个弱点是基数上界未显式建模：当真值有非常多不相交区间时，模型可能倾向于过度合并或漏检。改进方向是在奖励里显式引入基数惩罚/奖励，或在 SFT 时构造高基数难样本。第五个弱点是奖励仅 1D 时间维度，不区分「同一时间不同语义内容」，可在奖励中加入语义重合度。
未来方向
作者隐含的未来方向是把时序定位从「专门检索任务」升级为通用视频 MLLM 的「原生、可审计能力」，让回答自带可追溯的时间证据。基于本文成果可延伸的方向包括：（1）把时间 W1 推广到时空联合分布，做带空间区域的视频定位（3D Wasserstein），统一「何时」与「何处」；（2）把奖励从纯几何扩展为「几何+语义」的多目标，结合答案正确性做联合优化，让定位服务于问答而不仅是匹配；（3）研究流式/在线时序定位，适配实时视频监控与直播检索；（4）降低对强教师的依赖，探索自训练与课程式数据自举，使流水线在开源生态内可复现；（5）将「证据区间集合」作为可引用单元，嵌入到 RAG 式的视频问答系统，实现带引用的生成。
复现评估
复现友好度较高但门槛不低。代码、权重、数据集都已开源（GitHub: MCG-NJU/TimeLens2、HuggingFace collection、项目主页），$R_{TW}$ 实现只是对合并支撑求 CDF 差的积分，公式清晰、几行可写。但完整复现 TimeLens2-93K 需调用 Qwen3-VL-235B、30B-A3B、TimeLens-8B、Kimi-K2.5、Qwen3-VL-Embedding 一整串强模型做字幕/定位/校验/精修，API 与算力成本可观；SFT 阶段 4B/8B 用 100K token 打包、batch 256、lr $5\times 10^{-6}$，2B 用 160K、batch 128、lr $10^{-5}$，GRPO batch 64、每 prompt 8 生成、lr $10^{-6}$、KL 系数 0.04，视频 2 fps 最多 512 帧、16K token 预算，对显存与长上下文工程要求较高。若只复现「方法思路」（把 RTW 加进现有 GRPO 流水线）难度很低，适合作为即插即用的奖励改进。
论文图表
