SVI-Bench：面向战略视频智能的动态微观世界

用团队体育作动态微观世界，构建覆盖感知到智能体合成的战略视频智能基准

前置知识

战略视频智能 (Strategic Video Intelligence, SVI)

作者提出的渐进式认知能力栈：感知（解析谁在何处做什么）→ 因果推理（解释为何发生）→ 战略模拟（生成反事实未来）→ 智能体综合（自主整合多模态证据）。它把视频理解重定义为一套层层递进、相互依赖的能力，而非互不相干的孤立任务。

整篇论文的标题与方法论核心，不懂 SVI 四层栈就无法理解 9 个任务的层级关系与性能悬崖现象。

动态微观世界 (Dynamic Microworld)

指用一个受控、规则明确但又具备真实复杂性的小环境作为研究大问题的代理。本文以团队体育充当 microworld：篮球约10人、足球22人、冰球既有多智能体协同与对抗的复杂性，又有比分、控球、犯规等可验证的因果与结果标签。

这是本文选体育而非交通/手术/机器人的核心理由，理解它才能理解基准为何既能测战略推理又能客观验证答案。

LLM 评委协议 (LLM-as-a-judge)

用大语言模型作自动评分裁判，按预设 rubric 给模型输出打分 $s\in[0,5]$，替代昂贵人工标注。本文 T1/T4/T6 用 0–5 分 Likert 多轴打分，并做人工-裁判一致性验证（T1 平均绝对差仅 0.40/5，T4 差 0.12/5）确认可靠。

开放生成任务（T1/T4/T6/T9）无法用精确匹配评分，本文大量结论依赖 LLM 裁判，理解其可靠性与潜在偏差很关键。

Oracle 实验范式

消融设计：把视频输入替换为从 play-by-play 日志生成的'完美'文本描述，从而剥离感知、单独考察推理/规划能力。本文在 T4–T9 用它隔离瓶颈，发现 T9 准确率从 4.6% 跃升至 54.0%，揭示感知是主要瓶颈之一。

Oracle 实验是本文最重要分析工具，几乎所有'瓶颈归因'结论都来自它，读懂它才能正确解读性能差距的来源。

研究动机

当前视频理解评测存在根本性两难。野生视频基准（Kinetics-700 仅 1.9K 小时、10 秒短片段；ActivityNet 849 小时；Video-MME 254 小时；Ego-Exo4D 1.4K 小时）虽视觉丰富，却没有可验证的因果与战略答案——'为什么防守崩塌''换条路线会怎样'这类问题无法用客观标签衡量。合成环境（CLEVRER、PHYRE）能给出可验证的因果真值，却牺牲了真实多智能体的复杂性，通常只有单一物体在简化世界运动。结果，最先进的视频-语言模型只能描述场景'球员接球、突破、出手'，却无法解释为何一次挡拆制造了错位、预测若后卫改向左突破会怎样、更无法给出最优战术建议。团队体育基准（SoccerNet 500 小时、BASKET 4.5K 小时）又只覆盖感知层面，缺推理、模拟与智能体任务。这种评测盲区直接限制了 SVI 三大前沿（推理型 VLM、视频世界模型、智能体 AI）的进展。

本文的目标是本文目标有四层。其一，形式化'战略视频智能'框架，把视频理解定义为由感知、因果推理、战略模拟、智能体综合逐级递进的认知栈。其二，构建 SVI-Bench：跨篮球、足球、冰球三运动、约 35K 小时广播视频、约 1500 万标注动作、约 15K 小时专家解说、约 23K 篇赛后报告、约 10.3 万条统计记录的大规模基准。其三，设计数据引擎把五种模态经时间对齐、跨模态实体消解、LLM 辅助实例生成与质量校核，转化为密集交叉引用语料。其四，把评测组织成 4 大支柱 9 个任务（T1–T9），其中 7 个提供训练划分，并为每个任务给出参考方法与经验分析，定位能力在认知栈中何处退化、为何退化。

与已有工作不同的是，独特切入角度是把团队体育当作'动态微观世界'，在真实多智能体复杂性与可验证性之间架桥。体育同时具备三特性：长时程因果性——早期战术布置（挡拆、阵型切换）在数秒到数分钟后才产生延迟结果（得分、失误），迫使模型跨长时间窗追踪因果链；无歧义成功信号——比分、控球、失误、胜负提供离散客观标签；分层可验证性——感知问题对时间戳事件日志验证，因果问题对专家解说判断验证，战略问题用'结果条件'评估。这使 SVI-Bench 能测的因果/战略能力，正是合成环境给不了真实复杂度、野生视频给不了客观真值的部分。此外，作者坚持以人或联赛来源的一手标注作为主证据，仅用 LLM 放大实例生成并辅以人工校验，兼顾规模与可信度。

核心方法

方法分两大部分：数据引擎与评测套件，统一围绕两条原则——主证据来自人或联赛一手标注（play-by-play 日志、官方统计、记者报道、广播解说），LLM 仅用于从这些落地来源放大实例生成并对每个任务的代表性子集做人工核验。数据引擎把五种原始来源经四阶段转化为交叉引用语料：时间对齐、跨模态实体消解、LLM 实例生成、自动+人工质控。评测套件按四支柱九任务组织，从最底层感知（10 秒短片段）逐级上升到全场比赛（55–150 分钟）的因果推理、5–10 秒片段的战略模拟生成，直至跨语料的智能体综合。每个任务都给出任务定义、数据构造、评测指标、基线方法与发现，形成一个能从单点感知一直测到自主分析的认知阶梯，并用 Oracle 实验做瓶颈归因。

核心创新是'四支柱渐进认知栈'加'团队体育动态微观世界'的组合。与以往基准相比有本质区别：一是把视频智能建模为层层依赖的能力阶梯而非并列任务，因此能用同一域量化能力沿栈的退化曲线（即'性能悬崖'）。二是首次在同一基准内同时评测视频理解（P1/P2）、视频生成（P3）与智能体检索（P4）三件事，覆盖推理型 VLM、世界模型、智能体 AI 三前沿。三是用 Oracle 实验作归因工具：把视频替换为完美文本描述，从而把'感知'与'推理/规划'解耦，定量回答瓶颈究竟在哪。四是数据引擎用 LLM 从落地一手标注放大到 1500 万级动作与百万级实例，既保规模又保可验证。这套设计让'模型能看懂世界却不会推理/模拟/决策'这一论断变得可测量。

方法步骤详情

数据引擎四阶段：(1) 时间对齐——以 play-by-play 日志的比赛时钟时间戳为主时间轴，用时间戳匹配与文本线索把解说、报告对齐到视频片段，使每个片段关联其事件、解说与统计上下文；(2) 跨模态实体消解——把不同模态中指代同一球员/球队/事件的引用链接为身份图，刻画队友、对手、位置、统计等关系与属性；(3) LLM 驱动实例生成——用拼装好的多模态上下文、按支柱感知的提示模板合成问答对、似真干扰项、难度校准实例及密集字幕与叙事摘要等自由标注；(4) 质控——先自动对照事件日志校验，再由领域专家在跨运动/支柱/难度的均衡子集上人工复核。评测任务随后按 T1–T9 设计：P1 感知（T1 结构化片段描述、T2 细粒度动作问答、T3 组合视频检索）用 10 秒片段；P2 推理（T4 战略推理问答、T5 结果预测、T6 长篇叙事合成）用全场比赛；P3 模拟（T7 运动条件生成、T8 目标条件动作生成）用 5–10 秒片段；P4 代理（T9 跨语料智能体推理）跨约 180 万片段、3.3 万文档。

技术新颖性

技术新颖性体现于五点。其一，首次提出把视频智能形式化为感知→推理→模拟→智能体四级认知栈，并在单一真实多智能体视频域上全栈评测。其二，数据引擎首次把广播视频、play-by-play 日志、专家解说、赛后报告、box-score 统计五种模态做时间对齐与跨模态实体消解，形成密度远超既有体育资源（SoccerNet 仅 300K 动作、SportsMOT 仅 14 小时）的交叉引用语料。其三，以一手人/联赛标注为主证据、LLM 仅放大实例生成并配人工质控的混合标注范式，兼顾规模与可信度。其四，引入 Oracle 实验作为归因工具，把感知与推理/规划解耦，这是以往基准没有的诊断维度。其五，T7/T8 把视频生成评测从单物体轨迹推进到 10+ 玩家协同、目标导向的物理合理生成，T9 把智能体检索评测推到约 180 万片段的语料规模。

**Fig. 4**: Overview of Pillar 1: Dynamic Scene Understanding

**Fig. 5**: Overview of Pillar 2: Causal Reasoning

**Fig. 6**: Overview of Pillar 3: Strategic Simulation

**Fig. 7**: Overview of Pillar 4: Agentic Synthesis

实验结果

核心发现是跨支柱'性能悬崖'（Fig. 2）：每支柱最佳成绩归一化到 0–100%，从最强感知 T2 的 74% 跌到智能体 T9 的 5%，落差 69 点。P1 感知最强但仍有洞——T2 动作问答微调 LLaVA-Video-7B 达 73.91%（人类 75.78%）；T1 结构化描述 GPT-5.2 仅 1.61/5，身份识别（1.11/5）与因果（1.82/5）最弱。P2 退化——T4 战略问答所有模型约 2/5，Gemini 3.1 Pro 最强 2.17，Oracle 仅 2.46；T5 预测零样本无一超 43.18%，微调 Qwen3-8B-VL 达 44.82%，GPT-5 置信度比准确率高 28 点，人类 58.9%。P3 模拟——T7 篮球 Video mIoU $0.513$（vs MagicMotion 0.466、ATI 0.397），约半数生成位置偏离轨迹。P4 崩溃——T9 默认 GPT-5.2 仅 4.6%、Oracle 54.0%。Oracle（Fig. 8）显示感知在 T9 贡献最大、T4/T5/T6 显著性几乎不动，说明推理与规划各自独立限速。

**Table 1**: Comparison with existing video benchmarks

**Table 2**: Summary of SVI-Bench benchmark tasks

**Fig. 2**: The performance cliff. Per-task best-model scores, normalized to a 0–100% range

**Fig. 8**: Oracle performance on reasoning and agentic tasks (T4, T5, T6, T9)

**Fig. 9**: Human–model comparison on T2, T4, and T5

查看结构化数据

任务	指标	本文	基线	提升
细粒度动作问答 (T2)	准确率 (%)	微调 LLaVA-Video-7B 达 73.91%	Gemini 3 Flash 58.75% / GPT-5.2 52.91%（零样本）	微调比零样本 +36.90 点，已接近人类 75.78%
战略推理问答 (T4)	0–5 分 (LLM 裁判)	Gemini 3.1 Pro 2.17	GPT-5.2 2.06；Molmo 2-8B 1.82；Oracle 仅 2.46	最强模型仍远低于人类 4.2/5，揭示推理是独立瓶颈
结果预测 (T5)	top-1 准确率 (%)	微调 Qwen3-8B-VL 44.82%	零样本最佳 <43.18%；GPT-5.2	微调 +7.9 点；人类 58.9%，GPT-5 校准差 28 点
运动条件视频生成 (T7)	Video mIoU	微调 Wan 2.1 篮球 0.513 / 足球 0.611	MagicMotion 0.466 / 0.544；ATI 0.397 / 0.402	篮球 +0.047、足球 +0.067，但约半数生成位置仍偏离轨迹
跨语料智能体推理 (T9)	准确率 (%)	GPT-5.2 默认 4.6% / Oracle 54.0%	Qwen3-Omni-30B 默认 2.1% / Oracle 9.3%	Oracle 揭示感知是主瓶颈，54% 上限说明规划亦独立限速

局限与改进

作者承认三方面局限。其一，SVI-Bench 被定位为团队体育微观世界，是真实多智能体视频的可控代理而非跨域泛化声明；体育有专属属性（固定转播机位、明确规则、已知球员角色），结论能否迁移到交通、手术、机器人需未来验证。其二，多个任务依赖 LLM 裁判（T1/T4/T6/T9），虽做多裁判一致性与人工吻合检验（T1 差 0.40/5、T4 差 0.12/5），裁判偏差仍是潜在混淆。其三，部分关键任务（T4 仅 1K 题、T9 仅 1K 题）规模较小且无训练划分，统计稳健性受限。我额外观察到两点：Oracle 用 play-by-play 文本代替视频可能未捕捉全部视觉信息，使'感知是瓶颈'的结论可能被高估；基准高度依赖特定联赛的转播与官方数据获取，可复现门槛与版权风险并存。

独立分析的弱点

独立分析有四点弱点。其一，单一域风险：全部结论来自体育，团队协同、固定规则、已知角色等先验可能让某些任务'看似'有进展却无法泛化，改进方向是纳入交通/手术等多域并设计域不变指标。其二，裁判闭环：用 GPT-5.2 等 LLM 既参与生成部分参考答案又当 T9 裁判，存在自评偏好，应引入更多人评或模型无关指标。其三，Oracle 诠释不充分：T5 中 Oracle 给 GPT-5.2 反而比视频仅高 3.78 点，作者自己也承认无法分辨是'感知不足'还是'日志未含全部视觉信息'，建议加入'日志+视频'混合 Oracle 消歧。其四，生成任务评测单一：T7/T8 主要用 mIoU 与特征相似度，缺乏对物理合理性、规则遵守、时序连贯的多维自动度量，改进方向是引入规则引擎或物理模拟器作裁判。

未来方向

作者提出三个方向：一是具备更强推理的视频模型，能把长程分析锚定在视觉证据上（针对 T4–T6）；二是带显式多智能体动力学的生成式视频模型，能产出目标导向的动作序列（针对 T7–T8）；三是能在视频与文档语料间大规模规划、检索、推理的多模态智能体（针对 T9）。基于成果可延伸：把 SVI 栈扩展到手术机器人、自动驾驶、灾害响应等同样需要'看-想-模拟-决策'的领域；用基准倒逼'可校准'视频模型（T5 暴露的 28 点置信度-准确率鸿沟）；把 Oracle 实验发展成一套感知-推理解耦的标准诊断协议；并探索自博弈式智能体在 T9 上的检索-回溯策略学习。

复现评估

复现性中等偏上但成本极高。作者公开了代码（github.com/texaser/svi-bench）、数据（huggingface.co/mvp-group/svi-bench）与扩展版 PDF，含完整构造细节、提示词与每任务统计，方法论透明。但数据规模巨大——约 35K 小时广播视频、约 180 万 T9 片段、约 15M 标注动作——单纯存储与检索索引就需大量算力，且广播视频受版权与联赛授权限制，研究者可能只能拿到派生标注而非原始画面。实例生成强依赖 GPT-4o-mini 等闭源 LLM，提示词版本与模型版本变动会影响题库分布，难以逐题复现。微调基线（LLaVA-Video-7B、InternVideo2、Wan 2.1、Qwen3-8B-VL）需多卡长训练。Oracle、人工标注子集与小规模任务（T4/T9 各 1K）相对易复现。综合看，方法可学、结论可验证，但全量端到端复现门槛很高。

SVI-Bench：面向战略视频智能的动态微观世界 SVI-Bench: A Dynamic Microworld for Strategic Video Intelligence