合成视觉基因组2：从视频中提取大规模时空场景图 Synthetic Visual Genome 2: Extracting Large-scale Spatio-Temporal Scene Graphs from Videos
提出SVG2数据集与TraSeR模型，自动生成视频时空场景图
前置知识
场景图 (Scene Graph)
场景图是一种结构化的视觉场景表示形式。在场景图中，节点表示场景中的物体（如 person、bicycle）及其属性（如 blue、rectangular），有向边表示物体之间的成对关系（如 riding）。场景图弥合了视觉和语言之间的鸿沟，被广泛用于图像描述、图像检索、图像生成、视觉语言评估、AI 审计和机器人导航等任务。空间-时态场景图将这一抽象概念扩展到视频推理领域，通过捕捉场景动态并将事件解析为物体之间关系的变化来实现对视频的理解。
本文的核心研究对象就是视频场景图，理解场景图的基本概念是阅读本文的前提
全景分割 (Panoptic Segmentation)
全景分割是计算机视觉中同时处理 stuff（不可数类别如天空、道路）和 thing（可数类别如汽车、行人）的统一分割任务。它要求对图像中的每个像素进行语义类别的标注，并区分同一类别的不同实例。全景分割质量（PQ）综合衡量分割和识别的性能。SAM2（Segment Anything Model 2）是 Meta 提出的通用分割模型，能够通过网格提示在视频每一帧上产生高质量的全景掩码，为后续的物体跟踪提供基础。
SVG2 的合成流水线第一步就是使用 SAM2 进行全景分割生成物体掩码轨迹
物体跟踪与轨迹 (Object Tracking and Trajectory)
物体跟踪是视频分析的核心任务，目标是在视频的连续帧之间维持对同一物体实例的身份标识。传统跟踪方法（如 SORT、ByteTrack）主要基于检测框进行关联，而本文的跟踪基于分割掩码。轨迹是指某个物体实例在整个视频中的完整时空位置序列。在视频场景图中，物体轨迹是连接视觉感知和结构化表示的桥梁，我们需要知道每个物体在什么时候出现在什么位置，才能正确地提取属性和关系。
SVG2 的核心技术贡献之一是在线-离线两阶段跟踪框架，用于保持物体身份一致性
视觉语言模型 (Vision-Language Model, VLM)
视觉语言模型是能够同时处理视觉输入（图像/视频）和语言输入（文本）的多模态深度学习模型。典型的 VLM 由视觉编码器（如 ViT）、视觉-语言投影层和大型语言模型（如 Qwen、LLaMA）组成。VLM 通过预训练学习视觉和语言之间的对齐关系，能够执行视觉问答、图像描述、视频理解等多种任务。近年来 VLM 在视频理解方面取得了显著进展，但缺乏原生支持全景掩码轨迹输入的能力，这正是本文 TraSeR 要解决的关键技术问题。
TraSeR 的架构基础是 Qwen2.5-VL-3B，实验中对比了多种 VLM 基线
Perceiver-Resampler 重采样器
Perceiver-Resampler 是一种基于交叉注意力机制的特征压缩方法，最初由 Alayrac 等人提出用于将可变长度的视觉 token 序列压缩为固定长度的表示。它通过引入一组可学习的潜在查询（latent queries），利用交叉注意力从输入 token 中选择性地聚合信息。这种机制可以用 $M$ 个可学习的潜在查询 $\mathbf{L} \in \mathbb{R}^{M \times D_{\text{latent}}}$ 对输入特征 $\mathbf{X}$ 进行重采样，输出固定维度的 $\mathbf{Z} \in \mathbb{R}^{M \times D_{\text{out}}}$，在保留语义信息的同时大幅降低 token 数量。
TraSeR 的两个核心模块（物体轨迹重采样器和时间窗口重采样器）都基于 Perceiver-Resampler 架构
开放词汇评估 (Open-Vocabulary Evaluation)
开放词汇评估是指模型在生成或识别类别时不受预定义封闭集合限制的评估方式。传统场景图评估使用精确匹配（exact match）的 Recall@k 指标，这对开放词汇生成不公平——例如模型预测 person 而真实标签是 man 会被判为错误。本文提出了双层评估框架：严格分数要求精确字符串匹配，宽松分数使用 LLM 辅助的语义对齐器，将预测和真实标签分为相同、同义词、上下位关系、语义重叠和不匹配五类，从而更准确地反映模型的语义理解能力。
本文提出了新的开放词汇评估框架，传统的 Recall@k 指标无法公平评估开放词汇生成
研究动机
视频场景图（Video Scene Graph）是一种结构化的视频理解表示，通过将视频中的物体节点和关系边显式化，能够支持视频问答、视频检索和视频生成等多种下游任务。然而，现有视频场景图数据集面临严重的规模和质量问题。由于密集帧级人工标注的成本极高，现有数据集在规模上受到极大限制。以 PVSG 为例，仅包含 338 个视频和 6.3K 个物体实例；VidOR 包含 7K 视频但使用边界框而非分割掩码标注。这些数据集通常只对每个视频的少数几帧进行标注，无法捕捉新出现或消失的物体实例。这种稀疏且不一致的标注方式导致了严重的长尾分布偏斜——某些关系类别（如 on、in front of）出现频率远高于其他类别。由此训练出的模型容易在特定数据集的分布上过拟合，无法泛化到包含新物体、新属性和新关系的开放场景中。在视频场景图生成方面，现有方法面临两个关键挑战：一是物体类别全局稳定，但属性和关系是时间局部的且可能快速变化，模型需要同时捕捉长程语义和细粒度时间变化；二是长视频中的物体数量众多，会产生极长的 token 序列和组合爆炸的关系候选，使朴素的密集编码和解码在计算上不可行。
本文的目标是本文的目标是构建一个大规模、高质量、全开放的视频场景图数据集 SVG2，并开发一个能够高效生成结构化视频场景图的模型 TraSeR。具体而言，SVG2 目标包含超过 60 万个视频，提供密集的全景物体轨迹、细粒度的物体类别和属性标注、以及时间定位的时空关系标注，实现相对于现有数据集数量级的规模提升。TraSeR 的目标是能够在单次前向传播中，将原始视频和全景物体轨迹转化为完整的时空场景图，同时在物体识别、属性预测和关系检测等任务上超越现有开源和闭源基线模型。此外，本文还希望通过在视频问答任务上的验证，证明高质量的视频场景图作为中间表示能够切实提升视频理解性能。
与已有工作不同的是，本文的独特切入角度在于全自动合成流水线的设计和轻量级专用模型的开发。在数据层面，现有方法要么依赖昂贵的人工标注（如 VIPSeg 的 2.8K 视频），要么只提供稀疏的标注覆盖。本文通过统一多尺度全景分割、在线-离线轨迹跟踪（实现自动新物体发现）、逐轨迹语义解析和基于 GPT-5 的时空关系推理四个阶段，构建了一个端到端的全自动合成流水线。其中在线-离线两阶段跟踪机制是关键创新：在线阶段向前传播掩码同时监控未覆盖区域，当新区域超过阈值时识别新物体出现并分配新 ID；离线阶段回放视频，从每个物体的首次出现重新初始化并联合跟踪所有实例，产生全局稳定、完整的轨迹。在模型层面，现有 VLM 虽然能够处理视频，但缺乏对全景掩码轨迹的原生支持，只能依赖边界框输入。TraSeR 通过轨迹对齐的 token 排列机制直接将视频 patch 绑定到物体轨迹上，并通过双重采样器模块（物体轨迹重采样器保留全局语义，时间窗口重采样器保留局部运动）在保留细粒度时空信息的同时实现 token 压缩，这是之前没有工作尝试过的架构设计。
核心方法
SVG2 的技术方案分为数据合成流水线和模型架构两大部分。数据合成流水线采用三阶段设计：第一阶段利用 SAM2 在视频每一帧上通过多尺度网格提示生成全景掩码，然后通过在线-离线两阶段跟踪框架建立物体的完整时空轨迹；第二阶段使用 Describe Anything (DAM) 模型为每个物体轨迹生成详细的文本描述，再通过 GPT-4.1-nano 结构化解析出物体名称和属性；第三阶段将采样帧与物体 ID、名称和边界框传递给 GPT-5，进行物体间时空关系推理。整个流水线完全自动化，无需人工干预。模型方面，TraSeR 基于 Qwen2.5-VL-3B 构建，核心创新是轨迹对齐的 token 排列机制将 ViT 视觉 token 直接绑定到实例轨迹上，然后通过两个互补的重采样器模块——物体轨迹重采样器（聚合每个物体全程的全局语义）和时间窗口重采样器（保留短时间段内的局部运动和时序语义）——将密集的 patch 级 token 压缩为紧凑的表示，最终由语言模型解码为结构化的视频场景图。
TraSeR 的核心创新点在于将物体轨迹作为一等公民引入视觉-语言模型的 token 处理流程。传统 VLM 将视频帧经过 ViT 编码后产生密集的时空 patch token，这些 token 缺乏物体身份信息，时间上也是无序的。TraSeR 首先通过轨迹对齐的 token 排列机制，利用分割掩码计算每个 ViT token 对物体的覆盖分数 $\mathcal{C}_{o,t_g,h_m,w_m}$，将覆盖分数超过阈值 $\tau_{\text{eff}}$ 的 token 分配给对应物体，然后按时间排序形成每个物体的有序 token 轨迹。这种设计与已有方法的本质区别有两点：一是直接使用分割掩码而非边界框进行 token 分配，实验表明在长视频中掩码信号显著优于粗粒度的边界框信号；二是通过两个互补的重采样器分别处理全局和局部信息——物体轨迹重采样器使用 Perceiver-Resampler 将可变长度的 token 轨迹压缩为 $M$ 个固定维度的全局语义 token，时间窗口重采样器将视频分成长度为 $\Delta t$ 的不相交窗口独立重采样，保留了时间粒度。这种设计使模型能够同时捕捉全局稳定的物体类别信息和时间局部的属性/关系变化。
方法步骤详情
SVG2 合成流水线包含三个阶段。Phase 1（全景轨迹生成）：首先使用 SAM2 对视频每帧进行多尺度网格提示的全景掩码生成，产生逐帧掩码候选。在线阶段向前传播初始掩码，同时持续监控未覆盖区域；当候选掩码覆盖新的或之前未跟踪的区域超过阈值时，识别物体出现，分配新物体 ID，并恢复传播。为防止遮挡或重现时身份切换，采用保守的非对称重叠匹配策略。离线阶段回放视频，从每个物体的首次出现重新初始化，在单次前向传播中联合跟踪所有实例，产生全局稳定的完整轨迹。后处理模块去除冗余重叠轨迹并修正掩码伪影。Phase 2（物体描述与结构化解析）：使用 DAM-3B-Video 为每个物体轨迹生成详细文本描述，然后通过 GPT-4.1-nano 提取物体名称和相关形容词属性（如颜色、形状）。引入基于 SAM3 的验证步骤：用提取的标签提示 SAM3 获取实例轨迹，通过视频级时空 IoU 的匈牙利匹配验证标签可靠性，丢弃不被支持的物体。Phase 3（物体间时空关系推理）：将采样帧与物体 ID、名称和边界框传递给 GPT-5，定义涵盖七类关系（空间、功能、状态、运动、社交、注意力和事件级）的视频适配关系空间。为平衡空间和非空间关系的分布，将每个视频分成两批分别查询 GPT-5。对于空间关系，抑制可直接从掩码布局推导的琐碎二维线索（如左、右），聚焦需要视觉证据的非琐碎关系。
技术新颖性
本文的技术新颖性体现在以下几个方面。首先，在数据集构建层面，SVG2 是首个完全自动化的、数量级规模的视频场景图数据集，包含 636K 视频、6.6M 物体、52M 属性和 6.7M 关系，相比此前最大的 PVSG（338 视频）扩大了约 1880 倍。其在线-离线两阶段跟踪框架能够在无需人工提示或外部检测器的情况下主动发现新出现的物体实例，这在之前的场景图数据集构建中从未实现过。其次，在模型架构层面，TraSeR 首次将分割掩码轨迹直接用于 VLM 的 token 分配和排列，而非依赖边界框信号。实验表明，这种设计在长、动态视频（如 PVSG）上相比基于边界框的 token 排列带来了显著性能提升。双重采样器的设计也具有新颖性：物体轨迹重采样器关注全局物体语义，时间窗口重采样器关注局部运动动态，两者互补实现了全局-局部信息的平衡。最后，在评估层面，本文提出的 LLM 辅助语义对齐评估框架通过约束 GPT-4o-mini 仅执行成对词汇匹配（而非自由评分），有效避免了幻觉和自参考偏见，Cohen's $\kappa$ 与人类标注者的一致性达到 0.88-0.90，为开放词汇场景图评估建立了新的可靠标准。
实验结果
本文的核心发现可以分为模型性能、数据集贡献和视频问答三个方面。在模型性能方面，TraSeR 在四个基准测试（PVSG、VidOR、VIPSeg、SVG2test）上的全面评估表明，其在三元组检测上超越最强开源基线约 +15%，关系检测上提升 +15-20%，物体预测上超越开源基线 +30-40% 且超越 GPT-5 约 +13%，属性预测上提升 +15%。值得注意的是，TraSeR 的物体预测（VIPSeg 86.5%、PVSG 72.7%、VidOR 91.4%）和属性预测（SVG2test 79.0%）甚至超过了参数量远大于它的 GPT-5（物体 68.1%/54.2%/88.5%，属性 65.5%），这表明精心设计的架构和高质量训练数据可以弥补模型规模的差距。在数据集贡献方面，训练数据消融实验显示，在学术数据集基础上加入 SVG2 SA-V 子集后，三元组检测从 1.35% 提升至 8.29%（PVSG），进一步加入 PVD 子集后达到 16.91%，验证了大规模合成数据对模型泛化的关键作用。仅在学术数据集上训练的模型在 VidOR 上可达 13.61%，但在 PVSG 和 SVG2test 上表现很差，说明单一数据源导致的过拟合问题。在视频问答方面，使用 TraSeR 生成的场景图配合 GPT-4.1 在 Perception-Test 上达到 71.4% 准确率，相比视频单模态输入（66.8%）和 Qwen2.5-VL 生成的场景图输入（68.6%）分别提升 +4.6% 和 +2.8%。盲视频评估中，TraSeR 的图达到 13.22% 准确率，比 Qwen2.5-VL 的图高出 +6.5%，证明了结构化场景图的信息价值。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视频场景图生成 - 三元组检测 | Triplet Recall (PVSG, lenient, tIoU=0.5) | 16.1% | GPT-5 16.6%, FT-Qwen2.5-VL-3B Bbox Traj. 0.5% | 超越最强开源基线 FT-Qwen2.5-VL-3B Bbox Traj. 约 +15.6% |
| 视频场景图生成 - 关系检测 | Relation Recall (VidOR, lenient, tIoU=0.5) | 25.0% | GPT-5 21.7%, GLM-4.1-9B-Thinking 5.0% | 超越 GPT-5 +3.3%，超越最强开源未微调基线 GLM-4.1-9B +20% |
| 视频场景图生成 - 物体识别 | Object Accuracy (VIPSeg) | 86.5% | GPT-5 68.1%, Qwen2.5-VL-3B 22.1% | 超越 GPT-5 +18.4%，超越最强开源未微调基线 +18.4% |
| 视频场景图生成 - 属性预测 | Attribute Recall (SVG2test) | 79.0% | GPT-5 65.5%, Qwen3-VL-4B-Thinking 37.1% | 超越 GPT-5 +13.5%，超越最强开源未微调基线 +41.9% |
| 视频问答 - Perception-Test | Accuracy (多选题, 500题) | 71.4% (video + TraSeR VSG) | 66.8% (video-only), 68.6% (video + Qwen2.5-VL VSG) | 相比视频单模态 +4.6%，相比 Qwen2.5-VL 场景图 +2.8% |
| 盲视频问答 - AGQA 2.0 | Accuracy (仅用场景图文本，无视觉输入) | 13.22% (TraSeR VSG) | 6.72% (Qwen2.5-VL VSG) | 超越 Qwen2.5-VL 场景图 +6.5% |
局限与改进
作者坦诚地指出了几个局限性。首先，SVG2 继承了用于合成它的自动化模型的现有边界——数据集的质量上限受限于 SAM2、DAM 和 GPT-5 的能力，如果这些模型在某些场景（如遮挡严重、物体过小或运动过快）上表现不佳，生成的标注也会受到影响。其次，TraSeR 当前被设计为需要预给定物体轨迹的轨迹条件模型，而非端到端框架。这意味着在实际应用中，仍需要先运行分割和跟踪流水线（如 SAM2）来生成物体轨迹，增加了实际部署的复杂度和延迟。此外，本文的评估主要集中在有限的学术基准上，这些基准的视频长度和场景复杂度可能无法完全代表真实世界应用中的挑战。从独立观察来看，论文中 86% 的关系错误来自遮挡或拥挤场景下的谓词错误，14% 来自时间范围错误，这表明在复杂交互场景中的关系推理仍然是一个开放问题。另外，使用 GPT-5 进行关系推理带来了显著的计算开销和 API 依赖，限制了数据集构建的可复现性和可持续性。
独立分析的弱点
尽管 TraSeR 取得了显著的性能提升，但仍存在几个值得关注的弱点。首先，TraSeR 依赖预计算的物体轨迹作为输入，这意味着它无法自主发现新物体或处理跟踪失败的情况。在实际部署中，跟踪质量直接决定了场景图的质量，而 SAM2 在快速运动、严重遮挡和小物体场景下仍可能出现跟踪漂移。改进方向是将物体提议和跟踪功能内嵌到 TraSeR 的架构中，构建完全端到端的视频场景图生成模型。其次，时间窗口重采样器使用固定的窗口大小 $\Delta t$，无法适应不同速度的运动和不同持续时间的事件。对于快速变化的交互（如握手），窗口可能过长导致信息模糊；对于长持续事件（如步行），窗口可能过短导致冗余。一个改进方向是设计自适应窗口机制，根据运动复杂度动态调整窗口大小。第三，模型在预测非空间关系（如社交、注意力、事件级关系）上的表现仍然相对有限，这些关系需要更高层次的推理能力。最后，评估中的宽松标准虽然通过 LLM 语义对齐缓解了词汇多样性问题，但某些语义重叠的匹配可能过于宽松（如将 walking 匹配为 moving 的正确关系），引入了评估噪声。
未来方向
作者提出了几个有前景的未来研究方向。最直接的方向是将 TraSeR 扩展为统一的端到端框架，能够在单个模型中同时完成物体提议、跟踪和场景图生成，无需依赖外部的 SAM2 流水线。这将显著降低部署复杂度并可能提升跨组件的协调性能。其次，SVG2 作为一个大规模、高质量的开放视频场景图数据集，有望被直接整合到通用 VLM 的训练流程中，为 VLM 提供丰富的结构化视觉知识，潜在地解锁更深层次的组合性和时间理解能力。基于本文的成果，还有几个可延伸的方向：将场景图作为视觉 grounding 的桥梁，用于提升 VLM 的视觉推理和幻觉检测能力；研究 SVG2 的自蒸馏循环——用 TraSeR 生成的场景图反过来改进数据集的标注质量；探索场景图在机器人操作和导航中的应用，特别是利用时间关系进行动作规划；以及将流水线扩展到更长的视频（如长视频、电影），探索层次化场景图表示。
复现评估
在复现性方面，本文的开源程度较高，对学术社区来说是一个积极信号。作者公开了 SVG2 数据集、模型检查点和代码，项目主页为 https://uwgzq.github.io/papers/SVG2/。然而，复现仍有几个挑战。首先，数据集构建依赖 GPT-5 和 GPT-4.1-nano 等闭源 API 调用，这意味着完整复现合成流水线需要相应的 API 访问权限和费用，且 API 的行为可能随时间变化导致结果不可完全复现。其次，TraSeR 的训练在单节点 8 x H100 GPU 上进行，虽然相比大规模分布式训练的算力需求不算极端，但 H100 仍是高端硬件，对多数学术实验室而言有一定门槛。好在基于 Qwen2.5-VL-3B 的基础模型选择使得推理和微调的算力需求相对可控。第三，论文中使用的评估框架（GPT-4o-mini 作为语义对齐器）也依赖闭源模型，建议复现时考虑使用开源替代方案或记录 API 版本。总体而言，代码和数据的开源、详细的实现细节（学习率、步数、$\tau_{\text{eff}}=0.5$ 等超参数）以及标准化的评估流程使得本文的复现性处于较好的水平。
论文图表
该图展示了 SVG2 数据集的整体概览。图的上方是一个视频帧的示例，其中包含多个物体实例（如人物、自行车等），每个物体都有对应的全景分割掩码（用不同颜色标记）。图的右侧和下方展示了场景图的结构化表示，包括物体节点（带有类别标签和属性）、以及物体之间的有向关系边。整个图传达了 SVG2 的核心特点：密集的全景轨迹、细粒度的物体类别和属性、以及时间定位的时空关系。
这张图是论文的首页图，直观展示了 SVG2 数据集的核心概念——视频场景图的结构化表示形式，帮助读者快速理解论文的研究对象。