GameVerse：面向长时程交互世界建模的分钟级游戏玩法数据集 GameVerse: A Minute-Scale Gameplay Dataset for Long-Horizon Interactive World Modeling
首个分钟级公开游戏数据集：1655小时、四级标注，微调即显著延长世界模型生成时长
前置知识
交互式世界模型
一类以动作和相机输入为条件、可自回归滚动生成的可控动态环境生成模型，代表工作有 GameGen-X、Matrix-Game、Hunyuan-GameCraft、HY-World 1.5。它们通常基于扩散式视频生成骨干，把「下一帧预测」从纯文本条件扩展为「动作+相机轨迹+文本」复合条件，从而扮演可玩的神经游戏引擎。
本文的全部动机是这类模型 rollout 约 1 分钟后出现漂移与崩坏，而作者主张根因在训练数据而非模型容量。要读懂问题设定、评测协议和「同骨干微调」实验设计，必须先理解这类模型的输入输出接口与失败模式。
相机轨迹估计与 ViPE
从单目视频恢复逐帧相机内参与外参（旋转+平移）的任务，传统依赖 SLAM/视觉里程计。ViPE 是可在无约束视频（含游戏画面）上批量估计位姿的可扩展工具，是给大型视频语料「补装」几何监督的事实标准，本文将其作为管线工具使用并用 DROID-SLAM 交叉审计。
GameVerse 把经过验证的帧级相机轨迹作为一等监督信号公开发布，这是它区别于 Sekai（轨迹未验证）和 Matrix-Game（位姿封闭）的关键卖点，理解其估计与三模式验证方式是评价该数据集质量的前提。
VBench 与 WorldScore
VBench 是视频生成质量基准，从主体一致性、背景一致性、运动平滑度、美学质量、成像质量、整体一致性六个维度打分；WorldScore 面向世界生成，评测相机控制、物体控制、内容对齐、3D 一致性、光度/风格一致性与主观质量等七个归一化分量。
本文实验全部在这两套指标上进行，需要知道每个指标衡量什么，才能判断微调 GameVerse 带来的增益落在哪一轴（时序一致性 vs 几何一致性 vs 可控性），以及相机控制得分下降意味着什么。
场景切换检测（TransNetV2 与 CLIP 语义距离）
长视频切分技术组合：TransNetV2 通过帧级转移概率检测硬切（镜头突变）；对淡入淡出、镜头缓移等渐变转场，则对采样帧提取 CLIP 嵌入、以余弦语义距离突变作为软边界。两者结合可实现「场景一致」的长片段切分，避免把不同场景误拼成假连续序列。
分钟级连续片段是本文最大卖点，「连续」是否真实成立完全取决于切分算法的召回与精度，这是管线第一步，也是理解 272,128 段原始片段如何变成 69.7K 高质量片段的起点。
事件对齐的结构化 caption
与「整段一句话描述」相对的标注范式：把一条视频的语义拆成多个层级（本文为全局静态/局部静态/动态事件/智能体动作四级），各层描述的起止对齐到事件边界而非固定时间窗，由视觉语言模型（本文用 Kimi-K2.5）自动生成，智能体动作层还约束在统一动作词表内。
这是本文支持「分层条件生成」的核心监督形式，也是与 GameGen-X 单行 caption、Sekai 整段描述的本质差异；理解该 schema 才能明白为什么环境上下文可以被冻结而只调制可控通道。
研究动机
近年来交互式世界模型（GameGen-X、Matrix-Game、Hunyuan-GameCraft、HY-World 1.5）已能根据动作与相机输入生成可控环境，但共享同一个天花板：rollout 约 1 分钟后出现漂移、主体身份丢失与场景崩坏。作者论证这首先不是模型容量问题而是数据问题：这些系统的训练语料几乎全部由短于 10 秒的片段构成，且配的是把静态场景与动态事件混为一谈的整段 caption，从根本上无法监督分钟级时间一致性、细粒度可控性与事件级语义。论文 Table 1 的横向对比揭示了「单轴优化」格局：Sekai 有长视频但缺密集交互与验证过的相机轨迹；Matrix-Game 与 HY-World 有引擎级位姿却不公开且连续片段短；GameGen-X 支持动作条件但无可靠轨迹与事件对齐标注。分钟级连续片段、帧级验证轨迹、第一/三人称密集交互覆盖、多粒度事件对齐标注这四类信号长期分散在不同数据集中，任何只用单一来源训练的模型都会继承该来源的盲区。
本文的目标是本文目标是构建并公开发布第一个专为长时程交互世界建模设计的分钟级游戏玩法数据集 GameVerse：包含 69.7K 个片段、总计 1,655 小时、349.6M 帧，其中 1,358 小时为连续 2 分钟序列（40.6K 条达到 120 秒上限），连续时长比现有公开数据集约高一个数量级。每条片段配齐三类监督：经跳变/抖动/漂移三种错误模式过滤的帧级稳定相机轨迹；由 Kimi-K2.5 生成、按事件边界对齐的四级结构化 caption（全局静态、局部静态、动态事件、智能体动作）；覆盖探索、战斗、行走、驾驶、攀爬、交互、奔跑、待机 8 类行为的第一/第三人称画面（约 24% 第一人称、73% 第三人称跟随、3% 特殊视角），数据来源为 YouTube 上 110+ 款开放世界 AAA 与独立游戏。最终在 60 秒图生视频基准上验证：在强基线上用 GameVerse 微调能同时提升 VBench 时序一致性指标与 WorldScore 可控性与 3D 一致性指标。
与已有工作不同的是，本文最独特的切入点是「从数据侧而非模型侧」攻克长时程崩溃：与 Matrix-Game 3.0 用记忆增强扩散在封闭数据引擎上做模型侧改良互补，GameVerse 选择把开放、多游戏、分钟级的语料本身做成公共品，任何模型都可以消费。三个具体差异化设计：其一，相机轨迹被当作一等公民监督，逐段用统一的轨迹质量函数（结合局部相对位姿增量与全局平滑项的 $Q_{\text{traj}}$）显式过滤突然跳变、高频抖动、长期漂移三种错误模式，而 Sekai 的估计轨迹未做此类验证；其二，caption 采用四级分层并按事件边界而非固定时间窗对齐，使环境上下文与可控行为解耦，可控通道可独立调制；其三，质量管线还专门召回「相机静止但场景内容持续演化」的片段，保留固定机位下的物体与智能体动态供世界模型训练。论文声称这是首个在统一质量门槛下同时提供四类信号的公开数据集。
核心方法
整体思路的直觉是：要让世界模型把 rollout 撑到分钟级，训练数据本身必须先具备分钟级连续、几何一致、语义结构化三个性质。技术路线是一条四阶段统一管线：起点是从 YouTube 按游戏逐款收集 11,002 个源视频（最高 1080p、30–60 FPS，共 4,692 小时、约 986.6M 帧）；第一步场景一致分割用 TransNetV2 检测硬切、用采样帧间 CLIP 余弦语义距离突变捕捉渐变转场，切出最长 120 秒的场景一致段，得到 272,128 段、4,661 小时（其中 120 秒段约贡献 2,773 小时）；第二步五阶段质量评估（基础过滤、OCR 内容感知、稳定性与 UI 检测、去重与多样性、时序精修）逐级打分，总分取各阶段加权和且保留阶段级硬约束，防止某项严重缺陷被其他维度高分「对冲」；第三步用 ViPE 估计逐帧内外参并按三种错误模式验证过滤；第四步用 Kimi-K2.5 生成四级结构化 caption。最终产出 69.7K 片段、1,655 小时、349.6M 帧，每条片段绑定视频、轨迹、分层标注三元组。
核心创新可以概括为「四类信号首次在统一质量标准下联合发布」。与已有工作的本质区别有三点。第一，时序尺度：1,358 小时连续 2 分钟片段比 GameGen-X、Matrix-Game、Hunyuan-GameCraft 等以 10 秒以内片段为主的语料长约一个数量级，直接覆盖现有模型崩溃的 rollout 区间，这是第一个能监督分钟级一致性的公开数据。第二，几何监督的可信度：不是简单跑一遍 ViPE 了事，而是对每个估计轨迹显式检测突然跳变（跟踪失败导致的非物理大幅位姿变化）、高频抖动（局部非自然振荡）与长期漂移（累积误差），用结合局部相对位姿增量与全局平滑度的质量函数打分并阈值过滤——这是 Sekai 等数据集没有做的一步，也是「可靠轨迹」与「有轨迹」的区别。第三，语义监督的结构：四级 caption（全局静态/局部静态/动态事件/智能体动作）按事件边界对齐，智能体动作采用统一动作词表，使「可控通道」可以与环境描述独立调制，直接支持分层条件生成，而 GameGen-X/Sekai 的整段单行 caption 把场景与行为混在一起，无法单独调制。
方法步骤详情
第一步数据收集：从 YouTube 精选的开放世界 AAA 与独立游戏清单逐款采集，保证第一/第三人称视角与多样玩家行为并存，视频保留最高画质（1080p、30–60 FPS），输入为 11,002 个长视频、4,692 小时。第二步场景一致分割：TransNetV2 输出帧级硬切概率，采样帧 CLIP 嵌入的余弦距离 $\cos(\cdot,\cdot)$ 突变标记渐变边界，输出最长 120 秒的场景一致段 272,128 个（4,661 小时）。第三步多阶段质量评估：依次做基础过滤（16:9 画幅、分辨率、亮度、黑边）、OCR 剔除字幕/水印/HUD 污染、稳定性检测（相机抖动、冻结/重复帧、运动一致性）与 UI 检测、768 维嵌入 + K-means 跨源去重、COVER 与 VBench 分数做时序精修；每阶段打分加权求和且保留硬约束，另召回固定机位但内容演化的片段。第四步位姿估计与验证：ViPE 输出逐帧内外参，按跳变/抖动/漂移三模式计算轨迹质量分并阈值过滤。第五步结构化标注：Kimi-K2.5 按四级 schema 生成 caption——global static 描述地形天气光照视角，local static 描述功能分区、地标与可见物体，dynamic events 描述人群、交通与环境变化，agent actions 用统一动作词表描述主体行为。最终得到 69.7K 片段、1,655 小时、349.6M 帧。
技术新颖性
技术新颖性体现在三个层面。数据层面：此前从未有公开数据集同时具备分钟级连续片段、可公开下载的可靠相机轨迹、第一/三人称密集交互、多粒度事件对齐标注（Table 1 显示所有竞品至少缺两项），GameVerse 是首个补齐该矩阵的产品。方法层面：把「轨迹验证」从被动接受估计结果变成显式的三错误模式过滤流程，并用独立的 DROID-SLAM 估计器交叉审计——在 $\mathrm{Sim}(3)$ 对齐后，旋转相对位姿误差 $\mathrm{RPE}_R$ 为 0.75°–1.47°，平移方向误差 4.84°–11.03°，给出了视频数据集中少见的监督自检量化。标注层面：四级 caption 的词云分析（Figure 5）显示四个层级词汇高度分离（局部静态 37.8M 词、动态事件 15.9M 词、全局静态 13.0M 词、智能体动作 12.5M 词），证明 schema 产出语义正交的标注而非换皮复述；长度梯度（中位 895/775/337/308 字符）匹配各层信息密度。工程层面：「加权总分 + 阶段硬约束」避免一票补偿，并召回固定机位动态内容，是可复用的数据工程实践。
实验结果
实验在 103 个输入上评测 60 秒图生视频，比较 LingBot、HY-World 1.5、HY-World-FT（约 600 小时 GameVerse 微调 3,000 步、架构不变）与 LTX-FT（GameVerse 适配的 LTX-Video 2.3）。VBench（Table 2）：LTX-FT 在主体一致性 79.17、背景一致性 90.63、运动平滑度 99.53 领先，LingBot 在美学 6.14、成像 56.70、整体一致性 18.25 领先；最关键的证据是同骨干对照——HY-World-FT 六项全部上升（主体一致性 66.92→68.45、背景一致性 81.77→83.30、整体一致性 14.48→15.69），说明增益来自数据而非架构。WorldScore（Table 3）：LTX-FT 以 WS-Static 59.65 居首，3D 一致性 95.13、光度 98.45、风格 90.04；HY-World-FT 七项全升，WS-Static 53.33→55.13，3D 一致性 66.94→73.42（+6.48）。长时程稳定性（Table 4a）：LTX-FT 的 CLIP@30s 相似度 0.785、首破阈值延迟到 50.7 秒；HY-World-FT 把 30 秒相似度从 0.609 提到 0.642、首破时间从 30.4 秒延到 37.9 秒。活动级一致性（Table 4b）：HY-World-FT 在驾驶/骑乘/奔跑/行走分别提升 1.15/1.85/2.49/1.58 点。标注质量（Table 5）：400 片段人工评估总体对齐 4.64/5，场景/事件准确率 4.82/5，幻觉率 5.5%，$\alpha = 0.76$；轨迹经 DROID-SLAM 交叉验证，旋转 RPE 0.75°–1.47°。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 60秒长视频生成质量 | VBench 主体一致性 | 79.17 (LTX-FT) | LingBot 74.30 / HY-World 1.5 66.92 | 同骨干微调 +1.53（66.92→68.45），跨模型 +4.87 |
| 世界生成质量与可控性 | WorldScore WS-Static（七维均值） | 59.65 (LTX-FT) | HY-World 1.5 53.33 / LingBot 46.07 | 同骨干 +1.80（53.33→55.13），七项分量全部提升 |
| 3D几何一致性 | WorldScore 3D Consistency | 95.13 (LTX-FT) | HY-World 1.5 66.94 / LingBot 63.25 | 同骨干 +6.48（66.94→73.42），跨模型 +28.19 |
| 长时程漂移抑制 | CLIP@30s 参考帧相似度 / 首次跌破0.6的时间 | 0.785 / 50.7s (LTX-FT) | HY-World 1.5 0.609 / 30.4s | 同骨干相似度 +0.033（0.609→0.642），首破时间 +7.5s（30.4→37.9s） |
| 结构化标注质量（人工评估） | 总体对齐分（5分制，400 clips） | 4.64/5，Krippendorff's α=0.76 | 无外部数据集基线（GameGen-X/Sekai 未发布同类标注审计） | 幻觉率仅 5.5%、时间错配仅 4.0% |
局限与改进
作者承认四点局限：仅覆盖游戏域，向真实世界场景的跨域泛化未验证；估计轨迹与自动 caption 仍可能残留误差（幻觉率 5.5%、时间错配 4.0%）；连续片段上限 2 分钟而生成实验只测到 60 秒，更长 rollout 与闭环交互留待未来；片段时长、相机监督、结构化 caption 三者贡献尚未解耦，大规模构建计算开销大。我的观察补充几点：其一，评测集仅 103 个输入，且 LTX-FT 的相机控制得分（24.33）反而低于 HY-World 1.5（28.58）和 LingBot（31.69），论文归因于 LingBot 用真值位姿而 GameVerse 只有 ViPE 估计轨迹——几何监督的质量瓶颈尚未真正解决；其二，游戏分布高度长尾，God of War、RDR2、对马岛之魂、艾尔登法环、巫师 3 各贡献超 1,800 条片段，头部集中可能带来风格与交互机制偏置；其三，caption 全部出自单一 VLM（Kimi-K2.5），模型系统性偏差会整体传导进数据集；其四，YouTube 来源游戏画面的版权与再分发边界论述较为简略。
独立分析的弱点
第一，「分钟级」主张与实验范围不匹配：数据提供 2 分钟连续片段，但所有生成评测只到 60 秒且仅 103 个输入，无法直接证明分钟级 rollout 的改善。改进方向：建立 120 秒评测协议并扩大输入规模。第二，相机控制退化：LTX-FT 的相机控制 24.33 低于所有基线（LingBot 31.69），同骨干 HY-World-FT 也只从 28.58 微升到 28.90，根源是 ViPE 估计位姿与引擎真值位姿的监督质量差。改进方向：混入引擎内可提取真值轨迹的游戏做一致性蒸馏，或对 ViPE 输出加不确定性加权。第三，贡献不可分离：没有消融区分时长、轨迹、结构化 caption 各自的贡献。改进方向：构建时长递减、去轨迹、退化为单行 caption 的消融子集做对照训练。第四，标注噪声系统性传导：单一 VLM 生成全部四级 caption，5.5% 幻觉率会作为条件噪声进入下游训练。改进方向：多模型交叉验证加时间戳级视频重校验闭环。第五，长尾覆盖不足与版权不确定性：头部五款游戏各超 1,800 条片段，YouTube 来源的再分发许可边界模糊。
未来方向
作者明确提出的方向包括：把连续片段从 2 分钟向更长扩展、覆盖 60 秒以上的生成实验与闭环交互（模型生成内容反过来影响后续条件）、探索向真实世界视频的跨域迁移、解耦时长/轨迹/结构化标注的边际贡献、以及降低大规模构建的计算成本。基于本文成果还可以延伸：一是把 GameVerse 作为世界模型记忆机制（Matrix-Game 3.0 路线）的公开训练底座，检验「数据侧 + 模型侧」是否产生叠加增益；二是利用四级分层 caption 做分层条件控制的系统研究，例如冻结场景描述、只调制智能体动作词表，验证可控通道的独立性；三是分钟级已验证轨迹本身可服务于相机可控视频生成、SLAM/视觉里程计在游戏域的适应与评测；四是用 8 类行为词表构建结构化控制器接口，把「动作语义」与「视角」解耦的生成研究推广到具身智能仿真；五是仿照 WorldScore 建立专门评测分钟级长时程一致性的公开基准，补上本文缺失的 120 秒评测环节。
复现评估
复现条件总体友好但要分两层看。数据层：论文给出 Project Page、GitHub 与数据集链接，声称轨迹与标注随视频源开放；构建管线全部由公开工具组成——TransNetV2（硬切检测）、CLIP（渐变边界）、OCR 与 UI 检测、768 维嵌入 + K-means 去重、COVER 与 VBench（时序打分）、ViPE（位姿）、Kimi-K2.5（标注，需 API），阈值与示例在附录 B/E。若数据确实可下载，直接使用远比重建便宜；若要复现数据集本身，则需大规模 YouTube 下载（11,002 个源视频、4,692 小时），受平台政策与游戏版权双重约束，作者也承认计算上非常昂贵。实验层：HY-World-FT 仅需约 600 小时数据微调 3,000 步、不改架构，LTX-FT 基于 LTX-Video 2.3，属于多卡研究环境可承受的规模；评测协议（103 输入、60 秒、VBench 六维 + WorldScore 七维）在附录 C 有定义，但评测输入是否公开正文未明确。总体判断：基于其数据微调开源模型的复现难度中等偏低；完整重建管线难度高，瓶颈在数据获取与算力而非方法黑箱。
论文图表
