GameHorizon 套件：面向游戏游玩的多时间尺度数据与评测 GameHorizon Suite: Multi-Horizon Data and Evaluation in Gameplay
首个5000小时AAA游戏多尺度指令数据集，配离线在线双轨基准，评测47个模型
前置知识
视觉语言模型（VLM）
以视觉和文本为输入的多模态大模型，能对图像/视频帧进行理解并回答问题或生成文本，代表如 GPT、Gemini、Qwen-VL 系列。本文用 VLM 自动标注游戏视频指令，也被作为被评测对象回答多选题。
本文的核心方法是用 VLM 做自动化标注器，核心评测对象也是各类 VLM。理解 VLM 的输入输出形态（帧序列+文本→答案）才能理解标注流水线和 MCQ 评测的设计逻辑。
时间尺度（Temporal Horizon）
任务目标覆盖的时间跨度。游戏中从几秒内的按键操作（捡起物品）、到一两分钟的中期目标（赢下一场团战）、再到整局策略（运营发育），同一目标流可以分解为不同时间粒度的自然语言描述。
本文的一切设计都围绕 $L_1/L_2/L_3$ 三级时间尺度金字塔展开：数据按尺度标注、任务按尺度设计、诊断实验按尺度分析，这是论文题眼。
逆动力学模型（IDM）
从视频帧反推「此时玩家按了什么键」的模型。以往游戏数据集（如 VPT、D2E）没有真实操作记录，就用 IDM 从网络视频推断动作伪标签，但推断结果可能与人类实际操作不符。
IDM 伪标签的不可靠性是本文数据采集方式（100 名玩家同步录制键鼠操作）的直接动机，也是 Table 2 中「Direct Human Actions」对比维度的由来。
MCQ 离线评测
将能力评测转化为固定输入+四个选项的多选题，模型只需输出选项字母。由于不依赖游戏环境运行和自定义 Agent 框架，结果完全可复现、可标准化比较，代价是与真实交互存在差距。
GameHorizon-Bench 的离线轨道就是用 5000 道 MCQ 评测 47 个模型，这是论文可复现性主张的根基；理解其优劣才能评判「离线分数能否代理真实游戏能力」这一核心问题。
统一多模态模型（UMM）
同时支持理解与生成的多模态模型，在 VLM 基础上加入图像生成等能力，如 BAGEL、InternVL-U。理论上能力更全面，但两个目标可能互相干扰。
论文用 4 个 UMM 做对照实验，发现生成参数反而拖累理解（InternVL-U-4B 比其骨干 InternVL3.5-2B 低 1.4 个百分点），是理解与生成干扰的一个实证。
研究动机
现有游戏 AI 数据与基准存在三大缺陷。第一，游戏覆盖面窄：MineDojo、VPT、STEVE-1、MineRL、PLAICraft 全部局限在 Minecraft 一款游戏，WildWorld 只采集了《怪物猎人：荒野》，GameWorld 只有浏览器小游戏，而单一或简化游戏的结论无法推广到画面复杂、操作异构的 AAA 大作。第二，缺乏语言指令标注：人与智能体交互本质上是语言驱动的（下指令、拆解目标），但 NitroGen、GameVerse、D2E、VPT 完全没有文本指令，Open-P2P 只有几分钟一条的稀疏标注，Game-TARS 依赖昂贵的人工标注且未公开，导致无法系统评测指令遵循与目标规划。第三，在线评测方差大、不可复现：Lumine 每个场景只跑 3 次就报成功率，GameVerse 只在 3-20 个用例上 rollout，VideoGameBench 每个游戏只测一次，小样本带来低置信度比较；且在线分数依赖特定环境和自定义 Agent 框架，而单一聚合成功率还会把「认错当前动作」「推错下一步目标」「目标映射不到正确操作」等不同失败模式压缩成一个标量。
本文的目标是本文要造一把「统一标尺」：一是可扩展的自动化标注流水线，能为游戏视频生成覆盖短时操作（1-5 秒）、中期目标（1-2 分钟）、长时策略（5-8 分钟）三个时间尺度的自然语言指令金字塔；二是在此基础上构建首个大规模 AAA 游戏数据集，将视频帧、真实玩家键鼠动作与多尺度指令在时间轴上严格对齐；三是建立离线可复现 + 在线可逐步诊断的双轨基准，能同时公平评测通用 VLM、统一多模态模型、GUI/编码智能体和专用游戏智能体，并回答「离线分数是否反映真实游戏能力」「模型的瓶颈究竟在感知、规划还是动作解码」这些此前无法回答的问题。
与已有工作不同的是，本文的独特切入角度有三点。其一，标注范式上放弃自顶向下（让 VLM 直接看一小时视频总结策略，超出其长上下文细粒度理解能力），改为自底向上：先用键鼠动作流做动作感知的视频切分，再把细粒度片段逐级合并抽象成高层指令，这一方向恰好绕开了 VLM 的能力边界。其二，动作标签不靠 IDM 推断或手柄图像分割，而是 100 名受训玩家通过专用录制系统同步采集，保证「动作即真实所按」。其三，评测设计上把「自底向上」反过来用：标注用自底向上，但考题用自顶向下（从抽象目标分解出操作序列），因为诊断实验证明前者对模型近乎满分、后者才真正有区分度；在线轨道则通过子任务失败后环境重置的逐步协议，把长程失败定位到具体步骤，而不是只报一个总成功率。
核心方法
整个套件分三步走。第一步是数据采集：招募 100 名有经验的人类玩家，部署专用录制上传系统，以 2K 分辨率、60fps 同步录制游戏画面和时间戳级的键鼠操作，覆盖 21 款游戏共 5000 小时，避免了 IDM 伪标签或手柄图像分割带来的标签漂移。第二步是 GameHorizon-Annotator 自动标注：先做动作感知切分，把原始键鼠事件经游戏专属键位表映射为游戏语义动作（如《赛博朋克 2077》中 Shift 是疾跑），按持续事件聚合成短片段，再用 VLM 消歧并精修边界；然后自底向上地用 VLM 判断相邻片段是否指向同一目标/策略进行合并，并用动态规划强制各级片段时长落在 $L_1$ 的 1-5 秒、$L_2$ 的 1-2 分钟、$L_3$ 的 5-8 分钟区间内，最后分级生成指令，得到 618 万条指令的金字塔。第三步是 GameHorizon-Bench：离线轨道用帧+指令+动作构造 5000 道 MCQ（三个主任务 $T_1$-$T_3$ 各 1000 道、十个诊断变体各 200 道），在线轨道在 Minecraft 上设 10 个因果任务和 10 个主题任务（共 62 个可验证子任务），失败即重置、逐步定位错误。最终用这套体系对 47 个模型做了超过一百万次调用。
核心创新是把「多时间尺度」做成从数据到评测的一以贯之的主线，并用方向反转的巧思解决了两个矛盾。矛盾一：VLM 看不了太长的视频、也难以可靠解析细粒度动作，怎么自动标出覆盖 5-8 分钟的策略级指令？解法是自底向上金字塔——细粒度事实交给动作流和短片段，高层语义靠逐级合并时的 VLM 摘要，每一层都以前一层的指令为语义上下文，保证跨尺度一致性。矛盾二：自底向上的任务（从操作推断目标）对模型太简单（平均 98.4%），考不出差距，而自顶向下的分解（从目标推操作）信息不足、答案不唯一，本不适合做标注——论文顺势各取所长：标注走自底向上保证可靠，考题走自顶向下制造挑战。与已有工作的本质区别在于：Game-TARS 的人工标注贵且未公开，本文全自动可扩展；IDM 伪标签可能偏离真实操作，本文直接记录；NitroGen/Open-P2P 无指令或稀疏指令，本文每帧都同时带三个尺度的指令对齐。
方法步骤详情
完整流程如下。（1）录制与清洗：100 名玩家录制 21 款游戏，2K/60fps 视频 + 20Hz 鼠标采样与平均每秒 2.84 次的键盘事件，共 4.11 亿个键鼠动作事件；用自动规则和 VLM 评估过滤无信息片段（如长过场动画、切出游戏窗口），保留 4341 小时（86.8%）用于指令标注。（2）动作感知切分：先把键鼠事件经游戏专属键位表映射成语义动作，按语义可靠性把动作分为输入确定型、输入歧义型、视觉依赖型三类；回放帧对齐的输入日志恢复持续按键与离散触发，用规则做粗切分，同一帧多个动作用优先级规则选主标签；最后让 VLM 检查视频帧消歧（如左键是攻击还是选择物品）并精修出最终 $L_1$ 片段。（3）自底向上合并：VLM 判断相邻 $L_1$ 操作是否连续指向同一 $L_2$ 目标、相邻 $L_2$ 目标是否服从同一 $L_3$ 策略，同时用动态规划把片段时长约束在 1-5 秒/1-2 分钟/5-8 分钟。（4）分级标注：$L_1$ 输入采样帧+对齐动作+键位表，要求写出坐标、物体、空间关系等可执行细节；$L_2$ 额外输入 $L_1$ 指令，压缩为中期目标；$L_3$ 只输入帧和 $L_2$ 指令（去掉动作），突出长期策略。（5）构题与在线任务：$T_1$ 给帧和 $L_1$ 指令选正确动作序列，$T_2$ 给 $L_2$ 目标选出正确的 $L_1$ 操作序列，$T_3$ 选跨帧-指令-动作全对齐的选项；在线轨道每个子任务限时 400 次模型调用，失败后环境重置到该子任务的成功状态，长程任务只有全部子任务无失败完成才算通过。
技术新颖性
技术新颖性体现在四个层面。第一，数据维度：这是首个同时满足「大规模（≥3000 小时）、AAA 为主、直接人类动作、密集指令、多尺度」五项的游戏数据集——Table 2 显示此前无一同时满足三项以上，平均每 2.63 秒就有一条独特的 $L_1$ 指令、每帧三尺度全对齐，密度远超 Open-P2P 的几分钟一条。第二，标注流水线维度：动作感知切分用真实键鼠轨迹替代 PySceneDetect 之类基于帧间视觉相似度的工具，避免镜头快速转动导致连续动作被切碎；自底向上的金字塔构造从未在游戏数据上系统化实现过。第三，评测方法论维度：用 MCQ 序列对齐（Needleman-Wunsch 算法）让只会输出动作的专用游戏智能体也能进入统一评测，跨游戏异构动作空间通过键位表文本化解决；逐步在线协议（子任务失败即重置）把失败定位能力引入游戏评测，超越以往只报总成功率的范式。第四，诊断维度：$T_1^*/T_2^*/T_3^*$ 变体系统拆解「感知 vs 规划」「分解 vs 抽象」「指令解码 vs 动作解码」，用 200 题的小成本实验定位模型瓶颈，这种把基准做成「诊断仪器」而非「排行榜」的设计思路本身就有方法论价值。
实验结果
离线主任务上，47 个模型（35 个通用 VLM、4 个 UMM、2 个 GUI 智能体、3 个编码智能体、3 个专用游戏智能体）在 5000 道 MCQ 上的总体平均准确率为 64.7%，显著高于 25% 的随机基线，且模型间从 44.6%（InternVL-U-4B）到 80.2%（GPT-6-Astra）横跨 35.6 个百分点，区分度良好。任务难度呈清晰梯度：$T_1$ 单尺度动作最难（全体平均 57.3%，因键盘鼠标轨迹的严格判定），$T_2$ 多尺度分解居中（65.1%），$T_3$ 跨尺度一致性最高（71.6%，选项信息丰富）。专有模型包揽 Tier 1 十一个席位中的十个，Kimi-K3（74.5%，第 6 名）是唯一进入 Tier 1 的开源模型；同族模型随代际/规模单调提升，如 GPT 系从 62.8% 升到 80.2%。四个 UMM 全部落入 Tier 3/4，且 InternVL-U-4B 反而比其理解骨干 InternVL3.5-2B 低 1.4 个百分点，说明理解与生成统一存在干扰。两个 GUI 智能体都在 Tier 4，UI-TARS-1.5-7B（53.0%）甚至比其通用底座 Qwen2.5-VL-7B（56.7%）低 3.7 个百分点，提示领域后训练损害泛化。编码智能体反而表现不错，Claude Fable 5 达 71.2% 排第 13。专用游戏智能体在未见过的 AAA 游戏上接近随机：NitroGen 22.0%、Open-P2P 24.4%、JARVIS-VLA 28.1%，而 JARVIS-VLA 在其训练域 VPT/Minecraft 上有 54.2%，领域依赖极强。思维链效应双极分化：强模型受益（Doubao-Seed-2.1-Pro +9.3、GLM-5V-Turbo +5.6 个百分点，$T_2$ 上分别 +19.9 和 +9.0），轻量模型受害（UI-TARS-1.5-7B -8.2、Qwen2.5-VL-7B -5.9，出现幻觉推理）。变体诊断显示：当前动作感知平均比未来动作规划高 9.9-23.8 个百分点；仅加 $L_1$ 短指令就使感知从 44.5% 升至 58.6%（+14.1），而规划几乎不动（+0.2），加入中长程指令后规划才从 34.8% 升至 41.8%（相对纯视觉输入 +7.2）；自底向上抽象达 98.4% 而自顶向下分解仅 69.5%（差 28.9）；动作序列解码只造成 0.6 个百分点损失，说明瓶颈在目标分解与规划而非动作解码。在线轨道上，12 个模型的离线分层与在线排名严格同序（Tier 1-4 依次占据在线第 1-3、4-6、7-9、10-12 名），验证离线分数是有效代理；但长程任务极难，GPT-6-Astra 最高也只有 45.0%（9/20），其余 10 个模型不超过 10%，短程子任务上 GPT-6-Astra 为 66.1%（41/62）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 单尺度动作决策 $T_1$（离线 MCQ） | 选择题准确率（%） | 全体模型平均 57.3；最佳 GPT-6-Astra 69.4 | 25%（四选一随机） | 最佳模型高出随机基线 44.4 个百分点，但仍是最难的主任务，平均仅 57.3% |
| 多尺度指令分解 $T_2$（离线 MCQ） | 选择题准确率（%） | 全体模型平均 65.1；最佳 Gemini 3.8 Flash 81.2 | 25%（随机） | 开启思维链后强模型在 $T_2$ 上最多提升 19.9 个百分点（Doubao-Seed-2.1-Pro），说明分解任务最吃推理能力 |
| 跨尺度一致性 $T_3$（离线 MCQ） | 选择题准确率（%） | 全体模型平均 71.6；最佳 GPT-6-Astra 91.5 | 25%（随机） | 最简单的任务，反映选项中丰富的多尺度信息本身辅助理解 |
| 专用游戏智能体零样本迁移到 AAA 游戏（$T_1$） | 序列对齐判定准确率（%） | JARVIS-VLA 28.1；Open-P2P 24.4；NitroGen 22.0 | JARVIS-VLA 在训练域 VPT/Minecraft 上 54.2；Gemma 4 31B-IT 零样本 54.1 | 跨域掉点约 26 个百分点，甚至低于随机附近的通用小模型，凸显专用智能体泛化缺陷 |
| 未来动作规划（变体 $T_1^*$） | 准确率（%） | 纯视觉 34.6 → 加多尺度指令 41.8（+7.2） | 加短指令仅 34.8（+0.2） | 中长程指令对规划的提升（+7.2）几乎全部来自 $L_2/L_3$，短指令只利于当前动作感知（+14.1） |
| 自底向上抽象 vs 自顶向下分解（变体 $T_2^*$） | 准确率（%） | 抽象 98.4 vs 分解 69.5 | 同为四选一 25% 随机 | 28.9 个百分点的方向性鸿沟，直接论证了「标注用自底向上、考题用自顶向下」的设计合理性 |
| 在线长程任务（Minecraft，20 个任务） | 端到端成功率（%） | GPT-6-Astra 45.0（9/20）为最高 | 其余 10/12 个模型成功率 ≤10.0；弱模型如 UI-TARS-1.5-7B 为 0 | 离线 Tier 与在线排名完全同序，验证离线 MCQ 分数可作为真实游戏能力的代理指标 |
局限与改进
作者明确承认的局限：在线轨道因大多数 AAA 游戏不开放底层游戏状态而只能在 Minecraft 实现，长程在线结论对 AAA 游戏的适用性未经验证；自底向上抽象任务接近饱和（98.4%），对模型区分度有限；专用游戏智能体只能靠 Needleman-Wunsch 序列对齐间接参与 $T_1$，不匹配任何选项即判错（如输出空序列会低于随机），评测方式与 QA 模型不完全对等；在线评测成本高，只抽样了每层 3 个共 12 个模型，且每个子任务 400 次调用的预算是人为设定。我自己观察到的局限：其一，全部指令由单一商业 VLM（Gemini）自动生成，论文未报告人工抽检的一致率，标注噪声无定量估计，且与被测的 Gemini 系模型同源可能带来微妙的家族偏差；其二，动作以文本序列形式呈现、无时延约束，完全没有触及实时游戏中「控制频率」这一专用智能体真正竞争的维度，离线赢家未必是实时赢家；其三，在线任务只有 2-6 个子任务、62 个子任务全在 Minecraft，所谓「长程」相对真正 AAA 开放世界（数十小时任务链）仍然很短；其四，标注依赖每款游戏手工整理键位表，扩展到主机手柄游戏或键位可自定义游戏时流水线需逐游戏适配。
独立分析的弱点
第一，标注质量缺乏审计：6 万余条 $L_2/L_3$ 指令全部出自同一个 VLM，错误会在数据集层面系统性传播，而训练在其上的模型又会反过来在该基准上被评测，形成自我指涉风险；改进方向是引入多人盲评的抽样校验层，并公开标注置信度或人工重标注的对照子集。第二，离线 MCQ 与真实交互的鸿沟只被「在线相关性」部分弥合：在线轨道仅在 Minecraft 上对 12 个模型做了正关联验证，样本小、游戏单一，无法证明对 AAA 场景同样成立；改进方向是借助厂商调试接口或内存读取工具在个别 AAA 游戏中开放状态验证。第三，动作空间文本化丢失了时序密度信息：411.03 百万个动作事件（平均每秒 22.84 个）被压缩成离散选项，鼠标移动这类连续高维信号几乎必然失真，$T_1$ 平均只有 57.3% 可能部分源于此；改进方向是增加基于动作轨迹相似度的开放式评测或引入延迟感知指标。第四，UMM/GUI 智能体全军覆没更多是「这些模型从未见过游戏数据」的必然结果，基准未能区分「能力缺失」与「分布外」两种失败；改进方向是加入少量样本微调或上下文学习协议作为对照。第五，逐步重置协议虽然能定位失败步骤，但也消除了错误的级联后果，测得的能力比真实连续游玩偏乐观，两个协议的分数差异本身值得报告。
未来方向
作者方向的延伸：把 GameHorizon-Data 用于训练——5000 小时对齐的三元组（视频、动作、多尺度指令）是训练游戏 VLA 或目标条件策略的理想原料，论文隐含的终极目标是弥合「专用智能体会动不会想、通用模型会想不会动」的割裂，可以用 $L_3$ 策略做高层规划器、$L_1$ 操作做低层控制器的分层架构并在此基准上验证；扩展标注流水线到主机手柄游戏、RTS 等新类型；利用逐步重置协议自动构造过程奖励模型（PRM）训练数据，用于强化学习长程任务。基于本文成果可自然延伸的研究：一是实时约束下的「思考」策略——Table 6 显示思考对强模型 +9.3、弱模型 -8.2 个百分点，自适应决定何时思考的动态推理策略在游戏场景很有价值；二是把 $T_2^*$ 揭示的「分解难、抽象易」不对称性推广到机器人操作、GUI 自动化等其他具象领域，检验是否为 VLM 的普遍规律；三是将在线轨道的程序化状态判定与重置机制迁移到开源 AAA 游戏（如通过 mod 接口）；四是多智能体协作游戏任务与对抗性任务，现有 62 个子任务全是单人；五是测试更大规模的人类玩家风格多样性对指令一致性的影响。
复现评估
复现友好度总体较高。作者承诺在项目页（gamehorizon-suite.github.io）和 GitHub（TencentARC/GameHorizon）公开数据集、标注器与基准，附录完整给出了三级标注的提示词全文（Figure 6-8）以及 Apex Legends、赛博朋克 2077 的键位表（Table 10-11），20 个在线任务和 62 个子任务也逐一列表（Table 12），工程透明度好。数据侧：5000 小时 2K/60fps 视频体量在数十 TB 量级，下载与存储成本高，但 MCQ 评测本身只需要其中极小的帧+指令子集；键鼠动作为直接录制，无需复现 IDM。算力侧：离线评测对开源模型需要一定 GPU（47 个模型中有多个 235B 级 MoE 只能走 API），专有模型需相应 API 预算——论文总共超过一百万次调用，粗估离线 5000 题 ×47 模型约 23.5 万次，在线轨道 12 模型 ×62 子任务 ×400 调用上限为主，总 API 费用可能达数千至数万美元。复现标注流水线需调用 Gemini 类 VLM 处理 4341 小时视频，标注成本不低但远低于人工。在线轨道需自建 Minecraft 环境与状态判定逻辑。综合判断：复现离线评测（中等难度）可行；完整复现数据集构建（较难，需玩家招募与录制系统）；直接使用其发布产物做研究（容易）。
论文图表
概念总览图：展示套件覆盖多款游戏，并以金字塔形式呈现四个层次——底层是原始按键动作（如鼠标左键 LMB），向上依次为短时操作、中期目标、长时策略，帧图中红字标出关键动作或物体。
一图读懂论文核心主张：把不同时间尺度的游戏能力放进同一把标尺。开篇建立「同一动作流承载多尺度目标」的直觉，是理解后续所有设计的入口。
$L_2$ 标注提示词：额外输入低层 $L_1$ 指令与游戏键位表，要求概括玩家的持续目标、避免过多局部细节。
体现「以低层指令为语义上下文做高层摘要」的分层标注技巧，是跨尺度一致性的来源。
$L_3$ 标注提示词：只输入帧与 $L_2$ 目标、剔除动作与键位表，要求捕捉整体游戏策略、抑制局部操作细节。
三级提示词的输入模态差异（$L_3$ 去动作）是一个精心设计的选择，对理解「动作信息在何尺度有用」有直接参考价值。
附录中 Gemini 3.6 Flash 在线任务的更多 rollout 展示，含执行顺序箭头与成功/失败标注。
为在线轨道的失败模式（懂意图但执行出错）提供了更多定性证据，补足正文 Figure 5。