GameWorld：迈向多模态游戏智能体的标准化与可验证评估 GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents

GameWorld 评测一次智能体任务的完整流程包含八个步骤：(1) Runtime Coordinator 通过 GameLauncher 启动本地 HTTP 服务并加载 game HTML，由 Browser Manager 在固定 viewport 的 Chromium 中打开游戏，禁用后台节流并通过 Chrome DevTools Protocol 截屏，避免 headed 模式闪烁；(2) 执行 readiness gate，等待游戏 status 转为 ready 或 playing 才开始第一步，把 menu/loading 阶段吸收掉；(3) 抓取当前 game state 的截图与 window.gameAPI 快照（包括 gameId、timestampMs、status、terminal、game_state、metrics、raw 七层结构）；(4) 在 Agent Object 中组装 prompt = Game Rules + Role and Controls + Task Instruction + Output Format 四个 block，并把近 memory_rounds 轮的 user_prompt→screenshot→reasoning→action 滚动记忆以 Action History 形式注入；(5) 调用 Provider 原生 function calling（OpenAI、Claude、Gemini、Qwen、Seed、GLM 等各家）获取 raw response，并在语义层面（Generalist）或原子动作层面（CUA）校验 IAR；(6) 把 raw action 经过规范化层转译为 Playwright mouse / keyboard / wheel / type / wait 原语，喂给浏览器；(7) 读回新的 gameAPI state，由 Evaluator 按 pregress_i = clip[0,1] ((q_max_i - b_i) / (τ_i - b_i)) 计算该步 PG，结合 status.terminal、step budget、target threshold、task-specific end-field 决定是否停止或 reset；(8) 若 continue_on_fail 开启且遇到 terminal failure，则调用 gameAPI.reset() 进入新 episode 但保留 run-level best progress，最终对全任务平均出 SR 与 PG，并对所有实验在 suite runner 中以 –max-parallel 进程并行重跑。

本文技术新颖性体现在四个层面：其一，构造了一个跨 34 款游戏、5 种流派、6.85 个状态字段/游戏的 gameAPI 注释体系，共 233 个任务相关字段全部由人工设计而非自动挖掘，从而支撑 outcome-based evaluation；其二，提出了把 CUA 直接键鼠流与 Generalist 语义动作流经由确定性 Semantic Action Parsing 合并到同一 Executor-Level Unified Control Space 的统一范式，避免了之前 BALROG、LMGame-Bench 等把两种接口跑在不同 evaluation harness 的不一致问题；其三，Browser-Based Sandbox 在模型推理期间 pause gameplay（默认 paused 评测）并支持 unpaused 实时变体 GameWorld-RT，从而把「决策质量」与「反应时延」剥离开来，这是 VideoGame-Bench 仅做到局部隔离的工作基础上的系统化扩展；其四，提供了 capability-aligned 五级 curriculum 诊断（Level 1 基础控制与时序、Level 2 System-1 反应、Level 3 System-2 空间导航、Level 4 推理与策略、Level 5 长程协调），并配套 Reset-on-Fail（保留 run-level best progress）、Interactive-Visual Heatmap、Repeated-Full-Benchmark Rerun（10 次 ± STD）三套可复现性保障，使基准本身具备了「基准的基准」属性。

独立分析 GameWorld 在几个层面仍可改进：第一，PG 与 SR 都按任务线性平均，但 Runner 类任务天然有更长轨迹与更高分母，可能压低其他类型模型的归一化得分，提议改为按 genre 内归一化或按 PG 排名（rank-average）作为副榜；第二，34 款游戏分布在 5 类里有明显不均（Runner 8、Puzzle 7、Arcade 7、Platformer 8、Simulation 仅 4），导致 Simulation 的统计方差最大，提议扩充 Simulation 类（如增加 Cooking Mama、Stardew Valley 等更复杂经营类）；第三，Semantic Action Parsing 强制一个语义动作→一个原子事件，但 Wolfenstein 3D 这种需要「同时前进 + 开火」的复合动作被拒之门外，提议允许 pair-wise 组合动作以覆盖更多真实玩法；第四，Pause 模式虽剥离了延迟，但关闭了「思考过久就输」的真实信号，提议在 GameWorld-RT 之外增设预算感知档位（如 step budget=20 vs 100）以阶梯评估推理代价；第五，模型对比基准的 cost 差距过大（Claude-Sonnet-4.6 全任务 244 美元 vs Grok 仅 9.86 美元，详见表 13），纯粹性价比分析缺位，提议引入 cost-normalized PG 作为辅助指标。

作者明确提出的未来方向是用 MLLM-powered agent exploration 来自动生成与对齐 Semantic Action Parsing，从而把新游戏的接入从「人工写 yaml」解放到「agent 跑一下就生成 binding」。基于 GameWorld 已有的拆解，还可延伸出几条值得探索的方向：第一，把 18 个模型-接口对的 Interleaved Multimodal History 收集成共享 trajectory 语料，用行为克隆或 RL 训练新一代 game agent，正如 Game-RL、WebGym 等工作展示的；第二，把 GameWorld-RT 与 paused 评测结合为「双轨 leaderboard」，并引入 step-budget aware 评分，迫使模型在算力受限下做更经济的决策；第三，在 outcome-based state-verifiable evaluation 基础上做 reward shaping，结合 reset-on-fail 中的 run-level best progress 构造 dense reward 供 RL 微调；第四，将 Capability-Aligned 5-Level Curriculum 作为 curriculum learning 课程，先在 Level-1/2 上微调再过渡到 Level-5，进而系统化评估通用游戏智能体训练路径；第五，扩展 Human Study 至更大玩家池并按段位分析，把 Novice/Expert 两点扩展为细粒度能力曲线，使人类基线成为可比较的连续参考。

GameWorld 在可复现性方面下了很大功夫：作者开源了完整代码与 prompt 模板（在附录 E 列出了 34 款游戏 × 两种接口的 4 类 prompt 块 + 13 个模型的 output_format 块），并把 34 款游戏作为浏览器游戏挂在公开仓库 url，授权与合规说明在 Appendix F 单独声明；Benchmark 内置 readiness gate、deterministic seed、game speed control 与 pause 等随机源隔离机制，确保每次跑同一种子下行为一致；最关键的可复现性证据是对两个开源 backbone（Qwen3-VL-30B-A3B 与 Qwen3-VL-235B-A22B）在两种接口下各跑 10 次全基准重跑，Overall SR 标准差控制在 0.7–1.4 个百分点、PG 标准差 0.5–1.1 个百分点（详见表 7）。复现所需算力方面，闭源模型一次全任务成本约 4.99–244.03 美元（Claude-Sonnet-4.6 Generalist 最贵 244 美元、Gemini-3-Flash 最便宜 29 美元），加总 815.19 美元；开源模型 Qwen3-VL-235B-A22B 与 30B-A3B 需要 235B / 30B MoE 体量部署，单卡推理困难、需多卡并按 token 计费；UI-TARS-1.5-7B 较小，可在单卡复现。复现难度整体为中等——基础设施齐备、prompt 与 harness 已列全，但评估 170 个任务 × 18 个配置仍需要约一周级别工程与数百美元 API 额度。