AI游戏商店：基于人类游戏的可扩展开放式机器通用智能评估 AI Gamestore: Scalable, Open-Ended Evaluation of Machine General Intelligence with Human Games
构建AI游戏商店平台，用100款人类游戏评估VLM与人类的通用智能差距
前置知识
通用游戏博弈（General Game Playing）
通用游戏博弈是一种AI评估范式，要求AI系统能够在未见过的游戏中学习和博弈，而不是仅在特定游戏（如国际象棋或围棋）中达到专家水平。传统方法基于所有可计算环境的分布，而本文将其聚焦于人类设计的游戏空间。这种范式要求AI具备跨域泛化能力、快速学习新规则的能力、以及在不同认知任务间切换的灵活性。评估指标通常包括与人类玩家在相同时间或资源下的表现对比。
本文的核心创新就是将通用游戏博弈与人类游戏结合，提出「人类游戏多元宇宙」概念，因此理解这一传统范式对于把握本文的研究定位至关重要。
视觉语言模型（Vision-Language Models, VLMs）
视觉语言模型是能够同时处理图像和文本输入的多模态AI模型。在游戏场景中，VLMs接收游戏画面截图作为视觉输入，结合游戏描述和规则等文本信息，输出游戏操作指令。当前前沿VLMs包括GPT-5.2、Gemini-2.5-Pro、Claude-Opus-4.5等，它们通常具有数十亿至数万亿参数规模，经过大规模图文数据预训练和指令微调。
本文评估的7个前沿模型均为VLMs，理解其能力边界和工作方式是解读实验结果的基础。
认知能力分类体系（Cognitive Capability Taxonomy）
本文定义了7种认知能力维度：视觉处理（VP）、时空协调（ST）、记忆（ME）、规划（PL）、世界模型学习（WM）、物理推理（PH）和社会推理（SO）。每种能力用0-5分的6点量表标注，用于刻画游戏对认知能力的需求。这套分类体系借鉴了认知心理学和教育测量学的方法，将复杂的智能行为分解为可度量的维度。
这是本文的核心分析框架，通过将游戏认知需求与模型表现关联，实现从「知道模型不行」到「知道模型为什么不行」的诊断能力提升。
人类参与的流水线（Human-in-the-Loop Pipeline）
一种结合自动化和人工干预的工作流程设计。在本文中，LLM负责生成游戏代码初稿，自动化测试检测bug，然后人类玩家试玩并提供自然语言反馈，LLM根据反馈迭代改进。平均每款游戏需要4.7轮迭代，每轮约2分钟。这种设计既保证了规模化能力，又通过人类判断确保游戏质量和可玩性。
这是AI GAMESTORE平台实现可扩展游戏生成的关键技术方案，理解其工作方式有助于评估该平台的实用性和可扩展性。
几何平均（Geometric Mean）
几何平均是n个数乘积的n次方根，计算公式为 $\bar{x}_g = \left(\prod_{i=1}^{n} x_i\right)^{1/n}$。在本文中，由于各游戏的归一化分数分布高度偏斜（存在大量接近0的分数），算术平均会被极端值主导，而几何平均对异常值更鲁棒，能更好地反映模型在众多任务上的「典型」表现。例如，如果一个模型在100款游戏中99款得分为1、1款得分为10000，算术平均约为100，但几何平均仅为1。
理解为什么作者选择几何平均而非算术平均来汇总模型表现，是正确解读Figure 5中「最佳模型仅达人类基线的8.5%」这一结论的关键。
p5.js
p5.js是一个基于JavaScript的创意编程库，专为视觉艺术和交互式内容设计。它提供了简化的API来处理图形绘制、用户输入、动画和声音。在本文中，所有AI GAMESTORE游戏都用p5.js实现，因为它能够快速生成可在浏览器中运行的交互式游戏，且代码结构相对简单，便于LLM生成和修改。p5.js的轻量级特性也使得游戏能够标准化为网页应用，便于统一的评估接口。
p5.js是本文技术实现的基础平台，理解其特点有助于评估游戏生成的可行性和质量上限。
研究动机
当前AI评估存在根本性的局限性。传统基准测试（如MMLU、HumanEval、MATH等）通常聚焦于单一领域的能力评估：要么是棋类博弈（国际象棋、围棋），要么是语言理解，要么是数学问题或代码生成。这些基准只能测量人类智能这个巨大版图中的碎片，无法捕捉人类智能行为的通用性。更糟糕的是，这些静态基准会迅速饱和——模型开发者会显式或隐式地针对基准进行优化，导致评估失去区分度。例如，GPT-5.2在MMLU等基准上已接近人类专家水平，但这并不能说明它能在开放世界中像人类一样灵活应对各种新任务。此外，即使像BIG-Bench这样试图构建大规模基准集合的工作，仍然只覆盖了人类能解决的任务的极小子集。性能在这些任务上的表现仍然是模型在开放世界中表现的糟糕指标。
本文的目标是本文的具体目标是：（1）提出并论证「人类游戏多元宇宙」（Multiverse of Human Games）作为评估机器通用智能的新范式；（2）构建AI GAMESTORE——一个可扩展、开放式的评估平台，能够从人类数字游戏市场（Apple App Store和Steam）中采样并生成标准化的游戏变体；（3）生成首批100款游戏作为概念验证；（4）评估7个前沿视觉语言模型与106名人类参与者的表现，揭示当前AI的通用智能差距。最终愿景是创建一个永不停歇的基准测试，随着新游戏的出现持续进化，避免传统基准的饱和问题。
与已有工作不同的是，本文的独特切入角度在于三个层面的创新。首先，在评估哲学层面，不同于传统通用游戏博弈关注所有可计算环境的分布，本文将范围聚焦于「人类设计的游戏」——这些游戏是人类为了准备应对现实世界挑战而创造的文化制品，覆盖了战略规划、社交互动、模式识别、物理推理等几乎所有人类技能。其次，在技术实现层面，不同于直接使用商业游戏（面临版权、平台异构性、数据污染等问题），本文采用LLM驱动的合成方法，将热门游戏改编为标准化、容器化的p5.js版本，既规避了法律和技术障碍，又能持续生成新游戏防止过拟合。第三，在分析深度层面，不同于单纯的性能排行榜，本文通过7维认知能力分类体系，将模型表现与具体认知能力需求关联，实现从「知道不行」到「知道为什么不行」的诊断能力提升。
核心方法
AI GAMESTORE的核心思路是将人类数字游戏市场视为人类智能需求的天然采样池，通过LLM驱动的半自动化流水线，将热门游戏改编为标准化、可评估的游戏环境。整体技术路线分为四个阶段：游戏筛选、游戏生成与精炼、认知标注、模型评估。直觉上，如果AI能够像人类一样玩好各种人类设计的游戏，那么它就具备了人类级别的通用智能。这个平台不是单一基准测试，而是一个元基准（meta-benchmark）框架——它定义了评估的方法论和基础设施，而不是固定的游戏集合。通过持续从游戏市场采样和生成新游戏，AI GAMESTORE能够避免传统基准的饱和问题，成为一个不断进化的评估生态。
本文的核心创新在于「人类游戏多元宇宙」这一概念框架及其工程实现。与已有方法的本质区别体现在：（1）不同于AlphaGo等专注于单一游戏的超人表现，本文关注在众多游戏中与人类平均水平的对比；（2）不同于Gym等通用游戏环境生成的是随机或合成的游戏，本文确保所有游戏都是人类设计并享受过的，因为这些游戏本身就是人类认知能力需求的自然采样；（3）不同于GameGAN等学习游戏引擎的工作，本文用LLM直接生成游戏代码，结合人类反馈迭代，实现了更快的游戏适配；（4）不同于传统基准的静态评估，本文的流水线设计允许持续生成新游戏变体，每个基础游戏都可以通过修改规则生成多个变体，大幅扩展评估空间。
方法步骤详情
第一步：游戏筛选与适宜性过滤。从Apple App Store和Steam采样7500款多样化的游戏，保留至少10000条评论且平均评分超过4.5/5的游戏，然后使用Gemini 2.5 Flash根据4项标准评分：能否在几分钟内玩、能否用p5.js表达、能否产生量化指标、是否不需要大量专业知识。最终保留100款游戏。第二步：游戏生成与精炼。使用Claude Sonnet 4.5根据游戏描述生成p5.js代码初稿，设计了详细的游戏规范（必须用JavaScript编写、可暂停、有评分指标、有多关卡等）。然后进入两阶段迭代：首先让LLM生成测试脚本检测bug并修复；然后人类玩家试玩并提供自然语言反馈，平均需要4.7轮迭代，每轮约2分钟。第三步：游戏标注与认知画像。三位独立标注者根据6点量表（0-5分）对7种认知能力进行标注，包括视觉处理、时空协调、记忆、规划、世界模型学习、物理推理和社会推理，标注后通过讨论解决分歧。第四步：模型评估。通过专门的评估框架（harness），每秒暂停游戏查询模型，模型输出5组动作（每组对应0.2秒的游戏段落），直到游戏胜利或达到2分钟（120次API调用）。每次API调用的提示包含游戏描述、模型便签本、已执行动作和游戏截图、可用动作列表。
技术新颖性
本文的技术新颖性体现在多个维度。首先，「人类游戏多元宇宙」的理论框架本身是全新的——它将人类游戏的文化意义（作为现实世界复杂性的抽象和容器化）与机器智能评估相结合，提供了比传统通用游戏博弈更有意义的评估空间界定。其次，半自动化游戏生成流水线的工程设计具有创新性：LLM生成代码+自动化测试+人类反馈的三明治结构，使得单款游戏的生成和精炼平均只需30分钟，且能通过人类创造新变体进一步扩展。第三，认知能力分类体系及其应用是独特的分析工具——通过将每款游戏的认知需求量化，再与模型表现关联，实现了细粒度的能力诊断。例如，发现模型在记忆、规划和世界模型学习方面表现最差，而在视觉处理方面相对较好。第四，评估框架的设计允许在标准化条件下比较人类和AI，同时保持游戏的交互性——虽然AI每秒才查询一次（而非实时交互），但这为未来的实时系统评估奠定了基础。
实验结果
实验结果揭示了当前前沿VLMs与人类玩家之间的巨大差距。在100款游戏上，最佳模型GPT-5.2的几何平均归一化得分仅为8.5（人类中位数为100），即仅达到人类基线的8.5%。Gemini-2.5-Pro和Claude-Opus-4.5的表现类似，均低于10%。前6名模型之间的差异在统计上不显著（p<0.05）。所有模型都表现出明显的双峰分布：约三分之二的游戏模型能够取得一些进展，但得分仅为人类中位数的10-30%；约三分之一的游戏模型完全失败，得分不到人类中位数的1%。在速度方面，人类玩家在120秒内完成游戏，而模型需要1200秒以上（超过10倍），平均需要12-18倍的时间。按认知能力分解发现，记忆（ME）、规划（PL）和世界模型学习（WM）是模型最薄弱的能力维度——这些能力恰恰是现实世界中最需要的。模型在仅需单一认知能力的简单休闲游戏中表现最好，但随着游戏需要更多不同认知能力，表现急剧下降。即使排除需要快速反应的游戏（时空协调需求小于等于2），模型的总体表现也没有显著改善，说明瓶颈不在于反应速度而在于认知能力本身。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 100款人类游戏综合表现 | 几何平均归一化得分（人类中位数=100） | GPT-5.2: 8.5, Gemini-2.5-Pro: 约7, Claude-Opus-4.5: 约6 | 人类中位数: 100 | 最佳模型仅达人类基线的8.5%，存在约12倍的差距 |
| 游戏完成时间 | 平均游戏时间（秒） | 模型: 1200-2400秒（120次API调用） | 人类: 120秒 | 模型比人类慢12-18倍 |
| 游戏成功率 | 取得有意义进展的游戏比例 | 约60-70%的游戏模型能取得一些进展 | 人类: 100%的游戏都能取得进展 | 30-40%的游戏模型完全失败（<1%人类得分） |
| 认知能力瓶颈 | 各认知维度的归一化得分 | 记忆/规划/世界模型学习维度得分最低 | 所有维度人类得分均为100 | 视觉处理维度相对较好，但其他维度差距巨大 |
局限与改进
本文存在多方面的局限性。首先，当前100款游戏主要来自Apple App Store和Steam的热门榜单，偏向休闲、短时长的简单游戏，这些游戏主要测试即时推理和快速学习能力，而非长时间跨度的复杂认知任务。其次，评估框架（harness）的设计可能限制了模型表现——每秒才查询一次模型，且每次输出5组动作，这种离散交互方式与人类的实时连续交互存在本质差异，尽管作者通过排除需要快速反应的游戏进行了消融实验，但框架本身的影响可能更深层。第三，模型的「思考」时间不受限制，导致总耗时远超人类，这与真实场景中时间是关键资源的设定不符。第四，认知能力分类体系虽然有7个维度，但每个维度的标注仅基于三位标注者，且采用主观量表，可能存在标注一致性问题。第五，人类参与者通过Prolific招募，平均年龄38.81岁，可能存在样本偏差——这些参与者可能不代表最擅长游戏的人群。此外，作者自己也承认，当前的游戏生成主要依赖LLM，而LLM生成的p5.js游戏在复杂度和趣味性上存在天花板，难以生成需要小时级游玩时间的复杂游戏。
独立分析的弱点
本文存在几个值得深入分析的弱点。首先，游戏多样性不足——100款游戏虽然来自不同流派，但主要是简单的休闲游戏，缺乏需要复杂社交推理（如多智能体心理理论）、长时间策略规划、或创意问题解决的游戏。NPC（非玩家角色）的行为通常很朴素，不会根据玩家心理状态调整策略，这使得社交推理维度的评估能力有限。改进方向是引入更复杂的游戏类型，如需要多人协作的社交推理游戏、需要长期投资回报计算的经营类游戏等。其次，评估框架的实时性限制是一个根本性问题——当前的「每秒查询一次」设计人为降低了游戏的实时性要求，使得一些本质上需要快速反应和实时决策的游戏变成了「回合制」游戏。未来的改进应该探索更高效的模型推理架构，如边缘部署的小模型或专用硬件加速，以实现真正的实时交互。第三，认知能力标注的可靠性有待验证——仅三位标注者的主观评分可能存在系统偏差，未来应该增加标注者数量、引入客观的行为指标（如眼动追踪、反应时间等）来交叉验证。第四，模型便签本（scratchpad）的设计可能过于简单，无法支持复杂的长期记忆需求，未来可以探索更结构化的外部记忆机制。
未来方向
作者提出了多个明确的未来研究方向。第一，扩展游戏多样性——引入需要复杂多智能体交互的游戏，借鉴Melting Pot等框架，支持多个AI智能体之间或与人类玩家的协作和竞争场景。第二，生成更复杂、更有挑战性的游戏——当前的游戏主要是几分钟就能学会的休闲游戏，未来需要开发能够生成需要数小时游玩时间、具有复杂场景和故事情节的方法，这将迫使模型维护跨越巨大时间窗口的状态。第三，自动化关卡生成——虽然当前LLM能够生成可玩的游戏，但在设计有趣的关卡方面表现不佳（要么太简单要么不可能），需要更复杂的测试和迭代流水线来程序化生成有趣且有挑战性的游戏场景。第四，更深入的能力分析——需要更多的游戏来支持更高级的分析，特别是测量布局（measurement layouts）或ADeLe方法论在序贯决策场景中的应用。基于本文成果，还可以延伸探索：（1）将AI GAMESTORE与强化学习训练结合，用作训练信号而非仅作评估；（2）研究跨游戏的迁移学习——在一款游戏中学到的技能能否帮助玩另一款游戏；（3）探索不同评估框架设计（如实时交互、分层决策、多智能体协调）对模型表现的影响；（4）将认知能力分类体系应用于其他AI评估场景，如机器人操作、自然语言理解等。
复现评估
从复现性角度看，本文提供了相对充分的信息但也有局限。开源情况方面，作者公开了10款游戏供社区实验，但其余90款作为私有测试集保留，这虽然合理（防止针对基准的过拟合），但也限制了完整的可复现性。游戏代码基于p5.js，理论上可以完全复现。数据方面，人类参与者数据（106人，通过Prolific招募）的收集过程有IRB批准，但原始数据未公开。模型评估使用了7个前沿VLMs（GPT-5.2、Gemini-2.5-Pro等），其中大多数是闭源模型，只有Qwen-3-VL-32B和Llama-4-Maverick是开源的。算力方面，100款游戏乘以7模型乘以3次运行，每次运行最多120次API调用，总共约25万次API调用，这对研究机构来说是可承受的。复现难度中等——游戏生成流水线的关键环节（Claude Sonnet 4.5生成代码、Gemini 2.5 Flash评分筛选）依赖闭源模型，但可以用开源替代品（如Llama 3、Qwen等）近似复现。评估框架的实现细节（harness设计、提示格式）在论文中有详细描述，应该可以独立实现。总体而言，核心思想和实验框架可以复现，但精确复现需要访问闭源模型和完整的100款游戏数据。
论文图表
这张图展示了游戏如何作为现实世界复杂活动的抽象和容器化。左侧展示了各种现实活动（如战略规划、社交互动、资源管理等），右侧展示了对应的游戏类型，说明游戏本质上是人类为准备应对现实挑战而设计的认知训练工具。
这张图是理解本文核心论点的关键——为什么人类游戏空间是评估通用智能的理想测试床。它建立了从现实世界活动到游戏设计到认知能力需求的逻辑链条。