PokéAgent 挑战赛：大规模竞争性与长上下文学习 The PokeAgent Challenge: Competitive and Long-Context Learning at Scale
基于宝可梦的大规模AI决策基准，含对战与速通双赛道评估框架
前置知识
不完全信息博弈（Imperfect Information Games）
在博弈论中，不完全信息博弈指参与者无法完全观察到游戏状态的一类博弈。与国际象棋等完全信息博弈不同，玩家需要基于部分可观察的信息进行推理和决策。在宝可梦对战中，不完全信息主要来源于队伍构建：每位玩家从庞大的设计空间中组建队伍，对手队伍的关键信息在被揭示前保持隐藏。这种设定要求智能体具备对手建模、概率推理和策略适应能力。
宝可梦对战的核心挑战正是不完全信息下的决策，论文将此作为基准的核心测试维度之一。理解这一概念是把握论文评估框架设计动机的关键。
马尔可夫决策过程（MDP）
MDP是强化学习的标准数学框架，定义为五元组 $M = (S, A, T, R, \gamma)$，其中 $S$ 为状态空间，$A$ 为动作空间，$T$ 为转移概率，$R$ 为奖励函数，$\gamma$ 为折扣因子。在速通赛道中，论文将RPG游戏玩法形式化为一个情景式MDP，其中动作为按键输入，导航转移基本确定但战斗具有随机性，奖励为每个里程碑+1且 $\gamma = 1$。
MDP框架是论文形式化速通任务的数学基础，也是理解RL基线方法工作原理的前提。
Bradley-Terry 模型
Bradley-Terry模型是一种用于成对比较的概率模型，通过最大似然估计从一系列两两比较结果中推断参与者的能力评分。模型假设参与者 $i$ 击败参与者 $j$ 的概率为 $P(i > j) = \frac{p_i}{p_i + p_j}$，其中 $p_i$ 为参与者 $i$ 的强度参数。论文采用基于全历史的Bradley-Terry模型（FH-BT）作为主要评分指标，相比Showdown自带的Elo评分更加稳定可靠。
FH-BT是论文对战赛道的核心评估指标，理解其原理才能理解排行榜和性能对比的含义。
蒙特卡洛树搜索（MCTS）
MCTS是一种基于随机采样的搜索算法，通过反复进行选择、扩展、模拟和回溯四个步骤来构建搜索树。在不完全信息博弈中，根并行化MCTS（Root-Parallelized MCTS）通过在多个采样的信息集上并行搜索来处理隐藏信息。论文中提到FoulPlay团队在Gen 9 OU赛道中使用了基于MCTS的搜索方法并获得冠军。
MCTS是获胜参赛队伍使用的关键技术之一，理解它有助于把握竞赛结果中专家方法的优势所在。
策略蒸馏（Policy Distillation）
策略蒸馏是一种将一个大型教师模型的知识转移到一个小型学生模型的技术。在论文的速通赛道中，获胜队伍Heatz采用的脚本策略蒸馏（Scripted Policy Distillation, SPD）方法首先使用LLM将任务分解为子目标并为每个子目标生成脚本策略，然后通过模仿学习将这些策略蒸馏到神经网络中，最后用RL进行精炼。这种方法结合了LLM的高层推理能力和RL的低层优化能力。
SPD是竞赛中表现最好的速通方法，代表了LLM与RL结合的前沿方向，是论文跨赛道洞察的核心案例。
Glicko-1 和 GXE 评分
Glicko-1是Elo评分的一种变体，通过引入评分偏差（rating deviation）来反映评分的不确定性。GXE（Glicko-2 Expected）表示在Showdown上随机抽样对手时的预期胜率，是一个百分比指标。论文在排行榜上报告这两种指标，但指出它们是为大规模人类玩家池设计的，在AI评估场景中噪声较大，因此选择FH-BT作为主要指标。
理解这些评分系统的区别和适用场景对于正确解读论文中的性能对比数据至关重要。
研究动机
当前AI决策领域的基准测试存在严重的碎片化问题。标准测试往往只聚焦于单一维度：不完全信息博弈强调短回合内的均衡计算，开放世界环境测试探索能力但缺乏对抗性对手。更重要的是，2025年宝可梦AI领域的研究高度碎片化——Claude Plays Pokémon使用35,000个动作完成游戏的一小部分，Gemini 2.5 Pro用406小时完成整个Pokémon Blue，OpenAI的GPT-5用6,470步完成游戏。但这些努力使用了不同的游戏版本（Red、Blue、Crystal、Emerald）、不同的代理框架和不同的评估标准，导致有意义的比较几乎不可能实现。Gemini 3 Pro的173小时通关是否比Claude Opus 4.6到达胜利之路更好？GPT-5的步数是否考虑了相同的机制？这种将代理框架与模型能力混为一谈的做法，使得无法将成功归因于代理架构、底层模型还是简化感知的硬编码假设。
本文的目标是本文旨在建立一个标准化的评估框架——Pokéagent Challenge，通过两个互补赛道来全面评估AI智能体在宝可梦环境中的决策能力：竞技对战赛道评估在不完全信息下进行宝可梦竞技对战的策略推理和泛化能力，RPG速通赛道测试在Pokémon Emerald中快速通关所需的长程规划和序贯决策能力。具体目标包括：构建最大的公开宝可梦对战数据集（400万+人类演示和1800万+合成对战），提供涵盖启发式、RL和LLM基线的完整评估套件，以及建立一个可持续运营的活基准（living benchmark）。
与已有工作不同的是，本文的独特切入角度体现在三个方面。首先，宝可梦是唯一一个同时在大规模下融合对抗性推理、不完全信息和长程规划的环境——拥有约 $10^{564}$ 种可能的对战状态、1000+可用宝可梦种类及其多样化的招式和特性组合，以及持续演化的竞技元游戏。其次，宝可梦提供了一种独特的分布外（OOD）评估形式：虽然大量宝可梦知识存在于预训练语料库中，但将这些潜在知识转化为有效的多轮序贯决策是根本不同的能力，且竞技元游戏的持续变化创造了自然分布偏移，测试的是适应而非记忆能力。最后，通过BenchPress评估矩阵分析，宝可梦对战与标准LLM基准测试几乎正交：标准基准测试的秩-2 SVD能解释91%的方差，但仅能捕获27%的GXE方差，表明宝可梦测量的是现有评估套件未捕获的能力。
核心方法
Pokéagent Challenge的整体方法论是构建一个双轨评估框架，将宝可梦的两个核心玩法——竞技对战和RPG速通——形式化为标准化的AI基准测试。对战赛道基于Pokémon Showdown这一开源模拟器，将宝可梦的回合制战斗机制转化为一个独立的竞技游戏，形式化为两人零和随机博弈，具有不完全信息和同步动作选择的特点。速通赛道则将RPG游戏玩法形式化为情景式MDP $M = (S, A, T, R, \gamma)$，其中动作为按键输入，奖励为每个里程碑+1。两条赛道都提供了完整的基础设施：标准化的评估服务器、公开排行榜、大规模数据集和多样化的基线方法，使得RL、LLM和混合方法能够在公平的条件下进行比较。
本文的核心创新在于首次将宝可梦——一个同时包含不完全信息博弈和长程规划的复杂环境——标准化为一个大规模、可持续运营的AI基准。与之前碎片化的努力不同，论文的关键区别在于：（1）解耦代理框架与模型能力——通过标准化的评估环境和可配置的框架维度（状态表示S、工具T、记忆M、反馈F、微调Φ），使得方法可以在同等条件下比较；（2）提供规模空前的数据资源——20M+对战轨迹、200K+专家验证队伍，远超之前的工作；（3）建立活基准而非一次性竞赛——包含实时排行榜和自包含评估，支持持续的研究进展追踪。这种设计使得宝可梦成为继Arcade Learning Environment和MineRL之后，首个同时测试对抗性推理和长程规划的大规模标准化基准。
方法步骤详情
方法的具体实施分为两条赛道。对战赛道：（1）构建标准化评估服务器——在独立的Pokémon Showdown服务器上运行AI对战，避免干扰人类玩家；（2）数据集构建——从Showdown归档的十年公开对战中提取数据，通过推断私人信息重建每位玩家视角的RL轨迹，生成400万+人类演示和1800万+合成对战轨迹，以及200K+队伍数据；（3）基线方法开发——包括基于启发式的机器人、从RNN到200M参数Transformer的30个RL检查点、以及支持前沿API模型和开源模型的LLM框架（含深度受限极小极大搜索和LLM位置评估）；（4）评估协议——采用FH-BT评分作为主要指标，支持两种时间约束（标准计时和扩展计时），在Gen 1 OU和Gen 9 OU两种规则集下进行评估。速通赛道：（1）环境搭建——以固定帧率运行游戏服务器，代理接收视觉帧和有限状态信息；（2）里程碑定义——将游戏划分为15个标准化里程碑，从Littleroot Town到击败第一个道馆馆主Roxanne；（3）多代理编排系统——中央编排器维护高层路线规划，动态调度战斗策略、自我反思、道馆谜题和目标验证等专用子代理，支持MCP工具（A*寻路、按键输入、知识检索）和自动上下文压缩；（4）评估标准——以完成百分比为主要指标，完成100%的代理按完成时间排名，相同时间按动作数量打破平局。
技术新颖性
本文的技术新颖性体现在多个层面。首先，宝可梦环境本身具有独特性：约 $10^{564}$ 种可能的对战状态空间远超围棋（$10^{170}$）和扑克，同时结合了不完全信息、随机性和对抗性，这在现有基准中是前所未有的。其次，论文首次提出了系统的框架-模型解耦分析方法：通过五个维度（状态表示S、工具T、记忆M、反馈F、微调Φ）分析LLM速通系统，揭示了不同框架组件对性能的贡献。第三，跨赛道的正交性分析具有方法论创新：将宝可梦对战GXE分数添加到BenchPress的83模型×49基准矩阵中，发现标准基准的秩-2结构无法捕获宝可梦能力，Spearman相关系数最高仅0.77，均值仅0.45，表明宝可梦测试的是全新维度的能力。最后，获胜方法Heatz的脚本策略蒸馏（SPD）代表了一种新颖的LLM-RL结合范式：用LLM进行任务分解和策略生成，用RL进行策略精炼和执行加速，这种模式在游戏之外的领域也具有广泛适用性。
实验结果
本文的核心发现可以归纳为四个方面。第一，专家方法显著优于通用LLM：在对战赛道中，16个晋级名额中有13个由扩展公开RL基线的团队获得，只有3个由独立方法（Porygon2AI的RL方法和FoulPlay的MCTS搜索方法）获得；在速通赛道中，前两名Heatz（40:13）和Hamburg（纯RL）都使用了基于RL的方法，Heatz的速度是最佳纯LLM方法（anthonys, 01:29:17）的2倍以上。第二，LLM作为先验、RL作为精炼的范式效果显著：Heatz使用LLM分解任务并生成初始脚本策略，然后通过RL蒸馏到神经网络中，这种结合方式比单独使用任一方法都更有效。第三，宝可梦暴露了标准基准未捕获的推理失败：较弱模型表现出恐慌行为——在小的战术错误后不断累积失误而非恢复；不同模型家族有不同失败模式，包括记忆级联损坏、目标振荡、过度计划承诺和计算瘫痪。第四，宝可梦对战与标准LLM基准几乎正交：将GXE分数添加到BenchPress的83模型×49基准矩阵后，标准基准的秩-2 SVD解释91%方差但仅捕获27%的GXE方差，多个在标准基准上达到前沿水平的模型在对战中崩溃，反之亦然。竞赛吸引了100+团队和650+研究人员参与，产生了150+提交和10万+对战。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 宝可梦竞技对战（Gen 9 OU） | GXE（预期胜率） | 最佳RL基线（PokéAgent）达到90th百分位人类水平，约91% GXE | 先前Metamon RL策略和PokéChamp LLM代理 | RL基线相比先前工作显著提升，最佳RL在自对弈梯子上GXE约91%，最佳LLM（Gemini 3.1 Pro）约91%但仅在自对弈场景下 |
| 宝可梦RPG速通（Pokémon Emerald第一道馆） | 完成时间（小时:分:秒） | Heatz（SPD）40:13，Hamburg（Rec. PPO）约1小时18分 | 人类世界纪录18分钟，平均人类玩家1:22:05 | Heatz比第二名快2倍以上，但仍是人类WR的2.2倍，平均人类的约1.8倍 |
| LLM速通框架对比 | 完成里程碑数和时间 | Pokéagent框架下Gemini 3 Flash平均约2:24完成 | Claude Code、Codex CLI、Gemini CLI等通用CLI代理框架 | 领域专用框架显著优于通用CLI框架，后者无法在数千步决策中保持连贯性 |
| BenchPress正交性分析 | Spearman相关系数和SVD方差捕获率 | GXE与49个标准基准最大ρ=0.77，均值|ρ|=0.45 | 标准基准间通常高度相关，秩-2 SVD解释91%方差 | 宝可梦对战打破了标准基准的低秩结构，秩-2 SVD仅捕获27%的GXE方差 |
局限与改进
论文承认的局限性包括：（1）当前最强基线仍未达到超人水平——最佳RL基线在GXE上接近但未超越顶级人类玩家（90th百分位），速通最佳成绩（Heatz 40:13）仍是人类世界纪录（18分钟）的2.2倍；（2）速通评估范围有限——目前仅覆盖到第一个道馆馆主Roxanne，虽然这个早期片段就需要数千步代理动作和数百万推理token，但完整游戏的评估尚未实现；（3）开源模型的局限——没有任何开源模型能在没有大量框架支持的情况下完成RPG速通，而专有前沿模型也需要领域专用框架才能取得有意义的进展；（4）数据隐私问题——虽然论文从Showdown归档中提取数据时进行了匿名化处理，但十年公开对战数据的隐私保护仍需谨慎。此外，我的观察是：论文的评估主要集中在Gen 1 OU和Gen 9 OU两种规则集上，虽然基础设施支持更多格式，但其他规则集的表现可能不同；竞赛的时间窗口（2025年7月至12月）可能限制了某些团队的准备时间；LLM基线的扩展计时设置虽然公平，但在实际部署场景中可能不切实际。
独立分析的弱点
论文存在以下几个值得注意的弱点。首先，数据集的代表性问题：虽然20M+对战轨迹规模庞大，但这些数据主要来自Showdown的公开对战，可能无法完全代表最高水平的竞技对战，且合成数据的质量和多样性可能与真实人类对战存在差距。其次，评估的静态性问题：FH-BT评分虽然比Elo更稳定，但仍是在固定代理池中评估的，无法反映代理在面对全新策略时的适应能力，而这种适应能力恰恰是宝可梦竞技的核心。第三，速通赛道的里程碑设计可能存在游戏化倾向：将连续的游戏流程划分为离散里程碑可能忽略了里程碑之间的复杂依赖关系，且完成时间指标可能过度奖励速度而忽略决策质量。改进方向包括：引入动态对手池评估、设计更细粒度的过程奖励信号、以及在更多规则集上进行系统性评估。
未来方向
论文明确提出了四个开放挑战作为未来研究方向。（1）VLM-SLAM：速通代理在基本定位、动作距离估计和目标检测方面存在困难，将VLM输出锚定到一致的空间表示——类似于通过语言-视觉接口实现经典SLAM——仍是RPG游戏的瓶颈。（2）缩小对战中LLM与RL的差距：专家RL代理远超框架LLM代理，开发能匹配RL性能的LLM代理，或结合RL样本效率和LLM世界知识的混合方法，是开放问题。（3）使用开源模型完成完整游戏：专有前沿模型已在大量框架支持下完成了宝可梦RPG，但没有任何开源模型做到这一点，实现这一目标将使长程RPG评估对更多研究团队可及。（4）接近人类速通时间：最佳代理（Heatz, 40:13）比人类速通者慢2.2倍，缩小这一差距需要在导航效率、障碍物避让和目标排序方面的进步。基于论文成果可延伸的方向包括：将Pokéagent框架应用于其他RPG游戏、探索宝可梦对战中的多智能体协作、以及利用正交性分析发现来设计新的LLM评估基准。
复现评估
论文在复现性方面做出了显著努力。所有数据集、基线代码和基础设施都已公开发布在GitHub和HuggingFace上，确保了长期可用性。对战赛道提供了一个专门的Showdown服务器用于AI基准测试，速通赛道支持本地运行的自包含评估。论文发布了完整的30个RL检查点、从RNN到200M参数Transformer的多种架构、以及支持前沿API和开源模型的LLM框架。数据方面，400万+人类演示、1800万+合成对战和200K+队伍数据全部公开。评估服务器和排行榜由组织团队维护并有资金支持。复现难度方面，对战赛道的复现相对容易——使用提供的数据和代码可以训练和评估RL/LLM代理；速通赛道的复现需要配置宝可梦模拟器和多代理编排系统，难度中等；但要复现获胜方法（如Heatz的SPD）需要大量计算资源和RL训练经验。总体而言，论文的开源程度在游戏AI基准中属于最高水平，为后续研究提供了坚实基础。
论文图表
该图展示了不同游戏基准的状态空间复杂度与智能体类型（RL Agent、LLM Agent、Heuristic）的关系。x轴为状态空间复杂度（对数尺度，从 $10^{10}$ 到无界），y轴为性能百分比。图中包括国际象棋、围棋、扑克、星际争霸II、Dota 2、Minecraft、宝可梦对战和宝可梦RPG等多个基准。宝可梦对战位于状态空间复杂度约 $10^{564}$ 的位置，结合了部分可观察性和零和博弈特性，是图中最复杂的环境之一。
这张图直观展示了宝可梦在游戏AI基准中的独特位置——它同时具有极大的状态空间和部分可观察性，这是其他基准无法同时满足的特性，为理解论文的动机提供了关键背景。