PokeGym：面向视觉语言模型的视觉驱动长视距基准 PokeGym: A Visually-Driven Long-Horizon Benchmark for Vision-Language Models

方法执行分四阶段。第一阶段是任务形式化，每个任务由初始存档（消除起点差异）、成功判据（如坐标落入目标包围盒）、固定步数预算（180–360步，源自人类演示启发）和终止条件四部分组成。第二阶段是观测构造，默认仅传入前置摄像头帧，可扩展为包含前一帧和左右视图共4张图像以丰富空间与时序上下文。第三阶段是动作解码，支持两种范式：高层离散动作（7个宏动作，每个查询最多输出3步）和参数化连续控制（$X, Y \in [-1.0, 1.0]$、持续时间$t$），并通过 $|A_{discrete}| = 7^3 = 343$ 和 $|A_{parametric}| \approx 6.38 \times 10^{12}$ 量化动作空间爆炸。第四阶段是AOB自动评估：先在Cheat Engine上用'未知值扫描+运动过滤+二分消除锁定'四步定位控制变量地址，再用多次重启的稳定字节模式作为签名，运行时仅通过VirtualQuery过滤出MEM_COMMIT、PAGE_READWRITE、MEM_MAPPED的页进行通配符匹配，从而在跨机器场景下也能稳定恢复坐标、地图ID和任务标志。

技术新颖性体现在三方面：(1) '状态空间复杂度'分析显示仅空间+视角的简化状态空间就已达到 $|S| \in [67320, 870840]$，配合 $O(7^{360}) \approx 10^{304}$ 和 $O(18543^{360}) \approx 10^{1536}$ 的博弈树规模，揭示了暴力搜索和短视规划在PokeGym上的不可行性；(2) '指令粒度诊断'首次把VLM能力拆成视觉定位、语义推理和自主探索三档，配合行为指标（IM%、Rec%、MaxIM、Ent）实现联合分析；(3) '失败四象限'（Unaware/Aware Deadlock、Lost、Execution Failure）通过对比智能体'主观文本推理'与'客观物理状态'自动归因，并得到人工标注验证（Micro-F1=0.7368，Jaccard=0.6425）。这套机制让PokeGym不仅是评测工具，更是研究VLM具身失败机理的实验平台。

从论文的实验结果可以独立分析出若干弱点。第一个弱点是'时间一致的轨迹推理缺失'：当去除L/R视图后，Navigation的SR从20%直接掉到30%，但加上时间反射（Vis. Refl.）Mixed任务反而从33.33%暴涨到73.33%，说明模型对'上一步发生什么'高度依赖，无法独立从单帧推断动作结果——可通过引入显式记忆模块或预测性世界模型来改善。第二个弱点是'微观几何感知盲区'：Qwen3.5-122B即使最终完成Navigation仍产生14.40% IM%，显示出对柱子、围栏、植物等小尺度碰撞边界的忽视；可考虑加入深度估计前置模块或预训练的碰撞检测器。第三个弱点是'反思机制的不可控放大'：Self-Reflection在Qwen3-VL的Mixed任务上把SR从44.44%打到28.89%，说明反射模块会强化先前的错误策略，需要更严格的反思触发条件和'反思效用判别器'。第四个弱点是'Open vs. Closed的性能鸿沟'：开源模型在Goal-Only Mixed任务上几乎全部低于20%，而Gemini-3-Pro也只有26.67%，存在明显的'专有模型墙'，未来需要在开源模型中加入显式空间记忆和几何推理头。

作者明确提出的方向是引入音频模态，将PokeGym从'纯视觉'升级为'真正多模态'的具身评测，使其更接近人类感知。论文还提到AOB扫描天然可提供密集奖励信号，因此将基准从评测扩展为'训练环境'（支持RL和IL）是自然的下一步。基于成果还可延伸出多条研究线：(1) 针对'Unaware Deadlock'开发'碰撞感知增强'训练，让模型在卡住时能主动触发旋转或后退；(2) 针对'Aware Deadlock'研究'微观3D几何状态估计'模块，将2D像素特征显式提升为3D占用栅格；(3) 利用PokeGym的可控性研究'指令粒度自适应'——让模型根据自身能力动态请求更多上下文；(4) 探索'思考-行动延迟对齐'的方案，论文在H节指出Gemini-3-Pro的Token消耗和成本是GPT-5.4-nano的30倍以上，存在巨大的效率优化空间；(5) 跨游戏泛化，结合NitroGen等基础模型验证PokeGym的发现是否可迁移到其他3D开放世界。

PokeGym的可复现性工程实现得相当扎实：作者承诺代码与基准会开源到GitHub；不分发ROM、解密密钥、固件等任何受版权保护的资源，研究者必须自行合法获取并dump游戏拷贝；评测基于开源的Ryujinx模拟器（C#实现），可跨机器运行；每个任务都附带预配置的初始存档，所有模型在相同起点、相同prompt模板、相同步数预算下对比；自动评估器使用AOB签名（8字节header + 32通配符），不依赖硬编码地址，在同版本游戏的不同机器上都能稳定重定位。然而完全复现仍存在一些门槛：(1) 需要一台能流畅运行Switch模拟器的PC（建议独显），加之Pokemon Legends: Z-A本身是大作，推理算力消耗大，11个模型×30任务×3粒度×5 trial的完整实验估计需要数天到数周；(2) 论文H节报告的Token成本显示，仅Gemini-3-Pro一个模型在Visual-Guided设置下每集消耗388k token、单次成本$1.246，闭源模型完整跑完基准需数百美元；(3) AOB签名的稳定性虽然在'同游戏版本'下已验证，但若任天堂后续推送更新，签名可能失效需要重新提取。