TowerMind：基于塔防游戏的LLM智能体学习环境与基准测试 TowerMind: A Tower Defence Game Learning Environment and Benchmark for LLM as Agents
轻量级塔防游戏环境，用于评估LLM的长期规划和决策能力
前置知识
长期规划（Long-term Planning）
指智能体将高层任务分解为一系列子目标，并制定从当前状态到最终目标的行动序列的能力。在塔防游戏中，这体现在玩家需要预判敌人波次、规划防御布局、管理资源分配的整体战略。长期规划要求模型具备时间序列推理和多步骤决策能力，而非仅对当前状态做出即时反应。
本文核心评估目标之一，理解长期规划的概念有助于把握LLM在复杂任务中的表现差距
决策制定（Decision-making）
指智能体根据当前环境状态，将规划好的子目标转化为可执行动作的能力。与长期规划不同，决策制定更强调实时性和适应性——当战场情况变化时（如敌人路径改变、资源不足），智能体需要灵活调整策略。在塔防游戏中，这表现为具体在哪个位置建造哪种塔、何时派遣骑士单位等微观操作。
本文评估的另一个核心能力，决策制定的质量直接影响游戏得分
幻觉（Hallucination）
在LLM语境下，幻觉指模型生成的内容与事实或上下文信息相矛盾的现象。在本文的游戏环境中，幻觉特指LLM生成的无效动作——即违反游戏规则或与当前游戏状态不一致的动作。例如，在没有塔点的位置尝试建塔、金币不足时升级塔、操控已死亡的英雄等。这些动作无法被执行，反映了模型对环境规则理解的不足。
本文创新性地将幻觉作为评估指标，通过有效动作率来衡量LLM的可靠性
多模态观察（Multimodal Observation）
指智能体同时接收多种格式的环境信息输入。在TowerMind中，包括三种观察模式：像素观察（512×512的RGB游戏画面截图）、文本观察（JSON格式的结构化游戏状态描述）、结构化游戏状态观察（759维的一维数值数组）。多模态观察允许评估不同LLM处理视觉和文本信息的能力差异。
TowerMind的核心特性之一，支持评估视觉输入对LLM决策能力的影响
部分可观察性（Partial Observability）
指智能体无法获取环境的完整信息，只能观测到部分状态。在TowerMind中，通过战争迷雾（Fog of War）机制实现：迷雾区域内的塔、骑士单位、英雄和敌人均不可见，且友方单位会被禁用。迷雾会随机移动，增加了环境的不确定性和难度。这模拟了现实决策场景中信息不完全的情况。
增加了环境复杂度，使评估更贴近真实世界的决策场景
研究动机
当前基于RTS（实时策略）游戏的LLM评估环境存在明显局限。一方面，以StarCraft II Learning Environment（SC2LE）为代表的主流评估平台计算需求高——需要约30GB磁盘空间、2GB内存和专用GPU，这限制了快速迭代和大规模并行训练的可能性。另一方面，现有的轻量级RTS环境（如ELF、DeepRTS、Gym-μrts）虽然降低了计算门槛，但缺乏对文本观察的支持，无法直接用于评估LLM。此外，当前的评估主要关注LLM的正确性（如能否理解游戏规则），而忽视了有效性（生成的动作是否真正有助于达成目标）和可靠性（是否产生无效动作）。
本文的目标是本文旨在开发一个轻量级、多模态的塔防游戏环境TowerMind，具体目标包括：（1）将计算需求降低至0.15GB磁盘空间和内存，无需专用GPU，支持CPU运行；（2）同时支持像素、文本和结构化三种观察模式，兼容纯语言和视觉语言LLM评估；（3）设计5个递增难度的基准等级，量化评估LLM的长期规划和决策制定能力；（4）引入幻觉评估机制，通过有效动作率衡量LLM的可靠性；（5）提供图形化关卡编辑器，支持研究者自定义评估场景。
与已有工作不同的是，本文抓住了现有评估体系中的三个被忽视的点。第一，计算效率与评估能力的平衡——TowerMind在保持RTS游戏核心评估特性（宏观管理和微观操作）的同时，将计算需求降低了两个数量级。第二，正确性与有效性的区分——论文发现LLM的有效动作率（85-90%）与人类专家（93-99%）差距较小，但实际得分差距巨大（62-84%），这揭示了LLM生成的「正确但无效」动作的问题。第三，误导信息识别能力——通过在地图中放置远离敌人路径的误导性塔点，评估LLM是否会被表面信息误导，这直接关系到LLM在真实应用中的安全性。
核心方法
TowerMind的设计思路可以用一个类比来理解：它就像一个简化版的「军事沙盘推演」——保留了RTS游戏的核心决策挑战（资源分配、单位部署、战场感知），但去除了对战不确定性（敌人是预设的波次而非另一个玩家），使得评估更加聚焦和可控。技术路线上，TowerMind基于Unity游戏引擎开发，使用Unity ML-Agents Toolkit扩展为AI环境，符合OpenAI Gym标准便于集成。环境由一系列独立关卡组成，每个关卡有独特的地图和敌人配置，玩家需要在预设的塔点建造防御塔、控制骑士单位和英雄单位，阻止敌人到达基地。
TowerMind最核心的创新在于将塔防游戏（TD）作为LLM评估的载体，这与传统RTS游戏评估有本质区别。TD游戏保留了RTS的两个关键能力评估维度——长期规划（整体防御布局）和决策制定（实时单位控制），但通过三个设计选择大幅降低了评估复杂度：（1）敌人是预设波次而非另一个玩家，消除了对手策略的不可预测性；（2）塔的位置是固定的，使得策略分析更加清晰；（3）专注于防御而非攻防对抗，减少了变量数量。同时，TowerMind创新性地引入了幻觉评估机制——通过有效动作率（valid action rate）来衡量LLM生成动作的合法性，这在游戏AI评估中是首创。此外，误导性塔点的设计巧妙地测试了LLM识别和忽略误导信息的能力。
方法步骤详情
TowerMind的评估流程包含以下步骤：（1）环境初始化——选择基准关卡（Level 1-5），每个关卡有特定的道路数量、塔点数量、敌人类型和资源参数，难度通过量化指标 $D(l) = d_r(l) + d_t(l) + d_e(l) + d_{re}(l)$ 计算；（2）观察生成——环境提供三种格式的观察：512×512像素图像、JSON文本状态、759维结构化数组，包含地图信息、敌人状态、塔状态、英雄状态、资源等；（3）LLM推理——将观察和提示词（包含游戏规则、动作空间说明、历史动作记录）输入LLM，LLM输出动作决策 $a = (x, y, c)$，其中 $(x,y)$ 是连续坐标，$c$ 是离散动作类型；（4）动作执行——环境验证动作合法性，执行有效动作，返回奖励信号（每个到达基地的敌人扣1分）；（5）循环迭代——每16个游戏步骤执行一次动作（约187 APM），直到关卡结束；（6）指标计算——统计总得分（范围-20到0）和有效动作率（0到1）。
技术新颖性
TowerMind的技术新颖性体现在四个方面。首先，它是首个专门为LLM评估设计的塔防游戏环境，填补了TD游戏在AI评估领域的空白——现有研究中TD游戏仅作为ELF环境的一个小模块，塔和敌人种类有限且不支持单位控制。其次，多模态观察设计使其能同时评估纯语言LLM和视觉语言LLM，这是现有轻量级RTS环境所不具备的。第三，幻觉评估机制是独创的——通过将无效动作（违反游戏规则的动作）与幻觉概念关联，提供了评估LLM可靠性的新视角。第四，环境的高度可定制性（图形化关卡编辑器、可修改的配置文件）使其能适应多样化的研究需求，降低了数据污染的风险。
实验结果
实验结果揭示了LLM在长期规划和决策制定方面的显著不足。在得分性能上，表现最好的商业LLM是GPT-4.1（视觉语言模式，平均0.42）和Claude 3.7 Sonnet（纯语言模式，平均0.38），但仍比人类专家基准低58%和62%。在最具挑战性的Level 5，所有模型的表现比人类专家低至少84%。值得注意的是，除Llama 3.2 90B外，所有评估模型在视觉语言模式下的得分均优于纯语言模式，表明视觉输入能增强LLM的环境理解能力。在有效动作率方面，三个商业LLM表现良好，与人类专家的差距小于20%（GPT-4.1: 0.86，Gemini-2.5-Pro: 0.87，Claude 3.7 Sonnet: 0.85，人类专家: 0.96）。然而，开源模型表现显著较差，Llama 3.2 11B和Qwen 2.5-VL 7B的有效动作率甚至低于随机基线（0.25）。随着关卡难度增加，所有模型的幻觉程度都会上升，表明更复杂的场景会挑战模型的生成稳定性。在RL基准实验中，Ape-X DQN和PPO算法在1亿环境步骤后能解决较简单的关卡，但性能仍远低于人类专家，证明TowerMind对RL算法也是有挑战性的。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Level 1 - 简单关卡 | 标准化得分 | GPT-4.1 (VL): 0.63, Claude 3.7 Sonnet (L): 0.62 | 人类专家: 1.00 | 比人类专家低37-38% |
| Level 3 - 中等难度 | 标准化得分 | GPT-4.1 (VL): 0.44, Claude 3.7 Sonnet (VL): 0.45 | 人类专家: 1.00 | 比人类专家低55-56% |
| Level 5 - 最难关卡 | 标准化得分 | GPT-4.1 (VL): 0.15, Claude 3.7 Sonnet (VL): 0.16 | 人类专家: 1.00 | 比人类专家低84-85% |
| 有效动作率（平均） | Valid Action Rate | GPT-4.1 (L): 0.86, Claude 3.7 Sonnet (L): 0.85 | 人类专家: 0.96 | 比人类专家低10-11% |
| RL基准（Ape-X DQN） | 标准化得分 | 平均约0.25（结构化观察） | 人类专家: 1.00 | 比人类专家低约75% |
局限与改进
论文承认的局限性包括：（1）评估范围有限——仅测试了5个基准关卡和7个LLM模型，可能无法代表所有场景和模型；（2）人类专家基准的样本量小（仅5人），可能存在个体差异；（3）零样本评估策略可能无法充分发挥LLM的潜力，少样本或思维链提示可能带来不同结果。我的独立观察：（1）论文未评估LLM在连续决策场景中的表现——TowerMind的动作频率是固定的187 APM，但实际RTS游戏需要动态调整APM；（2）幻觉评估仅关注动作的合法性，未深入分析幻觉的具体模式（如空间推理错误、规则理解错误等）；（3）RL实验仅使用了像素和结构化观察，未测试文本观察，这限制了与LLM评估的直接对比；（4）论文未讨论LLM的计算成本——虽然环境轻量，但调用商业LLM API的成本可能很高。
独立分析的弱点
基于我的分析，TowerMind存在以下弱点和改进方向。（1）提示词设计过于简单——当前使用零样本提示，仅包含基本规则和动作说明，缺乏策略指导。改进方向：可以引入少样本示例（展示人类专家的决策轨迹）或思维链提示（要求LLM先分析战场形势再决策），可能显著提升LLM表现。（2）观察空间信息密度低——文本观察包含大量冗余信息（如完整的敌人配置表），而关键信息（如塔的攻击范围与敌人路径的关系）需要LLM自行推断。改进方向：可以设计更精炼的观察格式，直接呈现关键决策信息。（3）奖励信号稀疏——仅在敌人到达基地时给予-1分奖励，缺乏中间奖励引导。改进方向：可以引入基于敌人血量、资源利用效率等的密集奖励，帮助LLM学习更有效的策略。（4）缺乏多智能体评估——当前是单人游戏，无法评估LLM的协作能力。改进方向：可以设计多人合作模式，评估LLM间的协调和沟通能力。
未来方向
论文作者提出和可延伸的未来研究方向包括：（1）视觉输入的深入研究——探索视觉信息如何增强LLM能力，例如通过视觉提示工程或视觉特征提取技术；（2）从正确性到有效性的评估范式转变——未来LLM评估应超越静态知识基准（如SuperGLUE、MMLU），更多采用交互式基准评估模型生成内容的实际效果；（3）误导信息识别机制——开发验证机制防止LLM被误导产生有害内容，这些机制应该是结果导向的，不仅评估表面内容还要评估生成内容的影响；（4）多模态融合优化——研究如何更好地整合视觉和文本信息，提升LLM的环境理解能力；（5）自适应难度调整——根据LLM的表现动态调整关卡难度，实现更精准的能力评估；（6）跨游戏泛化——研究在TowerMind上训练的策略能否迁移到其他游戏或真实世界任务。
复现评估
TowerMind在复现性方面表现良好。首先，项目已完全开源，代码托管在GitHub（https://github.com/tb6147877/TowerMind），包含完整的环境代码、基准关卡和评估脚本。其次，计算需求极低——仅需0.15GB磁盘空间和内存，可在CPU上运行，无需专用GPU，这大大降低了复现门槛。第三，环境基于Unity引擎和ML-Agents Toolkit，这些都是成熟且文档完善的工具。第四，所有随机性由用户定义的种子控制，给定相同种子和动作序列，环境产生完全相同的输出，确保实验可重复。第五，论文提供了详细的配置文件（JSON格式）和提示词示例，便于研究者理解和修改。复现难度评估：低。主要挑战在于需要理解Unity项目的结构，以及调用商业LLM API的成本（使用GPT-4.1等模型进行完整评估可能需要数十美元）。
论文图表
