星际争霸II中的世界模型用于策略优化 World Models for Policy Refinement in StarCraft II
首个星际争霸II世界模型，通过预测未来观测实现LLM决策的前瞻性优化
前置知识
世界模型（World Model）
世界模型是一种内部环境模拟器，能够根据当前状态和候选动作预测未来的环境状态。在强化学习中，世界模型允许智能体在想象中模拟动作后果，而无需在真实环境中执行。经典工作如DreamerV3在潜空间构建动态模型，MuZero结合蒙特卡洛树搜索进行在线规划。本文将这一概念引入星际争霸II，构建了一个基于LLM的动作条件世界模型，能够在部分可观测条件下预测未来5秒的游戏观测。
本文的核心贡献就是构建了星际争霸II的第一个世界模型，理解世界模型的基本概念和在决策中的作用是理解本文方法论的基础。
部分可观测马尔可夫决策过程（POMDP）
POMDP是描述不完全信息环境下序贯决策问题的数学框架，用元组 ⟨S, A, T, R, Ω, O, γ⟩ 表示。与完全可观测的MDP不同，智能体无法直接观测全局状态 s ∈ S，只能获得受限的观测 o ∈ Ω。星际争霸II中的战争迷雾（Fog of War）就是典型的部分可观测设定：玩家只能看到自己单位视野范围内的信息，敌方单位和建筑在迷雾中不可见。
星际争霸II是一个典型的POMDP环境，本文的世界模型需要在不完全信息条件下预测未来，理解POMDP框架有助于理解本文问题建模的技术细节。
监督微调（Supervised Fine-Tuning, SFT）
监督微调是将预训练大语言模型适配到特定下游任务的技术。通过在高质量的指令-响应对上进行训练，模型能够学习特定领域的知识和行为模式。本文使用LoRA（Low-Rank Adaptation）技术，仅训练低秩适配矩阵（rank=8），在冻结原始模型参数的情况下实现高效微调。这种方法大幅降低了训练成本，同时保留了预训练模型的通用能力。
本文使用Qwen3-8B作为世界模型的骨干网络，通过SFT学习星际争霸II的动态预测，理解SFT和LoRA的工作原理有助于评估方法的可行性和复现难度。
最优传输（Optimal Transport）
最优传输理论研究如何以最小代价将一个概率分布转换为另一个概率分布。其核心是求解一个线性分配问题，找到源分布和目标分布之间的最优匹配。本文借鉴这一思想提出了增强Wasserstein距离（AWD），通过构建包含匹配代价、漏检惩罚和幻觉惩罚的代价矩阵，评估预测的宏观态势与真实态势之间的空间分布一致性。
AWD是本文评估世界模型预测质量的核心指标之一，理解最优传输的思想有助于理解该指标的设计动机和计算方式。
指令微调数据集（Instruction-Tuning Dataset）
指令微调数据集是专门为大语言模型微调设计的数据格式，通常包含指令（instruction）、输入（input）和期望输出（output）三元组。本文构建的SC2-Dynamics-50k数据集采用 (当前观测, 动作序列) → 未来观测 的格式，共包含50,407个训练样本。数据来自规则AI与内置AI在LV6和LV7难度下的对战录像，经过轨迹分割和滑动窗口处理生成。
数据集是训练世界模型的基础，理解其构建方式和规模有助于评估模型的学习能力和泛化潜力。
研究动机
近年来，大语言模型在星际争霸II等复杂决策任务中展现出强大潜力，已有多项工作从不同角度探索LLM-based SC2智能体。TextStarCraft II提出了链式摘要（Chain of Summarization）压缩观测历史，LLM-PySC2引入外部Wiki知识和多模态观测，StarEvolve采用分层框架解耦战略规划和战术执行，Comm-CoT通过多智能体协作实现任务分解。然而，这些方法都聚焦于改进策略模型本身——即如何让LLM更好地理解和生成动作——却忽视了一个关键组件：将可学习的动作条件转移模型（action-conditioned transition model）集成到决策循环中。具体来说，现有方法都是看到当前状态就直接做决策，缺乏对候选动作未来后果的前瞻性模拟。这导致智能体在宏观管理层面容易出现资源浪费（如在矿物紧张时建造供给站）、供给阻塞（supply block）等问题，在微观战术层面难以评估战斗交换比（combat exchange ratio），无法避免不利交战。认知科学研究表明，人类在处理复杂任务时会依赖内部因果世界模型进行短期模拟，从而调整动作以避免损失、最大化收益。但这一认知机制在现有SC2智能体中完全缺失。
本文的目标是本文的具体目标是构建星际争霸II的第一个动作条件世界模型StarWM，使其能够在部分可观测条件下，给定当前观测和候选动作序列，预测未来5秒的游戏观测状态。在此基础上，将该世界模型集成到LLM决策循环中，构建StarWM-Agent系统，实现前瞻驱动的策略优化（foresight-driven policy refinement）。离线评估目标包括：资源预测误差（SMAPE）降低60%以上，任务进度预测误差（Progress MAE）降至1%以下，自方宏观态势一致性提升近60%。在线评估目标是：在LV5-LV7三个难度级别上实现胜率提升，同时显著降低供给阻塞率、提高资源转化率和有效动作率。
与已有工作不同的是，本文的独特切入角度在于：它不是继续改进LLM策略本身，而是首次将环境动力学建模引入星际争霸II的LLM决策框架。此前唯一相关的工作是StarCraft Defogger（Synnaeve等，2018），但它关注的是状态外推 P(s_{t+k} | o_{≤t})，即基于历史观测预测未来状态，而非动作条件动力学建模 P(s_{t+k} | o_{≤t}, a_t)。这意味着Defogger无法作为前瞻模拟器来评估候选动作的后果。本文抓住了这个被忽视的关键点：星际争霸II的动力学本质上是一个多任务预测问题——资源变化遵循加法累积和消耗，建造/生产进度遵循确定性时间推进，单位运动遵循空间运动学，战斗结果由伤害机制驱动。这种异构动力学特性恰好可以通过结构化文本表示进行分解，从而降低学习难度。
核心方法
本文的方法可以类比为一个心智模拟器：就像人类棋手下棋时会在脑中推演几步棋的后果一样，StarWM-Agent在执行动作前会先用世界模型想象5秒后的游戏状态，然后根据模拟结果修正决策。技术路线分为三个层次：首先，设计结构化文本观测表示，将星际争霸II的异构状态信息分解为5个语义模块（Info、Queue、My Units、My Structures、Visible Hostiles），将复杂的状态空间分解为多个子动力学预测问题；其次，基于这种表示构建SC2-Dynamics-50k数据集，通过监督微调训练StarWM世界模型；最后，设计Generate-Simulate-Refine决策循环，将世界模型集成到LLM策略中，实现前瞻驱动的动作优化。整个系统的核心洞察是：星际争霸II的不同状态维度遵循不同的动力学规律，通过结构化分解可以显著降低学习负担，加速收敛。
本文最本质的创新是将星际争霸II的观测级动力学显式分解为多个语义子动力学，并用文本作为统一表示接口。这一设计的核心洞察在于：星际争霸II的状态演化是一个多任务动力学预测问题——资源变化是数值流（加法累积与消耗），建造/生产进度是确定性时间推进，单位位置是空间运动学，战斗结果是伤害机制驱动的交互。如果用单一模型直接预测整个观测的变化，模型需要同时学习所有这些不同的动力学规律，学习负担极重。而通过将观测分解为5个语义模块，每个模块对应一组相对同质的子动力学，模型可以更高效地学习每个子任务的规律。更重要的是，文本表示天然与LLM兼容，无需设计复杂的编码器-解码器架构，直接复用预训练语言模型的语言理解和生成能力。这与基于潜空间的世界模型（如DreamerV3）有本质区别：后者需要学习一个隐空间表示和动态模型，而本文直接在语义丰富的文本空间操作，利用了LLM的预训练知识。
方法步骤详情
StarWM的完整方法流程包含四个主要步骤。第一步是结构化文本观测表示的设计：将SC2引擎暴露的异构信息（标量如矿物/瓦斯、离散分类变量如单位类型/升级、连续空间坐标如位置）统一映射为文本，分解为5个语义模块——Info（经济与状态：矿物、瓦斯、采集率、供给、警报、升级）、Queue（进行中的任务及其进度）、My Units（己方单位的ID、位置、生命值百分比、能量和状态）、My Structures（己方建筑）、Visible Hostiles（可见敌方单位/建筑及迷雾下的快照建筑）。第二步是数据集构建：在Flat64地图上，Terran对Terran的对战中，用规则AI对抗LV6和LV7内置AI各收集50条轨迹，按8:1:1划分训练/验证/测试集，以5秒为预测窗口、1秒为滑动步长切分轨迹，得到50,407个训练样本。第三步是世界模型训练：使用Qwen3-8B作为骨干，LoRA rank=8、学习率5e-5、在8×H100上训练10个epoch。第四步是在线决策集成：StarWM-Agent采用Generate-Simulate-Refine循环——策略模型先生成初始动作提案，世界模型预测执行该动作后的5秒未来观测，策略模型再根据预测结果修正决策。
技术新颖性
本文的技术新颖性体现在三个层面。第一，在问题定义上，首次将星际争霸II的世界建模从状态外推（P(s_{t+k} | o_{≤t})）推进到动作条件动力学建模（P(s_{t+k} | o_{≤t}, a_t)），使得世界模型能够作为前瞻模拟器评估候选动作的后果。第二，在表示设计上，提出结构化文本观测表示，将异构动力学分解为语义子模块，这一设计既利用了LLM的文本理解能力，又通过结构化分解降低了学习难度——与DreamerV3等潜空间方法需要学习隐表示不同，本文直接在语义空间操作。第三，在系统集成上，设计了Generate-Simulate-Refine决策循环，将世界模型的预测无缝嵌入LLM的文本决策过程，无需昂贵的搜索算法（如MCTS）。这三个创新点形成了完整的技术闭环：结构化表示使得动力学学习成为可能，动作条件建模使得前瞻模拟成为可能，决策循环设计使得策略优化成为可能。
实验结果
本文的实验结果全面验证了StarWM的有效性，涵盖离线评估和在线测试两个维度。离线评估方面，StarWM在几乎所有指标上都显著超越基线：资源预测上，矿物SMAPE从基线的0.48降至0.19（降幅60%），瓦斯SMAPE从0.26降至0.09（降幅65%）；任务进度预测上，Queue F1达到0.92，Progress MAE仅为0.43%，而所有基线的误差都超过24%——这意味着StarWM能够精确捕获星际争霸II的确定性建造机制；微观属性上，己方单位HP MAE降至4.15%，敌方单位HP MAE降至7.90%，均优于基线；宏观态势上，己方AWD从基线的9.79降至3.46，提升近60%。值得注意的是，零样本LLM（8B和32B）在大多数指标上都无法稳定超越简单的Static Bias基线，说明通用预训练模型缺乏星际争霸II物理规律的先验知识。在线测试方面，StarWM-Agent（32B）在LV5/LV6/LV7三个难度上分别实现50%/40%/50%的胜率，相比基线提升30%/15%/30%。供给阻塞率从基线的58-63%降至5-6%，资源转化率从29-33%提升至76-84%，有效动作率从17-25%提升至82-86%。消融实验表明，自我反思（Generate+Refine）带来明显改进，零样本世界模型进一步提升，而经过轨迹训练的StarWM带来最大增益，验证了准确的动作条件模拟是性能提升的关键。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 矿物资源预测 | SMAPE | 0.19 | 0.48 (Qwen3-32B) | 降低60% |
| 瓦斯资源预测 | SMAPE | 0.09 | 0.26 (Qwen3-32B) | 降低65% |
| 任务队列预测 | Queue F1 | 0.92 | 0.70 (Qwen3-32B) | 提升31% |
| 任务进度预测 | Progress MAE (%) | 0.43 | 24.27 (Qwen3-32B) | 降低98% |
| 己方宏观态势 | AWD | 3.46 | 9.79 (Qwen3-32B) | 降低65% |
| 在线胜率 (LV5 Hard) | Win Rate | 50.0% | 20.0% (Qwen3-32B) | +30% |
| 在线胜率 (LV6 Harder) | Win Rate | 40.0% | 25.0% (Qwen3-32B) | +15% |
| 在线胜率 (LV7 VeryHard) | Win Rate | 50.0% | 20.0% (Qwen3-32B) | +30% |
| 供给阻塞率 (LV7) | SBR (%) | 5.39 | 16.39 (Qwen3-32B) | 降低67% |
| 资源转化率 (LV7) | RCR (%) | 76.27 | 55.74 (Qwen3-32B) | +37% |
局限与改进
本文在取得显著成果的同时，也存在若干局限性。首先，在敌方预测方面，StarWM和零样本LLM都略微不如Static Bias基线（敌方AWD 18.09 vs 16.13），这揭示了部分可观测条件下单步预测的根本性限制：在战争迷雾下，敌方行为高度不可观测，简单的假设敌人不动策略反而在短时间窗口内更准确。StarWM试图预测合理的敌方行为（如侦察或重组），但这种概率性预测高度依赖训练数据分布，本质上是欠定的。其次，数据集仅涵盖Terran vs Terran对战和Flat64单一地图，种族和地图的扩展主要是工程问题，但尚未验证。第三，预测时间窗口固定为5秒，更长的预测视野可能导致误差累积。第四，在线实验在/no_think模式下进行，限制了策略模型的推理深度。最后，所有实验仅与SC2内置AI对战，尚未与人类玩家或更强的对手（如AlphaStar级别）进行测试，对系统在更高水平对战中的表现缺乏评估。
独立分析的弱点
从独立分析的角度，本文存在以下几个值得关注的弱点。第一，敌方建模能力不足：当前世界模型仅基于单帧观测预测敌方行为，缺乏时序记忆和显式对手意图建模。在星际争霸II中，理解对手的长期战略意图（如是否在憋大招、是否在偷矿）对决策至关重要，但这些信息无法从单帧观测中推断。改进方向可以引入时序Transformer或递归架构，编码历史观测序列中的对手行为模式。第二，5秒固定预测窗口的限制：不同决策场景需要不同的前瞻深度——宏观管理决策（如扩张时机）可能需要30秒以上的前瞻，而微观战术决策（如是否撤退）可能只需要2-3秒。可以设计自适应预测窗口或多尺度世界模型。第三，仅支持Terran种族：虽然作者承认这是工程扩展问题，但不同种族的动力学差异巨大（如Zerg的孵化机制、Protoss的护盾机制），需要验证结构化表示的通用性。第四，世界模型的幻觉问题：Figure 5显示StarWM在己方单位进入不可观测区域时会预测潜在敌方存在，虽然在线设置中可能提供预警信号，但离线评估中这被视为误报。需要更好的不确定性量化机制。
未来方向
本文的未来研究方向可以从以下几个维度展开。作者明确提出的包括：引入时序记忆或显式对手建模来改善敌方预测，扩展到所有种族和地图。基于本文成果可延伸的方向包括：第一，将世界模型从预测观测升级为预测动作价值（action value），直接为候选动作打分，而不仅仅提供预测观测供策略模型解读；第二，探索世界模型与蒙特卡洛树搜索（MCTS）的结合，实现更深的前瞻规划——虽然本文有意避免昂贵的搜索算法，但在关键决策点（如大规模交战前）进行有限深度的搜索可能带来显著收益；第三，将世界模型用于数据增强——用世界模型生成合成轨迹扩充训练数据，解决稀有场景（如后期大决战）数据不足的问题；第四，探索在线持续学习，让世界模型在与更强对手对战时不断更新，适应新的对手策略模式。第五，将Generate-Simulate-Refine范式推广到其他RTS游戏或更广泛的决策任务中。
复现评估
本文的复现条件相对友好。代码已开源（https://github.com/yxzzhang/StarWM），数据集SC2-Dynamics-50k包含50,407个训练样本，规模适中。模型基于Qwen3-8B进行LoRA微调（rank=8），训练在8×H100上进行10个epoch，对于拥有中等规模GPU集群的研究者来说是可行的。但需要注意：数据集仅包含Terran vs Terran对战，如果需要扩展到其他种族需要自行采集数据；在线测试依赖SC2Arena框架和SC2游戏引擎的安装配置；LoRA微调虽然降低了参数量，但推理时仍需要加载完整的8B模型。总体而言，复现难度中等——核心方法清晰、代码开源、算力需求明确，但需要一定的星际争霸II领域知识和游戏环境配置经验。
论文图表
