WorldMind：面向状态感知 NPC 行为的解耦游戏世界模型 WorldMind: Decoupled Game World Model for State-Aware NPC Behavior

第一步，状态构建：L1 几何分支取偏移为 [-4,-1,0] 的 3 帧因果 RGB 帧，用预训练 ResNet-18 逐帧编码、单层 GRU 聚合，在 boss 身份嵌入条件下由预测头输出连续与离散化的距离、相对角度、朝向等战术属性，训练时用引擎日志做监督、推理时只用生成帧；技能分支由 Action Logger 记录每次 boss 技能与时间戳，Skill Tracker 确定性导出上一技能、time_since 与冷却可用性。两分支候选变量经选择分析后保留最有信息量的部分，组成紧凑状态 $s_t$。第二步，决策规划：L2 把 $s_t$ 和 boss 技能集 $S_t$ 以文本形式连同机制描述、冷却信息交给 Gemma-4-E2B-it，Direct Control 下输出 $p^b_t, r_t = \mathrm{LLM}(s_t, S_t)$，Director Control 下额外以高层指令 $d$ 为条件同时输出玩家计划 $p^p_t$；确定性检查在 Skill Tracker 副本上模拟冷却并剔除非法动作，采用滚动时域只提交第一个动作，其余作暂定。第三步，条件转换：L3 按每技能固定时长把动作短语复制展开到对应数量的 L4 时间槽，每槽与玩家短语配对成单条组合提示，形成逐潜在帧的对齐提示序列。Direct Control 下键鼠事件映射为结构化玩家短语，Director Control 下整段交互由指令描述。第四步，视觉合成：L4 的 Wan 2.2 TI2V-5B 端到端微调（batch 16、70k 步），按 Stage1 因果 AR 扩散教师训练、Stage2 因果一致性蒸馏初始化、Stage3 非对称 DMD 三阶段蒸馏成少步因果生成器，约 20 FPS 实时出帧并反馈 L1 开始下一轮循环。

技术新颖性体现在四个层面。架构层面：据作者所知这是第一个把状态重建与 NPC 决策从视觉生成中解耦的游戏世界模型，四层结构使 NPC 动作成为显式决策变量，同时保留统一的闭环实时系统，而非松散拼接的流水线。接口层面：紧凑状态 $s_t = (id_b, e^{skill}_t, e^{geo}_t)$ 是一个刻意压缩的中间表示，技能分支完全确定性、推理时不需要引擎状态，几何分支只用生成帧，保证系统可在生成的世界内自洽运转。决策层面：不微调 LLM 是反直觉但关键的选择——推理能力来自对机制文本描述的组合推理而非数据分布拟合，No-desc/Swap 干预实验（移除描述后首技能变化率 52%-90%，交换描述后 Follow 率 69%-79% 均高于 Stay 率 13%-20%）直接验证了机制接地。数据层面：BOSS-140K 提供 144,631 个片段、超 200 小时、3 款游戏 14 个 boss 的帧对齐玩家控制、boss 技能、引擎内部变量与字幕标注，并用状态条件化的游戏 agent 自动采集以覆盖稀有状态依赖交互，这在此前数据集（只有视频+控制）中是缺失的监督维度。

第一个弱点是闭环误差累积：几何分支推理时只能依赖 L4 生成帧，若生成帧出现伪影或实体错位，距离/角度预测会漂移，进而导致 L2 做出错误战术决策，形成雪球效应。改进方向是给几何预测加不确定性估计，让 L2 在置信度低时退回保守策略，或引入轻量循环一致性校验。第二个弱点是评估口径：核心卖点'状态感知响应性'主要由 LLM 判官的主观偏好衡量，缺少客观指标（如玩家血量变化、boss 攻击命中率、应对玩家闪避的反应延迟）来交叉验证。改进方向是设计基于引擎规则的战术评分或让真人玩家做盲测对战。第三个弱点是系统延迟结构未量化：LLM 推理、确定性检查、提示构造与 20 FPS 生成之间的调度细节（如决策点是否每个生成段一次）决定实际交互手感，但论文只报了生成帧率。改进方向是给出端到端延迟分解与决策频率消融。第四个弱点是数据与状态接口强绑定：紧凑状态变量（距离、角度、冷却等）是针对 boss 战手工设计的，迁移到 RPG、即时战略等多实体场景需要重新设计状态空间与机制描述库。改进方向是学习式或可配置的状态 schema。

作者方向：将四层框架推广到更多游戏类型与 3D 场景，在 WildWorld 等更大规模数据上解决紧凑状态重建的跨域适配；扩展 Director Control 的指令空间，让高层叙事指令驱动更复杂的多实体编排；扩充 BOSS-140K 覆盖面。基于其成果可延伸的方向：一是把紧凑状态接口与强化学习结合，用世界模型内生奖励训练更强的决策策略，替代纯 LLM 推理并做延迟优化；二是多 NPC 场景，将单 boss 的 $s_t$ 扩展为实体图状态，用图神经网络或多智能体 LLM 协商决策；三是利用机制文本描述的可组合性，实现玩家自建技能的零样本泛化——新技能只需一段文字描述即可被决策层理解；四是把 L1 理解层与视频生成联合训练（目前几何分支只受引擎日志监督），用可微状态预测辅助生成一致性；五是反向应用——用训练好的 WorldMind 作为 boss 设计师工具，自动生成并平衡化 boss 战斗脚本。

复现难度评估为高。有利条件：论文细节披露充分——底座为公开的 Wan 2.2 TI2V-5B，训练配置明确（batch 16、70k 步、三阶段 Causal Forcing 蒸馏、固定 seed 0），L1 结构简单（ResNet-18 + 单层 GRU，3 帧输入偏移 [-4,-1,0]），L2 用 Gemma-4-E2B-it 且不微调，决策与控制逻辑是确定性的，项目页 https://teawhite.cn/worldmind_projectpage/ 提供了入口。不利条件：BOSS-140K 依赖游戏引擎内部状态 API 采集，Game A 是未公开的商业游戏且帧被模糊处理，Hollow Knight 与 The Binding of Isaac 虽为可购买游戏但自动化采集需要逆向引擎接口；论文未明确承诺数据集与代码开源；算力上 5B 视频扩散模型的 70k 步微调加三阶段蒸馏需要多卡 A100/H100 级别资源；L3 的键鼠输入映射、技能机制描述模板、变量选择分析均需针对每款游戏人工适配。因此，第三方若要完整复现，最现实的路径是先用 Isaac 等可自动化采集的单一游戏复刻小规模数据集，验证 L1/L2，再考虑全系统闭环。