ReactiveGWM：在反应式游戏世界模型中引导 NPC 行为

用解耦的跨注意力机制让游戏世界模型生成可被策略引导的自主 NPC

前置知识

游戏世界模型（Game World Model）

以玩家视角模拟游戏环境的生成模型。给定初始帧 $x_0$ 与玩家动作序列 $a_T$，预测未来帧 $x_{1:T} = F(x_0, a_T, P)$，本质是把扩散模型当神经引擎使用。

本文的全部创新都建立在该范式之上，必须先理解它如何把动作条件化成像素输出，才能体会为什么 NPC 没有独立的控制通道。

扩散 Transformer（DiT）与跨注意力

DiT 块由自注意力、跨注意力（cross-attention）与 FFN 组成。跨注意力把文本 token 通过 $QKV$ 机制注入视觉 latent，是本文把 NPC 策略文本写入视频的关键通道。

本文把玩家动作与 NPC 策略分别注入不同子模块（残差偏置 vs 跨注意力），理解 DiT 结构是看懂解耦设计的前提。

VAE 时间压缩比 $T_v$

视频 VAE 沿时间轴压缩帧，设原长 $T$ 帧、压缩比 $T_v$，则 latent 时间长度 $f = T / T_v$。文中 $T=20$ 帧、$T_v$ 由 VAE 决定。

动作是按帧的二元向量，需要沿时间轴池化到 latent 帧率才能与视频 token 对齐，这是动作偏置模块的设计基础。

跨游戏迁移（plug-and-play transfer）

把在游戏 A 训练好的部分模块（如跨注意力层）直接拼接到游戏 B 预训练模型上，不需 B 的策略标注就能获得新能力。本文核心卖点。

理解模块化拼接与参数微调的区别，才能体会为什么 $\rho_{\text{cross}}$ 只有 0.71% 却足以改变 NPC 行为。

研究动机

现有的游戏世界模型（GameNGen、DIAMOND、Matrix-Game 2.0/3.0、LingBot-World、Oasis 等）都采用玩家中心视角：把玩家动作 $a_T$ 作为条件，把 NPC 行为塞进描述场景的 vanilla prompt $P_{\text{vanilla}}$ 里。这种设计隐含了「NPC 行为由玩家动作和场景描述联合决定」的假设，导致 NPC 只是被动响应玩家输入的背景像素，无法表达 Offense、Defense、Control 等高层战术意图。在表 1 中，vanilla 模型在两个街霸游戏上的 VLM 判别策略命中率只有 43.4%（SF2, Gemini）和 41.8%（SF3, Gemini），几乎和随机猜测相当；玩家也无法通过文本告诉 NPC 「你现在应该激进进攻」，因为策略信息根本没被建模。

本文的目标是本文目标是在不牺牲玩家精细控制的前提下，让世界模型具备策略驱动的自主 NPC 行为。形式化地，把生成过程从 $x_{1:T} = F_{\text{vanilla}}(x_0, a_T, P_{\text{vanilla}})$ 改为 $x_{1:T} = F(x_0, a_T, P_{\text{NPC}})$，其中 $P_{\text{NPC}}$ 只描述 NPC 的高层战术指令，包含主动行为、被动行为与策略类别三个字段。作者希望在两个街霸游戏（SF2、SF3）上让 NPC 策略遵循率显著提升、Move-Acc/Att-Acc 保持 95%+，并证明跨注意力模块可以零样本迁移到未见过的游戏。

与已有工作不同的是，现有方法要么只建模玩家（Oasis、GameNGen），要么用统一文本描述所有场景元素（vanilla prompt 把玩家与 NPC 行为耦合），都无法让玩家通过自然语言直接指定 NPC 的高层策略。本文独特切入角度是「角色专属 prompt + 模块化解耦」：把 NPC 行为从场景描述里剥离出来，让玩家动作走残差偏置通道、NPC 策略走跨注意力通道，二者通过子模块的物理隔离实现语义解耦。更进一步，利用这种解耦把跨注意力模块当作「通用交互逻辑单元」，实现跨游戏的策略模块迁移，避免为每个新游戏重新标注策略数据，把 NPC 行为建模的成本从「按游戏 O(N) 标注」降到「一次训练、跨游戏复用」。

核心方法

整体思路是「分通道注入」：玩家动作作为低维离散控制信号，被映射成与视频 token 同维度的偏置直接加到 DiT 残差流里；NPC 策略文本则走原有的跨注意力通路，但在训练时换成只描述 NPC 行为的 prompt。直觉上，玩家是「直接操控」，需要每一帧、每个 token 都被影响，所以用偏置最直接；NPC 是「高层语义引导」，跨注意力天然适合把文本语义注入 latent。在训练完成后，作者发现跨注意力模块其实编码了与游戏无关的 NPC 行为逻辑，因此可以把它从一个游戏搬到另一个游戏的 vanilla 模型上，无需任何目标游戏的策略标注。

核心创新是把交互逻辑拆成「低带宽通道」。具体包括三点：(1) 设计 NPC-specific 训练三元组 $(x_{0:T}, a_T, P_{\text{NPC}})$，用 VLM（Gemini）自动给每段 5 秒街霸片段标注主动行为、被动行为和策略类别；(2) 玩家动作通过 bias-free 线性投影 $E_\ell: \mathbb{R}^K \to \mathbb{R}^C$ 在每个 DiT 块产生 $[B, L, C]$ 偏置（$K=10$ 个街霸按钮），按 VAE 时间分桶 $\bar{a}_{i,k} = \max_{t \in B_i} a_{t,k}$ 池化；(3) 跨注意力层只接收 NPC 策略文本而非全场景文本，从而学到 player-agnostic 的交互逻辑，可以跨游戏复用。

方法步骤详情

第一步，用 stable-retro 录制 SF2/SF3 片段（5 秒 20fps，每游戏约 10k）并记 10 维按键。第二步，Gemini 标注 Active Behavior、Passive Behavior 与 Strategy（Offense/Control/Defense），组成 $P_{\text{NPC}}$。第三步，以 Wan2.2-TI2V-5B 为骨干，每 DiT 块前用 $x^{(\ell)} \leftarrow x^{(\ell)} + E_\ell(\bar{a}) \otimes \mathbf{1}_{h\times w}$ 注入动作偏置，文本侧换为 $P_{\text{NPC}}$ 走跨注意力。第四步，源游戏全参数微调得 $\text{ReactiveGWM}_{\text{base}}$。第五步，迁移到目标游戏：保留其 vanilla 的 Action Module/Self-Attn/FFN，直接替换 Cross-Attention 得 $\text{ReactiveGWM}_{\text{transfer}}$，无需目标游戏策略标注。

技术新颖性

技术新颖性体现在三个层面。第一，方法上把交互建模从「统一 prompt」转向「角色专属 prompt + 模块化注入」，把博弈智能里 agent policy 和 rendering 的分层思想引入生成模型。第二，工程上提出可迁移的子模块：跨注意力残差能量仅占总能量 $\rho_{\text{cross}} \approx 0.71\%$（与 vanilla 的 0.70% 几乎一致），但 $\cos(\text{CA}^V_\ell, \text{CA}^T_\ell)$ 跌到 0.55，引入了显著不同的语义方向，从而在不破坏主视觉的前提下完成 NPC 行为编辑。第三，数据上首次构建了街霸场景下的策略对齐三元组，并用 VLM 自动标注流程替代昂贵的人工标注。

**Figure 2**: Overview of the data construction and strategy annotation pipeline

**Figure 3**: DiT block with action module

**Figure 4**: Overview of ReactiveGWM training and training-free transfer to the different game

实验结果

ReactiveGWM 在 SF2/SF3 同时达成三目标：策略遵循率大幅提升、玩家控制几乎无损、视觉质量持平。Gemini 判定准确率从 vanilla 的 43.4%（SF2）和 41.8%（SF3）提升到 base 的 75.8% 与 79.8%（+30~38 pp），Qwen3-VL-8B 从 44.4%/49.5% 提升到 76.8%/78.8%。玩家控制上 SF3 Move-Acc/Att-Acc 均保持 100.0%，SF2 上 Move-Acc 97.5→95.0、Att-Acc 96.7→93.3。视觉质量上 SF2 SSIM 0.427/0.428、LPIPS 0.315/0.319，无差异。Transfer 在 SF2 命中率 64.6%、SF3 73.7%，比 vanilla 提升 20~32 pp，比 base 低 6~15 pp。Matrix-Game-3.0（SF2 Gemini 3.0%）与 LingBot-World-Base（30.3%）因无 NPC 通道而远低。

**Table 1**: Quantitative comparison of game world models

**Figure 5**: Action control in ReactiveGWM-base

**Figure 6**: Comparison between the vanilla model and ReactiveGWM under the same strategy

**Figure 7**: Execution of active behaviors

查看结构化数据

任务	指标	本文	基线	提升
NPC 策略遵循率（SF2, Gemini 裁判）	Top-1 分类准确率 (%)	75.8 (base) / 64.6 (transfer)	43.4 (vanilla)	+32.4 / +21.2 百分点
NPC 策略遵循率（SF3, Gemini 裁判）	Top-1 分类准确率 (%)	79.8 (base) / 63.6 (transfer)	41.8 (vanilla)	+38.0 / +21.8 百分点
玩家移动控制（SF3）	Move-Acc (%)	100.0 (base) / 95.0 (transfer)	100.0 (vanilla)	持平 / -5 百分点
玩家攻击控制（SF3）	Att-Acc (%)	100.0 (base) / 100.0 (transfer)	100.0 (vanilla)	持平
视觉保真度（SF2）	SSIM ↑ / LPIPS ↓	0.428 / 0.319	0.427 / 0.315 (vanilla)	基本持平
跨基线对比（SF2 Gemini）	NPC 策略准确率 (%)	75.8	3.0 (Matrix-Game-3.0) / 30.3 (LingBot-World-Base)	+45.5 / +45.5 百分点

局限与改进

作者承认的局限：策略类别只有 Offense/Control/Defense 三种离散标签，难以表达「先佯攻后撤」这种时间组合策略；依赖 Gemini 等 VLM 做自动标注，标注噪声会影响 $\text{ReactiveGWM}_{\text{base}}$ 的训练；NPC 控制粒度只到策略层，对战中精细博弈（如读招、帧数优势）无法建模。迁移模型相对 base 损失 6~15 个百分点，说明跨注意力模块并非完全游戏无关，可能仍编码了部分 SF2/SF3 特定的视觉耦合。从外部观察看：动作偏置只是简单的线性投影，没有考虑玩家手柄组合键的层级；evaluation set 仅 99 段剪辑，统计置信度有限；视觉质量指标（SSIM/LPIPS）在街霸这类低色彩复杂度场景下区分度本身就不高，可能掩盖退化问题。

独立分析的弱点

独立分析三个弱点。第一，三策略分类太粗：街霸实战中混合策略占多数（如 60% Offense + 40% Defense），三选一会逼 VLM 裁判陷入随机猜测，迁移模型的 64% 命中率可能就是分类噪声顶。可改进方向是用连续策略 embedding 或层级标签（高层意图 + 低层招式），并训练时给混合策略片段更高权重。第二，迁移可行性依赖跨注意力通道的低带宽假设（$\rho_{\text{cross}} \approx 0.71\%$），但这是街霸这种 2D 平面场景下的统计结果；对纹理更复杂、光照变化更大的 3D 游戏（比如赛车、FPS），该比例可能大幅上升，导致迁移时主视觉被破坏。建议增加视觉-策略解耦的正则项（如最大化目标域 backbone 与替换后 backbone 输出的 KL 散度下界），或者用 LoRA 形式只迁移跨注意力的 delta。第三，自动标注依赖 Gemini，可能把 VLM 自身的视觉偏见带进训练集；可考虑让人工标注一个小集合做 teacher forcing 校准，或用多个 VLM 投票减少偏差。

未来方向

作者在文中提到未来要把策略扩展到时间组合（如 Offense→Defense 序列），并探索其他类型游戏的零样本迁移。基于本文成果可延伸的研究方向包括：(1) 把 NPC 策略从分类升级为自然语言指令，配合 LLM 做实时 strategy planner，构建可玩、可交互的 demo；(2) 把模块化注入思路推广到「场景道具」「队友 AI」「难度自适应」等多通道条件；(3) 用强化学习在生成的世界模型里训练 NPC policy，做 closed-loop self-play，进一步缩小 base 与 transfer 的差距；(4) 把跨注意力迁移用于跨引擎迁移（如 Unity 训 → Unreal 推理），降低游戏世界模型的部署成本。

复现评估

复现难度中等偏高。论文使用了 Wan2.2-TI2V-5B 作为开源骨干，stable-retro 也是开源街霸模拟器；但数据集（每游戏约 10k 标注三元组）和训练细节（30 步扩散、101 帧生成、480×608/480×832 分辨率）需自行复现。NPC 标注用了 Gemini（闭源），文中没公布 prompt 模板和 few-shot 示例，第三方复现时必须重做 VLM 标注流水线；评估用的 ClipAttackNet、Move-Acc 跟踪模块（SAM2.1 + Grounding DINO）和 VLM 裁判（Gemini + Qwen3-VL-8B）大多是闭源权重。算力方面，基于 5B 参数 DiT 全参数微调 10k 视频三元组，单卡 A100 80G 至少需要数天；零样本迁移阶段只需替换 cross-attention 层，推理 30 步 × 101 帧成本与 base 持平。整体上方法论可复现，但完整数值结果需要投入较高算力与工程调试。

ReactiveGWM：在反应式游戏世界模型中引导 NPC 行为 ReactiveGWM: Steering NPC in Reactive Game World Models