SCOPE：面向 FPS 世界模型的可玩环境跨游戏操作仿真

SCOPE 用按像素时序条件化把 FPS 动作的局部分析与全局稳定解耦

前置知识

扩散 Transformer (DiT)

用 Transformer Block 替换 U-Net 的视频/图像扩散骨干。SCOPE 建立在 Wan2.2-TI2V-5B（5B 参数）之上，沿用其 3D RoPE 自注意力、文本交叉注意力和 AdaLN，在每个 block 的文本交叉注意力与 FFN 之间插入新模块。

理解 SCOPE 必须先知道它在冻结的视频 DiT 里插入模块，这解释了其零初始化输出投影的训练稳定性来源。

Flow Matching 训练目标

把数据 $z_0$ 到噪声 $\epsilon$ 的过程写成 $z_t=(1-t)z_0+t\epsilon$，让网络预测速度场 $v_\theta$，损失为 MSE 速度场回归。SCOPE 沿用此目标，仅把条件 $c$ 扩展为动作信号。

没有这一基础就难以理解为何 Action-CFG 可对速度场做条件-无条件插值，以及为何要做随机动作 dropout。

FPS 动作的空间选择性

FPS 操作分两类：离散事件（开火、换弹、ADS）只影响武器及附近区域（scope）；连续控制（相机转动、平移）主导远景与墙体（out-of-scope）。作者强调这种解耦是物理直觉，也是 SCOPE 设计核心。

这是 SCOPE 与全局条件化方法的本质区别。若没有这个直觉，会以为 SCOPE 只是又一种扩散微调。

Classifier-Free Guidance (CFG)

推理时同时跑条件与无条件预测并按 $\hat{v}=v(z_t,a_{\text{null}})+\lambda[v(z_t,a)-v(z_t,a_{\text{null}})]$ 插值，以放大或抑制条件影响。SCOPE 用 learnable null token 实现 Action-CFG。

Action-CFG 是用户运行时调节动作响应强度的唯一接口，直接关系到 Table 2 中 w/o Action-CFG 的消融结果。

研究动机

当前把视频扩散模型当世界模型的范式在 FPS 游戏上普遍失效，原因在于 FPS 每帧都会触发极高频率、空间交叠的控制信号——玩家 1 秒内可执行超过 180° 的相机扫射，并叠加开火、移动、换弹等多重事件。现有交互式世界模型（Matrix-Game 3.0、LingBot-World、HY-World 1.5 等）一律通过全局机制注入动作：要么是 AdaLN、要么是全局交叉注意力 token、要么是潜空间动作码。这种注入会把同一个动作 embedding 等强度广播到所有像素，导致开火让整张画面跟着抖、单次扫射扰动墙体和天空，连续输入还会跨帧叠加扭曲。具体数据上，HY-World 1.5 的 Dynamic Degree 仅 0.225，几乎退化到静态画面；Matrix-Game 3.0 为追求平滑把响应压到 Dyn.Deg.=0.661；即便最强的 LingBot-World 也只有 0.868 且 Photometric Smoothness 高达 0.626，全帧一致性被破坏。

本文的目标是作者的目标是构造一个对 FPS 高频、混合、空间异质动作都鲁棒的交互式世界模型。它要在零样本场景上同时满足三项能力：(1) 开火、换弹等离散动作只在画面里scope 区域（武器及其附近）产生视觉响应，绝不波及其余像素；(2) 相机和移动驱动的连续控制只稳定地驱动 out-of-scope 区域（墙体、天空、远景）产生平滑 ego-motion；(3) 能在从未见过的真实游戏或合成场景里零样本迁移，无需重训或微调。最终在保持 5B 骨干生成能力的前提下，把动作响应强度Dyn.Deg. 提到 0.910、Photometric Smoothness 压到 0.198。

与已有工作不同的是，已有方法的共性缺陷是"用全局表示去解释本质上是局部的现象"。本文的切入角度因此不是堆数据、扩大骨干，而是显式建模 FPS 动作的空间选择性——把每个像素当作独立的时序单元，让它自己根据局部视觉内容决定自己属 in-scope 还是 out-of-scope，再分别路由到不同的注意力通路。换言之，作者放弃了"动作是一个全局 token"的隐含假设，转而主张"动作应该被每个像素按需取用"。这一视角与 ACT-like、GameNGen、DIAMOND 等代表性工作形成鲜明差异，也是其能在 69K 紧凑数据集上击败需要大规模专有数据训练的 LingBot-World 1.9 倍控制成功率的关键。

核心方法

SCOPE 的核心思路是"把视频 DiT 拉直为按像素的时序序列，再用两套独立注意力分别处理离散与连续动作"。作者在 Wan2.2-TI2V-5B（5B 参数、L=30 block）的每层文本交叉注意力与 FFN 之间插入一个轻量 SCOPE 模块：先把 token 序列 $\hat{x}\in\mathbb{R}^{B\times N\times D}$ 沿空间维 reshape 为 $\hat{x}\in\mathbb{R}^{(B\cdot h\cdot w)\times f\times D}$，每个空间位置持有独立 f 帧时序。动作信号分两路：离散事件 $a_d$ 经 MLP 嵌入后做视觉查询式交叉注意力——in-scope 像素因 QK 匹配强烈而激活、out-of-scope 像素注意力近似 0，无需分割标签就实现空间限制；连续信号 $a_c$ 与每帧特征拼接后送入融合 MLP 加带 RoPE 的时序自注意力，建模稳定的 ego-motion。两路残差相加回原特征再 reshape 给 FFN。

SCOPE 的本质创新是"per-pixel action conditioning + 零初始化残差接入"。它与已有的全局条件化方法（AdaNLN、全局 cross-attn、潜动作码）相比有三点硬区别：(1) 条件化粒度从"全局一个 embedding"细化到"每个像素按自身内容决定如何响应同一动作"；(2) 离散与连续动作走两条物理意义截然不同的路径，前者强调空间局部性而后者强调时序平滑性；(3) 所有 SCOPE 输出投影零初始化，训练起点等价于未修改的视频生成器，使 5B 骨干与新模块可以端到端协同适应而不是两阶段解冻。同时引入 learnable null token $a_{\text{null}}$ 与随机动作 dropout 实现 Action-CFG，使用户能在推理时调节响应强度。

方法步骤详情

流程分四步。数据准备：从 NitroGen+WorldCam 收 7 款 FPS 共 69000 条 480×832 5s 片段，按动作平衡、互信息过滤、光流增益归一化（$\sigma^2=0.034$）清洗，95:3:2 拆 65557/2065/1378。建模：在 Wan2.2-TI2V-5B 的 L=30 block 各插 SCOPE 模块（动作 MLP、离散交叉注意力、连续 MLP+时序自注意力），输出投影零初始化。训练：Adam 学习率 $10^{-5}$、dropout 0.1、flow matching 损失 $\mathcal{L}=\mathbb{E}\|v_\theta-(\epsilon-z_0)\|^2$，balanced sampling 跨游戏，8 卡 18 小时；0.1 概率置零得 $a_{\text{null}}$ 用于 Action-CFG。评估：在 CrossFPS 对比 Matrix-Game 3.0、LingBot-World (Act)、HY-World 1.5，并以 GPT-image-2 合成场景做零样本泛化测试。

技术新颖性

技术上三处新颖性。第一，按像素时空序列重塑（$\hat{x}\in\mathbb{R}^{(B\cdot h\cdot w)\times f\times D}$）加"Q 来自视觉、K 来自动作"的非对称交叉注意力（$\Delta x_d=\text{CrossAttn}(Q=\hat{x},K=V=\text{MLP}_{\text{embed}}(a_d))$），空间选择性无需分割监督。第二，连续通路对每帧 i 取滑窗 $w_i=a_c[i\cdot r:i\cdot r+r\cdot s]$ 与 $\hat{x}$ 拼接后用融合 MLP+带 RoPE 的时序自注意力，把 ego-motion 与 in-scope 动态显式解耦——此前工作未建模。第三，Action-CFG 通过 learnable null + $\lambda$ 插值形式化为可调强度接口。学术上把"物理空间选择性"作先验而非学到的属性，较 GameNGen、DIAMOND、Genie 等隐式路线更具可解释性。

**Figure 2**: SCOPE architecture. A SCOPE module is inserted into each DiT block. Discrete inputs use cross-attention with visual queries to confine effects to in-scope regions. Continuous inputs use MLP fusion and temporal self-attention for out-of-scope generation.

**Figure 3**: CrossFPS overview. Clip distribution across 7 FPS titles (69K total) with frame-aligned 10-DoF gamepad telemetry.

实验结果

在 1378 条 CrossFPS 上 SCOPE 拿下 8 项指标中 7 项第一（Table 1）：JEPA 0.806（+31% vs LingBot-World）、FVD 690.3（−27.7%）、LPIPS 0.601、Dyn.Deg. 0.910、Flow 18.24、Photo 0.198（3.16× 提升）、Depth 1.299；唯一失分 Motion Smoothness 2.383 vs 2.502 （基线靠压制换平滑）。架构消融（Table 2）：去空间选择性 FVD→885.4、Photo→0.745，per-pixel 注入是核心；去时序自注意力 Flow→11.60；去离散交叉注意 Dyn.Deg. 仍 0.846 但 Photo→0.234；去 Action-CFG Dyn.Deg.→0.820。训练策略单调提升 FVD 775.4→732.1→690.3。零样本（Table 4）综合成功率 71.5%，是 LingBot-World 38.3% 的 1.9×，动作-环境交互 54% vs 20%、多动作复合 75% vs 29%。

**Table 1**: Quantitative comparison on the CrossFPS test set.

**Table 2**: Architecture ablation on the CrossFPS test set.

**Table 3**: Visual quality on unseen scenes (50 clips per category, first frames from GPT-image-2).

**Table 4**: Action controllability on unseen scenes. Completion rate (N=50 per task).

**Figure 4**: Qualitative comparison under high-frequency actions. Our method maintains out-of-scope stability while baselines exhibit suppressed motion, near-static output, or artifacts.

**Figure 5**: Qualitative ablation. Left: without spatial selectivity, actions perturb the entire frame (red); with SCOPE, effects are confined (green). Right: removing pathway components causes motion degradation or in-scope element loss (red). Full model preserves both (green).

**Figure 6**: Action controllability on unseen scenes. Left: single and multi-action execution with in-scope effects (red boxes). Right: action-environment interactions on GPT-image-2 synthesized scenes.

查看结构化数据

任务	指标	本文	基线	提升
CrossFPS 测试集视觉-动作综合质量	JEPA Similarity ↑	0.806	0.615 (LingBot-World) / 0.464 (HY-World) / 0.366 (Matrix-Game 3.0)	+31% / +74% / +120%
CrossFPS 测试集视频时序分布差距	FVD ↓	690.3	954.4 / 1131.7 / 1022.7	-27.7% / -39.0% / -32.5%
动作响应强度	Dynamic Degree ↑	0.910	0.868 / 0.661 / 0.225	+4.8% / +37.7% / +304%
ego-motion 强度	Flow Score ↑	18.24	15.50 / 13.36 / 2.37	+17.7% / +36.5% / +670%
out-of-scope 区域稳定性	Photometric Smoothness ↓	0.198	0.626 / 1.194 / 2.523	3.16× / 6.03× / 12.74×
未见 4 类美学场景视觉质量	JEPA ↑ / FVD ↓ / LPIPS ↓	0.777 / 715 / 0.617 (平均)	0.806 (in-distribution 参考)	退化 ≤3.6%，结构相似场景 (sci-fi corridor) 几乎打平
零样本单动作控制成功率	Success Rate ↑	94% (Fire) / 90% (Scope)	82% / 74% (LingBot)	+12 / +16 个百分点
零样本动作-环境交互成功率	Success Rate ↑	62% (Env) / 54% (NPC) / 46% (Object)	32% / 20% / 12% (LingBot)	近 2×

局限与改进

作者明确承认三点局限：(1) 多步武器机制、物品使用、细粒度物体操控等复杂 in-scope 行为仍做不到，原因是 CrossFPS 中交互多样性不足；(2) 模型擅长外观层响应（火花、烟雾、灯光）而不擅长几何变换（结构形变、物理驱动反应），反映扩散骨干本身的纹理偏好；(3) 严重模糊的初始帧会让模型向训练集平均外观回归。本人从结果观察到第四点：架构天花板可能由 5B 骨干决定——Motion Smoothness 输给 Matrix-Game 3.0 暗示其时序先验并非来自新模块；另外动作-物体交互仅 46%，与广告宣传的"shoot anything in any environment"还有明显差距；第五点是 CrossFPS 仅采样自 7 个游戏、5 秒片段，对长时序依赖类任务（持久生命值、剧情推进）天然不支持。所有这些都指向同一结论："per-pixel 条件化解决了一个具体瓶颈，但远未抵达完整交互式世界模型"。

独立分析的弱点

独立审视本文有五处弱点。其一，CrossFPS 仅源自 NitroGen 与 WorldCam 两份数据集的 7 款游戏，对 CS2、Valorant、Apex Legends 等真实电竞的覆盖为零，真实玩家行为分布是否一致存疑。其二，依赖 5B 骨干但推理延迟/显存无报告，且 Motion Smoothness 输给参数更小的 Matrix-Game 3.0，暗示 5B 骨干本身可能就是拖累。其三，空间选择性完全由视觉内容隐式决定，遇到镜面、反射、透明几何可能产生错判，缺少可解释的分解。其四，对方法依赖 flow matching 与 8 卡高显存，小规模团队复现不易。其五，未做 >5s 的长时序评估，"世界模型能 scope 多大跨度的 world state"仍未知。改进方向：接入真实玩家遥测与公开 demo、在 1B/3B 骨干做缩放实验、引入 3D 几何先验作辅助监督、设计 chunk-by-chunk 的长程一致性损失。

未来方向

作者指明的方向是长时序多阶段任务执行——在世界模型里维持一致状态跨越整局游戏（持枪、生命值、剧情进度），而不是单条 5 秒片段。基于结果还可以延伸四条线索：(1) 把空间选择性形式化为可学习的"重要性图"，配合强化学习 Agent 做规划，让 SCOPE 变成 RL 训练环境而非纯渲染器；(2) 把 6 维离散动作 + 4 维连续控制扩展到 VR 手柄、鼠标-键盘、方向盘等多模态输入空间，看 per-pixel 条件是否仍是好的注入点；(3) 与潜世界模型如 GameNGen / DIAMOND 结合，SCOPE 负责像素级响应、潜模型负责长程记忆，分层世界模型可能是 AGI 之路的必然形态；(4) 用 GPT-image-2 等合成器生成海量未见美学，再做"美学+动作"联合条件化微调，验证 scaling 假说（论文已声明"性能随数据量单调提升未见饱和"，提供了诱人的工程路线）。最后，运动物理与几何变形的短板呼唤一个"几何感知扩散骨干"，例如在三平面或 NeRF 表征上重做 SCOPE，这或将是该方向下一步最值得投入的工程。

复现评估

复现门槛属于"中高"。论文列出了全部关键超参：Wan2.2-TI2V-5B 骨干、L=30 block、480×832、81 帧@20fps、Adam 学习率 $10^{-5}$、dropout 0.1、训练 ~18 小时 (8× NVIDIA GPU)、95:3:2 拆分 65557/2065/1378。脚注给出 Project Page/Code/Model/Dataset 四个链接，但需访问 arxiv 托管页面验证；CrossFPS 计划发布但本体衍生自 NitroGen/WorldCam，仍受原始许可约束。最大卡点是算力：8 卡 A100/H100 跑 18 小时是一次性门槛，5B + 全端到端对一般实验室不现实。次要卡点是手柄遥测与游戏内动作的精确对齐——论文虽给 σ²gain=0.034 这类细节但完整对齐脚本未展示。综合评估：建议从 1B/3B 骨干的 SCOPE 缩放实验入手更可行。

SCOPE：面向 FPS 世界模型的可玩环境跨游戏操作仿真 SCOPE: Simulating Cross-game Operations in Playable Environments for FPS World Models