Incantation：以自然语言作为多实体视频世界模型的动作接口 Incantation: Natural Language as the Action Interface for Multi-Entity Video World Models

Stage 1（语言条件架构）：(i) Prompt 表述——为每个实体分配一个句法隔离的槽位，多实体模板为「Player performs [ACTION_P]. Boss performs [ACTION_B].」，0.25 s 时间粒度，槽位数量可增删无需改架构；(ii) 上下文组装——对每一训练步目标帧 t，使用 Sink + Recent + Noisy 结构：Ks=1 个 sink 帧（剧集首帧，永久锚定全局几何/外观）、Kr=7 个最近干净潜帧（约 1.75 s）、Kn=1 个被去噪的目标帧；(iii) 逐帧语言条件注意力——历史 (Ks+Kr) 个 token 之间做完整双向自注意力（保留 Wan 2.2 预训练先验），并在历史与目标之间设置因果边界；文本交叉注意力只作用于目标帧，历史帧被 mask 掉；(iv) 有界 RoPE 位置分配——sink 永久锚定 0，目标帧位置 min(pt, C)，Kr 个最近帧占目标帧之前的连续位置，Kr 控制显存与计算、C 控制位置范围，确保所有推理位置都在训练分布内。Stage 2（实时长时段推理）：(v) ODE 初始化——把双向教师用 flow matching 一致性目标 $\mathcal{L}_{\text{ODE}} = \mathbb{E}_{\tau,v_0,\epsilon}\| f_\theta(v_\tau;\text{causal}) - f_{\text{teacher}}(v_\tau;\text{bidir})\|_2^2$ 对齐到因果学生（1k 步、lr 5e-6、batch 128、16×H100）；(vi) Self-Forcing 蒸馏——学生训练时以自己生成的历史为条件而非 ground truth，抑制自回归暴露偏差，15k 步把推理压到 2 步；(vii) RoPE 解耦 KV 缓存滑窗——缓存 raw key（不旋转），按公式 $p_i^{\text{local}} = \text{clamp}(p_i^{\text{abs}} - \delta, 0, C)$、$\delta = \max(0, p_t^{\text{abs}} - C)$ 实时计算每个缓存帧的局部相对位置再做 RoPE 旋转，查询时按 $\text{Attn}(q_t, k_i) = \text{Softmax}(q_t R(p_t^{\text{local}}) k_i^{\text{raw}} R(p_i^{\text{local}})^{\top}/\sqrt{d})$ 融合，最旧的非 sink 帧被淘汰、sink 永远保留。训练数据：30 h Margit + 15 h Crucible Knight + 83 h KOF，约 128 h，从引擎内存以 0 时间偏移读取逐帧动作三元组 $(v_t, a_t^{\text{player}}, a_t^{\text{boss}})$。

技术新颖性体现在四个相互耦合的层面。第一，把自然语言动作接口从概念落地到具体的每帧 prompt 模板 + 解耦交叉注意力，让语言接口既保留开放词汇又保留逐实体可寻址，这是现有离散 ID、设备输入、场景级 prompt 三大家族都做不到的组合。第二，把 Wan 2.2 这种全双向预训练骨干改造为支持流式因果推理而不破坏预训练先验——传统做法是直接套因果 mask 强制重训（效果差且代价高），Incantation 用 ODE 初始化在 1k 步内闭合双向/因果的流场差异。第三，RoPE 解耦的 KV 缓存技术细节解决了滑动窗口会改变相对位置从而导致闪烁的工程难题，让长时段生成稳定在 2 小时以上（FVD 在 30–118 min 区间波动仅 [162, 171]）。第四，把同一个架构+训练配方仅替换每实体词表槽位即在 2D 像素 KOF 上复现性能（学生 94.0% ACA vs 教师 94.9%），提供了跨世界接口通用性的实证。所有这些共同支撑了一个结构性论断：文本作为动作接口在结构上优于离散索引，而非仅在某一特定分布上表现更好。

独立分析有四点值得改进的方向。第一，以引擎内存作为标注既是优势也是隐患：一旦用于闭源/未修改的游戏或真实视频，整套 pipeline 就失效；建议在论文主线之外提供一条基于 VLM 自动打标签 + 主动学习的冷启动路径，让用户能在没有游戏内存权限的情况下用数百小时人工示范视频训练同样能力的模型。第二，逐帧 prompt 模板「Player performs X. Boss performs Y.」对 >2 实体线性外推缺乏空间/相对位置信息，对 5+ 实体场景会出现「谁打谁」指代不清；可考虑加入 entity-local 的空间关系 token（如 front-left of player）或参考点编码。第三，离散语义动作无法表达数值化强度（轻击 vs 重击仅靠新词区分），与连续控制（力度、轨迹）脱节；论文已提出语言 + 并行连续通道思路，但 2 步学生是否还扛得住多通道融合尚未验证，且 TAEHV 解码下 VAE 仅 9 ms 的预算里要塞下额外条件分支，实现难度不小。第四，2 步 Self-Forcing 在极端运动模糊下 <3% 退化提示我们去噪器在边角情况下过平滑；可考虑加入轻量级对抗判别器或在 Loss 上加运动向量监督，让 2 步模型保留高频细节而不只是看起来对。

作者提出的方向有三。(a) 跨域推广：把 NL 接口应用到非游戏场景（具身操作、自动驾驶），核心是把逐实体动作文本从引擎内存改成 VLM/teleop/robot proprioception 自动产出的 caption；(b) 语义+连续混合控制器：在语言接口之上叠加一个并行连续控制模块，让语言负责做什么、连续信号负责做多少/多准；(c) 用 learned 模块替换手写的 Observer–Tracker–Policy 闭环，让 episode 级离散状态可被端到端学出来。基于成果可延伸的方向还包括：(i) 真正多玩家竞技 AI——把每个对手都做成独立 NL 可控实体，配合强化学习策略可作为对抗训练环境；(ii) 把 NL 接口接到具身机器人的高层任务规划上，自然语言任务指令可分解为逐实体语义动作；(iii) 用 Incantation 当训练场去合成多视角对抗视频数据，缓解当前动作识别/姿态估计数据集稀缺问题；(iv) 把 RoPE 解耦 KV 缓存抽象为通用长视频流式生成插件，使其他自回归视频模型也能零成本获得 2 小时级稳定滚动能力；(v) 研究共享文本编码器 + 不同骨架对跨世界迁移的下限，把现在换词表即迁移的经验证据扩展到 5+ 世界（如赛车、模拟飞行）。

复现门槛在中等偏高层级。代码与数据集预览已开源（GitHub: matrixteam-ai/Incantation，HuggingFace 数据集预览 zhush/incantation-elden-ring-scenes，Elden Ring 完整数据与 KOF 完整数据将随项目完整发布）。复现所需算力：(i) Stage 1 双向教师在 16×H100 80GB 上跑 51k 步（1k warmup@256×448 + 50k@480×832，AdamW、batch 64、peak lr 1e-5），约数天 GPU·日；(ii) ODE 初始化 1k 步@480×832（lr 5e-6、batch 128、16×H100）；(iii) Self-Forcing 蒸馏 15k 步（lr 2e-6）；(iv) VLM Observer 4.5k 损伤事件 + 16.3k 非事件 0.25 s 窗口 LoRA 微调，单卡 H100 8 h。推理只需单卡 H100 80GB 即可达 19.7 FPS。预训练骨干 Wan 2.2 TI2V-5B 与 TAEHV 均公开（Apache 2.0 / MIT）。数据层面，Elden Ring 数据需自录——需要逆向读取引擎 current_animation 字段，论文承诺发布 raw-ID→动作映射，但仍要求研究者具备游戏内存读取能力或使用 KOF 模拟器寄存器。难度集中在三处：(1) 引擎内存标注通道，论文已留出接口但实现细节需要用户自行逆向；(2) Wan 2.2 双向→因果的 ODE 对齐对超参敏感，lr 偏离 5e-6 即可能发散；(3) TAEHV 流式管线需要 CUDA stream 重叠 + 边界重叠 L 帧消抖，对工程实现有一定门槛。