ActWorld：通过动作感知记忆从可探索到交互式世界模型 ActWorld: From Explorable to Interactive World Model via Action-Aware Memory
提出分层动作感知记忆，统一导航和物体交互的实时交互式世界模型
前置知识
Chunk-autoregressive generation
一种视频生成范式，将视频分割为非重叠的时间块（本文中为 33 帧，约 1.4 秒），每个块自回归地基于之前的观测、用户动作和相机控制生成。这种方法避免了双向注意力在所有帧上的计算，使流式生成和实时交互成为可能。块的大小需要与 VAE 的潜在时间步长对齐，以确保编码解码的一致性。
ActWorld 的核心生成框架，理解它是理解实时交互世界模型如何工作的基础。Chunk-autoregressive generation 将视频分割为非重叠的时间块，每个块自回归地基于之前的观测、用户动作和相机控制生成，这种方法避免了双向注意力在所有帧上的计算，使流式生成和实时交互成为可能。ActWorld 中每个块为 33 帧（约 1.4 秒），与 VAE 的潜在时间步长对齐，确保编码解码的一致性。理解这一概念对于理解 ActWorld 如何在保持视觉质量的同时达到实时帧率至关重要。
Multi-Term Memory (MTM)
一种历史缓冲组织方案，将过去的块划分为三个桶 Sshort、Smid、Slong，根据它们的时间距离命名，并使用逐渐更大的时空内核进行分块处理，然后连接为 DiT 自注意力的历史键/值。对于漫游轨迹这种方案近乎最优，因为约束下一个观测的帧绝大多数是最近的，但在交互式生成中会失效。
ActWorld 需要改进的基线记忆机制，理解它的局限性是理解 ActWorld 动作感知记忆创新的关键。Multi-Term Memory (MTM) 将过去的块划分为三个桶 Sshort、Smid、Slong，根据它们的时间距离命名，并使用逐渐更大的时空内核进行分块处理，然后连接为 DiT 自注意力的历史键/值。对于漫游轨迹这种方案近乎最优，因为约束下一个观测的帧绝大多数是最近的。然而，在交互式生成中，因果决定下一个观测的帧（例如接触和操作时刻）经常被压缩到 Smid 或 Slong 桶中，导致模型丢失预测后续状态所需的必要证据。ActWorld 的 EAFR、ACHA 和持久记忆库正是为了解决这一局限性而设计的。
Plucker-ray
一种 6 维的射线表示方法，包含射线的方向向量和原点到方向的叉积（即力矩）。在计算机视觉中常用于表示 3D 空间中的射线，具有平移和旋转不变性。本文中，每个训练片段都配备有通过 VIPE [7] 恢复的每帧相机到世界位姿 Pt∈SE(3) 和内参 K，通过 Plucker 表示可以构建每个像素的射线，用于 FiLM 调制。
ActWorld 几何分支的核心，理解它是理解 ActWorld 如何实现精细相机控制的基础。Plucker-ray 是一种 6 维的射线表示方法，包含射线的方向向量和原点到方向的叉积（即力矩），具有平移和旋转不变性。在 ActWorld 中，每个训练片段都配备有通过 VIPE [7] 恢复的每帧相机到世界位姿 Pt∈SE(3) 和内参 K，通过 Plucker 表示可以构建每个像素的射线，然后通过 PluckerFiLM 模块将这些射线转换为每标记的缩放和平移信号，应用于当前块的隐藏状态。理解这一概念对于理解 ActWorld 如何实现精细的相机控制（如平移、平摇、俯仰）至关重要，这是 ActWorld 能够同时支持导航和物体交互的关键技术之一。
Distribution Matching Distillation (DMD)
一种将多步扩散模型压缩为少步生成器的技术。DMD 通过匹配教师模型的分布来训练学生模型，使得学生模型可以用更少的采样步骤生成相似质量的样本。在视频生成中，DMD 可以将 50 步教师模型压缩到 3 步生成器，大幅降低推理延迟，使实时交互成为可能。
ActWorld 实现实时推理的关键技术，理解它是理解 ActWorld 如何达到实时帧率的基础。Distribution Matching Distillation (DMD) 是一种将多步扩散模型压缩为少步生成器的技术，通过匹配教师模型的分布来训练学生模型，使得学生模型可以用更少的采样步骤生成相似质量的样本。在 ActWorld 中，论文遵循 Helios [45] 加速配方，执行两个阶段：多分辨率流匹配阶段将去噪分割为 K=3 分辨率级别，对抗 DMD 风格蒸馏将 50 步教师减少到 3 步生成器 Gθ。通过这种蒸馏，每个 33 帧块可以在三个采样步骤中产生，无需分类器自由指导，使得 ActWorld 能够达到实时帧率（24-40 FPS at 720p）。理解这一概念对于理解 ActWorld 如何在保持生成质量的同时实现实时交互至关重要。
研究动机
现有的交互式世界模型主要集中在导航和视角控制，而很大程度上忽略了物体级别的交互。当前系统（如 Yume 1.5、HY-World 1.5、Lingbot-World、Matrix-Game 3、Astra、Infinite-World）主要基于键盘或鼠标输入来驱动移动和相机变化，产生的世界是视觉上可探索的但并非真正可操作的——代理可以行走、转弯和导航，但不能拿起物品、开门、操作工具或触发环境中有意义的物理响应。虽然 PAN 支持语言指定的操作命令，但它运行在离线、非实时的模式下，不适合交互式探索。特定领域的模型如 Solaris 和 Matrix-Game 确实支持基本的物体交互（例如 Minecraft 中的方块破坏），但它们局限于简单的游戏环境，在复杂动作序列期间会遭受显著的质量下降。更关键的是，没有现有方法在统一的实时框架中联合支持精细的物体交互和灵活的移动控制。
本文的目标是本文提出 ActWorld，一个交互式世界模型，在单一的实时、块自回归框架中统一丰富的物体交互和灵活的视角控制。ActWorld 的目标是解决导航-交互差距，使得代理可以在同一个连续轨迹中同时进行自由形式的导航和以物体为中心的交互。具体来说，ActWorld 支持 40 个高级动作类别（如 pickup、open、attach、push、wipe 等），并且能够在实时帧率下生成长视野（10 个块，330 帧）的视频，同时保持视觉质量、时间一致性和相机控制精度。
与已有工作不同的是，本文的独特切入角度是诊断导航-交互差距源于两个复合瓶颈：数据瓶颈和记忆设计瓶颈。数据方面，现有的世界模型数据集绝大多数是以导航为中心的，为物体级动力学提供的监督很少。记忆设计方面，当前模型简单地按时间近期性组织历史，保留最近的观测而压缩较旧的观测。因此，物体状态被修改的帧（例如瓶子被填充、灯被打开）当它们距离当前视频块较远时，经常被大量压缩。结果，模型可能丢失预测后续状态所需的必要证据。ActWorld 通过在数据方面收集 100K 交互密集视频数据集，在模型方面将记忆粒度与交互事件而非仅时间对齐来解决这两个瓶颈，使得因果关键的帧无论其年龄如何都能在压缩中生存。
核心方法
ActWorld 的整体思路是：问题诊断 → 数据解决 → 模型解决 → 推理加速。首先，论文诊断了现有世界模型的导航-交互差距源于两个瓶颈：缺乏人类-物体交互数据和基于时间近期性的记忆压缩导致动作遗忘。然后，论文在数据方面收集了 100K 交互密集视频数据集，并通过链式思维（CoT）标注为每个块提供密集字幕和结构化标签。在模型方面，论文引入了分层动作感知记忆设计，包括三个创新：事件感知帧重分配（EAFR）根据交互重要性而非时间重新分配历史压缩桶，动作条件历史放大（ACHA）根据当前动作动态调整历史键的注意力权重，以及持久动作感知记忆库维护事件更新和物体身份标记跨长滚动。最后，论文通过多分辨率流匹配和对抗 DMD 风格蒸馏将 50 步教师模型压缩到 3 步生成器，使实时交互成为可能。
ActWorld 的核心创新是分层动作感知记忆，它与现有导航中心的生成器有本质区别。现有方法（如 Yume 1.5、HY-World 1.5、Lingbot-World、Matrix-Game 3、Astra、Infinite-World）简单地按时间近期性组织历史，保留最近的观测而压缩较旧的观测，这导致因果决定下一个观测的帧（例如接触和操作时刻）经常被大量压缩。ActWorld 的解决方案是两条互补路径：本地记忆库通过事件感知帧路由放大交互关键帧在滑动窗口内的表示；持久记忆库维护紧凑的事件更新和物体身份标记，在缓冲区的驱逐视界之外生存。这两个通道共享三个每块标签（交互标志 yint_k、阶段 yph_k 和视频级动作类别 a），通过 CoT 标注器发出，并且设计使得关闭它们可以逐位恢复基线。这种设计使得因果关键的帧无论其年龄如何都能在压缩中生存，从而解决动作遗忘问题而不改变骨干网络。
方法步骤详情
ActWorld 的方法步骤包括四个主要阶段：数据准备、条件注入、记忆处理和推理加速。数据准备阶段：每个 24 fps 的原始视频被分割为 33 个连续帧的非重叠段（约 1.4 秒），与 VAE 的潜在时间步长对齐。对于每个块，提取 5 个均匀分布的关键帧并通过链式思维提示查询冻结的视觉语言模型（GPT-5.4）。CoT 提示指示模型比较连续的关键帧对并枚举可观察变化（物体位移、新接触），综合这些观测以确定是否发生主动交互（yint_k）并将其阶段分类为六个阶段之一（approaching、reaching、contact、manipulating、completing、post-action），然后发出一个 1-2 句的描述。条件注入阶段：ActWorld 区分低级键盘/鼠标控制（相机平移和旋转）和高级动作，通过两个互补分支暴露前者。几何分支将每帧相机轨迹转换为每像素 Plucker 射线张量并通过共享的 PluckerFiLM 模块路由，符号文本相机分支将每个命令映射到简短的自然语言模板，用冻结的 UMT5 文本编码器编码一次，并与每块字幕在交叉注意力路径上连接。记忆处理阶段：历史缓冲区通过分层动作感知内存处理，包括三个组件：EAFR 将 MTM 的基于时间的桶分配替换为重要性排名分割，对于每个过去的块 k 计算 wk = λφφ(yint_k, yph_k) + λr*exp(-(t-k)/τ)，其中 φ 是一个固定的阶段先验，在 contact 和 manipulating 上达到峰值并在其他地方衰减，第二项保留具有时间尺度 τ 的近期偏差；ACHA 使每头放大器 s 动作条件化，计算 α(ea) = softplus(s + W2σ(W1ea))，然后 K'_hist = α(ea) ⊙ K_hist；持久动作感知记忆库维护事件标记和物体标记，采用 FIFO 策略和阶段驱动固定。推理加速阶段：遵循 Helios [45] 加速配方，论文执行两个阶段：多分辨率流匹配阶段将去噪分割为 K=3 分辨率级别，对抗 DMD 风格蒸馏将 50 步教师减少到 3 步生成器 Gθ。所有条件流从数据准备、条件注入和记忆处理作为 DiT 输入不变地通过两个阶段。
技术新颖性
ActWorld 的技术新颖性在于三个方面。首先，分层动作感知记忆是第一个明确解决交互式世界中动作遗忘问题的记忆机制。EAFR 引入了一种新的帧重分配策略，将重要性排名而非时间近期性作为压缩桶分配的标准，使得因果关键的帧（例如接触和操作时刻）可以被分配到细粒度的 Sfine 桶，即使它们来自许多步骤之前。ACHA 引入了一种新的动作条件注意力机制，通过可学习的 MLP 根据当前动作动态调整历史键的注意力权重，使得模型可以专注于因果相关的历史帧。持久记忆库引入了一种新的符号-视觉混合记忆表示，通过事件标记记录发生了什么和何时发生，通过物体标记记录受影响物体的外观，这种表示通过 DINOv3 的视图稳定特性可以在长导航间隙中生存。其次，ActWorld 的数据流水线是第一个专门为交互式世界模型设计的交互密集视频数据集和标注流水线。现有的世界模型数据集（如 VBench-Long、WorldModelBench、VideoPhy-2）主要关注漫游通过被动场景或固定相机的脚本化物体交互，而 ActWorld 的数据集包含 100K 交互密集视频，跨越 40 个动作类别，并且每个块都通过 CoT 标注密集字幕和交互阶段标签。第三，ActWorld 是第一个在统一实时框架中联合支持精细物体交互和灵活视角控制的世界模型。现有方法要么支持导航但不支持交互（如 Yume 1.5、HY-World 1.5、Lingbot-World、Infinite-World），要么支持交互但不支持实时（如 PAN），要么仅限于简单的游戏环境（如 Solaris、Matrix-Game）。
实验结果
ActWorld 在 I-Bench 基准测试上的表现证明了分层动作感知记忆有效地解决了动作遗忘病理，同时保持了仅导航基线的视觉质量和视角控制。在 VBench 感知和一致性套件上（表 1），ActWorld 达到了最佳或接近最佳分数，在主题一致性（SC）上达到 0.871，背景一致性（BC）上达到 0.896，运动平滑性（MS）上达到 0.991，美学质量（AQ）上达到 0.485，成像质量（IQ）上达到 0.731，动态度（DD）上达到 1.000，时间闪烁（TF）上达到 0.973，整体一致性（OC）上达到 0.201，VBench-i2v 主体（i2v-S）上达到 0.954，VBench-i2v 背景（i2v-B）上达到 0.957。特别是在语义指令跟随方面（表 2），ActWorld 取得了最大的边际，Level-3 成功率为 57.8%，Level ≥2 部分或更好率为 84.5%，是基线中最高分数（Yume 1.5 的 20.12%）的两倍多。在几何控制方面（表 3），ActWorld 在完整准确率（Accfull）上达到 20.62%，键盘准确率（Acckeys）上达到 41.02%，鼠标准确率（Accmouse）上达到 43.67%，与基线中最高分数（Matrix-Game 3 的 20.00%）相当，表明 ActWorld 在解决动作遗忘问题的同时保持了视角控制能力。用户研究（表 5）显示 ActWorld 在所有三个标准上排名第一：动作跟随（4.05）、键盘/鼠标跟随（3.69）和整体质量（3.92），在动作跟随上有最宽的边际（高于 Yume 1.5 的 2.58、HY-World 1.5 的 1.89、Lingbot-World 的 2.68、Matrix-Game 3 的 1.18、Astra 的 1.35）。消融研究（表 4）显示添加 EAFR 给出了基础提升，添加 ACHA 进一步提高了语义指令跟随，事件记忆给出了最大的单一跳跃（主体一致性 0.844 → 0.871，Level-3 成功 54.0% → 57.8%），确认了持久事件和物体槽在跨长滚动跟踪物体身份方面做了繁重的工作。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VBench 感知和一致性评估 | 主题一致性（SC） | 0.871 | HY-World 1.5: 0.856 | +1.8% |
| VBench 感知和一致性评估 | 背景一致性（BC） | 0.896 | HY-World 1.5: 0.873 | +2.6% |
| VBench 感知和一致性评估 | 美学质量（AQ） | 0.485 | HY-World 1.5: 0.449 | +8.0% |
| VLM-AJ 语义指令跟随 | Level-3 成功率 | 57.8% | Yume 1.5: 20.12% | +187% |
| VLM-AJ 语义指令跟随 | Level ≥2 部分或更好率 | 84.5% | Lingbot-World: 49.91% | +69% |
| KMF 几何控制 | 完整准确率（Accfull） | 20.62% | Matrix-Game 3: 20.00% | +3.1% |
| 用户研究 | 动作跟随（1-5） | 4.05 | Lingbot-World: 2.68 | +51% |
局限与改进
ActWorld 的局限性包括作者承认的和观察到的几个方面。首先，数据集主要依赖专有视频模型生成的合成数据（100K 视频中的 55K 第一人称和 45K 第三人称片段），虽然包含了 400 小时来自公共数据集的真实世界数据，但合成数据可能存在域间隙，影响模型在真实世界场景中的泛化能力。其次，动作词汇被限制在 40 个预定义的高级动作类别（分为 8 个语义组：拾取放置、开关锁定、附加分离、力应用和移动、表面和工具操作、离散接触、交接、方向和材料），这限制了模型支持开放词汇动作或用户自定义动作的能力。第三，记忆库容量固定为 Ktot=16 个标记，虽然对于大多数交互场景足够，但在极长滚动或复杂交互序列中可能不足。第四，相机轨迹恢复通过 VIPE [7] 执行，这是一个 SLAM 风格的单目位姿估计器，在复杂交互场景（例如快速移动、遮挡、纹理缺失）中可能失败或产生噪声，影响几何控制精度。第五，推理时需要在线计算 DINOv3 特征（对于 30-40% 的块），虽然平均开销低于 15%，但在资源受限的环境中可能仍然过高。第六，模型在 KMF 几何控制上的完整准确率仅为 20.62%，虽然与基线相当，但表明相机控制仍有改进空间。第七，评估主要在 I-Bench 基准测试上进行，虽然包含了 300 个提示和 30 个语义连贯序列，但可能不足以覆盖所有可能的交互场景和边缘情况。
独立分析的弱点
ActWorld 的独立分析弱点包括以下几个方面。第一，依赖复杂标注流程：数据准备需要冻结的 VLM（GPT-5.4）通过 CoT 标注、冻结的 DINOv3 编码器提取对象锚点、冻结的 UMT5 文本编码器编码每块字幕和相机命令，这增加了数据准备的复杂性和成本。改进方向是开发更自动化的标注流水线，例如通过弱监督或自监督学习减少对昂贵 VLM 的依赖。第二，高计算需求：训练需要 48×H100 GPU 进行 15,000 步优化（Stage-1 5,000 步、Stage-2 5,000 步、Stage-3 6,000 步），推理时需要在线 DINOv3 计算，这对于学术实验室或小型公司来说是不可承受的。改进方向是开发更高效的模型架构和训练策略，例如通过神经架构搜索或模型压缩减少参数量和计算量。第三，有限的动作词汇：40 个预定义动作类别虽然覆盖了常见交互场景，但无法支持开放词汇动作或用户自定义动作。改进方向是引入开放词汇动作理解，例如通过大型语言模型或视觉语言模型实现零样本动作泛化。第四，固定的记忆库容量：Ktot=16 个标记的固定容量可能在极长滚动或复杂交互序列中不足，导致重要的交互信息被驱逐。改进方向是开发自适应记忆容量机制，例如根据交互复杂度动态调整记忆库大小。第五，相机控制精度有限：KMF 完整准确率仅为 20.62%，表明相机控制仍有改进空间，特别是在复杂交互场景中。改进方向是改进相机条件注入机制，例如通过更精确的 Plucker-ray 表示或更强的几何约束。第六，缺乏真实世界大规模评估：虽然包含了 400 小时真实世界数据，但评估主要在合成数据或有限的真实世界场景上进行，缺乏在大规模真实世界数据集上的广泛评估。改进方向是在更多样化的真实世界数据集上评估模型，例如在 EGTEA、EPIC-KITCHENS 等数据集上。
未来方向
ActWorld 的未来研究方向包括作者提出的和基于成果可延伸的几个方向。作者提出的未来工作包括将实时、AI 生成的游戏玩法作为最直接的下游应用，然后是具身规划和共同驱动的内容创作，一旦学习到的模拟器既能移动又能行动。基于成果可延伸的方向包括：第一，开放词汇动作理解：扩展 40 个预定义动作类别到开放词汇空间，通过大型语言模型或视觉语言模型实现零样本动作泛化，例如支持用户描述的自定义动作如用勺子舀汤或用螺丝刀拧螺丝。第二，多模态交互：除了键盘/鼠标控制外，引入语音、手势、眼动等更多交互模态，使代理可以通过更自然的用户界面与世界交互。第三，物理感知交互：引入更精确的物理模拟，例如刚体动力学、流体动力学、软体变形等，使生成的交互更符合物理规律。第四，多代理交互：扩展单代理交互到多代理场景，使多个代理可以在同一个世界中进行协作或竞争的交互。第五，长期记忆和因果推理：引入更强大的长期记忆机制和因果推理能力，使代理可以理解和预测复杂的因果链条，例如打开门进入房间打开灯看到桌子拿起杯子。第六，实时反馈和自适应：引入实时用户反馈机制，使代理可以根据用户的即时反馈调整生成的交互，例如用户纠正错误动作后代理可以立即适应。第七，跨域泛化：提高模型在不同视觉域（例如室内、室外、城市、自然）和不同代理形态（例如人类、动物、机器人）之间的泛化能力。
复现评估
ActWorld 的复现评估如下。开源情况：论文提到了项目页面 https://interactwm.github.io/ActWorld，但没有明确说明代码、模型权重或数据集是否开源。考虑到论文依赖专有视频模型生成的 100K 合成视频数据集和冻结的 GPT-5.4 VLM，数据集可能不会完全开源，这限制了独立复现的可能性。数据：训练数据结合了两个互补来源，100K 合成视频和 400 小时真实世界数据。合成数据由专有视频模型生成，包括 55K 第一人称和 45K 第三人称片段，跨越 40 个动作类别。真实世界数据主要来自公共数据集的以自我为中心的步行序列和游戏片段。数据准备需要通过 VIPE [7] 恢复相机轨迹、通过冻结的 GPT-5.4 VLM 进行 CoT 标注、通过冻结的 DINOv3 提取对象锚点、通过冻结的 UMT5 编码字幕和相机命令。算力：训练需要 48×H100 GPU 进行 15,000 步优化（Stage-1 5,000 步、Stage-2 5,000 步、Stage-3 I2V ODE 预热 3,000 步加 GAN 蒸馏 3,000 步），数据准备（100K 片段的 DINOv3 预烘焙）需要 8×H100 约 2.5 小时。推理时，对于 30-40% 的块需要在线 DINOv3 计算，平均开销低于 15%。难度：复现难度高，主要原因包括：（1）依赖专有数据集和模型（合成视频数据、GPT-5.4 VLM），（2）高计算需求（48×H100 GPU），（3）复杂的数据准备流水线，（4）多个训练阶段和蒸馏步骤。即使代码和模型权重开源，独立复现也需要大量算力和资源。评估：论文在 I-Bench 基准测试上进行评估，I-Bench 包含 300 个提示，均匀分为第一人称和第三人称视图，组织为 30 个语义连贯序列，每个序列 10 个提示。每个提示由 3 个动作动词与 2-3 个相机原语（平移、平摇、俯仰）交错组成，仅用自然语言描述。评估采用三个互补轴：VBench 捕获视觉质量和时间一致性，VLM-AJ 测量语义指令跟随，KMF 测量生成相机轨迹的几何可控性。评估流程复杂，需要运行 VIPE 恢复轨迹、冻结 VLM 评估、冻结 DINOv3 提取特征、VBench 套件计算等步骤。
论文图表