WildWorld：面向生成式动作角色扮演游戏的大规模动态世界建模数据集，包含动作与显式状态标注 WildWorld: A Large-Scale Dataset for Dynamic World Modeling with Actions and Explicit State toward Generative ARPG
从《怪物猎人：荒野》采集的1亿帧游戏数据集，支持动作条件世界建模
前置知识
世界模型（World Model）
世界模型是一类能够预测环境如何随时间演化的模型。在强化学习和动态系统理论中，世界被建模为一个潜在状态的动态过程：环境通过状态转移来演化，而这些转移是由智能体的动作驱动的。视觉观测只是真实系统状态的部分、带噪声的投影。世界模型的目标是学习这种动作条件下的状态转移动力学，从而使智能体能够在复杂环境中进行规划、推理和长时程交互。世界模型通常由编码器（将观测映射到潜在状态）、转移模型（预测下一个状态）和解码器（从潜在状态重建观测）组成。
本文的核心主题就是构建支持世界模型训练的大规模数据集，理解世界模型的基本概念是理解论文动机和方法的前提
动作条件视频生成（Action-Conditioned Video Generation）
这是一种视频生成范式，模型在生成未来视频帧时，除了接收过去的观测外，还接收动作信号作为条件输入。例如，给定初始帧和一系列键盘/手柄操作指令，模型生成对应的未来视频。这种方法使生成的视频具有交互性，因为用户可以通过改变动作来控制生成内容。现有的方法通常将动作直接与像素级变化耦合，例如'向左移动'直接对应视角的相应变化，但这种方式难以处理隐式状态转移。
本文正是在这一范式下工作，提出了包含丰富动作标注的数据集，并比较了多种动作条件视频生成方法
潜在状态与显式状态（Latent State vs Explicit State）
在动态系统建模中，状态是对系统当前情况的完整描述。潜在状态（Latent State）是指模型从数据中自动学习到的隐式表示，通常是一个高维向量，其语义不直接可解释。显式状态（Explicit State）则是有明确语义意义的状态标注，如角色的生命值、位置坐标、骨骼姿态等。显式状态可以直接观测和验证，而潜在状态需要通过解码器或分析来理解。本文的关键创新之一就是提供显式状态标注，使模型能够学习结构化的状态动力学。
区分这两种状态类型对于理解本文的核心贡献至关重要——WildWorld提供的是显式状态标注，这是区别于现有数据集的关键特征
骨骼姿态（Skeleton Pose）
骨骼姿态是一种用分层关节结构来表示角色身体姿态的方法。它由一系列关键点（keypoints）和连接这些关键点的骨骼（bones）组成，形成一棵树状结构。在3D骨骼姿态中，每个关键点有三维坐标；投影到屏幕坐标后得到2D骨骼姿态。骨骼姿态能够精确描述角色的运动状态，是动作识别和姿态估计任务中的核心表示。在本文中，骨骼姿态被用作状态对齐（State Alignment）评估的代理，因为姿态直接反映了底层世界状态。
论文使用骨骼关键点追踪来评估生成视频的状态对齐质量，理解骨骼姿态是理解评估方法的关键
结构化运动（Structure from Motion, SfM）
结构化运动是一种从视频序列中估计相机轨迹和三维场景结构的计算机视觉技术。给定一系列视频帧，SfM算法通过分析帧间的视觉对应关系，恢复相机在每一帧的位置和朝向（即相机轨迹），以及场景的三维点云。在本文中，SfM被用于从生成的视频中估计相机轨迹，然后与游戏引擎记录的真实相机轨迹进行比较，以评估相机控制的准确性。论文使用ViPE模型来进行相机轨迹估计。
论文的相机控制评估指标依赖于从生成视频中估计相机轨迹，SfM是实现这一评估的基础技术
研究动机
现有视频世界模型数据集在支持动作条件世界建模方面存在严重不足。首先，大多数现有数据集提供的动作标注语义简单且多样性有限，例如只有基本的移动或相机旋转指令。其次，更重要的是，这些数据集中的动作通常与视觉观测直接绑定——动作'向左移动'直接对应视频中的视角变化，这种直接耦合使得动作的效果在像素层面就清晰可见。然而，在许多真实场景中，动作并不通过显式的观测变化来定义，而是通过隐式的状态转移来体现。例如，'射击'动作隐式地影响了'剩余弹药数'这一内部状态变量，这个状态无法从视觉观测中可靠推断，但它对决定未来视觉结果至关重要。当弹药耗尽时，执行射击动作将不再产生射击效果或弹道，导致视觉结果与有弹药时显著不同。这种耦合使得模型难以将状态转移与观测变化解耦，从而阻碍了稳定、可解释的世界动力学的学习。当前模型在长时程预测任务中表现尤其糟糕，因为小误差会随时间累积，最终导致生成结果出现明显的不一致或不稳定。
本文的目标是本文的目标是构建一个大规模、具有显式状态标注的动作条件世界建模数据集，以支持学习结构化的世界动力学。具体而言，作者希望数据集具备以下特征：（1）丰富且语义有意义的动作空间，包含多样化的交互类型；（2）逐帧的显式状态标注，包括角色骨骼、世界状态、相机位姿、深度图等；（3）大规模数据量，能够覆盖多样化的交互场景；（4）支持系统性评估动作跟随和状态对齐的基准测试。通过这样的数据集，研究者可以训练和评估能够理解动作语义、维护长时程状态一致性的世界模型。
与已有工作不同的是，本文的独特切入角度在于从游戏引擎中采集数据，利用游戏引擎的内在结构来获取动作、状态和观测三者的完整信息。在现代游戏执行过程中，这三个层面的数据可以在不同阶段被记录：游戏逻辑层维护状态和动作，渲染层产生视觉观测。这种分离使得研究者能够同时获得：（1）动作层面——玩家执行的控制输入；（2）状态层面——游戏世界的底层演化，包括角色位置、生命值、骨骼姿态等；（3）观测层面——渲染后的视觉表现。这种'三元组'式的数据采集方式是现有互联网视频数据集或简单游戏数据集无法提供的。此外，作者选择了一款AAA级动作角色扮演游戏《怪物猎人：荒野》作为数据源，其复杂的战斗系统和丰富的动作库提供了语义丰富的动作空间。
核心方法
WildWorld数据集的构建方法可以分为四个主要阶段：数据采集平台搭建、自动化游戏录制流程、数据处理与标注流程。整体思路是利用游戏引擎的分层架构——游戏逻辑层维护状态和动作，渲染层产生视觉观测——来同步采集动作、状态和观测三类数据。首先，作者构建了一个专门的数据采集平台，能够高保真地记录玩家动作、角色骨骼、世界状态、相机位姿、深度图等信息。然后，通过自动化游戏流程（包括行为树AI控制的NPC队友和自动寻路系统）来大规模采集游戏数据。采集完成后，经过多维度的样本过滤（时长、时间连续性、亮度、遮挡等）来提升数据质量。最后，利用视觉语言模型生成层次化的文本描述，包括动作级别的细粒度描述和样本级别的摘要描述。
本文的核心创新在于提出了一种'三元组'式的数据采集范式，将动作、状态和观测作为三个独立但同步的数据流进行采集。与现有数据集的关键区别在于：现有数据集通常只提供视觉观测和简单的动作标签，动作效果直接反映在像素变化中；而WildWorld提供了显式的、语义丰富的状态标注，包括角色骨骼（3D关键点）、世界状态（生命值、耐力等游戏属性）、相机位姿（内外参数）和深度图。这种设计使得状态成为动作和观测之间的'中间表示'——动作首先影响状态，状态再影响观测。这种解耦对于学习结构化的世界动力学至关重要。另一个关键创新是开发了一套完整的工具链，能够与游戏引擎深度集成，实现逐帧级别的数据记录和同步。
方法步骤详情
数据集构建包含以下详细步骤：第一步，构建数据采集平台。作者开发了与《怪物猎人：荒野》游戏引擎集成的专用工具，能够记录三类数据：动作（执行的动作ID、武器类型）、状态（绝对位置、旋转、速度、动画ID、生命值、耐力、骨骼姿态）和观测（RGB帧、深度图、相机内外参数）。通过禁用HUD着色器获得干净的无HUD画面。第二步，自动化游戏录制。利用游戏内置的行为树AI控制NPC队友进行自动战斗，同时通过游戏的目标锁定系统自动管理相机。录制系统基于OBS Studio和自定义Reshade着色器，将全屏分为四个子窗口分别录制RGB和深度流，RGB使用16Mbps的HEVC有损压缩，深度使用无损编码。第三步，数据处理与过滤。应用五维过滤：时长过滤（丢弃短于81帧的样本）、时间连续性过滤（丢弃相邻帧间隔超过目标间隔1.5倍的样本）、亮度过滤（丢弃连续15帧以上极端亮度的样本）、相机遮挡过滤（丢弃相机-角色距离异常小的样本）、角色遮挡过滤（丢弃首帧角色重叠面积超过30%的样本）。第四步，层次化标注。将每个样本按动作ID分割为动作序列，以1FPS采样RGB帧并缩放至480p，使用Qwen3-VL-235B模型生成动作级别描述，再用Gemini 3 Flash生成样本级别摘要。
技术新颖性
WildWorld的技术新颖性体现在多个层面。首先，在数据采集范式上，这是首个同时提供动作、显式状态和视觉观测三元组的大规模游戏数据集。现有数据集如OmniWorld、Sekai、GF-Minecraft等虽然引入了游戏视频或动作信号，但主要依赖视觉观测，缺乏显式的、语义有意义的状态表示。其次，在动作空间的丰富性上，WildWorld包含超过450种动作，涵盖移动、攻击、技能施放等多种交互类型，每个动作被编码为（武器类型、动作库ID、动作ID）三元组，产生5960个独特的角色动作三元组。相比之下，现有数据集的动作空间通常只有简单的移动和相机旋转。第三，在评估方法上，WildBench提出了两个全新的评估指标：动作跟随（Action Following）通过视觉语言模型判断生成视频是否执行了正确的动作；状态对齐（State Alignment）通过骨骼关键点追踪来量化状态转移的准确性。这两个指标直接评估世界模型的交互能力，而不仅仅是视觉质量。
实验结果
实验结果揭示了当前交互式世界模型面临的核心挑战。在基准验证方面，动作跟随指标与人类判断的一致性达到85%，证明了该指标的可靠性；状态对齐指标在真实视频上达到43.23%的坐标准确率，验证了其有效性。在模型比较方面，所有交互式方法相比基线模型在交互相关指标上都有提升：CamCtrl将相机控制的ATE从4.63降低到2.02（降低56%），RPE从0.18降低到0.13；SkelCtrl在动作跟随上达到92.81%（相比基线的53.77%提升73%），状态对齐达到22.03%（相比基线的11.29%提升95%）；StateCtrl在所有三个交互指标上都有提升，ATE降至0.94，动作跟随达85.66%。然而，VBench指标在WildWorld上趋于饱和——所有方法的运动平滑度（MS）和动态程度（DD）都超过95%，但实际的动作跟随和状态对齐能力差异巨大，这说明现有评估指标不足以评估高度动态的视频生成。此外，直接使用视觉信号作为条件输入存在权衡：SkelCtrl在交互指标上提升更大，但牺牲了图像质量（AQ和IQ下降）；而StateCtrl保持了更好的图像质量。StateCtrl-AR仅使用首帧状态自回归预测后续状态，性能与StateCtrl相当，但动作跟随明显下降（74.66% vs 85.66%），这归因于迭代状态预测的误差累积。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 相机控制 | ATE (Absolute Trajectory Error) | StateCtrl: 0.94 | 4.63 | 降低79.7% |
| 相机控制 | RPE (Relative Pose Error) | StateCtrl: 0.07 | 0.18 | 降低61.1% |
| 动作跟随 | Action Following Score | SkelCtrl: 92.81% | 53.77% | 提升72.6% |
| 状态对齐 | State Alignment Score | SkelCtrl: 22.03% | 11.29% | 提升95.1% |
| 视频质量 | Aesthetic Quality (AQ) | StateCtrl: 50.86 | 50.81 | 持平 |
| 视频质量 | Image Quality (IQ) | StateCtrl: 67.78 | 65.62 | 提升3.3% |
局限与改进
本文存在以下局限性：首先，数据集来源于单一游戏《怪物猎人：荒野》，虽然该游戏提供了丰富的动作和场景多样性，但游戏世界的视觉风格和交互模式可能无法完全代表真实世界的复杂性。数据集覆盖29种怪物、4个玩家角色、4种武器类型和5个场景，但这些多样性仍然有限。其次，自动化游戏流程依赖于游戏内置的行为树AI，虽然作者论证了AI行为的多样性，但这种基于规则的AI可能无法覆盖所有可能的交互模式，特别是在需要创造性和策略性的场景中。第三，评估指标存在局限：动作跟随依赖视觉语言模型（Gemini 3 Flash）进行判断，可能存在模型偏见；状态对齐仅使用骨骼姿态作为状态代理，无法评估所有类型的状态转移。第四，数据采集过程中RGB使用有损压缩（16Mbps HEVC），可能损失部分视觉细节，这对需要精确像素级重建的任务可能产生影响。第五，论文中所有模型的训练分辨率仅为544×960、81帧、16FPS，与实际游戏的高分辨率高帧率体验存在差距。
独立分析的弱点
论文存在几个值得关注的弱点。第一，数据集的多样性仍然有限——虽然包含29种怪物和4种武器，但这些都来自单一游戏的单一类型（动作RPG），对于需要跨域泛化的世界模型来说可能不够。改进方向包括扩展到多个游戏或引入程序化生成的场景。第二，自动化的战斗AI可能产生偏见的数据分布——行为树AI的决策模式可能与人类玩家存在系统性差异，这可能影响训练出的模型在真实人机交互场景中的表现。可以考虑结合人类玩家数据或更高级的AI（如强化学习agent）来丰富行为模式。第三，评估指标的设计存在简化：动作跟随评估仅判断'是否执行了相同动作'，但没有评估动作的时机、强度和效果；状态对齐仅使用2D骨骼关键点，忽略了3D空间信息和其他状态变量（如生命值变化）。第四，模型训练规模较小（batch size 8，250K迭代），可能没有充分挖掘数据集的潜力。第五，论文没有讨论数据集的隐私和伦理问题——虽然数据来自游戏，但游戏内容的版权问题需要明确说明。
未来方向
作者提出和暗示了几个重要的未来研究方向。首先，自回归交互式世界模型（如StateCtrl-AR）展示了 promising 的方向，但面临误差累积问题，未来可以结合自回归视频生成技术来改进。其次，状态感知的视频生成是一个关键方向——如何更好地将显式状态信息注入视频生成过程，以及如何设计更好的状态预测器来维护长时程一致性。第三，WildBench的评估指标可以进一步扩展，例如引入更细粒度的动作评估（考虑动作的时序、强度）、多模态状态评估（结合视觉和数值状态）、以及长时程一致性评估。第四，数据集可以扩展到更多游戏类型和场景，特别是那些具有更复杂物理交互的游戏。第五，世界模型可以与强化学习结合，用于游戏AI的训练和测试，实现'AI原生游戏'的愿景——这也是作者在论文中提到的他们正在寻找的研究方向。最后，将WildWorld的采集方法论应用到其他游戏引擎（如Unreal Engine、Unity），构建更大规模、更多样化的世界建模数据集。
复现评估
论文在复现性方面做得较好。代码已在GitHub开源（https://github.com/ShandaAI/WildWorld），项目主页提供了详细的信息（https://shandaai.github.io/wildworld-project/）。数据集的采集流程在论文中有详细描述，包括录制系统的技术细节（基于OBS Studio和Reshade）、数据过滤的具体参数、标注模型的选择（Qwen3-VL-235B和Gemini 3 Flash）等。然而，复现存在一些挑战：首先，数据采集依赖于《怪物猎人：荒野》这款游戏及其modding工具，这可能涉及游戏版权和modding政策的限制。其次，完整的数据集包含1.08亿帧，存储和处理需要大量计算资源。第三，模型训练使用了特定的基座模型（Wan2.2系列），需要相应的预训练权重。第四，评估流程依赖商业API（Gemini 3 Flash），可能产生费用。总体而言，论文的方法论和代码是可复现的，但完整复现需要游戏访问权限和相当的计算资源。
论文图表