EgoCS-400K：面向世界模型的第一人称游戏数据集 EgoCS-400K: An Egocentric Gameplay Dataset for World Models
基于CS游戏录像构建的大规模第一人称视频-动作-语言轨迹数据集。
前置知识
World Models (世界模型)
世界模型是指能够模拟环境如何随行动演化的模型，它不仅生成未来的视觉观察，还理解控制信号、相机运动和决策如何导致场景变化。与纯视频生成不同，世界模型强调交互性和因果推理，即在给定特定动作输入的情况下预测下一帧状态。
本文旨在构建训练世界模型所需的数据，因此理解世界模型对动作-状态-视频对齐的需求是理解本文数据集设计动机的基础。
Replay Files (录像文件)
录像文件（如CS的.dem格式）是游戏状态的时间序列记录，包含玩家的位置、视角、输入信号、武器状态和游戏事件，而非简单的像素录制。这些文件允许在任意时间点重新加载并渲染出完全一致的视觉画面，提供了完美的对齐基准。
本文的核心创新在于利用录像文件作为单一真实源，从中解析动作状态并渲染视频，从而实现毫秒级的多模态对齐，这是理解本文技术路线的关键。
Dynamic Programming Segmentation (动态规划分割)
动态规划是一种通过把原问题分解为相对简单的子问题的方式求解复杂问题的方法。在本文中，它用于在长时间的视频序列中选择最优的切割点，使得每个片段既满足长度约束，又不切断语义连贯的动作链（如换弹或投掷手雷）。
这是本文技术实现的关键步骤，它解决了如何从长录像中提取高质量训练样本的问题，直接决定了数据集的可用性。
研究动机
当前的视频生成正在向交互式世界建模转变，这对训练数据提出了新要求：不仅需要带字幕的视频，更需要时间对齐的视频-动作-语言轨迹。然而，现有的数据源都有显著缺陷。大规模网络视频数据集（如WebVid、HowTo100M）虽然视觉覆盖广，但缺乏可执行的动作信号和可靠的状态监督，且语言字幕与导致视觉变化的具体动作之间对齐很弱。第一人称视频数据集（如Ego4D）虽然捕捉了人类体验，但通常缺乏精确的控制轨迹和可靠的状态记录。机器人数据集虽然提供了动作监督，但收集成本高昂，且在场景多样性和交互复杂性上受限。
本文的目标是本文的目标是构建一个大规模的、以回放为基础的第一人称Counter-Strike数据集，用于世界模型的研究。具体而言，旨在提供超过40万个第一人称视频、1万小时的游戏时长，覆盖13张地图和1000多场比赛。数据集不仅要包含高质量的视频，还要提供密集的、时间对齐的注释，包括每刻的玩家状态、键盘鼠标信号、原子动作跨度、动作时间线、受保护的动作链以及多粒度的字幕。
与已有工作不同的是，本文的独特切入角度在于利用竞技游戏的Demo录像作为数据源。Demo录像天然保留了完整的人类游戏轨迹，包括玩家状态、相机运动、动作和游戏事件，并且是可重放、可渲染、可解析的。这种回放基础结构使得数据集具有天然的审计路径，可以从视频段追溯到原始录像事件。这填补了被动网络视频和昂贵的真实世界具身数据之间的空白，提供了一个可扩展的中间测试平台，既能提供密集的时间监督，又能保持大规模数据获取的可行性。
核心方法
本文提出的方法是一个三阶段的数据引擎：第一阶段是演示文件的收集、渲染和过滤，第二阶段是解析和分割，第三阶段是先验引导的VLM字幕生成。整体思路是将规范监督与视觉观察解耦：Counter-Strike Demo时间线提供权威的计时、玩家状态、动作、相机运动、武器状态和游戏事件信号，而渲染的第一人称视频则提供相应的视觉证据用于场景描述和字幕生成。这种设计使得每个片段都可以在原始Demo时间线、渲染视频间隔和衍生的动作状态注释之间进行审计。
核心创新点在于回放基础的多粒度注释架构和受保护动作链概念。与普通视频切片不同，本文通过规则检测器从解析信号中提取原子动作（如开火、换弹、切枪），并将那些如果切断会产生视觉或语义不连续性的动作标记为受保护。为了在分割长序列时保持动作链的完整性，本文采用动态规划算法来选择最优边界，确保分割点从不落在受保护间隔内，同时最小化间隙惩罚、上下文短缺和长度偏差。这与已有方法本质区别在于，它不是盲目切片，而是基于游戏状态语义的结构化分割。
方法步骤详情
方法分为三个主要步骤。首先，在演示收集与渲染阶段，从HLTV收集公共专业CS:GO和CS2比赛Demo，使用CS Demo Manager和Counter-Strike客户端将选定间隔渲染为32 FPS的H.264 MP4视频，并过滤掉旁观者视角或损坏的录制。其次，在解析与分割阶段，使用DemoParser2解析每个Demo，导出包含位置、视角、速度、输入状态等的每刻数据，并从按钮位掩码解码键盘鼠标注释。通过基于规则的检测器提取原子动作（如开火、重装、切换），并将重叠的受保护间隔合并为非重叠的受保护链。接着使用动态规划分割公式计算最优分割边界，其中边缘成本考虑了间隙、前置上下文、片段数偏好和目标时长。最后，在先验引导字幕生成阶段，为每个片段构建局部动作先验、移动先验和相机先验，过滤掉低证据信号，然后使用Qwen-VL生成结构化的JSON字幕，包括场景草稿和长提示。
技术新颖性
本文的技术新颖性体现在两个方面：一是构建了一个完全基于游戏回放文件的数据引擎，利用Demo作为单一真实源，通过解析和渲染两条流水线分别生成状态信号和视觉观测，实现了天然的时间对齐和可追溯性；二是提出了基于动作语义感知的动态规划视频分割算法，通过定义受保护动作链和包含上下文短缺惩罚的复合成本函数，解决了传统固定长度切片破坏动作连贯性的问题。此外，多粒度的注释模式从Tick状态到原子动作，再到受保护链和训练片段，为不同粒度的世界模型研究提供了灵活的数据接口。
实验结果
本文成功构建了EgoCS-400K数据集，达到了预期的规模和覆盖度。数据集包含超过1000场比赛、4万多个回合，通过渲染每回合10个玩家视角，产生了超过40万个回合玩家视频，总视频时长超过1万小时，平均视频长度约为90秒，覆盖13张不同的地图。实验结果表明，多粒度注释架构能够有效地将原始的每刻数据转化为结构化的动作链和训练片段。动态规划分割算法在保持动作完整性的同时，能够生成符合长度约束的训练片段。定性分析显示，生成的字幕能够准确地将视觉证据与动作、移动和相机痕迹融合，例如在投掷手雷的片段中，字幕详细描述了玩家从准备到释放再到视角跟随的完整过程，证明了先验引导字幕生成的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Dataset Scale Construction | Total Video Hours | >10,000 hours | Ego4D (approx 3,700 hours) | ~2.7x increase |
| Egocentric Video Count | Round-Player Videos | >400,000 videos | Ego4D (approx 3,700 hours, varying count) | High granularity, per-player split |
| Action-State Alignment | Temporal Precision | Tick-level (Demo-based) | WebVid (Weak captions) | Exact alignment via replay engine |
局限与改进
作者承认的主要局限性包括：首先，Counter-Strike是基于游戏的环境，其行为分布集中在战术导航、视角控制、武器和道具处理以及快速动作转换上，缺乏日常活动、细粒度手部操作、社交互动或开放式的真实世界行为，与现实世界的具身智能存在领域鸿沟。其次，动作空间受游戏机制限制，玩家控制是离散的键盘和鼠标输入，武器和道具遵循游戏定义的状态机，场景变化服从游戏物理和地图设计而非现实物理。最后，字幕是基于先验引导的VLM注释而非人工编写的黄金标签，虽然结构化先验限制了动作、移动和相机事实，并包含置信度和标志以支持审计，但可能仍包含视觉细节错误或不完美的对齐。
独立分析的弱点
独立分析的弱点主要集中在领域适应性和注释质量上。具体而言，Counter-Strike的视觉风格和物理引擎与真实世界存在差异，模型在此数据上训练可能难以直接迁移到现实世界的机器人操作。此外，尽管使用了先验引导，VLM生成的字幕仍可能包含幻觉或对游戏机制理解不深导致的错误。改进方向可以是引入人工校验环节对部分高价值数据进行标注，或者引入真实世界的第一人称视频进行域适应训练。另一个弱点是数据集仅限于第一人称射击游戏场景，缺乏环境多样性。
未来方向
作者提出的未来工作方向包括扩展到其他游戏和模拟器环境，以增加视觉和行为多样性，并验证方法的通用性。基于成果可延伸的方向包括：利用该数据集训练和评估交互式世界模型，开展强化学习基准测试以测试智能体的长期规划能力；改进字幕生成流程，引入多轮VLM交互或人类反馈以提高注释质量；探索将回放解析技术推广到其他类型的竞技游戏或模拟环境；以及开发更细粒度的语义分割和对象级注释，以支持更复杂的场景理解和操作任务。
复现评估
复现评估方面，本文依赖公开可用的工具和数据源。Demo文件来自HLTV等公共网站，解析使用了开源的DemoParser2工具，渲染使用了CS Demo Manager。数据处理管道的各个阶段都有明确的文件格式（如JSON、CSV）和参数设置（如分割的长度范围、FPS设置）。数据集的构建流程是确定性和可重入的，支持损坏任务的跳过和重试。虽然具体的渲染算力需求和时间成本未在文中详细量化，但基于云渲染的方案表明其具有一定的扩展性。总体而言，复现数据集的构建流程在技术上是可行的，但需要大量的存储和计算资源。
论文图表