扩展行为克隆改善因果推理：面向实时视频游戏的开源模型 Scaling Behavior Cloning Improves Causal Reasoning: An Open Model for Real-Time Video Game Playing
扩展行为克隆提升因果推理能力
前置知识
行为克隆
行为克隆是一种模仿学习范式，将控制问题表述为从状态-动作对进行监督学习。它不需要环境交互或奖励函数设计，直接从人类专家演示数据中学习策略。在训练时，模型接收观测状态（如图像）并预测对应的人类动作（如键盘鼠标输入）。与强化学习不同，行为克隆不需要环境反馈，但面临分布偏移和因果混淆两大挑战。分布偏移指在线部署时遇到的状态分布与训练数据的分布不同导致的问题，而因果混淆指模型学习到观测与动作之间的非因果相关性而非真实因果关系。
本文完全采用行为克隆范式训练游戏AI，理解这一核心方法对于掌握论文的技术路线至关重要。
分布偏移
分布偏移指在线部署时遇到的状态分布与训练数据的分布不同导致的问题。在行为克隆中，模型学习训练数据中的最优动作，但部署时可能会偏离专家轨迹进入训练数据中罕见或未覆盖的区域，导致性能急剧下降。这种问题在自动驾驶、机器人控制等领域尤为突出，因为训练数据难以覆盖所有可能的在线情况。DAgger算法通过收集人工纠正数据缓解这一问题，即当模型犯错时人工介入并引导回有效状态，然后继续模型执行。
论文中采用了类似DAgger的纠正数据收集策略来缓解分布偏移，这是实现可靠在线性能的关键技术。
因果混淆
因果混淆是模仿学习中的核心难题，指模型学习到观测与动作之间的非因果相关性而非真实因果关系。典型例子是模型学到看到刹车灯就刹车（因为两者高度相关），但实际上应该基于障碍物是否出现来决定刹车。这种非因果策略在分布外场景下会完全失效，例如当障碍物存在但刹车灯未亮时模型可能不会刹车。这与反事实推理密切相关，真正的因果策略应该在各种反事实情况下都能做出正确决策。
本文的核心发现是扩展模型和数据规模能够改善因果推理能力，理解这一概念是理解论文科学贡献的关键。
扩展规律
扩展规律描述模型性能与模型大小、数据规模、计算资源之间的函数关系。Kaplan等人在语言模型中发现测试损失遵循幂律关系，其中数据量越大、模型越大、训练计算越多，性能越好。这意味着给定固定的计算预算，需要平衡模型大小和数据规模。在数据受限的 regimes 中，大模型可能因为过拟合而不如中等模型效果好，但在数据充足时大模型能够更好地利用数据并达到更好的性能。
论文研究了行为克隆模型的扩展规律，发现更大的模型在数据丰富时能更好地利用数据并改善因果推理。
研究动机
现有视频游戏AI方法主要依赖强化学习，需要为每个游戏精心设计奖励函数和训练环境，缺乏通用性和可扩展性。以Dota 2和StarCraft II为代表的里程碑工作虽然达到超人类水平，但都是针对单一游戏定制的系统，难以迁移到新游戏环境。同时，强化学习的样本效率低下，需要海量环境交互才能学到有效策略，训练成本极高。虽然行为克隆提供了一种简单通用的替代方案，仅从状态-动作对学习而无需环境交互或奖励工程，但它长期面临两大根本性挑战：分布偏移导致在线性能下降，以及因果混淆使模型学到非因果相关性而非真实因果关系。
本文的目标是本文的目标是建立一个开放的视频游戏游玩基础模型，能够使用原始图像观测和键盘鼠标动作在实时环境中玩多种3D游戏，同时在消费级GPU上实现实时推理性能。更重要的是，作者希望通过系统性研究回答一个科学问题：在数据受限的 regimes 中，扩展模型大小和数据规模是否能改善行为克隆的因果推理能力，从而缓解长期困扰模仿学习领域的因果混淆问题。这一问题的答案不仅对游戏AI有重要意义，也对机器人控制、自动驾驶等其他模仿学习应用具有指导价值。
与已有工作不同的是，本文的独特切入点在于首次在大规模真实视频游戏设置下研究行为克隆的扩展规律与因果推理的关系。以往相关工作要么专注于单一游戏环境（如Counter-Strike、Minecraft），要么使用简化的控制台游戏（如Xbox手柄），要么不开放代码和模型使得复现困难。本文聚焦于键盘鼠标交互的PC游戏，涉及更高频率的实时控制，挑战性更大，并发布了所有数据、代码和模型检查点。更重要的是，论文不仅报告性能指标，还通过精巧设计的因果性评分和玩具问题深入分析了模型是否真正学到了因果策略而非依赖统计相关性，这种分析深度在同类工作中较为罕见。
核心方法
方法整体思路是收集大规模高质量人类游戏玩法数据，使用多模态transformer架构训练行为克隆策略模型，然后系统性研究模型规模和数据规模对因果推理能力的影响。数据收集包括8300+小时的游戏玩法视频，涵盖多种3D游戏类型，每帧包含192×192像素图像和对应的键盘鼠标动作，部分数据还包含文本指令标注。模型架构采用decoder-only transformer作为策略骨干，配合轻量级动作解码器处理复杂的组合动作空间，支持同时最多4个按键和2个鼠标动作。训练过程中采用数据增强和类似DAgger的纠正数据策略来缓解训练-推理差距。作者通过控制环境中的玩具问题和大规模游戏环境中的因果性评分来量化因果推理能力，发现扩展模型和数据规模能够显著改善因果推理能力。
核心创新点有两方面：架构层面设计了带动作解码器的多模态策略模型，将复杂的组合键盘鼠标动作编码为8个token并自回归解码，相比直接预测所有动作token获得5倍推理加速；发现层面通过实验证明扩展模型大小和数据规模可以改善因果推理能力，这与传统认为需要特殊设计因果正则化方法的观点不同，提供了一个简单实用的工程化解决方案。另一个重要发现是训练图像编码器而非冻结预训练模型能显著提升性能，这与许多沿用预训练特征的做法不同。此外，论文提出的因果性评分指标为真实游戏设置中的因果推理能力评估提供了实用工具，填补了该领域的空白。
方法步骤详情
方法步骤的完整描述：数据收集阶段，录制经验玩家在多种3D游戏中的玩法视频（20 FPS），每帧保存192×192像素和对应键盘鼠标动作，使用商业视觉语言模型生成文本指令标注，并通过两阶段质量过滤确保数据质量。纠偏数据收集阶段，部署训练好的策略模型与游戏环境交互，人类监控器在模型表现退化时临时接管并引导回有效状态，这些轨迹与原始数据混合训练（占比低于1%）。模型架构训练阶段，使用EfficientNet-B0前6层将图像编码为1-4个视觉token，EmbeddingGemma编码文本为单个表示，策略transformer接收图像token、文本token、上一时刻真实动作token和推理token，输出单一潜在动作token，动作解码器将其自回归解码为8个动作token（4键盘、2鼠标移动、2鼠标按键）。训练采用AdamW优化器、混合精度训练，应用空间变换、颜色扰动、模糊等数据增强缓解训练-推理差距。评估阶段，在程序化环境中测量任务完成度，在真实游戏环境中进行人类偏好评估，使用因果性评分量化模型对视觉输入的依赖程度。
技术新颖性
技术新颖性体现在多个方面：首次在大规模键盘鼠标游戏环境中研究行为克隆扩展规律，提出实用化的因果性评分指标用于真实游戏设置，发现模型深度与因果学习速度的关系（在线性网络上SGD无法学到因果策略，需要非线性），证明动作解码器架构在保持性能的同时大幅提升推理效率，系统分析并缓解视频压缩导致的训练-推理差距（使用RGB编码而非YUV，统一训练和推理的resize函数）。这些新颖性不仅体现在算法设计上，更重要的是对行为克隆基础问题的系统洞察和工程化解决方案。论文的开放策略（数据、代码、模型全部公开）也为该领域的研究提供了宝贵的资源，降低了研究门槛并促进了学术界的进一步探索。
实验结果
核心发现包含三个方面：在程序化环境评估中，1.2B参数模型在Hovercraft任务中达到36.8±2.9秒完成时间（最低方差），在Simple-FPS任务中达到26.6±3.7分，FPS达到40帧/秒，大模型在数据充足时表现更好且更稳定。人类偏好评估显示模型越大越受青睐，在DOOM和Quake等真实游戏中1.2B模型在20个检查点中表现最佳，这表明扩展确实带来了可感知的质量提升。扩展规律分析显示测试损失遵循幂律关系，1.2B模型的不可约损失估计为1.111，指数为0.2336，证实了行为克隆模型与语言模型具有相似的扩展特性。因果推理分析发现，除极低数据 regimes（30M帧）外，因果性评分随模型大小和数据规模增加而提高，在玩具问题中发现增加网络层数能加速学到因果策略，且SGD在线性网络上无法进展，需要非线性才能学到因果正确解。文本指令跟随评估显示提供指令能显著提高迷宫任务成功率，证明模型能主动条件化行为于文本输入。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Hovercraft完成时间 | 秒（越低越好） | 36.8±2.9 (1.2B) | 38.1±4.2 (600M) | 3.4%提升，方差降低31% |
| Simple-FPS命中率 | 击中-被击中（越高越好） | 26.6±3.7 (1.2B) | 25.3±6.5 (150M) | 5.1%提升，方差降低43% |
| 推理吞吐量 | FPS | 40 (1.2B) | 80 (150M) | 牺牲50%吞吐量换取性能提升 |
| 人类偏好 | 相对胜率 | 1.2B最优 | 150M最差 | 模型越大越受青睐 |
| 文本指令跟随 | 迷宫成功率 | 有指令显著提升 | 无指令经常失败 | 定性改进 |
局限与改进
作者承认的局限性包括：模型目前只能跟随训练中见过的简单文本指令，受限于文本指令的数量和多样性，无法处理未见过的复杂指令；训练-推理差距的修复不完美，尽管采用了数据增强但仍有不可约差距来自视频压缩，这是数据收集阶段不可避免的损失；因果性评分只能衡量模型对视觉输入的整体依赖，不能保证在所有具体场景中都学到正确的因果关系，可能存在模型对某些视觉特征过度依赖而对其他特征忽略的情况。作者的观察包括：使用未标注数据预训练虽然能降低测试损失，但在线性能提升不明显，可能因为引入了非典型或特定环境的运动模式，降低了人类偏好。实验主要在相对简单的游戏中进行，对需要复杂规划的游戏能力有限。模型设计权衡了实时性和性能，可能不是最优架构选择。
独立分析的弱点
独立分析的弱点包括：因果性评分是间接指标，可能存在其他解释路径，例如更大的模型可能只是更稳定而非更因果，这种稳定性可能导致模型输出变化较小从而被误认为是更好的因果推理。训练数据分布不均衡，某些游戏数据远多于其他游戏，可能导致模型偏向某些游戏风格，在数据稀少游戏上性能较差。实时约束（20 FPS）限制了模型复杂度，更深的网络可能无法满足实时性要求，这限制了模型容量的进一步提升。文本指令生成依赖商业视觉语言模型，可能引入标注噪声和偏见，这些噪声可能影响模型学到的策略质量。纠偏数据占比很低（低于1%），可能不足以充分缓解分布偏移，需要更多人工干预成本。未标注数据预训练效果不明显，说明伪标签质量或预训练范式需要改进，当前的逆动力学模型可能无法充分捕捉真实动作分布。评估主要在FPS和简单游戏进行，对策略深度要求高的游戏能力未知。
未来方向
作者提出的未来研究方向包括：扩展文本指令的多样性和数量以支持更复杂的指令跟随，使模型能够理解更抽象和长周期的指令；改进数据增强以进一步减少训练-推理差距，例如探索更先进的增强技术或域适应方法；探索更好的未标注数据利用方法，如改进逆动力学模型架构或使用其他无监督预训练范式，可能需要更复杂的动作表示学习。基于成果可延伸的方向包括：研究因果推理与模型架构设计的关系，例如注意力机制如何影响因果学习，不同架构组件对因果推理的贡献；探索多任务学习是否有助于因果推理，通过同时学习多个任务可能促使模型学到更本质的因果关系；在更复杂的环境中验证扩展规律，例如需要长期规划和策略决策的游戏；研究主动学习和课程学习是否能在数据受限 regimes 中更高效地学习因果策略，通过智能选择训练样本可能加速因果学习；开发更细粒度的因果性评估指标，能够衡量模型在不同场景下的因果推理能力；将方法迁移到机器人控制等其他模仿学习任务，验证发现的普适性。
复现评估
复现评估：论文承诺开放所有数据、代码和模型检查点，使用开源或开源友好工具链（PyTorch, Godot引擎），这为学术界的复现研究提供了良好基础。训练在8×NVIDIA H100 GPU上进行，推理在单张NVIDIA RTX 5090 GPU上，硬件要求相对合理，研究机构能够满足。超参数在附录中详细报告，包括批次大小、学习率、数据增强参数等，不同模型规模使用不同批次大小以最大化GPU利用率。作者提供了完整的训练细节和评估设置，包括游戏内相机灵敏度配置（如Roblox相机灵敏度0.52，Quake鼠标灵敏度3.5等），这些细节对复现至关重要。实验提供了多次运行的均值和标准差，结果稳健性较好，使得性能评估更可信。主要挑战在于数据集规模较大（8300+小时），需要大量存储和计算资源，完全复现训练过程可能需要大量计算投入。整体而言，论文的复现性良好，开放策略值得赞扬，但受限于硬件资源，完全复现可能具有挑战性。
论文图表
图3a展示了视频压缩导致的训练-推理差距，通过比较模型对原始帧和压缩帧的输出来测量。差距随压缩质量降低（文件大小更小）而增加，RGB编码比YUV编码差距更小。x轴是量化参数QP，值越大质量越低。图3b显示数据augmentation能在合理压缩质量下显著缓解这一差距，证明了数据增强的必要性。
这张图对理解论文重要，因为它揭示了训练-推理差距的重要来源和解决方案，是工程化实现的关键洞察。读者可以理解为什么简单的离线评估指标可能高估在线性能，以及数据增强如何弥合这一差距。这是使行为克隆实用化的重要技术贡献。