BEACON:面向游戏行为指纹学习的多模态数据集 BEACON: A Multimodal Dataset for Learning Behavioral Fingerprints from Gameplay Data
BEACON 释放 430 GB 瓦罗兰特多模态游戏行为数据集,推动持续认证基准研究
前置知识
持续认证
持续认证(Continuous Authentication)是一种在用户登录后持续、无感知地验证其身份的安全范式,核心思想是用户在会话期间持续产生行为特征(键盘节奏、鼠标轨迹、触控手势等),系统通过这些亚秒级传感器运动习惯与生理特征进行实时身份核验,避免传统密码和一次性 PIN 带来的会话劫持风险。
BEACON 数据集直接服务于持续认证研究,理解该范式才能明白为何作者追求高保真、长时段、跨模态的行为数据,以及为何要在自然竞争场景而非受控实验室任务中采集数据。
行为生物特征
行为生物特征(Behavioral Biometrics)指通过分析用户的操作行为(键盘敲击间隔、鼠标移动轨迹、步态、握持方式等)进行身份识别。与生理生物特征(指纹、人脸)不同,行为特征具有下意识、难模仿、可远程采集等优势,典型可区分维度包括击键动力学(keystroke dynamics)、鼠标动力学(mouse dynamics)、触控手势、步态等。
BEACON 围绕行为生物特征构建,论文中分析的核心指标(击键停留时间、鼠标速度、按键 WASD 比例)都是行为生物特征工程中的经典维度,理解这些才能读懂数据集设计动机。
网站指纹识别
网站指纹识别(Website Fingerprinting, WF)是网络流量分析领域的技术,通过观察加密流量的时序模式(包大小、到达间隔、方向等)推断用户访问的具体网站。本文的 6 个基线架构 ARES、BAPM、NetCLR、TCN、TMWF、Var-CNN 最初都是为 WF 任务设计的深度时序模型,作者将其迁移到行为生物特征识别上,这是一次跨领域的架构借用。
BEACON 没有设计全新网络,而是借用 6 个成熟 WF 架构作为分类器,理解 WF 任务的输入输出形式(变长包序列→固定类别)有助于理解为何作者要进行特征工程和固定长度截断(1024 tokens)。
时间序列分类
时间序列分类(Time-Series Classification)指对带有时序依赖的信号进行分类的任务。常用方法包括基于循环神经网络(RNN)、时序卷积网络(TCN)、Transformer 等的端到端学习,以及基于手工特征+经典分类器的传统流水线。本文采用 33 维手工特征+深度学习分类器的混合方案,跨越了两种范式。
BEACON 的核心建模任务是把每个时间窗(10s/30s/45s/60s)内的事件流转化为固定维特征向量再分类,理解时序特征聚合与窗口切分是读懂实验设置的关键。
早融合与晚融合
模态融合(Multimodal Fusion)分为早融合(Early Fusion,在特征/输入层拼接各模态信号)和晚融合(Late Fusion,在决策层融合各模态输出概率)。BEACON 的 "Combined" 配置是典型的早融合,把鼠标和键盘的 33 维特征拼成 66 维统一向量后再送入模型。
论文核心结论之一是"早融合优于单模态",理解早/晚融合的差异才能判断作者实验设计的边界,以及为何没有进一步探索注意力机制等更复杂的融合方式。
Z 分数标准化
Z 分数标准化(Z-score Normalization)将原始特征减去均值再除以标准差,得到均值 0、方差 1 的标准化值,公式为 $z = (x - \mu) / \sigma$。用于消除不同量纲特征(例如毫秒级延迟和每分钟按键数)对模型训练的影响,也是生成跨参与者可对比热力图的必要步骤。
Figure 4 的跨模态 Z 分数热力图和 Figure 5 的 P002 vs 群体对比图都基于 Z 分数,理解该变换才能看懂"个体指纹"如何在图上以颜色偏离均值的程度呈现。
研究动机
现有的行为生物特征数据集在三个维度上存在明显瓶颈,严重制约了下一代身份认证模型的研究。首先是规模不足,大多数公开数据集(如 Balabit Mouse、CMU Keystroke)仅 10-100 名参与者,采集的会话数也极少,根本无法支撑深度学习所需的数据量级;其次是模态单一,多数研究只采集单一信号(键盘、鼠标或触摸),即使部分数据集(如 AMuCS)尝试多模态,要么缺乏 PCAP 级别的网络层遥测,要么缺少屏幕录像这类环境上下文;第三是任务真实性不足,绝大多数数据集来自网页浏览、自由文本输入、密码敲击等低认知负荷任务,采集时间往往只有数分钟,既无法捕捉用户疲劳时的行为漂移,也难以反映真实高风险场景中亚秒级手眼协调的丰富信号。这些缺陷在战术射击类电竞游戏中尤为突出,因为此类游戏对反应速度、操作精度、策略决策的强度都远超日常电脑使用,而恰恰是这种高强度行为信号才最有利于构建鲁棒的持续认证系统。
本文的目标是本文的具体目标是发布 BEACON(Behavioral Engine for Authentication & Continuous Monitoring)数据集,即一份在瓦罗兰特(Valorant)战术射击游戏真实对局中采集的大规模、多模态、高保真行为生物特征基准。具体而言,作者希望覆盖 28 名不同竞技水平的玩家、79 局真实对局、约 102.51 小时主动游戏时长,产出 430 GB 同步多模态数据(磁盘总计 461 GB),包含超过 9000 万条鼠标事件、近 50 万次击键、超过 1.14 亿个网络包,并把数据按 4 个互补模态(鼠标动力学、键盘动力学、PCAP 网络包、屏幕录像)+ 1 个硬件上下文(硬件元信息 JSON)对齐发布到 Hugging Face,以填补现有基准在"高强度认知负荷 + 多模态同步 + 真实竞技场景"交叉点上的空白。
与已有工作不同的是，BEACON 的独特切入角度是显式地定位在"竞技电竞的传感器运动动力学 × 硬件配置 × 网络遥测"三者的精确同步交集上,这是现有公开数据集均未覆盖的组合。通过自研的低延迟并行日志器,作者在游戏运行期间同时记录四路并发模态(键盘、鼠标、PCAP、屏幕录像),并以单一 POSIX 时间源(time.time())为所有事件打时间戳,实现了真正的事件级跨模态对齐(无需人工同步标记);同时 BEACON 选择了瓦罗兰特这种要求亚秒级反应、复杂多键绑定、持续高强度操作的战术射击游戏作为数据源,使得采集到的传感器运动数据天然具有高熵、高区分度的指纹特征,适合作为持续认证系统的压力测试基准,这也是 AMuCS、HMOG、Touch Dynamics 等已有数据集未能同时满足的维度组合。
核心方法
BEACON 的方法思路可以拆成"数据采集"和"建模评估"两大部分,核心直觉是用真实竞技游戏作为生物特征压力测试场,再借用成熟的深度时序模型量化其判别力。数据采集方面,作者设计了一个独立可执行的自定义日志器,它在瓦罗兰特运行期间以四个并发线程采集键盘、鼠标、PCAP、屏幕录像四路信号,所有事件统一以主机 POSIX 时间(time.time())打戳,实现事件级跨模态对齐;同时记录硬件元信息 JSON 和本地游戏配置文件作为环境上下文。建模评估方面,作者把原始异步遥测聚合成 10s/30s/45s/60s 四个时间窗口的 33 维统计特征,再借助 6 个原本用于网站指纹识别的深度架构(ARES、BAPM、NetCLR、TCN、TMWF、Var-CNN)在 H100 GPU 上做 28 类用户识别任务,系统比较"仅鼠标""仅键盘""鼠标+键盘融合"三种模态配置下的精度、EER、d′、ROC AUC。
与已有方法相比,BEACON 的核心创新点体现在两个方面。第一是"数据规模与同步精度的质变":既有数据集要么只覆盖单一模态(如 Balabit Mouse 仅鼠标、CMU Keystroke 仅键盘),要么多模态之间缺乏精确时间同步(屏幕录像与事件流难以在事件级对齐),而 BEACON 以 POSIX 时间为统一基准,实现鼠标行、键盘行、scapy 包时间戳、FFmpeg 帧时间线的事件级对齐,这是事件级跨模态融合研究的必要前提。第二是"跨领域架构迁移":作者首次将网站指纹识别领域的 6 个时序深度模型系统性迁移到行为生物特征识别上,既验证了 WF 架构对其他高密度时序信号的适应性,又通过对比不同模型在同一任务上的表现(如 Var-CNN 70.82% vs ARES 0%)揭示了"扩张因果卷积 + 对比学习表征"这类归纳偏置对连续传感器运动信号的适配性优势。
方法步骤详情
BEACON 的方法流程可以分成数据采集流水线和建模评估流水线两大阶段。数据采集阶段:(1) 在玩家签署知情同意书后,日志器创建 data_[timestamp] 目录,生成 consent_granted_[timestamp].txt 同意凭证并验证 pynput、scapy、FFmpeg 等依赖可用性;(2) 静态数据采集阶段,hardware_info_collector 提取 CPU、RAM、显示器、外设的元信息并写入 hardware_info_[user]_[timestamp].json,同时复制本地瓦罗兰特配置以保留灵敏度和键位;(3) 动态并发监测阶段启动 4 个独立线程,键盘线程通过 pynput.keyboard.Listener 捕获按压/释放事件、停留时间、键间延迟;鼠标线程通过 pynput.mouse.Listener 捕获光标坐标、运动轨迹、点击、滚轮、速度和加速度;网络线程通过 scapy.sniff 把原始流量写入 captured_packets_[user]_[timestamp].pcap,实现本地物理输入与服务器端游戏活动的时序对齐;屏幕录像线程以 FFmpeg 子进程使用 libx264 ultrafast 预设、yuv420p 色彩子采样、25 fps 原生分辨率启动 screen_record_[user]_[timestamp].mp4 录制,通过保守编码参数最小化 CPU 占用以避免影响游戏主循环;(4) 所有遥测按事件增量写盘,保证意外退出时的数据完整性;(5) 上传阶段通过客户端缓存和分块 HTTPS 传输将单局数 GB 异构文件上传到中心存储,服务端验证层做严格的文件大小、正则文件名、必选模态同步存在检查,通过后入库用于发布。建模评估阶段:(6) 特征工程从原始事件流中按 10s/30s/45s/60s 四种窗口聚合出 33 维统计特征,涵盖事件频率、速度、停留时间、WASD 比例、技能键比例、点击频率、滚轮频率、IAT 中位数等;(7) 把固定长度截断或填充到 1024 tokens 后输入 6 个深度架构(ARES、BAPM、NetCLR、TCN、TMWF、Var-CNN);(8) 在 PyTorch + NVIDIA H100 80GB 环境下用 Adam 优化器(lr=$10^{-3}$)、CrossEntropyLoss、batch size=32 训练至多 30 个 epoch,按时间顺序 80%/10%/20% 划分训练/验证/测试集;(9) 输出 28 类用户识别任务的 Accuracy、EER、d′、ROC AUC 指标。
技术新颖性
从技术新颖性看,BEACON 的主要贡献在数据层面而非模型层面,这与作者在文中的定位一致(数据集论文)。新颖性体现在三点:其一,设计了不干扰游戏主循环的并行多模态日志器,这是该数据集可复现性的关键工程贡献,日志器在 Hugging Face 上单独开源;其二,采用单一 POSIX 时间源实现四路并发模态的事件级对齐,这种"零标记"对齐方案对真实部署场景尤其重要(无法在生产环境插入人工同步信号);其三,系统性建立了 33 维行为生物特征与 6 个 WF 深度架构的耦合评测基准,填补了"高强度认知负荷 + 真实竞技 + 多模态同步"这一交叉点的公开数据空白。值得指出,作者没有自创新模型,也没有引入对比学习预训练、Transformer、自监督表征等近年较热的方法,所有 6 个基线都是已有架构的微调适配,这是该工作在方法论上的边界,也是未来工作的重要突破口。
实验结果
实验结果围绕三个模态配置 × 6 个架构 × 4 个时间窗口的网格展开,核心发现可归纳为四点。第一,鼠标模态显著优于键盘模态:仅键盘模型峰值准确率仅 36.23%(TMWF, 45s 窗口),而仅鼠标模型即使在 10s 分辨率下就能达到 63.16%(Var-CNN),这印证了"高频率连续传感器运动信号比离散异步击键包含更丰富的身份信息"的假设,因为鼠标轨迹的速度、加速度、方向变化构成了远比按键时序更稠密的特征空间。第二,早融合带来进一步提升:Var-CNN 在 60s 融合窗口下达到 70.82% 的全局最高识别准确率,同时 EER 降至 4.31%,d′ 和 ROC AUC 也都明显高于单模态配置,说明鼠标和键盘提供了互补的行为信号(前者反映瞄准微反射,后者反映战术意图和节奏)。第三,时间窗口存在"微观 vs 宏观"权衡:短窗口(10s)能捕捉 flick-shot 等瞬时反射特征但受玩家状态波动影响大,长窗口(60s)聚合了旋转节奏、习惯性准星位置等宏观行为更稳定,大多数架构的指标随窗口增大单调改善。第四,架构适配性差异巨大:Var-CNN 和 NetCLR(扩张因果卷积 + 对比表征)在所有配置下都接近最优,说明这两类归纳偏置更擅长建模人类时序的连续高密度信号;而 ARES 在所有配置下都未能收敛,准确率为 0.00%,作者将其归因于 ARES 原本针对交易式、突发式加密流量设计,与连续多维传感器运动输出存在显著域差距,需要结构性重新设计才能迁移。这些结论的稳健性也得益于数据集本身的统计特征(Figure 5 显示单参与者 P002 在多个维度上的分布显著窄于群体,意味着高类间方差 + 低类内方差的生物特征可分性确实存在)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 28 类玩家身份识别(仅鼠标模态,10s 窗口) | Top-1 准确率 | 63.16%(Var-CNN) | 36.23%(TMWF 仅键盘,45s 窗口峰值) | 在更短的时间窗口下,鼠标模态相比键盘模态峰值提升约 26.93 个百分点 |
| 28 类玩家身份识别(鼠标+键盘早融合,60s 窗口) | Top-1 准确率 / EER | 70.82% / 4.31%(Var-CNN) | 63.16%(仅鼠标 Var-CNN,10s 窗口) | 相对单模态最优提升约 7.66 个百分点,EER 同步下降,验证早融合的有效性 |
| 跨架构鲁棒性(全部 3 个模态配置 × 4 个窗口) | 是否成功收敛 / 准确率 | 5/6 架构成功收敛,Var-CNN 全局最优 70.82% | ARES 在所有 12 种配置下准确率均为 0.00%(完全失败) | 证明 WF 架构并非都能迁移到行为生物特征,需要适配归纳偏置 |
| 个体可分性验证(单参与者 P002 vs 群体) | 特征分布的标准差倍数(median ratio) | P002 在鼠标、键盘、网络三组特征上的多个维度分布显著窄于群体(Figure 5) | 群体分布广泛覆盖多技能段玩家 | 高类间方差 + 低类内方差证明数据集捕获真实生物特征信号而非会话噪声 |
局限与改进
作者明确承认的局限性集中在四个方面。其一,样本量是深度导向而非人群规模:28 名参与者虽然每局产生的数据密度极高(平均每分钟约 1.4 万个鼠标事件,比传统桌面生物特征语料高一个数量级),但不支持人群级泛化结论、跨人口统计代表性、大规模入组研究,要达到 10²-10³ 量级的玩家规模才能支撑部署级声明。其二,跨平台/跨游戏迁移性未验证:所有会话都在 Windows 平台运行瓦罗兰特,鼠标驱动、游戏内灵敏度、键位、Tick 率等都会影响行为指纹,其他 FPS(如 CS2、Apex)或其他操作系统(Mac/Linux)下的可迁移性仍是开放问题。其三,基线评测只覆盖鼠标/键盘单模态及两者早融合,PCAP 和屏幕录像模态在数据集中发布但未做基线,作者明确将其作为开放方向留给社区,完整的多模态融合评测留待后续工作。其四,数据集是单时点快照,缺乏跨月/跨年的纵向数据,无法建模用户随技能成熟、年龄、伤病等因素导致的行为漂移,长期可靠性无法在本数据上验证。我个人的观察是,作者没有报告 6 个架构在不同时间窗口下的完整指标矩阵(只挑了全局最优),且没有对玩家技能分层(白银 vs 钻石)的子群体表现做拆分,这些会限制后续研究者对模型鲁棒性的细粒度判断;此外,数据集中 80 份 PCAP/鼠标/键盘文件、74 份 MP4、79 份 JSON 的微小不对称(2 个会话被拆分成两个时间戳、7 个会话缺录像)如果处理不当可能影响时序对齐假设。
独立分析的弱点
从独立分析视角看,本文至少存在四个可改进的弱点。第一,基线架构选择偏窄且偏旧,6 个架构中 TCN、Var-CNN 已是 2017-2018 年的工作,缺少对近期时序模型(Transformer、InceptionTime、TimesNet、自监督时序表征如 TS2Vec)的对比,这使得"扩张因果卷积 + 对比学习最优"的结论缺乏时代背景下的稳健性,改进方向是补充近 3-5 年的 SOTA 时序分类器,以及在相同数据上做大规模架构扫描。第二,特征工程局限于 33 维手工统计量,丢失了原始时序的细粒度结构信息,例如鼠标轨迹的角度、曲率、jerk(加加速度)以及分段语义(静止-挥击-微调)这些已被证明对生物特征识别很重要的特征都未显式建模,改进方向是引入轨迹分段算法和 jerk 谱特征,或者直接用端到端深度学习从原始事件序列学习(1D-CNN、PointNet++ 风格的逐事件模型)。第三,数据集缺乏攻击/反欺骗评测,作者在 Future Scope 中提到模仿攻击和 AI 机器人攻击的鲁棒性是开放方向,但当前 28 类识别只覆盖了良性用户区分,没有包含冒名顶替者、模仿者、生成式 AI 合成行为等对抗样本,使得 BEACON 暂时不能直接用于反欺骗研究,改进方向是招募模仿者子集或基于已发布数据合成对抗样本。第四,跨模态对齐的鲁棒性未做敏感性分析,作者假设 POSIX 时间戳在多线程并发下不会产生显著漂移,但没有定量评估四路线程在不同负载下的时钟偏差,这在多核系统、虚拟化环境(玩家在家采集)、高 CPU 占用场景下尤其值得验证,改进方向是注入已知间隔的同步脉冲信号并测量每路模态的最大偏差。
未来方向
作者明确提出的未来方向包括四条:对抗鲁棒性(刻画行为签名对模仿攻击和 AI 机器人的脆弱性,研发 liveness detection 区分真实人类与合成复制品)、特征扩展与滑窗架构(扩展特征工程、尝试不同重叠比的滑窗)、直接融合 PCAP 与视频帧到特征空间(把计算机视觉空间上下文与包级抖动分析结合,大幅提升反伪造难度)、自监督行为基础模型(用 BEACON 的数据密度训练自监督表征,应用到技能评估、疲劳检测、个性化训练等场景);以及更广泛的人口统计与硬件覆盖、跨月跨年的纵向采集。基于数据集本身的特性,可延伸的方向还包括:跨 FPS 迁移学习(把在瓦罗兰特上训练的行为指纹适配到 CS2、Apex 等类似游戏)、行为漂移检测(在 BEACON 基础上发布跨时间窗的二次标注,建模短期 vs 长期指纹稳定性)、多任务学习(同时训练身份识别+技能段预测+疲劳检测,共享表征)、元学习/少样本场景(28 人规模下如何快速适配到新玩家,这对实际部署至关重要)、隐私保护衍生(基于差分隐私或联邦学习发布行为特征,避免直接暴露原始鼠标轨迹)。
复现评估
BEACON 的可复现性整体较好但门槛较高。数据方面,完整数据集发布在 Hugging Face(beacon-gui/BEACON-Dataset),日志器代码发布在 GitHub,作者声称所有数据已完全匿名化,参与者编号 P001-P028 为化名,数据中不保留可识别个人信息;但数据集规模达 430 GB 同步数据 + 31 GB 辅助配置 = 461 GB 磁盘占用,加上解压、处理、特征提取至少需要 1-2 TB 临时存储,普通研究者难以在本地复现全量实验,改进方向是同时发布预处理后的特征版(只需 33 维 × 79 局 ≈ 数百 MB)以及原始 pcap/mp4 的小样本(1-2 局)用于验证流水线。算力方面,作者在 NVIDIA H100 80GB 上训练,单次完整训练(30 epoch × 6 架构 × 3 模态配置 × 4 时间窗口 = 72 组实验)在该硬件上耗时未明确报告,但根据 Var-CNN/TCN 这类模型规模推测,完整扫描至少需要数十到上百 GPU 小时,改进方向是提供训练好的权重和验证集超参数,降低复现门槛。代码与依赖方面,作者实现基于 PyTorch,日志器使用 pynput、scapy、FFmpeg,均为开源工具;论文没有提及预训练权重、随机种子、数据增强细节、训练曲线完整超参,这会引入一定的复现方差,改进方向是附带 MLflow 或 W&B 实验追踪日志。综合判断,数据采集流水线和模型训练流水线都可以复现,但完整重跑成本较高,推荐做法是直接下载作者发布的特征版本进行二次分析。
论文图表
