Action100M：大规模视频动作数据集 Action100M: A Large-scale Video Action Dataset
构建1.47亿动作片段的大规模视频动作数据集，显著提升零样本动作识别性能
前置知识
V-JEPA 2 (Video Joint Embedding Predictive Architecture)
V-JEPA 2 是 Meta 提出的视频自监督学习模型，基于 ViT（Vision Transformer）架构，通过联合嵌入预测的方式学习视频表征。模型不直接重建像素，而是在嵌入空间中预测被遮蔽区域的表征，从而学习到更抽象、语义更丰富的视频特征。V-JEPA 2 使用 384px 分辨率的 ViT-g-384 编码器，能将视频帧序列转化为时空视觉 token 序列。这种架构特别适合捕捉视频中的时序动态信息，为下游动作识别任务提供高质量的视觉表征。
Action100M 的时序分割阶段完全依赖 V-JEPA 2 的嵌入表示进行层次化聚类，理解该模型的工作原理是理解数据集构建流程的基础。
层次化时序分割 (Hierarchical Temporal Segmentation)
这是一种将长视频分解为多层次时间片段的技术。底层是细粒度的原子动作（如拿起刀），高层是粗粒度的程序性任务（如制作意大利咖啡）。技术实现上使用层次化凝聚聚类（Hierarchical Agglomerative Clustering），采用 Ward 链接准则最小化聚类内方差，并施加时序局部性约束（每帧只能与相邻帧连接），确保合并只发生在连续时间段内。最终形成一棵树状分解结构，每个节点对应一个语义连贯的时序片段。
这种层次化分割是 Action100M 区别于其他数据集的核心技术，它使得数据集能同时捕捉细粒度动作和粗粒度任务，为多尺度动作理解提供监督信号。
Tree-of-Captions
Tree-of-Captions 是一种组织视频描述的层次化数据结构。在时序分割的基础上，为树的每个节点生成描述：叶节点（最细粒度片段）使用 Llama-3.2-Vision-11B 生成帧级描述，非叶节点使用 Perception-LM-3B 生成片段级描述。这些描述从底层到顶层形成金字塔结构，底层描述捕获细粒度空间细节，高层描述捕获时序动态和整体语境。通过聚合多层次描述证据，可以有效减少视觉语言模型的幻觉问题。
Tree-of-Captions 是连接视觉感知与语义理解的桥梁，使得最终的 LLM 能够基于结构化的文本证据进行可靠的动作标注，而非直接处理原始视频。
VL-JEPA (Vision-Language Joint Embedding Predictive Architecture)
VL-JEPA 是在 V-JEPA 2 视觉编码器基础上构建的视觉语言模型。它使用 V-JEPA 2 提取视觉嵌入，同时使用文本编码器生成目标嵌入，然后通过 InfoNCE 对比损失学习对齐的嵌入空间。这种设计允许模型进行 CLIP 风格的开放词汇分类——将视觉和文本映射到同一嵌入空间后，可以通过余弦相似度进行零样本分类。模型训练分三阶段：单帧图像预训练（Stage 1）、8帧视频预训练（Stage 2）、32帧解冻编码器训练（Stage 3）。
VL-JEPA 是本文的主要实验模型，理解其架构才能理解实验结果的意义。Action100M 的价值通过 VL-JEPA 的性能提升得到验证。
Self-Refine（自精炼）
Self-Refine 是一种迭代改进 LLM 输出质量的策略。在本文中，GPT-OSS-120B 被要求执行三轮自精炼：第一轮生成初始标注，第二轮检查并修正不一致之处，第三轮进一步优化标注质量。每轮迭代都基于前一轮的输出进行改进，通过这种迭代过程逐步提高标注的准确性和一致性。实验表明，这种机制相比单次生成能显著减少幻觉和标注噪声。
Self-Refine 是保证 Action100M 标注质量的关键机制，理解它有助于评估数据集的可靠性，也为后续改进标注流程提供思路。
InfoNCE 损失
InfoNCE（Info Noise Contrastive Estimation）是一种对比学习损失函数，形式为 $\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j^+)/\tau)}{\sum_{k=1}^{N} \exp(\text{sim}(z_i, z_k)/\tau)}$，其中 $z_i$ 是锚点嵌入，$z_j^+$ 是正样本嵌入，$z_k$ 包含正样本和所有负样本，$\tau$ 是温度参数，$\text{sim}$ 是余弦相似度。该损失鼓励正样本对的相似度高于负样本对，从而学习到有区分力的表征。在 VL-JEPA 中，视频片段和对应的动作描述构成正样本对。
InfoNCE 损失是 VL-JEPA 训练的核心，理解它才能理解模型如何学习视觉-语言对齐，以及为什么 Action100M 的多尺度标注对训练有效。
语义重采样 (Semantic Resampling)
语义重采样是针对长尾分布的训练数据平衡策略。首先使用 EmbeddingGemma-300M 对所有简短动作描述进行嵌入，然后去重（基于文本哈希），接着应用 k-means 聚类（$k \in \{10^3, 10^4, 10^5\}$）将语义相似的动作分组。从每个聚类中均匀采样（带替换）直到达到目标数据集大小，确保频繁动作被降采样，稀疏动作被上采样。实验表明，较小的聚类数（$k=10^3$）效果最好。
Action100M 中存在严重的动作频率不平衡（如面对镜头说话占比极高），语义重采样是提高训练效率和模型泛化能力的关键技术。
研究动机
当前视频动作数据集存在严重的规模和多样性瓶颈。手动标注的数据集如 COIN（476小时，46.3K片段）、YouCook2（176小时，14K片段）和 ActivityNet Captions（849小时，100K片段）虽然标注质量高，但规模极其有限，且局限于特定领域（主要是烹饪和手工活动）。互联网挖掘的数据集如 CrossTask 和 COIN 通过外部分类学扩大了活动覆盖范围，但缺乏细粒度的层次化标签。第一人称数据集如 Ego4D Goal-Step（368小时）虽然引入了数据驱动的层次分类，但仍局限于烹饪等特定领域。更关键的是，现有数据集的动作实例总数不足100万，无法支撑大规模视觉语言预训练。而现有的大规模视频-语言数据集（如 HD-VILA-100M 的42.4年时长）主要依赖 ASR 转录或视频元数据生成描述，这些描述通常简短、通用，且与底层物理动作的对齐程度很弱，无法为细粒度动作表示学习或详细世界模型提供有效监督。
本文的目标是本文旨在构建一个兼具规模、质量和多样性的视频动作数据集 Action100M，具体目标包括：（1）从120万互联网教学视频（总时长14.6年）中自动提取约1.47亿个时序定位的动作片段；（2）为每个片段生成多层次的开放词汇标注，包括简短/详细动作描述、动作执行者、简短/详细视频描述；（3）通过层次化描述树和 LLM 聚合机制保证标注质量；（4）验证数据集在零样本动作识别和文本-视频检索任务上的有效性。最终，该数据集应能作为视频理解和世界模型研究的新基础资源。
与已有工作不同的是，Action100M 的独特切入角度在于将大规模数据收集与结构化标注相结合。与现有工作相比，其创新体现在三个维度：第一，规模维度——147M 片段远超现有动作数据集（最大仅100K级别），且标注文本总量达213亿词，与 InternVid（234M片段）等大规模数据集相当，但标注质量更高；第二，结构维度——通过 Tree-of-Captions 层次化结构，同时捕获细粒度动作和粗粒度任务，而现有数据集通常只提供单一层次的标注；第三，质量维度——采用轻量视觉感知+重量文本推理的分离式架构，先用中等规模 VLM 生成描述，再用强推理 LLM（GPT-OSS-120B）进行三轮自精炼聚合，既控制了计算成本，又保证了标注可靠性。这种设计使得 Action100M 能够融合 ASR 驱动语料库的规模与 LLM 标注数据集的描述质量。
核心方法
Action100M 的构建采用了一种精心设计的自动化流水线，其核心直觉是：与其直接对整个视频使用重量级视觉语言模型（计算成本极高），不如先将视频转化为层次化的文本表示（Tree-of-Captions），然后仅在最后阶段使用强推理模型进行信息聚合。这种分离式设计使得整个流水线在保持高质量标注的同时，计算成本可控。技术路线分为三个阶段：首先，使用 V-JEPA 2 进行层次化时序分割，将视频分解为多尺度语义片段；其次，对每个片段使用 PerceptionLM-3B 和 Llama-3.2-Vision-11B 生成多层次描述，构建 Tree-of-Captions；最后，使用 GPT-OSS-120B 对描述树进行三轮自精炼聚合，输出结构化标注。整个流水线在120万视频上执行，消耗约130万 V100 GPU 小时（分割和描述）和30万 H100/H200 GPU 小时（LLM聚合）。
Action100M 的核心创新在于层次化描述树（Tree-of-Captions）与 LLM 聚合的结合，这与现有方法有本质区别。现有视频数据集通常直接对视频片段生成单一描述（如 PE Video Dataset 使用 PLM 和 Llama-3.3-70B），或者仅依赖 ASR 转录（如 HD-VILA-100M）。而 Action100M 的创新在于：（1）时序分割产生层次结构——从原子动作到完整任务的多尺度分解，而非简单的均匀切分；（2）描述生成具有互补性——帧级描述捕获细粒度空间细节，片段级描述捕获时序动态，两者结合提供更完整的信息；（3）LLM 聚合基于证据链——GPT-OSS-120B 接收当前节点描述、子节点描述（深度优先顺序）、根节点描述和视频元数据，通过推理而非简单拼接来生成最终标注。这种设计已被理论证明可以减少幻觉（Chen et al., 2024a），即通过聚合多层次证据来提高标注可靠性。
方法步骤详情
流水线的具体步骤如下：阶段一（时序分割）：（1）使用 V-JEPA 2 ViT-g-3841 编码器处理视频，每4帧均匀采样1帧，输出空间-时间视觉 token 序列；（2）将视频切分为重叠的时序窗口（每窗口64帧，步长8帧），每个窗口独立编码后进行空间平均池化，得到每帧的特征向量；（3）对重叠帧的多个表示取平均，形成全局一致的帧级嵌入；（4）应用层次化凝聚聚类（Ward链接，时序局部性约束），从单帧或短窗口开始迭代合并，形成层次树结构；（5）保留时长大于0.5秒的节点，确保语义完整性。阶段二（描述生成）：（1）对叶节点，提取中点关键帧，使用 Llama-3.2-Vision-11B（提示词：Describe this image in detail.）生成帧描述，生成限制1024 token；（2）对非叶节点，均匀采样32帧（320x320分辨率），使用 Perception-LM-3B（提示词：Describe this video in detail.）生成片段描述，生成限制1024 token。阶段三（LLM聚合）：（1）对每个节点，组装输入：当前节点描述、子节点描述（深度优先顺序）、根节点描述（有限深度）、视频元数据（标题、描述、ASR转录）；（2）提示 GPT-OSS-120B 提取5个结构化字段：简短动作描述、详细动作描述、动作执行者、简短视频描述、详细视频描述；（3）执行三轮自精炼迭代，逐步提高标注一致性和质量；（4）丢弃时长短于4秒的节点，输出最终标注。
技术新颖性
Action100M 的技术新颖性体现在多个层面。首先，层次化时序分割采用层次化凝聚聚类而非固定窗口或滑动窗口，这使得分割结果能自适应视频内容的语义密度——烹饪视频中切菜可能是1秒的原子动作，而准备晚餐可能是30分钟的高层任务。其次，Tree-of-Captions 结构借鉴了 Pyramid-of-Captions 的思想，但将其扩展到时序层次而非仅空间层次，形成真正的时空金字塔。第三，轻量感知+重量推理的分离架构是计算效率的关键创新：整个流水线避免了直接使用大模型处理长视频（如 GPT-4V 处理1小时视频），而是先将视频压缩为文本表示，仅在最后阶段使用最强模型。第四，语义重采样策略针对动作频率的长尾分布进行了专门设计，使用 EmbeddingGemma-300M 嵌入和 k-means 聚类实现语义感知的平衡采样，这比简单的频率加权或随机过采样更有效。最后，VL-JEPA 的三阶段训练策略（图像到8帧到32帧，逐步解冻）也是本文的创新贡献，展示了如何在有限计算资源下最大化模型性能。
实验结果
本文的实验结果全面验证了 Action100M 的有效性和 VL-JEPA 模型的竞争力。在零样本动作识别方面，VL-JEPA（Stage 3，ViT-L 256px，32帧）在8个基准测试上取得平均49.0%的准确率，显著超越所有基线模型。在 Something-Something-v2（SSv2）上达到52.5%，比 PE-Core ViT-G（448px，2.3B参数，86B训练样本）的44.7%高出7.8个百分点；在 EPIC-KITCHENS-100 上达到19.3%，比 PE-Core 的9.0%高出10.3个百分点；在 EgoExo4D Keysteps 上达到21.8%，比 PE-Core 的6.4%高出15.4个百分点。这些结果特别值得注意，因为 VL-JEPA 仅使用 ViT-L 骨干网络（256px，1.6B参数）和31亿训练样本，而 CLIP、SigLIP2 和 Perception Encoder 分别使用128亿、400亿和860亿样本，且骨干网络更大、输入分辨率更高。在零样本文本-视频检索方面，VL-JEPA 在8个基准测试上取得平均40.4%的 Recall@1，包括 MSR-VTT 83.1%、ActivityNet 93.3%、MSVD 88.8%。消融实验表明，Action100M 的简短动作描述在提升零样本动作识别方面特别有效，优于直接使用 PLM-3B 伪标注的基线，证明了层次化描述和 LLM 聚合的有效性。此外，语义重采样（k=10的3次方）进一步提升了性能，通过平衡频繁和稀疏动作的采样来改善训练效率。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Something-Something-v2 (SSv2) 零样本动作识别 | Top-1 Accuracy | 52.5% | PE-Core ViT-G: 44.7% | +7.8% |
| EPIC-KITCHENS-100 (EK-100) 零样本动作识别 | Top-1 Accuracy | 19.3% | PE-Core ViT-G: 9.0% | +10.3% |
| EgoExo4D Keysteps 零样本动作识别 | Top-1 Accuracy | 21.8% | PE-Core ViT-G: 6.4% | +15.4% |
| Kinetics-400 零样本动作识别 | Top-1 Accuracy | 64.8% | PE-Core ViT-G: 76.4% | -11.6% |
| COIN Step Recognition 零样本动作识别 | Top-1 Accuracy | 64.5% | PE-Core ViT-G: 40.3% | +24.2% |
| CrossTask Step Recognition 零样本动作识别 | Top-1 Accuracy | 64.9% | PE-Core ViT-G: 49.1% | +15.8% |
| MSR-VTT 文本-视频检索 | Recall@1 | 83.1% | PE-Core ViT-G: 26.0% | +57.1% |
| ActivityNet 文本-视频检索 | Recall@1 | 93.3% | PE-Core ViT-G: 77.0% | +16.3% |
| MSVD 文本-视频检索 | Recall@1 | 88.8% | PE-Core ViT-G: 68.5% | +20.3% |
局限与改进
尽管 Action100M 取得了显著成果，但仍存在多方面局限性。首先，数据来源高度集中——所有120万视频均来自 HowTo100M，而 HowTo100M 本身仅覆盖 WikiHow 的12个类别（如 Food & Entertaining、Home & Garden、Hobbies & Crafts），排除了更抽象的类别（如 Relationships、Finance），导致数据集偏向烹饪、家居改善和日常手工活动。词云分析显示 make、recipe、DIY、cake、chocolate 等词高频出现，反映了这种领域偏斜。其次，动作频率分布严重不平衡——64%的片段时长在0-3秒，3.23%的片段被 GPT-OSS-120B 标记为 N/A（对应视频介绍、广告等非动作内容），且 speak to camera 等特定模式出现频率过高。第三，计算成本高昂——整个流水线消耗130万 V100 GPU 小时（分割和描述）加30万 H100/H200 GPU 小时（LLM聚合），总计约205GB 存储空间，这对大多数研究机构是不可承受的。第四，原始视频不可用——由于 HowTo100M 发布于2019年，许多视频已从 YouTube 下架，作者仅成功检索到72%的 ASR 转录。此外，模型在传统动作识别基准（如 Kinetics-400）上的表现不如 PE-Core（64.8% vs 76.4%），表明 Action100M 可能更适合运动密集型任务而非静态场景分类。最后，数据集的层次化结构虽然提供了丰富的监督信号，但也增加了训练的复杂性，且目前尚不清楚如何最有效地利用这种多尺度信息。
独立分析的弱点
基于独立分析，Action100M 存在以下主要弱点，每个弱点都对应具体的改进方向：第一，领域覆盖局限——数据集仅包含教学视频，缺乏体育、舞蹈、工业操作、医疗手术等领域的动作数据。改进方向是扩展数据源，例如从 YouTube-8M、Kinetics 或 ActivityNet 等数据集中挖掘更多样化的视频，或者使用主动学习策略识别并补充领域空白。第二，标注质量验证不足——虽然 Self-Refine 机制减少了幻觉，但缺乏系统的人工评估来验证标注准确性。改进方向是引入众包标注进行质量抽样评估，或者训练一个验证模型来自动检测低质量标注。第三，时序分割粒度固定——当前使用0.5秒作为最小片段阈值，但某些快速动作（如开灯）可能只需0.2秒，而某些缓慢动作（如等待烤箱预热）可能需要5分钟。改进方向是引入自适应阈值机制，基于动作复杂度动态调整分割粒度。第四，语义重采样策略简单——当前使用 k-means 聚类进行平衡采样，但未考虑动作之间的语义相似度和难度差异。改进方向是引入课程学习（curriculum learning），从简单动作开始逐步增加难度，或者使用硬负样本挖掘（hard negative mining）提高区分力。第五，缺乏时序关系建模——当前数据集将每个片段独立标注，未显式编码片段之间的时序依赖关系（如切菜后必须炒菜）。改进方向是引入时序关系图或动作序列标注，支持动作预测和规划任务。
未来方向
基于 Action100M 的研究成果，可以延伸出多个有前景的未来研究方向：第一，动作预测与规划——利用数据集的层次化结构和时序信息，训练能够预测下一步动作或规划动作序列的模型，支持机器人任务规划和自动驾驶决策。第二，动作条件世界模型——结合 Action100M 的动作标注和视频内容，训练能够根据动作预测未来视频帧的世界模型，实现物理世界的模拟和预测。第三，多模态动作理解——将 Action100M 与音频、文本、传感器数据等多模态信息融合，构建更全面的动作理解系统，支持智能家居、健康监测等应用。第四，少样本动作识别——利用 Action100M 的大规模预训练表征，研究如何在仅有少量标注样本的情况下识别新动作，支持快速适应新领域。第五，实时动作识别——优化 VL-JEPA 的推理效率，使其能够在边缘设备上实现实时动作识别，支持可穿戴设备和增强现实应用。第六，跨域迁移学习——研究如何将 Action100M 学习到的表征迁移到其他视觉任务（如目标检测、场景理解），或者迁移到机器人操作等具身智能任务。第七，标注质量持续改进——利用用户反馈和主动学习持续改进 Action100M 的标注质量，构建动态演进的数据集生态系统。
复现评估
从复现评估角度看，Action100M 的开源情况和复现难度需要仔细考量。在开源方面，作者提供了数据集构建的完整代码（GitHub: facebookresearch/Action100M），包括流水线的所有阶段：时序分割、描述生成、LLM 聚合和语义重采样。然而，原始视频数据由于版权和可用性问题无法公开分发——HowTo100M 的视频在2019年后大量下架，作者仅成功检索到72%的视频。因此，研究者需要自行获取视频源或使用作者提供的预提取特征和标注。在数据方面，Action100M 包含147M片段级标注，总存储约205GB，包含元数据和完整的 Tree-of-Captions 结构。在算力方面，复现整个流水线需要约130万 V100 GPU 小时（分割和描述）加30万 H100/H200 GPU 小时（LLM聚合），这对于大多数学术机构是不可承受的。替代方案是使用作者发布的预计算标注进行 VL-JEPA 训练，这只需要标准的视觉语言模型训练资源。在难度方面，使用现有标注训练模型相对容易，但理解并改进流水线需要深入的视频理解和 LLM 知识。此外，GPT-OSS-120B 是 OpenAI 的模型，可能涉及 API 调用费用和访问限制，这增加了复现成本。总体而言，Action100M 的完全复现具有较高门槛，但使用预计算资源进行下游实验是可行的。
论文图表
该图展示了 Action100M 源视频的统计数据，包括四个分布图：（1）视频上传年份分布；（2）视频观看次数分布；（3）视频时长分布；（4）转录文本长度分布。这些统计基于有可用元数据的视频子集，展示了数据集的时间跨度和内容多样性。
这张图提供了 Action100M 数据来源的定量分析，帮助读者评估数据集的覆盖范围和质量特征，例如视频的时间分布是否均衡、时长分布是否合理等。
该词云图展示了 Action100M 视频标题中的高频词汇。最突出的词汇包括 make、recipe、DIY、easy、cake、chocolate 等，反映了数据集的烹饪、家居改善和日常手工活动主导特征。这与 HowTo100M 的12个 WikiHow 类别来源一致。
这张图直观展示了 Action100M 的领域偏斜特征，帮助读者理解数据集的内容分布，为评估泛化能力提供参考。
该表格展示了主要实验结果，对比了 VL-JEPA（三个阶段）与 CLIP、SigLIP2、PE-Core 等基线模型在8个动作识别基准（SSv2、EK-100、EgoExo4D、Kinetics-400、COIN、CrossTask）和8个文本-视频检索基准（MSR-VTT、ActivityNet、DiDeMo、MSVD、YouCook2、PVD-Bench、Dream-1K、VDC-1K）上的零样本性能。VL-JEPA Stage 3 在运动密集型任务上显著领先。
这个表格是论文的核心实验结果，全面展示了 Action100M 训练的 VL-JEPA 的竞争力，是评估数据集价值的最直接证据。