HumanNet：将人类中心视频学习扩展到一百万小时

构建百万小时人类视频语料，验证替代机器人数据的可行性

前置知识

第一人称与第三人称视频

第一人称（egocentric）视频由头戴或胸戴相机拍摄，视角贴近行动者本人，能直接暴露手-物接触、动作意图；第三人称（exocentric）视频从旁观者视角拍摄，便于看到完整身体姿态、空间上下文和多人交互。两者在表征学习上互补，本文把它们都纳入同一套元数据与标注。

HumanNet 的设计目标正是要让模型同时从这两种视角学到 actor-centered 与 observer-centered 的信号，下游实验也是用第一人称子集去做 VLA 后训练。

VLM 与 VLA 模型

VLM 把视觉编码器和大语言模型对齐，使模型能理解图像/视频并回答问题；VLA 再融合 action expert，把视觉-语言输入直接映射到机器人控制信号，代表工作有 Qwen-VL、LLaVA、OpenVLA、GR00T N1、LingBot-VLA。

本文的验证实验就是以 Qwen-VLM 为起点，配合 LingBot-VLA 的 post-training 协议，量化不同预训练源对最终 VLA 性能的影响。

动作重定向（motion retargeting）

把人体动作从一个骨骼拓扑映射到另一个骨骼拓扑，常借助 humanoid skeleton 统一表征后做最小二乘优化。本文以 $15\text{mm}$ 误差与 $60\%$ 有效帧率作为 retargeting 质量的硬阈值。

retargeting 是把人类视频"变成"机器人可用监督的关键技术，也是 HumanNet 划分 robot-ready 子集的几何依据。

3D 手部与身体姿态估计 + 单目 SLAM

3D 手部/身体姿态估计从单张或一段 RGB 图像恢复手部 21 点或人体 SMPL 系列的 3D 关节点；单目 SLAM（如 ORB-SLAM、DROID-SLAM）则在只有单目相机的条件下同步估计相机轨迹和稀疏/稠密地图。两者一同为视频提供"运动几何"监督。

这些几何监督是 HumanNet 把像素级视频升级为"可执行动作信号"的核心组件，没有它们下游 VLA 就拿不到可用的动作先验。

数据为中心的 AI（data-centric AI）

强调数据质量、标注、清洗、混比对模型能力的边际贡献要大于单纯放大模型或算力。在 LLM 之后这一观点被进一步强化，本文把它推到具身智能领域：把数据建模、过滤、视角刻画、隐私审查视为与算法同等重要的"一等公民"贡献。

HumanNet 通篇把"规模 + 视角多样性 + 物理相关性 + 预训练就绪度"作为四原则，明确拒绝把人类视频当成无标签的通用视觉数据。

研究动机

具身智能（Embodied Intelligence）的核心瓶颈是数据规模。语言和视觉-语言模型（如 Qwen、GPT 系列）能通过互联网规模的文本、图像、多模态数据持续获益，把模型容量和数据量同时放大仍然能拿到稳定的增量；而物理交互模型仍主要依赖机器人遥操作数据，体量往往比互联网数据小几个数量级，比如典型的 VLA 模型 OpenVLA、GR00T N1 等用的真实机器人轨迹往往只有几百到几千小时，而 LLaVA、Qwen-VL 这类视觉-语言模型却能在千万到亿级别的图文对上训练。这种规模差已经成为通用具身智能最清晰的瓶颈之一。更糟的是，现有机器人数据往往集中在少数基准任务上、与特定机器人平台/控制接口/传感方案强耦合，难以跨形态迁移。人类本身每天都在执行丰富的操控、工具使用、走动导航、长程程序性任务，规模远超遥操作机器人的能力上限，却一直被当成辅助数据源而非主语料。

本文的目标是本文目标非常具体：构建一个名为 HumanNet 的百万小时（$\sim 10^6$ 小时）人类中心视频语料库，将分散、碎片化的第一人称（egocentric）和第三人称（exocentric）互联网视频按"人类活动为组织信号"的定义汇聚起来，通过统一的采集-处理-标注流水线配上动作描述、层级标签、手部/身体姿态、相机轨迹等结构化监督。最终在 $34$ 小时真实机器人下游数据、$100$ 个任务的 post-training 设定下，回答一个核心问题："$1000$ 小时第一人称人类视频能否在 VLA 后训练中替代 $100$ 小时真实机器人 CoBot 数据？"如果成立，意味着人类视频是从"互联网感知"到"具身动作"的一座低成本、可规模化桥梁。

与已有工作不同的是，已有的具身数据集可以从三个角度看缺口：Ego4D 等第一人称语料虽然活动多样但单视角且偏日常；HOI4D、DexYCB、EgoDex 等聚焦手-物交互但规模仅到数千小时；EgoScale 把第一人称推到 $20854$ 小时但活动类别仍偏向灵巧操控；Ego-Exo4D 把视角拓展到一三阶混合但合计仅 $\sim 1286$ 小时。HumanNet 的独特切入角度是把数据规模、一三阶视角混合、多轴层级标注当成"一等公民"设计，而不是把人类视频当作通用视觉数据。具体地，本文显式提出 retargeting 误差阈值（$<15\text{mm}$）和有效帧率阈值（$>60\%$）来划定 robot-ready 子集，并用 LingBot-VLA 在固定下游数据上做"换源不换架构"的受控实验，把"人类视频相对机器人数据的可替代性"变成可证伪的科学命题。

核心方法

HumanNet 的整体思路是"把人类视频当作可被规模化处理的多模态语料"，具体做法是把流水线拆成采集、处理、标注三大独立可审计的阶段，每个阶段都有自己的目标与可量化指标。采集阶段用关键词发现（从一组种子词出发迭代扩展、再做关键词爬取与清洗、频道级爬取、整合已有数据源）从视频平台、通用搜索引擎、开源数据集和自采集四路合流到一个混合视频池；处理阶段对每条视频做去重与格式归一化、内容过滤（保留有明确动作的视频）、质量过滤（剔除严重模糊、严重遮挡、静止画面的视频）、场景切分（按视觉变化点分割长视频）、片段裁剪（统一颗粒度）；标注阶段用 $3$D 手/身体姿态估计恢复细粒度运动结构，对稳定且有足够视差的第一人称片段跑单目 SLAM 估计相机轨迹，再 retarget 到统一 humanoid skeleton，用 LLM 辅助的 captioning 模块产出视频描述与层级活动分类。整条流水线的输出同时含"像素级视频+几何监督"、"机器人可用 humanoid 动作轨迹"与"语义层级标签"三类资产。

本文区别于已有数据集的最核心创新在于把"数据建模"和"数据工程"提升到和模型同等重要的科学贡献层级。一方面，本文首次显式提出对第一人称视频做 robot-ready 判定：retargeting 误差低于 $15\text{mm}$ 且有效帧覆盖率超过 $60\%$ 时，才把该片段归入 robot-ready 子集；这种基于几何误差的二元标签比简单的置信度过滤更直接对应到下游控制信号。另一方面，本文在控制实验中固定下游 $34$ 小时、$100$ 任务的真实机器人数据，仅切换预训练源（Qwen-VLM 原始版本、Qwen+$100$ 小时真实机器人 CoBot、Qwen+$1000$ 小时 HumanNet 第一人称、LingBot 已有 $20000$ 小时真实机器人版本），用同架构 LingBot-VLA 做后训练，进而用 validation loss 这种直接指标量化人类视频相对机器人数据的可替代性。这是少有的把"数据能否替代另一类数据"作为显式科学问题来回答的工作。

方法步骤详情

流水线分三段共约六步：(1) 关键词发现：从一组种子关键词出发迭代扩展，结合关键词爬取与清洗、频道级爬取、已有数据源整合，产出关键词仓库；(2) 内容检索与汇集：从视频平台搜索、通用搜索、直接爬取的视频、开源数据集、自采集五路汇总成混合视频池，源头过滤剔除明显离题或重复源，第一人称形成 ego URL 池、第三人称仅当人/动作仍视觉显著时保留；(3) 去重与归一化：去掉近似副本，统一帧率/分辨率/容器格式；(4) 内容与质量过滤：保留有可观察动作的视频，剔除严重模糊/严重遮挡/静止画面的视频；(5) 场景切分与裁剪：按视觉变化点分割长视频，再以固定颗粒度裁剪为片段；(6) 标注：用 $3$D 手/身体姿态估计恢复细粒度运动结构，对稳定且有足够视差的第一人称片段跑单目 SLAM，再 retarget 到统一 humanoid skeleton，retargeting 误差 $<15\text{mm}$ 且有效帧率 $>60\%$ 即标记为 robot-ready；同时由 LLM 辅助生成视频 caption、运动描述、活动分类，并与原始旁白元数据对齐。

技术新颖性

技术新颖性可以从三个角度衡量：第一，本文提出"多轴 taxonomy"——把来源类型、视角、任务结构、环境、交互风格、运动类别、元数据可用性等多个维度显式编码到元数据，而不是只给一个 activity label，这让人可以按下游需求灵活切分子集；第二，本文把 retargeting 误差 $15\text{mm}$ 与有效帧率 $60\%$ 作为 robot-ready 的量化阈值，相当于把"什么数据适合做机器人预训练"变成可度量、可验证的问题，而不是凭经验或纯人工筛选；第三，本文用 LingBot-VLA 在固定下游数据上做"换源不换架构"的受控实验，测出的不只是 perplexity、而是 validation loss，配上五组 held-out 任务的细分结果，让"人类视频相对机器人数据的可替代性"变成可证伪的命题，这一研究范式本身可以被后续数据集复用。

**Figure 2**: Illustrative view of the dataset taxonomy

**Figure 3**: Overview of the HumanNet data pipeline

实验结果

核心发现分两类。语料级：HumanNet 约 $967\text{K}$ 小时，$150\text{K}+$ 物体、$720\text{K}+$ 任务，相比 Ego4D 的 $3670$ 小时提升约 $263\times$，相比 EgoScale 的 $20854$ 小时提升约 $46\times$；pose-score 集中高质量端，活动长尾。验证实验：固定 LingBot-VLA + 下游 $34$ 小时真实机器人（$100$ 任务×$20$ episodes）+ 五组 held-out task，对比 Qwen、Qwen+$100$ 小时 CoBot、Qwen+$1000$ 小时 HumanNet 第一人称、LingBot（$20000$ 小时真实机器人）。第一人称 $1000$ 小时在多组 task 上略胜 $100$ 小时 CoBot 的 validation loss，与 $20000$ 小时 LingBot 仍有差距但显著逼近——这是"人类视频以约 $10\times$ 效率替代真实机器人"的实证。

**Table 1**: Illustrative comparison between HumanNet and representative prior corpora

**Figure 4**: Illustrative samples from the one-million-hour corpus

**Figure 5**: Corpus composition statistics

**Figure 6**: Validation loss during controlled LingBot-VLA post-training across five held-out task groups

查看结构化数据

任务	指标	本文	基线	提升
VLA 后训练 validation loss（5 个 held-out task 组的均值与个别组）	validation loss（越低越好，曲线在 Figure 6 中给出，未给出绝对数值）	Qwen + 1000 小时 HumanNet 第一人称视频，在多个 task 组上匹配/略超过 100 小时真实机器人预训练版本	Qwen 原始 VLM；Qwen + 100 小时 Magic CoBot 真实机器人；LingBot（Qwen + 20000 小时真实机器人）	相对 Qwen-original 在 5 个 task 组上持续大幅拉低 loss；相对 100h 真实机器人在多个 task 组上反超；与 20000h LingBot 仍存在差距但显著缩小，未量化百分比
与同类语料库的规模对比	总时长（小时）	HumanNet 约 967,000 小时（$\sim 10^6$ h）	Ego4D 约 3,670 h、EgoScale 20,854 h、EPIC-KITCHENS-100 约 100 h、Ego-Exo4D 约 1,286 h、Human2Robot (H&R) 2,600 episodes、HowTo100M 1.22M videos	相比 Ego4D 提升约 $263\times$，相比 EgoScale 提升约 $46\times$，相比 Ego-Exo4D 提升约 $750\times$
语料覆盖广度	物体/任务/视频数	150K+ 物体、720K+ 任务	未公开统一的对照基准	作者标注为人类中心视频语料库中规模最大，但具体百分比未量化
动作重定向（retargeting）质量	误差阈值 + 有效帧率（论文给出的过滤标准）	误差 $<15\text{mm}$ 且有效帧覆盖率 $>60\%$ 标记为 robot-ready	无统一外部基准可比	未量化提升数字，仅作为划分 robot-ready 子集的硬阈值

局限与改进

作者承认的局限性共四条：(1) 人类行为不等于机器人行为——百万小时规模仍无法消除人-机器人之间的 embodiment gap，该数据集更适合做表征学习与 transferable prior，而非直接一对一替换机器人数据；(2) 规模本身引入噪声——开放世界的人类视频必然带有模糊标签、不一致边界、缺失元数据、视角不平衡、可变视觉质量，caption、pose、motion 标注都各自带误差；(3) 覆盖不平衡——视频偏向特定地域、社会经济背景、职业、视角、体型、家务场景，规模可能造成"无所不包"的错觉；(4) 严重的隐私与安全问题——第一人称视频可能拍到路人、家庭内部、私人文档或屏幕内容；第三人称视频可能拍到可识别的人与场景。我的独立观察：本文对"人类视频替代机器人数据"的定量结论仅在 LingBot-VLA 一个架构、$34$ 小时下游数据、$5$ 个 held-out task 上得出，是否能泛化到不同 VLA、不同下游任务（导航、长程）、不同机器人形态仍未知；Figure 6 也没有给出重复种子的均值与方差带。

独立分析的弱点

独立观察的弱点：(a) retargeting 阈值 $<15\text{mm}$ + $>60\%$ 虽然具体，但 humanoid skeleton 到真实机器人的运动学不一致性仍未被下游控制实验充分评估——验证实验侧重 validation loss，并未在真实机器人上做端到端部署评测，阈值对真实控制效果的预测力仍是开放问题。(b) caption 与活动分类完全依赖单一 LLM 辅助流程，没有经过多模型一致性校验或人类 gold-label 评估，长尾类别的标签噪声难以量化。(c) self-collection 仅作为辅助来源，主流仍来自网页爬取，地域、职业、文化场景的偏差没有真正控制。(d) 验证实验下游只有 $34$ 小时、$5$ 个 held-out task 组，task 定义未公开，Figure 6 每条曲线只画了一条而非均值±方差。改进方向：补 humanoid-to-robot 真实部署评测、多模型 LLM 评估金标准、扩大来源多样化、报告重复种子均值与置信区间。

未来方向

作者明确指出：未来需要在更复杂下游任务（长程、导航、多步骤程序性任务）和不同 VLA 架构（不只是 LingBot-VLA）上重复"控制预训练源不变架构"的对照实验，并补齐人到机器人的真实部署 transfer 实证。基于本文成果可延伸的方向：(1) 把 HumanNet 作为带 humanoid-motion 先验的物理基础模型预训练源，研究"人类动作先验 + 少量机器人数据"的跨形态基础模型组合；(2) 用 retargeting 子集训练 world-action 模型，让模型同时学到接触动态、环境动力学、可执行动作三元组；(3) 将 LLM 辅助的 caption 模块扩展为"语义层级 + 程序边界 + 可执行性"的多标签体系，结合 procedural reasoning；(4) 把"$\text{human video} \to \text{robot video}$"对齐评估作为统一度量，让人类视频成为可在"低成本预训练"与"高成本真实机器人"之间任意混合的可调变量。

复现评估

作者提供项目页 https://dagroup-pku.github.io/HumanNet/ 与 GitHub https://github.com/DAGroup-PKU/HumanNet/，但 $967\text{K}$ 小时原始视频与 humanoid skeleton 标注集并未明确给出完整下载入口、许可协议与分片策略；self-collection 部分因涉及隐私显然无法完全开源。验证实验下游 $34$ 小时、$100$ 任务的 task 组定义、reward 设计、held-out 划分、训练超参都未详细披露，Figure 6 只给了 validation loss 曲线没有逐 task 数值表与置信区间。算力方面，$1000$ 小时第一人称预训练 + $34$ 小时下游后训练至少需要 $32+$ 张 GPU cluster 持续一周量级，独立研究者难以承担。综合复现难度高：数据未完全开源 + 实验设置不公开 + 算力门槛高，建议读者更多关注"数据是一等公民"与 humanoid-retarget-threshold 的启发。

HumanNet：将人类中心视频学习扩展到一百万小时 HumanNet: Scaling Human-centric Video Learning to One Million Hours