Open-HumanWAM：面向具身基础模型的开放人类与机器人经验扩展配方 Open-HumanScale: An Open Recipe for Scaling Human and Robot Experience for Embodied Foundation Models
开源5万小时第一视角操控语料，发现缩放律，人机混合训练达成RoboTwin SOTA
前置知识
世界-动作模型（World-Action Model, WAM）
同时生成“未来视觉”与“动作”的基础模型：给定当前观测、语言指令与本体状态，用扩散/整流流联合去噪未来视频 latent 与动作块，让动作预测继承视频预训练的操控先验。本文 Vanilla 在 Wan2.2-TI2V-5B 视频骨干旁并联一个等深度动作专家组成 Mixture-of-Transformers；Goal 则基于 Cosmos3-Nano-16B，视频与动作 token 共享生成器权重并在每个去噪步双向交互。
论文全部缩放实验与消融都在 WAM 框架内进行，不理解这个载体就看不懂“预训练→后训练→闭环评测”协议以及注意力掩码设计的意义。
第一视角（egocentric）视频与手部动作标注
以头戴或第一人称视角记录的操控视频，配以腕部位姿（3D 关键点、MANO 参数或单目估计）、相机轨迹与语言描述；手张开度可由拇指-食指指尖距离估计。来源分两类：互联网视频（HumanNet）与头戴设备受控采集（如 EgoDex 用 Apple Vision Pro）。
这是论文“可扩展操控先验”的数据基础：50,000 小时语料的策划、过滤与动作对齐全部围绕第一视角视频及其手部标注展开。
统一双臂末端执行器（EEF）动作空间
把人类手腕与机器人末端执行器统一为 $a_t=[p_L^t,q_L^t,g_L^t,p_R^t,q_R^t,g_R^t]\in\mathbb{R}^{16}$（每手位置 3 维+四元数 4 维+张合 1 维），再做相机系对齐、腕轴规范（正交 Procrustes）与米制张合（按 0.12 m 参考宽度归一）。
跨源动作对齐是本文的核心实验变量之一（Aligned 比 Raw 高 5–9 pp），也是零样本跨具身迁移和人类-机器人数据可互换的前提。
对数线性缩放律（log-linear scaling law）
经验关系 $\mathrm{SR}=a+b\log_{10}H$：下游任务成功率随预训练小时数 $H$ 的对数线性增长，斜率 $b$ 表示数据每扩大 10 倍带来的百分点提升，用最小二乘拟合报告决定系数 $R^2$ 衡量拟合优度。
本文的核心实证结论就是两条 OOD 缩放律（scene-ood 斜率 15.88 与 8.53、random 10.24 与 7.89），读懂这些数字才能评估“缩放有效”的证据强度。
注意力掩码：IA 与 IDM
IA（isolated attention）只允许动作 token 注意当前帧，推理时可完全跳过视频生成；IDM（inverse-dynamics attention）让动作去噪以未来视频为条件——训练时用加噪的真值未来帧，推理时先生成未来视频再去噪动作（两阶段）。此外还有视频与动作互相注意的 Mutual 和两者皆可的 Optional-IDM 变体。
注意力策略与动作表示（相对/绝对）是 Vanilla 的关键消融：IDM+绝对相机系动作把 clean 成功率从 76.28%（IA+相对）提升到 88.48%，是最终配方的选择依据。
视觉目标条件与具身上下文学习（ICL）
用一张目标图像（期望的场景终态）补充或替代语言指令来指定任务，模型估计 $p_\theta(O^+,A\mid \ell,o_t,s_t,H_t,g)$；在权重完全冻结的情况下，仅更换目标图即可让策略改变操纵行为，即具身 ICL。Goal 模型把目标 token 作为干净条件锚定终态，并改用单阶段联合整流流采样。
目标条件是零样本执行与 ICL 实验的统一接口，第 6 章一系列“同一初始场景、不同目标图”的真机对照实验都建立在这个概念上。
研究动机
训练通用机器人策略需要海量多样的操控经验，但遥操作数据采集成本极高，单靠机器人数据很快见顶。第一视角人类视频廉价、任务与场景覆盖广，是理想的操控先验来源——EgoScale 用 2 万+小时、HumanScale 以及把数据推到 100 万小时的 Dyna-2 先后报告了某种缩放效应。但现有证据有三个缺口：其一，度量多为验证集动作损失而非闭环任务成功率，损失下降未必转化为可执行的策略；其二，缩放结论随配方变化而不一致，部分工作（论文引用 [50,56]）只观察到有限甚至没有下游泛化收益；其三，“数据多样性”从未与时长解耦地被控制变量研究，跨源动作表示不一致、是否需要人类动作监督、注意力与动作表示如何选等配方问题缺乏定量答案，也没有一整套开源的数据+代码+权重+评测让社区复现与检验。
本文的目标是本文要给出首个完全开源的第一视角预训练配方 Open-HumanWAM：(1) 策划并开源 Open-HumanWAM-50K——50,000 小时、35.9M 片段、统一手部动作与语言标注的语料（由 104,289 小时原始数据策划而来）；(2) 在 100→50,000 小时范围内，用统一的“预训练→RoboTwin 2.0 后训练→clean/scene-ood/random 三档闭环评测”协议系统回答 Q1–Q7 七个缩放问题，建立成功率层面的对数线性缩放律，并分析多样性、适配样本效率、跨源动作对齐、动作监督、ego vs robot 对比与多视图迁移；(3) 据此训练 HumanWAM-Vanilla，在仿真与真机验证泛化；(4) 进一步做人机混合预训练 HumanWAM-Goal，实现零样本执行、视觉目标上下文学习与 RoboTwin 2.0 榜单 SOTA（平均 88.65%）。
与已有工作不同的是，独特切入角度：与 EgoScale/HumanScale/Dyna-2 用验证损失度量缩放不同，本文首次以闭环任务成功率在 OOD 设置下建立缩放律，并在两种注意力配置下验证其稳健性；与只扫时长不同，本文设计了 scaled-diversity 与 matched-diversity 的受控对照（两者共享同一 5,000 小时父集，100 小时子集分别覆盖 62 任务/222 场景与 2,288 任务/2,953 场景），证明多样性是独立的缩放维度；此外逐一量化了跨源动作对齐、人类动作监督比例、注意力/动作表示、EgoPro 多视图 mid-training 等配方变量的因果贡献；最后以统一物理动作接口加目标图像条件，把“人类先验”推进到无需微调的零样本执行与跨具身 ICL。全栈开源使上述每个结论都可被独立检验。
核心方法
直觉上，人类日常视频蕴含海量“手如何与物体交互”的先验，只要把不同来源的动作统一到同一物理坐标系与语义下，世界-动作模型就能在海量人类数据上学会“世界如何随手上动作演化”，再经少量机器人演示后训练即可兑现为可执行的操控策略。技术路线分两步：第一步是纯人类预训练的 HumanWAM-Vanilla——以 Wan2.2-TI2V-5B 为视频骨干、并联等深度动作专家组成 Mixture-of-Transformers，采用 IDM 注意力与绝对相机系 16 维双臂 EEF 动作，在 50,000 小时语料上以全局 batch 8,192 训练 100k 步，再经 EgoPro 多视图 mid-training 与 RoboTwin/RoboDojo/真机后训练。第二步是人机混合的 HumanWAM-Goal——基于 Cosmos3-Nano-16B（冻结的 Qwen3-VL Reasoner 负责语言编码，共享的视频-动作生成器负责去噪），把动作空间扩展为 49 维混合表示（23 关节+3 底盘+16 EEF+7 头部位姿掩码），加入目标图像条件，用单阶段联合整流流采样同步去噪 12 帧未来视频与 48 步动作块，在 14.6k 机器人小时加至多 45.9k 人类小时上协同训练。
核心创新有三层。其一是统一物理动作接口：所有数据源的腕部轨迹被变换到各自相机系（$T_{C_{cv}E}=T_{WC}^{-1}T_{WE}$），腕轴经正交 Procrustes 对齐到规范系（$R^{aligned}=R^{camera}C_{s,h}$），张合以米制物理口径表示并按 0.12 m 参考宽度归一（$g=\mathrm{clip}((d-d_{closed})/(d_{open}-d_{closed}),0,1)$）——这使人类手与机器人夹爪在同一语义空间可互换，预训练归一化统计可直接迁移到未见机器人而无需目标域重标定，这是零样本执行的前提。其二是把闭环成功率而非验证损失作为缩放度量，在受控协议下得到 $\mathrm{SR}=a+b\log_{10}H$ 的经验缩放律，并把任务/场景多样性设计成与时长解耦的第二缩放维度。其三是目标图像作为无歧义任务接口：语言指令常让物体构型与终态欠指定，目标图显式规定空间关系，配合单阶段联合采样，使冻结参数的策略能通过换图改变行为（具身 ICL）。与已有工作的本质区别在于：先前只报告“损失随数据下降”，本文给出“成功率随数据对数增长”且可执行、可复现的证据链。
方法步骤详情
流程八步：(1) 数据策划：104,289 h 原始数据（HumanNet 90,275 h、EgoSuite 11,194 h、Gen-HumanEgo 1,847 h、EgoDex 829 h、EgoVerse 143 h）依次经手部可见性投影检查、动作/相机稳定性检查（平滑残差、加速度、jerk 超阈值处切分）与空闲过滤（32 帧滑窗、活跃窗口 <70% 丢弃），输出 50,000 h、54 亿帧、31.4M episodes/35.9M clips。(2) 动作对齐：输出统一 16 维双臂 EEF 动作向量 $a_t$。(3) 预训练：全局 batch 随语料从 512（100 h）增至 8,192（50k h），AdamW 峰值 lr $10^{-4}$、cosine 衰减、100k 步、每 10k 步存档。(4) 受控消融：在同一 1,000 h 四源语料上比较 Aligned/Raw、0/50/100% 动作监督、四种注意力、相对/绝对动作。(5) mid-training：在 EgoPro 头+双腕三视图人类视频上适配多视图输入。(6) 后训练：RoboTwin 每任务 50 条 clean 演示（12k–24k 步）、RoboDojo 3,500 条、真机每任务 50 条（10k 步）。(7) 闭环评测：clean/scene-ood/random 三档，每任务 50–100 episodes，使用固定评测种子。(8) 混合与部署：Goal 在线采样目标图（未来 2–8 s 帧 40%/终帧 20%/子任务末帧 20%/空目标 20%），FusedAdam lr $4\times10^{-5}$、batch 1,024、500k 步；RoboTwin 后训练 80% 目标图由 GPT Image 2.5 合成、ChatGPT Astra High 审核（7,032 张首审通过 90.7%）；Astibot S1 上 48 步/1.6 s 动作块、PhyAI 推理加速 2.2 倍。
技术新颖性
技术新颖性：(1) 首个完全开源（数据+策划与训练管线+权重+评测套件）的 50k 小时第一视角预训练配方，此前 EgoScale/HumanScale/Dyna-2 均未放出等价资源；(2) 以闭环成功率建立 OOD 缩放律并跨两种注意力配置验证稳健性（scene-ood 的 $R^2$ 分别为 0.949 与 0.969），区别于以往基于损失的相关性证据；(3) 首次把多样性作为受控变量：在相同 5,000 小时父集下，“覆盖随时长扩张”比“固定覆盖加时长”的拟合斜率在 scene-ood/random 上分别高 4.73 与 4.50；(4) 定量给出配方变量的因果贡献：跨源对齐 +5.5/+9.0/+8.4 pp、人类动作监督在 20k 步时把 scene-ood 从 13.0% 提到 34.8%、IDM+绝对动作把 clean 从 76.28% 提到 88.48%；(5) 首次在闭环成功率上证明等时长下 ego 预训练于 500–5,000 h 全面胜过机器人预训练（1,000 h ego 甚至超过 5,000 h robot）；(6) 混合缩放打破机器人数据在约 8.5k 小时后的 Random 平台（70.80%→74.36%），并以 1:1 平衡采样再 +8 pp 解锁真机 hard 任务，跨具身视觉目标 ICL 亦属该范式下首次系统展示。
实验结果
逐实验核心数字：(1) 纯 ego 缩放（IA 注意力，100→10k h）：clean 71.2%→80.0%（No-Ego 69.5%）、scene-ood 25.2%→58.1%、random 8.4%→28.7%，拟合 $\mathrm{SR}=62.81+4.43\log_{10}H$ 等三式，$R^2$=0.971/0.949/0.877，即数据每十倍提升 4.43/15.88/10.24 pp。(2) IDM 注意力下 clean 饱和于 87.4–89.0%，但 scene-ood 49.1%→73.2%、random 21.5%→42.9%（No-Ego 仅 29.2%/7.7%），$R^2$=0.969/0.955。(3) 多样性缩放斜率高 2.02/4.73/4.50；10 条演示下 clean 34.5%→44.2%→50.1%（0/500/5,000 h），5,000 h 模型用 5 条演示超过 No-Ego 用 50 条。(4) 跨源对齐 +5.5/+9.0/+8.4 pp；人类动作监督使 20k 步 scene-ood 13.0%→34.8%、random 3.6%→16.3%。(5) ego 预训练 500–5,000 h 全面胜过等量机器人预训练（5,000 h 时 scene-ood 52.3% vs 45.6%）。(6) Vanilla：RoboTwin 92.08/68.88/80.48%、RoboDojo 14.17%/19.00、真机 OOD 2.5%→67.5%。(7) Goal：零样本仿真 13.94%（最强可执行基线 4.70%）、榜单 92.70/84.60/88.65% SOTA；真机 20 任务 20.0%→30.5%，hard 任务 8%→19%（1:1 平衡采样 27%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboTwin 2.0 Clean2Clean（HumanWAM-Goal 后训练，官方 10,000 episodes 协议） | 任务成功率 | 92.70% | GO-3 Nano Preview 88.54%（此前榜单第一） | +4.16 pp，新 SOTA |
| RoboTwin 2.0 Clean2Random（HumanWAM-Goal 后训练） | 任务成功率 | 84.60% | GO-3 Nano Preview 81.48% | +3.12 pp |
| RoboTwin 2.0 平均（Clean2Clean/Clean2Random 均值的均值，Goal） | 平均成功率 | 88.65% | GO-3 Nano Preview 85.01% | +3.64 pp（榜单第一） |
| RoboTwin 2.0 Clean2Clean（HumanWAM-Vanilla，纯人类预训练） | 任务成功率 | 92.08% | PatchWAM 91.56%（对比方法中最高） | +0.52 pp；平均 80.48% 超过全部 VLA 基线 |
| RoboDojo 六组任务均值（42 个双臂任务，Gen/精度/长程/记忆/开放指令） | 成功率 / 进度分 | 14.17% / 19.00 | OpenWAM-α 12.41% / 17.77（WAM 中最强） | +1.76 pp / +1.23；Long-Horizon 33.00% 对 25.33% |
| RoboTwin 2.0 零样本（无目标任务微调，直接部署，Goal 人机混合） | 平均成功率 | 13.94% | Pelican-VLA 0.5 4.70%（能跑通的基线中最高；π0 0.12%、π0.5 1.06%） | +9.24 pp |
| 真机零样本（Astibot S1，20 任务 × 10 trials，60.6k h 混合模型） | 20 任务平均成功率 | 30.5% | robot-only（14.6k h）20.0% | +10.5 pp；进度分 2.535→4.205；覆盖率 10/20→16/20 |
| 真机视觉分布偏移（Cobot Magic 4 任务，换桌布/光照，Vanilla vs 无 ego 预训练） | OOD 平均成功率 | 67.5% | No-Ego 2.5% | +65.0 pp（ID 内亦从 57.5% 提升至 87.5%） |
| scene-ood 缩放斜率（IA 注意力，100→10k h） | 每十倍数据成功率增益 | +15.88 pp（$\mathrm{SR}=-4.57+15.88\log_{10}H$，$R^2$=0.949） | random 设置 +10.24 pp、clean +4.43 pp | OOD 收益约为 in-distribution 的 2–3.6 倍 |
| RoboTwin 2.0 后训练 Random（Goal，60.6k h 混合 vs robot-only 平台） | 随机化设置成功率 | 74.36% | robot-only 14,618 h 70.80%（8,475 h 后已平台化 70.96%） | +3.56 pp，打破机器人数据平台 |
| 真机 hard 任务（60.6k h，1:1 人机平衡采样 vs 标准比例采样） | 10 个 hard 任务成功率 | 27% | 标准采样 19% | +8.0 pp（如叠双碗 0%→60%、双臂各提一瓶 30%→60%） |
局限与改进
作者承认的局限：HumanWAM-Vanilla 在 Clean2Random（68.88%）落后于 GO-3 Nano（81.48%），RoboDojo 均值（14.17%）低于 DM0.5（17.96%）与 Galaxea G0.5（14.60%），作者归因于基础 WAM 架构缺少记忆与推理模块（部分 RoboDojo 任务需要记住早期观测或做加减法）；ICL 中对抬高目标的精细释放稳定性在不做任务后训练时仍不完美；人类数据约占混合训练 76%，会稀释具身监督，需要 1:1 平衡采样才能解锁 hard 任务。我补充的观察：(a) HumanNet 占语料约 81%（40,744 h），其腕部位姿与相机轨迹来自单目估计模型，系统性噪声与偏差可能随缩放被放大；(b) 缩放律只在 100–50k 小时与桌面双臂仿真上验证，能否外推到灵巧手、移动操作与真实家庭场景未知；(c) 零样本绝对成功率仍低（仿真 13.94%、真机 30.5%），20 个真机任务中有 2 个在所有配置下均为 0%（开抽屉放物、插电源线）；(d) 目标图合成管线每任务需手写参考标注且依赖三个闭源 API，难以扩展到新基准；(e) clean 最优 checkpoint 不等于 OOD 最优，需按评测设置分别选点，协议存在选择自由度；(f) 论文未报告预训练的 GPU 时数、能耗与成本。
独立分析的弱点
独立弱点分析：(1) 评测与预训练分布高度耦合——语料以桌面双臂操控为主，RoboTwin/RoboDojo 也是桌面双臂基准，“泛化”结论可能高估了向非桌面、非结构化家庭场景的迁移能力，改进方向是加入家庭级长周期真实任务评测；(2) 缩放律拟合采用“每 10k 步 checkpoint 按各评测设置取最优”的协议，相当于给每个数据点都做了一次选择，斜率可能偏乐观，改进是固定统一选点规则或报告全部点；(3) 人机数据比例是手调超参：76% 人类占比下 hard 任务进入平台，需要人工设定 1:1 平衡采样才突破，说明缺乏原则性的混合策略，可引入按任务难度或具身差距动态重加权的课程；(4) Vanilla 与 Goal 使用不同骨干（Wan2.2-5B vs Cosmos3-16B），混合训练收益与架构升级混杂，无法干净归因，应在同一骨干上做对照实验；(5) 49 维动作空间中关节分支仅靠 20% dropout 防止过依赖，跨具身泛化的机制仍属经验观察，可研究显式的具身对齐损失或不变性约束；(6) 目标图审核只保证视觉与指令一致性而非物理可行性，错误目标图会引入条件标签噪声，且修复判据比首审宽松。每个弱点都指向一个可操作的后续实验设计。
未来方向
作者方向加可延伸方向：(1) 把语料推向百万小时量级（Dyna-2 已达 1M h），检验对数线性律是否延续、出现饱和或相变，并研究多样性与时长两个维度的联合缩放理论；(2) 统一 Vanilla 与 Goal 到同一骨干并放大规模（Cosmos3-Nano-16B → 更大模型），分离数据缩放与容量缩放的贡献；(3) 引入记忆与推理模块攻克 RoboDojo 的 Memory/Open 类任务（本文这两组仅 6.00%/1.50%）；(4) 把视觉目标条件与在线 RL、自主数据飞轮结合：模型自行提出目标→执行→回收成功轨迹再训练，绕开遥操作瓶颈；(5) 扩展到灵巧手与触觉（如 Being-H0.8 的视触联合世界建模），并在单臂、人形等更多具身上验证统一动作空间的零样本迁移；(6) 把“多样性”定量化（目前用任务/场景计数），建立类似语言模型 data mixture 的缩放理论；(7) 将 ICL 从单目标图扩展到多目标序列、语言+目标组合提示，乃至用人类视频直接“演示编程”机器人；(8) 目标图合成管线的去 API 化：用开源图像编辑模型或仿真渲染替代闭源生成与审核，降低复现门槛。
复现评估
复现性评估：开源程度在同类工作中属于最高档——HuggingFace 提供 Open-HumanWAM-50K 数据集与全部模型权重集合，GitHub 开源数据策划与预训练管线（HumanNet 仓库 Open-HumanWAM 分支）、推理代码与仿真评测套件；RoboTwin 2.0/RoboDojo 本身公开，评测使用保存的专家校验种子保证可比性。主要门槛在算力与工程：50k 小时预训练对应 54 亿帧、全局 batch 8,192、100k 步；Goal 基于 16B 骨干、batch 1,024、500k 步——论文均未披露 GPU 数量与训练时长，估计需要数十张高端 GPU 训练数周；闭环评测每个设置需 5,000 episodes（榜单协议 10,000），计算量可观；真机部分需要 Astibot S1/Cobot Magic 等硬件；RoboTwin 目标图合成依赖 GPT-5.5、GPT Image 2.5 与 ChatGPT Astra High 三个闭源 API 且每任务需手写参考标注。总体判断：数据与代码层面复现性好，1,000 小时消融级别的小规模复现对普通实验室可行；完整 50k 预训练与榜单级评测偏难，属于“数据易得、算力昂贵”型工作。
论文图表
全景总览图：左侧展示 50,000 小时/35.9M 片段的语料构建与动作对齐；中间展示纯 ego 缩放得到的对数线性律（scene-ood 斜率更陡）与多样性缩放收益；右侧展示 HumanWAM-Vanilla 与 HumanWAM-Goal 的真机零样本执行、RoboTwin 2.0 榜单数字（88.54→88.65 等对比）以及混合缩放在仿真与真机 20 任务上的零样本提升。
一图读完论文的两大贡献（纯 ego 缩放律 + 混合人机缩放的涌现能力）和所有关键数字，是导航全文的地图。