Humanoid-GPT：扩展数据与结构实现零样本人形动作跟踪

用20亿帧语料训练GPT风格因果Transformer，实现人形机器人零样本动作跟踪

前置知识

动作重定向 (Motion Retargeting)

把人类 mocap 动作映射到目标机器人关节空间的过程。本文用现成工具把人类运动重定向到 Unitree-G1 的 29-DoF 关节，需过滤坐椅、游泳等与机器人执行不兼容的物体交互动作。

理解为什么 2B 帧语料要'精心策划'，以及为什么跟踪任务被限定在平面场景。

PPO 强化学习专家

Proximal Policy Optimization 是策略梯度算法，本文在每个动作簇上训练一个 PPO 专家 $\pi: G\times S\to A$，奖励在关键点层级计算 $R_{kpt}=R_{pos}+R_{rot}+R_{vel}+R_{penal}$，输出经 PD 控制器转力矩。

专家库是 Humanoid-GPT 蒸馏阶段的教师，看懂专家如何训练才能理解后续 DAgger 蒸馏的输入输出。

DAgger 数据集聚合

Dataset Aggregation 是迭代式模仿学习框架：学生策略在环境中执行产生新状态，教师在新状态下给出动作标签，逐步扩大训练集以覆盖分布偏移区域。本文用它把数百个专家蒸馏进单一 Transformer。

本文把蒸馏重写成序列建模问题，靠 DAgger 反馈在多时间步上并行监督 Transformer，是连接专家与通才的核心机制。

GPT 风格因果 Transformer

带时间因果掩码的自回归 Transformer：每个位置只能看到历史 token，预测下一动作。本文 token $e_t=\text{concat}(s_t, q_t^{ref})$，长度 $H$ 的窗口过因果注意力层，与在线跟踪部署约束天然对齐。

因果结构是本文区别于 HumanPlus（标准 PPO 训 Transformer）和 MLP 跟踪器的关键，也是 scaling 能力来源。

缩放定律 (Scaling Law)

刻画性能随数据量、模型容量、算力可预测变化的经验规律。本文在 humanoid 跟踪上观察到：从 2M 到 2B tokens，MPJPE 从 0.166 降到 0.094，但 200M 后边际增益递减，提示进入数据受限区。

论文核心贡献之一就是首次给出 humanoid 跟踪的 scaling law，理解它才能读懂图 7、图 8 与表 2 的趋势分析。

研究动机

现有 humanoid 动作跟踪器几乎都是浅层 MLP，训练数据规模极小。最广泛使用的 AMASS、LAFAN1、Motion-X++ 等数据集合计仅约 7.2M 帧动作（表 1），BeyondMimic、ASAP 这类擅长敏捷动作的跟踪器虽然能跑能跳，但面对训练分布外的舞蹈、武打等动作会直接崩溃；反过来 TWIST、UniTracker 这类泛化能力稍强的方法又无法拟合高度动态的运动。作者把这一困境称为'敏捷-泛化权衡'(agility-generalization trade-off)，并指出其根源不是物理本质，而是数据规模与模型结构的不匹配——在语言与视觉领域早已验证，scale 才是通往泛化的可靠路径，但 humanoid 跟踪至今没走通这条路。

本文的目标是本文目标是构建一个兼具敏捷性与零样本泛化的通用 humanoid 在线动作跟踪器 Humanoid-GPT。具体目标有三：(1) 把动作数据规模从 7.2M 帧扩展到约 20 亿帧的 G1-retargeted 语料（约 200×），聚合 AMASS、LAFAN1、MotionMillion、PHUMA 及大规模自采集数据；(2) 采用 GPT 风格因果 Transformer 而非 MLP 作为底层策略，使其能随数据和参数量持续提升而不早饱和；(3) 通过把约 300 个 RL 动作专家蒸馏进单一 Transformer，得到一个无需任何微调即可实时跟踪任意人类动作的通用控制器，并在 MuJoCo 仿真与真实 Unitree-G1 上同时验证零样本迁移。

与已有工作不同的是，本文的独特切入点是把 humanoid 跟踪彻底重构成'序列建模范式 + 缩放定律'问题。已有工作要么在小数据上用 Transformer（HumanPlus 仅 7.2M 帧，且用标准 PPO 训练，浪费了 Transformer 的并行优势），要么用 MLP 放大到亿级帧（SONIC 100M，但 MLP 容量饱和）。Humanoid-GPT 首次同时做到三件事的组合：(i) 把大量 RL 动作专家蒸馏成单一 GPT 风格跟踪器；(ii) 用 2B 帧精心策划语料训练；(iii) 系统刻画数据规模、模型容量与多样性平衡如何共同决定零样本敏捷跟踪能力，并给出可量化的 scaling law 与多样性度量 HME。

核心方法

Humanoid-GPT 是一个三阶段流水线（图 2）。直觉上：先用大量数据训练大量'专才'，再把专才蒸馏成'通才'。阶段 (a) 数据策划：聚合 AMASS、LAFAN1、MotionMillion、PHUMA 及内部捕捉数据，用现成重定向工具映射到 Unitree-G1 的 29-DoF 关节空间，过滤坐椅、游泳、爬楼梯等含物体交互的动作，再用时间扭曲增广约 5 倍，最终得到约 2B 帧。阶段 (b) 动作专家：用提出的 Harmonic Motion Embedding (HME) 把语料聚成约 300 个簇，每簇 1k-2k 序列；在每个簇上用 PPO 训练一个策略，奖励在身体关键点层级计算 $R_{kpt}(t) = R_{pos}+R_{rot}+R_{vel}+R_{penal}$，保留稳定收敛的专家。阶段 (c) 蒸馏：用 DAgger 把全部专家行为迁移到单一因果 Transformer，重写为序列建模问题以利用并行监督。

核心创新点有三。其一，把跟踪建模为 GPT 风格因果序列预测——token $e_t = \text{concat}(s_t, q_t^{ref})$，长度 $H$ 的历史窗口送入带时间因果掩码的 Transformer，所有位置并行监督。这与部署约束天然对齐（在线跟踪本就无法看到未来），也使 Transformer 能发挥其并行训练优势，区别于 HumanPlus 用标准 PPO 训 Transformer 浪费了这一并行性。其二，提出 Harmonic Motion Embedding (HME)：训练若干 Periodic Autoencoder 提取每关节周期性幅度与频率，聚合为序列级嵌入，再用 K-Means 聚类得到语义一致的运动簇，支持分布感知采样。其三，首次系统刻画 humanoid 跟踪的 scaling law，证明数据规模与多样性平衡同样关键——多样性无平衡仍过拟合常见模式，平衡无多样性则封顶能力。

方法步骤详情

完整步骤：(1) 数据收集与重定向：聚合多源 mocap，统一重定向到 G1 的 29-DoF 关节空间，过滤含物体交互序列；(2) HME 聚类：训练若干 Periodic Autoencoder 提取 per-joint 周期幅度/频率，聚合序列均值与标准差得 HME 向量，K-Means 聚成约 300 个簇；(3) 时间扭曲增广：对每条序列均匀加减速，数据膨胀约 5 倍；(4) 专家训练：每簇训练 PPO 策略，状态 $s^{priv}_t$ 含关节位置/速度、根角速度、投影重力、上一动作，奖励 $R_{pos}=\sum_k w_k\exp(-\alpha_{pos}\|e^{pos}_{k,t}\|_1)$，类似定义 $R_{rot},R_{vel}$，按根位姿误差与稳定时长筛选；(5) DAgger 蒸馏：token $e_t=\text{concat}(s_t,q_t^{ref})$，历史窗口过因果 Transformer，用 SmoothL1Loss 监督专家输出；(6) 推理维护长度 $H$ 的 token 队列，取最后位置作当前控制目标。

技术新颖性

技术新颖性体现在四处。(1) 首次把数百个 RL 动作专家蒸馏为单一 GPT 风格跟踪器，且把蒸馏重写成序列建模问题以利用 Transformer 的并行监督能力（式 2），训练损失 $\ell=\mathcal{L}(G_\theta(e_{t-H+1:t}),\hat{a}_{t-H+1:t})$。(2) HME 嵌入用 Periodic Autoencoder 提取周期性幅度与频率，提供从原始运动直接度量并组织多样性的工具，并通过 gstd（几何均值标准差）与 log-volume $=\frac{1}{2}\log\det(\Sigma+\epsilon I)$ 定量比较数据集多样性，证明策划语料相对 AMASS 提升 4-5× log-volume。(3) 因果结构设计让模型天然满足在线跟踪约束，并隐式学到位置不变的时序预测，能在历史稀缺的片段起始也稳定输出。(4) 给出 humanoid 跟踪的 scaling law，把性能与数据规模、模型容量定量关联，为未来通用全身控制提供路线图。

**Figure 2**: Overview of Humanoid-GPT (three-stage pipeline)

**Figure 3**: Comparison of dataset diversity in the HME embedding space

**Figure 9**: Data distribution visualization

实验结果

核心发现分四块。表 2 仿真（AMASS-test 未见子集）：Humanoid-GPT-L（80.4M，2B tokens）达 SR 92.58%、MPJPE 0.0735、MPKPE 40.99mm 全面最优；Humanoid-GPT-B 从 2M→2B tokens 的 SR 从约 83% 升到 90.43%。结构对比：MLP/TCN 在 2M tokens 时大模型反而更差（MLP-L 75.25%<MLP-S 76.89%；TCN-L 79.85%<TCN-S 81.48%），过拟合明显；最佳基线 TCN-L 在 2B tokens 达 89.05% SR，但 MPKPE 56.15mm 仍落后 Humanoid-GPT-S（43.25mm）约 30%。图 7 数据 scaling：MPJPE 0.166→0.094（2M→2B），200M 后边际增益递减。表 3 真机：4 段未见舞蹈 MPJPE 在 0.0856-0.1075，与仿真一致，零样本迁移成功。图 5：RTX 4090 上推理低于 1.5ms，比 TWIST 快约 5 倍。

**Table 1**: Comparison of Humanoid-GPT with related works

**Table 2**: Comparison of backbone architectures and scaling effects

**Table 3**: Real-world tracking accuracy on four unseen dancing motions

**Figure 4**: Real-world experiments for Humanoid-GPT (zero-shot tracking)

**Figure 5**: Comparison of inference latency among different optimization methods

**Figure 6**: Additional Real-world experiments for Humanoid-GPT

**Figure 7**: Data Scaling up Curve on Zero-shot Performance

**Figure 8**: Model Scalability Comparison (Transformer vs MLP)

查看结构化数据

任务	指标	本文	基线	提升
AMASS-test 仿真零样本跟踪（成功率）	Tracking Success Rate (SR↑)	Humanoid-GPT-L (80.4M, 2B tokens) SR = 92.58%	TCN-L (2B tokens) SR = 89.05%；MLP-L 75.25%	在同等数据下 SR 高约 3.5 个百分点，且关键点误差 MPKPE 领先基线约 30%
AMASS-test 仿真跟踪精度	Mean per-Keypoint Position Error (MPKPE↓, mm)	Humanoid-GPT-L = 40.99mm；Humanoid-GPT-S (2M) = 62.65mm	最佳基线 TCN-L (2B) = 56.15mm	即便 Humanoid-GPT-S 用 1/1000 数据也比最强 TCN 基线低约 30%，体现结构优势
数据缩放曲线（固定 Humanoid-GPT-B）	Zero-shot MPJPE (rad)	2M→20M→200M→2B 对应 0.166→0.128→0.105→0.094	MLP 在 200M→2B 增益边际，TCN 类似饱和	Transformer 随数据持续下降，给出可预测的 scaling law；200M 后进入数据受限区
真机零样本舞蹈跟踪（4 段未见序列）	MPJPE / MPJVE (rad / rad/s)	Humanoid-GPT-B MPJPE 0.0856-0.1075，最佳 0.0825（HuoYuanJia）	GMT 0.0921-0.1098；TWIST 0.1079-0.1253；Any2Track 0.0928-0.1136	真机误差与仿真高度一致，零样本 sim-to-real 迁移成功，多数指标优于三个 SOTA 基线
部署推理延迟	端到端单步推理时间	TensorRT+Cache+C++ 流水线 0.58-0.65ms，端到端 <1.5ms（RTX 4090）	TWIST CPU ONNX 2.79ms，整体约 3.32ms	比 TWIST 快约 5 倍，满足全身实时控制要求，证明扩大模型不必牺牲延迟

局限与改进

作者承认的局限：仅在 Unitree-G1 单一平台上验证，scaling law 也是在该平台观察；当前框架仅处理'平面场景'动作，已显式过滤坐椅、游泳、爬楼梯等含物体交互的序列；未来工作提到需融合接触、视觉、语言等更多模态。我观察到的额外局限：(1) 真机评测样本较小，仅 4 段舞蹈，未给出统计显著性或失败案例分析；(2) 与最新最强基线的对比局限在 MLP/TCN 类，未与同样用 Transformer 的方法（如更新的 motion foundation models）正面对比；(3) 2B 帧语料含大量内部自采集数据，外部难以独立复核多样性声明与 HME 度量；(4) scaling law 在 2B 处已显示数据受限迹象，是否需要更激进模型仍未知；(5) 专家训练需约 300 个 PPO 策略，算力与失败率未披露，复现门槛高。

独立分析的弱点

独立分析的弱点：(1) 评测基准偏窄——只覆盖 G1 单一形态，重定向到 29-DoF 时显式剔除物体交互动作，难以直接迁移到带末端工具或双手操作的机器人。改进方向是把 HME 与重定向流程泛化到任意形态，并构建多形态 benchmark。(2) 专家训练阶段成本不透明——需训练约 300 个 PPO 专家，文中未披露总 GPU 时长与失败专家比例，复现门槛高。改进方向是研究能否用一个大规模离线 RL 阶段替代分簇专家。(3) 2B tokens 处已出现数据受限迹象（图 7），暗示当前最大模型仍未饱和，缺乏更大模型（>80M 参数）的 scaling 曲线。改进方向是扩展到 100M+ 参数并刻画计算-性能 Pareto 前沿。(4) DAgger 蒸馏依赖专家在线回滚，未见对专家失效区域（长尾运动）的鲁棒性分析，可能存在系统性盲区。(5) 真机仅 4 段舞蹈且无失败案例，统计说服力有限。

未来方向

作者明确提出的方向：融合接触、视觉、语言等更丰富模态；扩展到交互或多智能体场景；与长程规划或 VLA 指令结合迈向通用具身基础模型。基于成果可延伸的方向：(1) 把 HME 与 scaling law 思想迁移到灵巧手操作、移动操作等下游任务，验证'多样性+平衡'是否普适于其他具身控制；(2) 用视频估计的运动作为参考输入已被论文提及'可实质改善跟踪'，但缺少系统性消融，可深入刻画视频噪声鲁棒性与失败边界；(3) 探索自监督预训练替代专家蒸馏，降低对大量 RL 专家的依赖；(4) 把因果 Transformer 替换为线性注意力或状态空间模型，进一步压低 1.5ms 延迟并支持更长上下文 $H$；(5) 把 distillation 框架推广到不同厂商的 humanoid 平台做横向迁移，验证形态无关性。

复现评估

作者在论文中给出代码仓库 (github.com/GalaxyGeneralRobotics/Humanoid-GPT) 与项目主页链接，承诺开源但接收时点的代码完整性未知。复现难度评估：(1) 数据是最大门槛——2B 帧语料含'大规模内部捕捉数据'和 MotionMillion 等许可受限集，外部研究者几乎无法精确复刻，仅靠公开 AMASS/LAFAN1/PHUMA 只能复现约 7-30M 帧，无法触及 scaling 曲线末端；(2) 重定向工具与 PHUMA 物理过滤流程为公开，可部分复现数据管线；(3) 算力需求高——需训练约 300 个 PPO 专家再做大模型 DAgger 蒸馏，单卡不可行；(4) 模型权重若开源可大幅降低复现门槛，便于直接做真机部署；(5) 真机评测依赖 Unitree-G1 硬件，多数实验室难以复现 sim-to-real 数据。整体属于'方法论可借鉴但完整复现门槛极高'的工作。

Humanoid-GPT：扩展数据与结构实现零样本人形动作跟踪 Humanoid-GPT: Scaling Data and Structure for Zero-Shot Motion Tracking