HuGe：用第一人称经验扩展人形通用视觉-语言-动作模型 HuGe: Scaling Humanoid Generalist Vision-Language-Action Models with Egocentric Experience
用2000+小时第一人称人类数据预训练人形VLA，借助伪本体感觉与视觉适配完成人到机器人迁移
前置知识
VLA（视觉-语言-动作模型）
以视觉-语言模型为骨干的机器人策略模型，输入图像观测、本体感觉与语言指令，直接输出动作序列。代表作有OFT（MLP并行输出动作块）、GR00T（DiT流匹配生成动作）和π0系列（DiT动作专家逐层交叉注意力），已能在固定基座桌面操作上完成叠衣、插接件等任务。
本文不发明新架构，而是把这三个代表性VLA架构统一改造为人形全身控制，理解它们的动作预测方式差异是读懂实验对照的前提。
分层控制与RL全身控制器
人形机器人控制常用分层架构：高层策略输出任务级目标（如末端位姿、运动参考），底层用强化学习训练的全身控制器跟踪参考并维持平衡稳定，翻译成关节级命令。SONIC就是这样一个预训练全身控制器，它维护一个通用的潜在运动token空间，编码器把人类运动映射为token，解码器在机器人上跟踪执行。
HuGe的整个动作接口建立在SONIC的64维token空间上，不理解分层控制就无法理解为什么策略只需预测latent token而不是关节角。
第一人称人类示教与本体感觉
第一人称示教指人类佩戴头显（如Aria眼镜、PICO 4 Ultra）记录自己执行任务的视角视频与头/腕部轨迹，是廉价的大规模任务经验来源。本体感觉是机器人对自身关节角、手部状态、身体姿态的内部感知，VLA策略已被证明强烈依赖当前本体状态来预测动作，而人类数据天然缺失这一信息。
本文要解决的核心矛盾就是：第一人称数据有海量视觉经验但没有机器人本体感觉，且人手人臂外观与机器人不同。
流匹配与扩散Transformer（DiT）
流匹配是一类生成模型训练方法，学习把噪声分布连续变形到目标分布；DiT是以Transformer为骨干的扩散/流匹配生成器。GR00T风格用DiT以交叉注意力条件于骨干特征生成动作块，π风格则把DiT动作专家连接到骨干多层隐状态逐层精炼带噪动作序列。
HuGe-GR00T与HuGe-Pi两个变体的动作头分别基于这两种设计，是仿真主结果中表现最好的两个变体。
LoRA与全参数微调
LoRA在冻结的预训练权重旁注入低秩矩阵，只训练少量参数实现适配；全参数微调则更新所有权重。对VLA这类多模态大模型，LoRA省显存但限制更新空间，可能不足以把预训练的视觉语言表征适配到全新的动作预测任务。
论文第一个实验就系统比较Frozen/LoRA/Full三种策略，发现全参数微调超LoRA 19.29–38.81个百分点，这一结论决定了后续所有实验配置。
研究动机
现有VLA在固定基座单臂/双臂桌面操作上已相当成熟，但扩展到人形机器人面临两个具体困难。其一是控制问题：人形任务执行要求手臂运动与躯干、下肢协调，在保持平衡稳定的同时完成操作，高维动作空间和复杂动力学使得为机械臂开发的VLA策略无法直接迁移，需要一个能连接任务级预测与全身协调执行的动作接口。其二是数据问题：学习通用人形行为需要多样的全身示教，但在真实人形机器人上遥操作采集既昂贵又耗时——论文特别提到G1遥操作采集时关节过热会触发停机保护，中断示教并带来安全风险。第一人称人类示教虽然能提供廉价互补的任务经验（如EgoDex有821.8小时），但视觉本体差异（人手人臂对比机器人灵巧手）和机器人本体感觉状态的缺失，使这些数据无法直接用于人形策略学习。
本文的目标是本文要构建HuGe——一族人形通用VLA，在超过2000小时的第一人称人类与机器人混合数据上预训练，把语言指令翻译为协调的全身行为，同时不修改任何现有VLA架构设计。具体目标包括：设计统一的三阶段训练管线（第一人称预训练、人形适配、下游微调），使异构人类数据能与机器人数据共享同一动作与状态接口；在HumanoidArena仿真基准的7个任务上达到或超越现有最强基线；在真实Unitree G1上验证，固定机器人示教预算下用第一人称示教增广能显著提升长时程拾放任务成功率（从43.3%提升至66.7%这一量级）。
与已有工作不同的是，已有工作要么用人类视频学习视觉表征和运动先验，要么通过运动重定向和视觉适配把人类数据转成机器人数据，但大多集中在固定基座操作；人形方向如UNIFOHM只用对齐动作表示加机器人示教的阶段性训练。本文的独特切入在于三点：一是把三个现成VLA架构统一接到预训练全身控制器SONIC的通用token空间，用控制器兼容的动作监督吸收异构人类数据，规模达1669.61小时、2.22亿帧；二是系统性研究两个训练阶段各自的数据适配手段——预训练期用仿真回放构造伪本体感觉状态补上缺失输入，下游微调期用重渲染替换手臂外观弥合视觉差异；三是把这些组件作为可复用配方在三种架构上一致验证，而非绑定单一模型，回答的是训练策略问题而非架构设计问题。
核心方法
先给直觉：让机器人从『看别人用手干活』的视频里学本领，障碍有两个——看不见『我的身体现在是什么姿势』，以及视频里的手不是自己的手。HuGe的应对是把动作预测与身体执行解耦：策略只输出一种与具体机器人无关的中间表示（SONIC潜在运动token加双手开合信号），由预训练全身控制器负责翻译成关节命令维持平衡；同时用仿真回放给第一人称数据『补造』本体感觉，用视觉重渲染把人手人臂换成渲染的机器人手。技术路线上，给定视觉观测$o_t$、本体感觉状态$s_t$和语言指令$l$，HuGe预测66维动作向量$a_t$：64维潜在运动token加2个二值手部开合量。三种变体共用Qwen系视觉-语言骨干编码输入，动作头分别是OFT风格的MLP并行输出动作块、GR00T风格的DiT流匹配、π风格的层级DiT动作专家，统一在50Hz控制时间线上预测50步动作块。
核心创新是『控制器兼容的动作接口+两阶段数据适配』的组合，与已有方法的本质区别有三。第一，已有分层VLA多预测上半身操作目标加下半身运动命令，或生成全身运动参考；HuGe直接以SONIC的64维通用token空间为动作空间，使EgoDex、EgoVerse、Xperience-10M等异构人类数据都能编码为同构运动监督，人类数据的规模优势得以释放。第二，伪本体感觉状态：第一人称数据没有机器人状态，HuGe把运动token在仿真G1上用SONIC控制器回放，从回放记录构造34维状态（29个关节角、2个手部状态、机体系下3维重力方向），让策略从预训练起就学会利用身体状态——这不依赖动捕拟合，且与动作标签严格一致。第三，下游视觉适配：用Phantom式管线分割去除人手人臂、修复暴露区域、按平滑关键点合成渲染的机器人手，且保持动作、状态、语言监督完全不变，仅改变视觉外观。
方法步骤详情
第一阶段第一人称预训练：输入为EgoDex 821.8小时、EgoVerse 47.08小时（经跟踪有效性、标定稳定性、时长与G1重定向约束筛选，从Aria双儿子集的头部与腕部轨迹编码，配固定下半身站立参考）、Xperience-10M 478.33小时（全身运动参考转SONIC编码器格式）、BEHAVIOR-1K 322.4小时（SONIC规划器由上半身位姿、基座运动和高度参考生成G1运动），共1669.61小时、约2.22亿帧。操作：统一转为SONIC token，从手部关键点（EgoVerse/Xperience-10M）或夹爪命令（BEHAVIOR-1K）导出二值手部标签，仿真回放生成伪本体感觉，训练各变体从图像、指令和归一化34维伪状态预测50步动作块，屏蔽填充步与缺失标签。第二阶段人形适配：在417.58小时真实G1数据（Humanoid Everyday 16.47小时、UniFoLM-WBT 22.96小时、HIW-500 378.15小时）上继续训练，统一动作/状态接口（如HIW-500从控制器事件重建手部标签），联合适配骨干与动作头。第三阶段下游微调：分别为HumanoidArena（700条示教）和真实可乐拾放任务（110条遥操作加400条第一人称，PICO 4 Ultra加腕/腰/踝tracker采集）继续训练，第一人称数据经视觉编辑合成机器人手后与真实数据混合监督微调。
技术新颖性
与UNIFOHM/HOID等用对齐动作表示加机器人示教做阶段性训练的工作相比，本文用控制器token空间直接吸收千小时级人类数据，规模高一个数量级且预训练先于少量机器人适配。与仅用机器人数据预训练的GR00T N1.7相比，本文量化验证了跨本体人类数据的可迁移性（GR00T/Pi变体分别提升5.00和2.86个百分点）。伪本体感觉是『用控制器仿真回放造状态』而非动捕重定向拟合，成本低且与动作监督天然对齐。视觉适配也不是简单的embodiment masking，而是分割、修复、合成渲染机械手的完整管线，并用三种特征空间（Wan2.2、VideoMAE V2、V-JEPA 2）的Fréchet距离定量验证分布接近度（降低13.83%–33.54%）。此外，同一配方在OFT/GR00T/π三种架构上平行验证，给出的是与架构无关的训练策略结论，这比单架构论文对社区更有参考价值。
实验结果
仿真实验在HumanoidArena的7个任务（3个HOI：Football、DoubleDesk、P&PBox；4个HSI：OpenDoor、SitSofa、Boxing、VisNavi）上进行，每任务100条示教训练、60回合评估。训练策略实验：全参数微调最优，HuGe-OFT/GR00T/Pi分别达55.00%/58.33%/60.24%，超LoRA 19.29–38.81个百分点，Frozen几乎全部为0。伪本体感觉实验：GR00T提升5.00个百分点至66.67%、Pi提升2.86个百分点至65.00%，其中大幅改变姿态的SitSofa从61.67%升到78.33%、68.33%升到83.33%；但OFT反降2.38个百分点至54.05%，原因是状态以文本序列化输入被截断引入歧义。数据规模实验：GR00T和Pi随预训练数据从10%增至100%持续提升，OFT在最大规模时反而下降。主对比：HuGe-GR00T 66.67%、HuGe-Pi 65.00%，超最强基线π0.5（53.81%）12.86和11.19个百分点；HuGe-OFT总分54.05%但单独在Boxing和VisNavi领先（各73.33%）；所有变体在DoubleDesk上仅0–15%。真机实验用G1加Inspire RH56DFX灵巧手做可乐拾放（走桌边、抓瓶、转身走向垃圾桶、下蹲投放），30次试验：仅110条机器人示教成功率43.3%（13/30）；加400条原始第一人称示教升到60.0%（18/30）；同样400条经视觉适配后达66.7%（20/30）。视觉适配把FD从2.0311降至1.3499（Wan2.2，33.54%）、7.5697降至5.5204（VideoMAE V2，27.07%）、305.5143降至263.2697（V-JEPA 2，13.83%）。失败分析显示10次失败中5次发生在抓瓶阶段，部署中观察到灵巧手重量导致抓取时平衡不稳。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HumanoidArena 7任务平均成功率（仿真） | 成功率 (%) | HuGe-GR00T 66.67；HuGe-Pi 65.00；HuGe-OFT 54.05 | π0.5 53.81；GR00T N1.7预训练 30.24；GR00T从头训练 29.29 | 较最强基线π0.5提升12.86和11.19个百分点 |
| 可乐拾放（真实G1，30次试验） | 成功率 (%) | 66.7（110条机器人示教+400条视觉适配第一人称示教） | 43.3（仅110条机器人示教） | +23.4个百分点 |
| 可乐拾放（真实G1，原始第一人称增广） | 成功率 (%) | 60.0（110条机器人示教+400条原始第一人称示教） | 43.3（仅110条机器人示教） | +16.7个百分点 |
| 训练策略对比（无预训练，HumanoidArena） | 成功率 (%) | 全参数微调：OFT 55.00 / GR00T 58.33 / Pi 60.24 | LoRA：OFT 16.19 / GR00T 34.05 / Pi 40.95 | 全参数微调超LoRA 19.29–38.81个百分点 |
| 第一人称观测视觉适配质量 | Fréchet distance（Wan2.2特征） | 1.3499（适配后） | 2.0311（原始第一人称） | 降低33.54%（VideoMAE V2降27.07%，V-JEPA 2降13.83%） |
局限与改进
作者承认的局限：一是DoubleDesk任务所有变体仅0–15%，可能与示教中大量重复抓取尝试及预训练偏重全身人形数据有关，提出未来混入大规模机械臂操作数据改善细粒度抓取；二是HuGe-OFT在大规模预训练时因状态文本截断反而退化，说明状态接口设计对架构敏感；三是真机10次失败中5次发生在抓瓶阶段，灵巧手重量导致抓取时平衡不稳；四是最强整体变体并非每个任务都占优。我补充的观察：真机验证仅限单一任务（可乐拾放）和π一种架构，30次试验的统计功效有限，空间泛化也只在桌面瓶位随机化层面测试；语言指令多样性、长时程组合任务均未系统评估；伪本体感觉的质量完全依赖SONIC控制器回放精度，控制器跟踪失败时状态即失真；视觉编辑管线对背景复杂、遮挡严重的场景鲁棒性未验证，且论文只报告了特征空间的FD，没有做像素级或人类感知评估。
独立分析的弱点
第一，动作接口与SONIC强耦合：64维token空间绑定单一控制器，更换控制器需要重新转换全部2000小时数据，且策略上限被上游控制器能力封顶——改进方向是多控制器联合训练或把token空间蒸馏为通用运动表示。第二，状态接口脆弱：OFT把状态序列化为文本，输入截断即导致2.38个百分点退化，说明跨架构统一状态接口的想法过于理想化——改进方向是给每个架构配独立的状态编码器而非共享文本格式。第三，真机证据单薄：一个任务、一种架构、30次试验，且失败流图显示抓瓶阶段集中了一半失败，但未做故障树式的深入归因——改进方向是扩展到多任务、多环境并报告置信区间。第四，视觉适配管线计算昂贵：对400条示教逐帧做分割、修复、渲染，且合成视频可能带伪影误导策略——改进方向是用域随机化或轻量风格迁移替代，或直接在策略中做外观不变性约束。第五，抓取时平衡不稳暴露高层token与低层平衡控制的职责边界不清，动作监督中不含平衡代价——改进方向是让控制器在跟踪失败时向高层反馈，形成闭环调节。
未来方向
作者明确提出的方向：向预训练混入大规模机械臂操作数据以改善细粒度抓取，弥补DoubleDesk的短板；公开数据处理脚本而不直接重分发数据，降低社区复用门槛。基于本文成果可延伸的方向包括：一是在线适应或RL微调，让策略利用真机反馈修正视觉适配的残余差异，而不是依赖一次性离线合成；二是把伪本体感觉推广为通用的跨本体状态桥，用于双臂、移动操作、四足等其他本体的人类数据迁移；三是扩展到更长时程任务和导航-操作组合，检验SONIC token空间的组合泛化能力；四是用学习到的世界模型预测替代仿真回放来生成状态，摆脱对控制器和仿真器的依赖；五是系统研究第一人称与机器人数据的最优混合比例和课程顺序，目前的三阶段是手工设定而非搜索出的最优解。
复现评估
开源情况：论文项目页提供代码链接，承诺提供现有数据集的处理脚本但不直接重分发处理后的数据。数据方面，所有训练数据均为公开数据集（EgoDex、EgoVerse、Xperience-10M、BEHAVIOR-1K、Humanoid Everyday、UniFoLM-WBT、HIW-500、HumanoidArena），总量约2100小时；但复现需重建整套数据处理管线，包括EgoVerse筛选、SONIC编码、仿真回放造伪状态和Phantom视觉编辑，工程量不小。硬件方面，仿真复现需要HumanoidArena环境与SONIC控制器；真机需要Unitree G1加Inspire RH56DFX灵巧手（数万美元级）以及PICO 4 Ultra加tracker的采集设备，还需要悬挂安全架。算力方面，三个架构在2000小时级数据上全参数微调，估计需要数十GPU卡周级的计算。论文附录A/B/C给出了超参、硬件、图像预处理、状态归一化和任务指令，文档友好度较高。总体判断：仿真部分复现难度中等，真机部分门槛很高，适合已有机器人基础设施的团队。
论文图表
