EgoHumanoid：利用无机器人第一人称示范解锁真实场景人形机器人移动操作 EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration
首次验证人类第一人称数据可跨形态迁移到人形机器人，实现真实场景移动操作泛化
前置知识
Loco-Manipulation（移动操作）
移动操作是指人形机器人同时协调全身运动（locomotion）和灵巧操作（manipulation）的能力。与固定基座的机械臂不同，人形机器人需要在导航到目标位置的过程中保持动态平衡，同时完成抓取、放置等操作任务。这种全身协调对控制算法和训练数据都提出了极高要求，因为导航精度直接影响后续操作的可行性——停止位置的微小偏差就可能导致操作失败。
本文的核心目标就是解决人形机器人的移动操作问题，理解这一概念是把握论文价值的基础。移动操作是人形机器人从实验室走向真实应用（家务、户外服务）的关键能力。
Vision-Language-Action (VLA) 模型
VLA 模型是一类将视觉感知、语言理解和动作生成统一在一个框架中的机器人基础模型。它接收第一人称 RGB 图像和语言指令作为输入，直接输出机器人可执行的动作序列。本文基于的 π0.5 就是一个先进的 VLA 模型，通过大规模预训练获得通用的视觉-语言理解能力，再通过后训练适配到具体的机器人任务。VLA 模型的优势在于可以利用互联网规模的视觉-语言数据进行预训练，减少对昂贵机器人数据的依赖。
本文采用 VLA 共训练范式，将人类数据和机器人数据统一在相同的观测-动作空间中进行联合训练，这是实现跨形态迁移的技术基础。
Embodiment Gap（形态差异）
形态差异是指人类和人形机器人在身体结构、运动学特性、视觉观察等方面的系统性差异。具体包括：肢体比例不同（人类臂展相对躯干更长）、关节活动范围不同、质量分布和驱动约束不同、第一人称视角的相机高度和视野不同。这些差异使得人类的运动数据不能直接用于机器人控制，需要专门的对齐方法来弥合。在移动操作中，全身运动还会放大的视角变化和动作多样性，使形态差异问题更加突出。
形态差异是本文要解决的核心技术挑战。论文提出的 view alignment 和 action alignment 两个模块都是为了弥合这一差异，使人类数据可以有效用于训练人形机器人。
Egocentric View（第一人称视角）
第一人称视角是指从行为主体（人类或机器人）头部位置捕获的视觉观察。这种视角直接反映行为主体看到的内容，包含丰富的场景信息和手部交互细节。人类的第一人称视频可以通过轻量级穿戴设备（VR 头显、智能眼镜）在多样化真实场景中大规模采集，无需机器人硬件。但人类和机器人的第一人称视角存在显著差异——相机高度不同（人类 1.6-1.8m vs 机器人 ~1.3m）、手部外观不同（人手 vs 金属夹爪）。
论文的核心创新就是利用人类第一人称视角数据来训练机器人。理解第一人称视角的特点和挑战，才能理解为什么需要 view alignment 来弥合视觉域差距。
View Alignment（视角对齐）
视角对齐是本文提出的核心技术之一，用于将人类第一人称图像转换为近似机器人视角的图像。具体方法是：首先使用 MoGe 模型估计单目图像的深度，得到每个像素的 3D 点云；然后将这些 3D 点通过刚性变换投影到目标机器人相机坐标系；最后使用 Stable Diffusion 的 inpainting 能力填补因遮挡和视角变化产生的空白区域。训练时还会对目标位姿施加随机扰动，增强策略对视角变化的鲁棒性。
视角对齐是实现人类-机器人共训练的关键步骤。没有视角对齐，策略会遇到来自两个数据源的分布外视角，导致泛化失败。实验表明视角对齐在 Toy Transfer 和 Cart Stowing 等涉及不同高度物体的任务上带来最大增益。
Delta End-Effector Pose（增量末端执行器位姿）
增量末端执行器位姿是一种动作表示方式，描述相邻时间步之间末端执行器（手腕/夹爪）的位姿变化（6-DoF：3D 平移 + 3D 旋转），而非绝对位姿。使用增量表示的优势是避免了人类和机器人之间全局坐标系对齐的问题——由于身体结构不同，即使功能等价的手部位置，其绝对坐标分布也可能系统性不同。增量表示天然具有跨形态可比性。但增量位姿也有局限：没有本体感觉输入时，旋转的对应关系存在歧义。
这是论文统一人类和机器人上半身动作空间的核心设计选择。理解增量位姿的特点才能理解动作对齐的方法和局限性。
Co-training（共训练）
共训练是指在同一个策略模型上同时使用人类数据和机器人数据进行训练。与预训练-微调范式不同，共训练直接利用两种数据源的动作标签作为监督信号，通过统一的观测和动作空间实现更有效的知识迁移。共训练面临的关键挑战是数据不平衡——人类数据通常比机器人数据多得多且更多样化，需要精心设计采样策略。本文发现最优采样比取决于任务特性：粗粒度抓取任务适合更高的人类数据比例，而精细操作任务需要更多机器人数据。
共训练是本文验证人类数据有效性的核心实验范式。论文通过系统的消融实验研究了采样比例和数据规模的影响，为后续研究提供了实践指导。
研究动机
人形机器人的移动操作（loco-manipulation）面临着严重的数据瓶颈。现有的训练方法主要依赖机器人遥操作（teleoperation）来收集演示数据，但这种方式存在三大问题。首先，成本高昂且操作复杂——遥操作者需要穿戴动作捕捉设备，操控人形机器人的全身运动，每个任务的平均数据收集时间长达 62.1 秒。其次，硬件不稳定导致数据质量参差不齐。最关键的是，遥操作被限制在实验室环境中，因为将人形机器人平台和遥操作设备搬运到多样化真实场景（如家庭、公园、商店）是不现实的。这导致机器人只能在有限的场景中训练，严重限制了策略的泛化能力。论文的实验数据清楚地展示了这一问题：仅使用机器人数据训练的策略在域内场景只能达到 59% 的平均得分，而在未见过的真实场景中得分骤降至 31%。
本文的目标是本文的目标是验证一个简单但尚未被探索的假设：人类的日常行为数据可以有效迁移到人形机器人，用于解决移动操作问题。具体而言，研究团队希望实现三个目标：第一，证明人类第一人称数据与机器人数据共训练可以显著提升人形机器人移动操作的性能；第二，建立一套系统化的人类-人形机器人对齐管线（alignment pipeline），弥合两种形态在视觉和动作层面的差距；第三，通过大规模真实世界实验，分析哪些行为可以从人类数据有效迁移、人类数据的规模效应如何、以及关键设计选择的影响。
与已有工作不同的是，本文的独特切入角度在于三个方面。第一，这是首个将人类-机器人共训练范式应用于人形机器人全身移动操作的工作。此前的人类数据利用方法要么聚焦于固定基座的机械臂操作，要么将导航和操作解耦以避免基座移动。本文直接处理全身协调的移动操作，这是一个更具挑战性但更接近实际应用的场景。第二，论文提出了专门针对人形机器人的对齐管线，包括基于深度重投影的视角对齐和统一动作空间的设计。与此前的跨形态迁移方法（如使用手持夹爪硬件、运动重定向）不同，本文的方法不需要特定硬件，保持了数据收集的通用性。第三，论文通过系统的实验分析，首次揭示了人类数据在移动操作中的迁移机制——导航行为可以高效迁移，但精细操作的迁移效果随精度要求增加而递减，且场景多样性是泛化的关键驱动力。
核心方法
EgoHumanoid 框架的核心思路可以概括为：虽然人类和人形机器人在低层动作上存在形态差异，但高层行为结构（如导航路线、物体接近策略、任务分解）在观测和动作正确对齐后可以可靠迁移。基于这一洞察，论文构建了一个完整的数据收集和训练管线。硬件层面，开发了统一的 VR 基础设备，可以快速切换于人类数据采集和机器人遥操作两种模式。数据处理层面，通过对齐管线将人类演示转换为机器人兼容的训练信号。模型训练层面，在统一的观测-动作空间上对 VLA 模型进行共训练。技术路线是：先通过深度估计和重投影实现视角对齐，消除相机高度差异带来的视觉域差距；再通过增量末端执行器位姿和离散导航命令实现动作对齐，确保动作空间的跨形态一致性。最后在 π0.5 VLA 模型上进行共训练，使策略能够同时从人类和机器人数据中学习。
本文的核心创新点在于提出了一个系统化的人类-人形机器人对齐管线，包含视角对齐和动作对齐两个互补模块。与已有方法的本质区别体现在：第一，视角对齐不依赖特定硬件或外观修改。此前的方法（如 Mirage 的跨绘画）需要重写机器人图像，而本文通过深度重投影 + 扩散模型补全的方式，将人类图像转换为近似机器人视角的完整 RGB 图像。这种方法更加通用，不需要知道目标机器人的具体外观。第二，动作对齐采用了共享的动作空间设计。上半身使用增量末端执行器位姿（delta end-effector pose），避免了全局坐标对齐问题；下半身使用离散导航命令，将人类的骨盆轨迹转换为与机器人遥操作接口一致的离散基元。这种设计既保证了跨形态可比性，又尊重了两种形态的运动学差异。第三，论文识别出关键洞察：人类演示中多样化的真实场景暴露策略到机器人数据罕见的变异性，从而实现更强的真实场景泛化。
方法步骤详情
EgoHumanoid 的方法包含四个主要步骤。第一步是统一硬件数据收集。人类数据采集使用 PICO VR 头显 + 5 个动作追踪器 + 头戴 ZED X Mini 相机，记录 24 个身体关键点和每只手 26 个关键点的全身运动，以及同步的第一人称 RGB 视频。机器人数据通过 VR 遥操作收集，操作者使用手柄发出导航命令和手腕位姿命令，通过逆运动学转换为关节动作，在 Unitree G1 人形机器人上执行。第二步是视角对齐。使用 MoGe 模型从人类第一人称图像估计仿射不变的逐像素 3D 点图和深度图，然后将 3D 点通过刚性相机变换（向下平移 0.25m）投影到机器人相机坐标系，最后使用 Stable Diffusion 2.0 Inpainting 补全因遮挡产生的空白区域。训练时对目标位姿施加 ±0.05m 的均匀噪声增强鲁棒性。第三步是动作对齐。上半身：将人类手腕位姿转换到以骨盆为中心的坐标系，使用 Savitzky-Golay 滤波器平滑（窗口 11，3 阶多项式），在 SO(3) 切空间中平滑旋转，从 100Hz 降采样到 20Hz，输出相邻帧之间的增量位姿。下半身：将人类骨盆轨迹转换为离散导航命令（前进/后退、左/右转各 3 个速度档位），通过骨盆高度变化阈值判定站立/下蹲。夹爪：从手部关节轨迹计算手指曲率，阈值化得到二值开/合状态。第四步是 VLA 共训练。在 π0.5 模型上微调，输入 224×224 RGB 图像和语言指令，输出 18 维动作空间（12-DoF 双臂增量位姿 + 3 维离散导航命令 + 2 维夹爪命令 + 1 维高度变化命令），动作块大小 50 步。使用 AdamW 优化器，学习率 5×10⁻⁵，8×A100 GPU 训练 20,000 步。
技术新颖性
本文的技术新颖性体现在多个层面。首先，这是首个验证人类-人形机器人跨形态迁移用于全身移动操作的工作，开辟了一个新的研究方向。此前的人类数据利用方法要么聚焦于固定基座操作，要么将移动和操作解耦。其次，视角对齐方法的技术路线具有创新性。使用 MoGe 进行单目深度估计，然后通过点云重投影实现视角转换，再用扩散模型补全——这种三阶段管线优雅地解决了相机高度差异问题。特别是训练时施加随机扰动的设计，使策略能够泛化到训练时未见过的视角变化。第三，动作空间的统一设计是关键创新。使用增量位姿避免全局坐标依赖，使用离散命令处理下半身——这种设计巧妙地平衡了跨形态可比性和形态特异性。第四，论文首次系统分析了人类数据在移动操作中的迁移机制，发现导航行为可以高效迁移（Human-only 在导航子任务达到 100%），但精细操作的迁移效果随精度要求增加而递减。这种分析为后续研究提供了重要指导。
实验结果
论文通过四个真实世界移动操作任务（Pillow Placement、Trash Disposal、Toy Transfer、Cart Stowing）进行了全面实验，得出以下核心发现。第一，人类-机器人共训练在所有任务和评估设置中一致优于仅机器人基线。域内评估中，共训练达到 78% 平均得分 vs 仅机器人的 59%；泛化评估中，差距更加显著：共训练 82% vs 仅机器人 31%。值得注意的是，泛化性能甚至超过了域内性能，表明人类数据有效地弥合了域差距。第二，不同行为的迁移效果存在显著差异。导航行为可以高效迁移——Human-only 模型在所有导航子任务（Pillow Placement s1、Trash Disposal s1、Toy Transfer s1、Cart Stowing s1）达到 100% 成功率。操作行为的迁移效果随精度要求递减：粗粒度操作（如 Pillow Placement s2）Human-only 达到 95%，但精细操作（如 Cart Stowing s2）仅达到 5%，而 Co-training 在此子任务达到 60%，表明人类数据提供了有用先验但需要与机器人数据结合。第三，人类数据规模效应验证成功。随着人类演示从 0 增加到 300，性能在所有采样比下一致提升，验证了方法的有效扩展性。最优采样比取决于任务特性：导航密集任务（如 Pillow Placement）受益于更高的人类数据比例（Robot:Human 1:2），而精细操作任务（如 Toy Transfer、Cart Stowing）偏好更高机器人比例（Robot:Human 2:1）。第四，场景多样性是泛化的关键驱动力。固定数据量（100 机器人 + 300 人类），仅增加人类场景数量从 0 到 3，泛化得分从 57.5% 单调提升到 82.5%，即使在训练时未见过的新场景中评估。第五，数据收集效率显著提升。人类演示平均每个 episode 39.7 秒，比机器人遥操作的 62.1 秒快约 2 倍。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Pillow Placement (域内) | Average Score | 97.5% | 60.0% (Robot-only) | +37.5% |
| Pillow Placement (泛化) | Average Score | 97.5% | 37.5% (Robot-only) | +60.0% |
| Trash Disposal (域内) | Average Score | 85.0% | 47.5% (Robot-only) | +37.5% |
| Trash Disposal (泛化) | Average Score | 87.5% | 31.3% (Robot-only) | +56.2% |
| Toy Transfer (域内) | Average Score | 70.0% | 61.3% (Robot-only) | +8.7% |
| Toy Transfer (泛化) | Average Score | 65.0% | 30.9% (Robot-only) | +34.1% |
| Cart Stowing (域内) | Average Score | 42.5% | 5.0% (Robot-only) | +37.5% |
| Cart Stowing (泛化) | Average Score | 55.0% | 0.0% (Robot-only) | +55.0% |
| 平均 (域内) | Average Score | 78% | 59% (Robot-only) | +19% |
| 平均 (泛化) | Average Score | 82% | 31% (Robot-only) | +51% |
局限与改进
论文坦诚地讨论了多项局限性。首先，增量末端执行器位姿表示存在旋转歧义问题。由于没有本体感觉输入，策略无法从第一人称图像中可靠地推断预期的末端执行器方向，限制了精细旋转控制。这是人类和机器人形态差异的固有挑战——人类手腕方向和机器人夹爪方向的对应关系难以仅从视觉推断。其次，移动操作相比固定基座操作需要更多训练数据（约 2-3 倍）。原因是机器人很少精确停在同一位置，导致操作阶段的视角高度多样化，增加了学习难度。第三，离散导航命令限制了可实现的行为范围。当前系统将运动量化为有限的离散基元，无法表达更精细的全身运动。第四，虽然论文验证了人类数据的有效性，但整体成功率仍有提升空间，特别是在 Cart Stowing 等精细操作任务上。失败模式分析显示，Human-only 模型的操作失败率是运动失败率的 3 倍，表明形态差异对精细操作的影响更大。此外，论文的方法目前只在 Unitree G1 这一中型人形机器人上验证，对其他形态的适用性需要进一步研究。
独立分析的弱点
从独立分析的角度，本文存在以下几个值得关注的弱点。第一，视角对齐依赖单目深度估计的质量。MoGe 的深度预测存在误差，特别是在复杂场景或透明/反光物体附近，这会导致重投影后的图像质量下降。改进方向可以探索多帧深度估计融合或使用更先进的深度基础模型。第二，动作对齐忽略了全身协调的细节。当前系统将下半身动作简化为离散命令，丢失了丰富的全身运动信息。人类行走时的自然身体摇摆、平衡策略等都未能迁移到机器人。改进方向是开发更表达性的低层控制器，支持连续的全身动作空间。第三，数据收集协议对人类演示者施加了较多约束（保持手腕方向一致、躯干稳定、手部可见），这限制了人类运动的自然性和多样性。改进方向是开发更鲁棒的手部追踪和动作估计算法，减少对演示者行为的约束。第四，论文没有探索预训练阶段的人类数据利用。共训练虽然有效，但将人类数据用于预训练可能带来更大收益，因为预训练可以学习更通用的视觉表征和运动先验。第五，实验规模相对较小——每个任务只有 100 个机器人演示和最多 300 个人类演示，总共 4 个任务。更大规模的实验可以更好地验证方法的扩展性。
未来方向
论文作者提出了几个未来研究方向。首先，使用先进的第一人称硬件进行大规模数据收集是关键方向。当前使用的是 PICO VR 头显和 ZED X Mini 相机，更先进的设备（如 Meta Quest 3、Apple Vision Pro）可能提供更高质量的手部追踪和场景理解。其次，探索互联网规模的第一人称视频用于预训练。Ego4D 等大规模数据集包含数千小时的第一人称视频，可以学习通用的视觉-运动表征。第三，开发表达性的全身动作表示，在保持跨形态可迁移性的同时支持更精细的腿部运动，如踩踏板、穿越窄缝等。基于本文的成果，还可以延伸以下方向：将框架扩展到双臂灵巧操作，利用人类双手协调的丰富数据；探索在线学习和自适应，使策略能够根据部署环境实时调整；研究跨形态迁移的理论基础，建立从人类数据到机器人性能的定量关系；开发更智能的数据选择策略，自动识别哪些人类演示对特定机器人任务最有价值。此外，将框架扩展到多机器人协作场景，利用人类团队协作的数据训练多机器人协调策略，也是有前景的方向。
复现评估
论文在可复现性方面做出了积极努力。代码和数据承诺开源（Apache 2.0 许可），这将大大降低复现门槛。技术栈基于多个成熟开源组件：π0.5（Apache 2.0）、MoGe（MIT）、Stable Diffusion 2.0（MIT）、GR00T-WholeBodyControl（NVIDIA 非商业许可）。论文提供了详细的实现细节，包括深度估计分辨率（720×1280）、重投影距离（0.25m）、滤波器参数（窗口 11，3 阶多项式）、训练超参数（学习率 5×10⁻⁵，8×A100 GPU，20,000 步）等。硬件方面使用 Unitree G1 人形机器人（商用可购买）和 PICO VR 套件。复现的主要挑战包括：需要人形机器人硬件和遥操作设备（成本较高）、需要在多样化真实场景中收集数据（人力成本）、需要 8×A100 GPU 进行训练（算力需求）。总体而言，对于有机器人实验室的研究团队，复现是可行的；对于个人研究者，可以先从仿真环境验证核心想法。
论文图表
表格展示了四个任务在不同训练设置下的连续子任务成功率。导航子任务（蓝色）Human-only 达到 100%，但精细操作子任务（红色）效果递减。Co-training 结合了两种数据源的优势，在大多数子任务上达到最优。
这个表格提供了子任务级别的详细分析，揭示了导航和操作行为的不同迁移特性，是理解迁移机制的重要数据支持。
表格展示了固定数据量下，增加人类场景数量对泛化性能的影响。从 0 个场景（仅机器人）到 3 个场景，得分从 57.5% 单调提升到 82.5%。运动子任务 s1 从 70% 提升到 100%，操作子任务 s2 从 45% 提升到 65%。
这个表格验证了场景多样性是泛化的关键驱动力，即使数据量相同，更多样的场景也能带来显著性能提升。
表格对比了人类演示和机器人遥操作的平均收集时间。人类演示平均 39.7 秒/episode，比机器人遥操作的 62.1 秒快约 2 倍。在所有四个任务上，人类数据收集都更快。
这个表格量化了人类数据收集的效率优势，展示了使用人类数据的实际收益——不仅提升性能，还降低成本。