ACE-Ego-0：统一人类第一视角与机器人数据用于VLA预训练

提出统一动作表示和可靠性感知训练，融合人类视频与机器人数据预训练VLA模型

前置知识

Vision-Language-Action (VLA) Models

VLA模型是一种联合建模视觉、语言和动作的多模态基础模型，通过大规模机器人演示数据预训练，能够根据图像观测和自然语言指令直接预测机器人动作。VLA模型通过编码视觉和语言输入，使用预训练的视觉语言模型（如CLIP、Qwen-VL）提取共享表征，然后通过动作专家网络预测相机空间或世界空间的末端执行器轨迹

本文的核心就是VLA预训练框架，理解VLA的基本架构和训练目标是读懂本文的基础

Egocentric Video

第一视角视频是指从人类或机器人的头部视角捕获的视频数据，模拟了主体在环境中进行交互时的真实视觉体验。与第三视角视频不同，第一视角视频直接反映了操作者看到的内容，包含了丰富的手部操作、物体交互和环境感知信息。在机器人学习中，第一视角人类视频可以作为一种低成本、大规模的补充数据源，用于预训练机器人策略

本文的核心创新就是利用大规模人类第一视角视频来补充机器人数据，理解这种数据的特点和挑战至关重要

Cross-Embodiment Learning

跨本体学习是指让机器人策略能够从不同形态的机器人平台上学习通用技能，并迁移到新形态机器人上的学习范式。不同机器人具有不同的运动学结构、传感器配置和控制频率，跨本体学习需要解决空间坐标系不一致、动作维度不同、运动学约束差异等挑战

本文同时处理多种机器人平台和人类数据，跨本体对齐是解决表示异构性的核心问题

Flow Matching

流匹配是一种用于训练扩散模型的框架，通过学习从简单分布（如高斯噪声）到目标分布的向量场来生成样本。在机器人动作预测中，流匹配将动作序列建模为从噪声到真实动作轨迹的流

本文使用流匹配作为主要的训练目标，理解这个损失函数对掌握训练细节很重要

研究动机

现有VLA模型预训练面临两个核心挑战。首先是表示异构性问题：不同机器人平台的数据在空间坐标系、运动学结构、控制频率和动作维度上都存在显著差异。例如，AgiBot G1人形机器人、Galaxea R1Lite单臂移动机器人和Galbot双臂移动机器人在末端执行器动作记录时使用不同的参考系，控制频率从10Hz到30Hz不等。其次是监督质量不匹配问题：大规模人类第一视角视频虽然收集成本低、覆盖面广，但通过视觉管道提取的动作标签本质上是有噪声的伪动作，容易受到跟踪抖动、遮挡和估计偏差的影响

本文的目标是本文提出了ACE-EGO-0，一个具有统一动作表示的VLA预训练框架，用于异构具身数据，从空间、结构和时间三个方面弥合差异。具体目标包括：建立相机空间的标准动作空间，将机器人末端执行器轨迹和重建的人类手部伪动作轨迹表示在共同的以观测为中心的坐标系中；通过跨本体形态条件化来适应多样化的本体结构；提出时间对齐的动作分块，根据物理时间戳而非帧索引来索引未来动作；引入可靠性感知训练目标，明确考虑监督保真度

与已有工作不同的是，本文的独特切入角度在于同时系统性地解决表示异构性和监督质量不匹配两个正交问题。现有跨本体VLA方法通过共享动作空间、本体特定标记器、软提示动作专家或潜在动作表示来解决表示异构性，但受机器人数据收集规模的限制。ACE-EGO-0通过可靠性感知的辅助目标解决监督质量不匹配，将人类视频样本路由通过，限制监督在高度可靠的位置通道并根据数据集级别和步骤级别的质量估计动态加权损失

核心方法

ACE-EGO-0的整体思路是建立一个两阶段的框架来克服异构具身数据预训练的两个根本挑战：表示异构性和监督质量不匹配。首先，建立统一动作表示，通过空间对齐、结构对齐和时间对齐将多本体数据映射到单一的本体无关动作空间。空间对齐通过在所有数据源进入模型之前将动作表示在头相机坐标系中实现。结构对齐通过跨本体形态条件化实现，对于机器人，标记从其URDF图动态计算；对于人类，在不同的个体之间共享并通过反向传播更新。时间对齐通过时间对齐的动作分块实现，根据物理持续时间而非步骤数定义动作分块。其次，为了防止来自人类伪动作的估计噪声在统一动作表示中破坏共享策略，提出可靠性感知训练目标，将有噪声的人类伪动作作为辅助监督利用

核心创新点在于两个方面：统一动作表示和可靠性感知训练目标。统一动作表示将异构机器人源沿空间、结构和时间三个轴进行系统对齐，相机空间动作表示、跨本体形态标记和时间对齐的动作分块在共享VLA训练目标之前将异构轨迹映射到单一的本体无关动作空间。可靠性感知训练目标解决了表示异构性之外的正交监督质量不匹配问题，通过限制监督在高度可靠的位置通道并根据数据集级别和步骤级别的质量估计动态加权损失，确保高保真机器人数据锚定主要动作专家

方法步骤详情

方法包含五个主要步骤。第一步：数据集策展，从公开可用的人类视频集合中选择满足三个标准的来源：第一视角视角、多样化的真实世界交互场景和高质量以动作为中心的标题。第二步：视频选择，采用自我交互过滤器去除不太可能提供有用动作监督的剪辑，使用强人脸检测作为非第一视角或观察者中心视角的有效信号，后续基于图像字幕的过滤器仅保留其叙述中包含至少一个操作动词和一个可操作物体名词的剪辑。第三步：3D手部重建，在三个子阶段进行：2D跟踪、局部姿态估计和全局轨迹优化，首先应用SAM3跟踪器获得整个剪辑中时间一致的手部边界框和分割掩模，将保留的手部裁剪输入到HaMeR中重建MANO形状和姿态参数，然后执行两阶段全局轨迹优化。第四步：动作参数化，将所有数据源的动作表示在头相机坐标系中，对于每个机器人源，双臂末端执行器姿态投影到头相机帧中，对于人类数据，定义手为中心坐标系作为代理末端执行器。第五步：质量控制，应用四个后处理过滤器过滤掉损坏或行为不合理的人类剧集：完整性过滤器、静态过滤器、尖峰过滤器和双手过滤器

技术新颖性

技术新颖性体现在多个方面。首先，在表示异构性方面，ACE-EGO-0在共享VLA训练目标之前系统地对齐异构机器人源沿所有三个轴，而现有方法通常沿着单个轴尝试缓解表示不匹配。其次，在监督质量不匹配方面，ACE-EGO-0引入了可靠性感知的训练目标，明确考虑监督保真度，公式化为时空可靠性权重W_t_j = rho_j * w_t_j，其中rho_j是静态通道级别先验，w_t_j代表动态步骤级别的平滑性因子。最后，在数据流水线方面，ACE-EGO-0开发了一个可扩展的五阶段自我中心视频处理流水线，获得1.48K小时的伪动作标记人类视频

**Figure 3**: Overview of the ACE-EGO-0 data processing pipeline

**Figure 4**: Pipeline for converting raw egocentric videos into camera-space pseudo-actions

实验结果

核心发现体现在三个方面。首先，大规模人类监督一致地改善统一的VLA预训练和下游监督微调，ACE-EGO-0在RoboCasa GR1 TableTop基准上达到72.8%的平均成功率，在RoboTwin 2.0 Easy/Hard划分上分别达到91.12%和90.62%的平均成功率，在物理双臂ARX平台上实现78.3%的平均成功率。其次，消融研究证实形态条件化、时间对齐的动作分块和可靠性感知的人类监督每个都贡献于最终性能，从完整模型中移除形态标记使成功率从72.8%下降到70.9%，移除时间对齐的动作分块使成功率下降到71.7%，移除可靠性感知的人类辅助损失导致最大的成功率下降到69.2%。第三，数据源消融显示成功率随着每个附加数据源而增加，没有具身预训练的Qwen初始化模型达到65.4%，添加机器人数据将成功率提高到68.3%，添加人类视频进一步将比率提高到72.8%，表明人类视频提供了超出机器人演示之外的多样化行为覆盖范围。此外，人类增强的微调显示在数据稀缺微调制度下的4倍改进，在Sweep Cubes任务上仅使用34个机器人演示时，策略仅达到10%的成功率，用419个任务匹配的人类视频剧集增强微调混合物将成功率提高到40%

**Table 1**: ACE-EGO-0 pretraining data pool

**Table 2**: Egocentric video pipeline hyperparameters used in Stages 1–5

**Table 3**: Evaluation results on the RoboCasa GR1 TableTop benchmark (selected tasks)

**Table 4**: Overall evaluation results on the RoboTwin 2.0 benchmark

**Table 5**: Pretraining data ablation on RoboCasa GR1 TableTop (success rate)

**Figure 5**: Real-robot evaluation (a) and ablation study (b) for ACE-EGO-0

**Figure 6**: Right end-effector trajectories for the Sweep Cubes fine-tuning data

查看结构化数据

任务	指标	本文	基线	提升
RoboCasa GR1 TableTop	平均成功率（24个任务，每个任务50次滚动）	72.8%	DIAL 70.2%, JoyAI-RA 63.2%, ABot-M0 58.3%	相比DIAL提升2.6%，相比JoyAI-RA提升9.6%
RoboTwin 2.0 Easy	平均成功率（50个任务，每个任务100次试验）	91.12%	JoyAI-RA 90.48%, Hy-VLA 90.9%	相比JoyAI-RA提升0.64%
RoboTwin 2.0 Hard	平均成功率（50个任务，每个任务100次试验）	90.62%	JoyAI-RA 89.28%, Hy-VLA 90.1%	相比JoyAI-RA提升1.34%
Real-robot ARX Bimanual Platform	平均成功率（6个任务，每个任务30次试验）	78.3%	π0.5 71.7%, GR00T-N1.7 35.6%	相比π0.5提升6.6%，相比GR00T-N1.7提升42.7%

局限与改进

作者承认的局限性包括：当前评估集中在桌面操纵上，扩展到移动操纵、全身人形控制或可变形物体任务将测试相机空间动作接口的通用性；预训练池虽然很大，但还没有包括灵巧手数据或力/扭矩传感，整合更丰富的模态可以进一步提高接触丰富的操纵；扩展人类视频部分并提高伪动作流水线的保真度，特别是对于旋转和细粒度手指运动，将允许可靠性感知目标监督超出位置的其他动作维度。我自己的观察包括：五阶段数据处理流水线虽然可扩展，但依赖于多个阈值和启发式规则，这些规则可能需要针对不同的视频数据集进行微调；相机空间动作表示假设相机外参在训练和推理之间保持稳定，这在某些部署场景中可能不成立；可靠性权重rho_j是经验分配的，可能无法完全捕捉不同动作维度之间的实际监督质量差异；人类数据作为辅助监督，主要作用在位置通道上，这意味着旋转和抓手状态的学习仍然主要依赖机器人数据

独立分析的弱点

独立分析的弱点包括：首先，人类伪动作的保真度仍然有限，特别是在旋转和抓手状态方面，论文中提到旋转和抓手状态容易受到遮挡噪声影响并被分配较低权重，这意味着人类视频在这些关键动作维度上的贡献被人为限制。改进方向可以是开发更鲁棒的手部姿态估计方法，结合多帧约束和物理先验来提高旋转估计的准确性，或者引入学习based的可靠性估计。其次，相机空间动作表示虽然在许多场景中有效，但在长视界操纵链中可能会积累轨迹漂移，如Pack Shoes任务所示。改进方向可以是引入全局定位机制或周期性校正策略。第三，形态条件化使用学习的替代嵌入来表示人类源，这可能无法充分捕捉人类之间的个体差异。改进方向可以是学习分布式的形态嵌入，或者为人类数据引入可估计的身体参数。第四，时间对齐的动作分块依赖于固定的目标物理持续时间，这可能不适用于所有任务和数据源

未来方向

作者提出的未来工作方向包括：扩展评估到移动操纵、全身人形控制或可变形物体任务；整合灵巧手数据或力/扭矩传感等更丰富的模态；扩展人类视频部分并提高伪动作流水线的保真度。基于成果可延伸的未来工作方向包括：探索更高级的时间一致性策略，如循环一致性约束或运动先验；开发端到端的学习框架，将人类视频到机器人动作的映射直接集成到VLA预训练中；研究跨模态的知识蒸馏，从人类视频中提取高级语义知识；探索在线学习和持续学习，使VLA模型能够从部署过程中的人类演示中持续改进；研究在更广泛的机器人平台和任务上的泛化

复现评估

复现评估方面，论文提供了代码链接（https://github.com/ACERobotics-VLA/ACE-Ego）和项目网站，数据方面，机器人数据来自多个公开和私有数据集，人类视频数据来自Ego4D、EgoExo4D、EPIC-KITCHENS-100、HOI4D、EgoDex和Xperience-10M等公开数据集，但处理后的伪动作标记数据是否公开尚未明确。算力需求方面，预训练数据池超过6.0K小时，包含约604M帧，这需要大量的计算资源。复现难度方面，五阶段数据处理流水线涉及多个步骤和阈值，需要仔细实现和调优。总的来说，虽然核心算法思路清晰，但由于数据规模和流水线复杂性，完全复现预训练过程可能具有相当大的挑战性

ACE-Ego-0：统一人类第一视角与机器人数据用于VLA预训练 ACE-Ego-0: Unifying Egocentric Human and Robotic Data for VLA Pretraining