HERO：学习人形机器人末端执行器控制以实现视觉全身开放词汇物体抓取 Learning Humanoid End-Effector Control for Open-Vocabulary Visual Loco-Manipulation
模块化人形机器人开放词汇物体抓取系统，末端跟踪误差降低5.5倍
前置知识
末端执行器跟踪（End-Effector Tracking）
末端执行器（End-Effector, EE）是机器人手臂末端直接与环境交互的部件（如手指、夹爪）。EE跟踪指的是机器人控制器实时将手部从当前位置移动到目标位置的过程。跟踪精度直接决定了机器人能否准确抓取物体。HERO论文中，目标EE位姿用 $T^{EE} \in SE(3)$ 表示，即在特殊欧氏群中的6自由度位姿（3维平移+3维旋转）。跟踪误差用毫米级精度衡量，2.44cm的跟踪误差意味着机器人手部能精确到达目标物体附近。
HERO的核心贡献就是将末端跟踪误差从13.38cm降到2.44cm，这一精度是实现开放词汇物体抓取的关键前提。理解EE跟踪的概念才能理解为什么这项改进如此重要。
正向运动学（Forward Kinematics, FK）
正向运动学是从关节角度计算末端执行器位姿的数学映射。对于具有 $n$ 个关节的机器人，FK函数 $f: \mathbb{R}^n \rightarrow SE(3)$ 将关节角度向量映射到末端的6自由度位姿。传统FK基于机器人URDF几何模型（连杆长度、关节轴方向）通过齐次变换矩阵链式相乘计算。HERO发现Unitree G1机器人的解析FK存在系统性偏差（EE平移误差1.30cm，旋转误差6.03度），因此引入残差神经网络模型进行校正。
HERO的核心创新之一是学习残差正向运动学模型来替代不精确的解析FK，这是将跟踪误差从厘米级降到亚厘米级的关键技术环节。
模拟到真实迁移（Sim-to-Real Transfer）
模拟到真实迁移是指先在仿真环境中训练策略，然后部署到真实机器人上。由于仿真环境无法完美模拟真实物理（如关节摩擦、电机延迟、地面接触），训练好的策略在真实世界中通常会表现下降，这一现象称为sim2real gap。HERO使用Isaac Gym和MuJoCo进行策略训练，然后通过MOCAP数据校准残差模型来弥合这一差距。论文中多次提到的closed-loop replanning和goal adjustment就是专门应对sim2real偏差的机制。
HERO整个系统建立在sim2real迁移的基础上——跟踪策略在仿真中训练，残差FK用真实MOCAP数据校准，闭环重规划补偿实时偏差。理解sim2real才能理解为什么需要这些额外机制。
开放词汇感知（Open-Vocabulary Perception）
开放词汇感知是指机器人能够理解和定位任意自然语言描述的物体，而不局限于预定义类别。传统视觉检测模型只能识别训练时见过的固定类别（如COCO的80类），而开放词汇模型（如Grounding DINO）通过将文本和图像映射到同一语义空间，可以理解orange mug或Starbucks coffee这样从未在训练中出现的描述。HERO使用Grounding DINO 1.5进行开放词汇目标检测，SAM-3进行精细分割，AnyGrasp生成平行夹爪抓取姿态。
HERO的目标是让机器人通过自然语言指令抓取任意物体，这要求感知模块具备开放词汇能力。理解这一概念才能理解论文标题中open-vocabulary的含义和系统设计。
残差学习（Residual Learning）
残差学习是指神经网络不直接预测完整输出，而是预测相对于某个基准值的残差修正量。在HERO中，残差模型 $\eta$ 预测EE位姿相对于解析FK输出的修正：$f^{EE}(x_t) = FK(x_t) \oplus \eta(x_t, FK(x_t))$。这种设计的优势在于：解析FK已经提供了合理的基础估计，神经网络只需学习较小的残差，降低了学习难度，也使训练更稳定。残差模型是3层MLP，分别预测平移残差和旋转残差（使用6D旋转表示）。
残差学习是HERO克服解析FK不精确问题的核心技术手段，贯穿EE正向运动学和基座里程计两个模块，是理解论文技术路线的关键。
闭环重规划（Closed-Loop Replanning）
闭环重规划是指在执行过程中周期性地根据当前状态重新规划剩余轨迹，而不是开环执行一次规划好的完整轨迹。HERO每300步（约6秒）使用cuRobo运动规划器重新生成上肢参考轨迹和EE参考轨迹，耗时约20ms。重规划使用当前本体感知状态和里程计校正后的目标位置，从而补偿全身平衡运动导致的基座位移和目标偏移。论文实验表明，去掉重规划后平移跟踪误差从2.44cm增至5.17cm，几乎翻倍。
重规划机制是HERO实现亚3厘米跟踪精度的重要组成部分，理解闭环控制思想才能理解为什么简单的开环跟踪策略无法胜任物体操作任务。
研究动机
人形机器人在进行物体操作时面临一个核心矛盾：现有方法无法同时实现精确的末端执行器控制和对新物体、新场景的泛化能力。当前最先进的端到端模仿学习方法（如使用遥操作收集数据训练策略）在真实世界数据收集极为困难且成本高昂，同时仿真中的视觉和物理真实感设置也限制了数据多样性。SONIC——目前最好的人形机器人跟踪器——在真实世界中的末端执行器平移跟踪误差高达13.38cm，这个误差对于物体抓取来说是完全不可接受的。想象一下，当机器人试图抓取一个咖啡杯时，手部却偏离了13cm，这几乎不可能成功抓取。更具体地，论文Table 1的实验数据表明，直接使用PD控制器跟踪IK参考关节角度的成功率仅为4/30（13.3%），而使用SONIC的成功率也只有5/30（16.7%），这说明精确的末端跟踪是将视觉抓取目标转化为物理抓取的必要条件。
本文的目标是本文的具体目标是开发一个模块化的人形机器人系统，使其能够仅使用机载传感器（RGB-D摄像头和IMU），通过自然语言指令在真实世界的新场景中抓取任意新物体。这个系统需要满足三个关键要求：第一，端到端的末端执行器跟踪误差要达到厘米级（远优于SONIC的13.38cm）；第二，感知模块要支持开放词汇理解，即能够理解orange mug或Starbucks coffee这样的自由形式语言描述并定位对应物体；第三，整个系统要能在高度从43cm到92cm的多种桌面场景中可靠工作，覆盖办公室、咖啡店、教室等真实环境。
与已有工作不同的是，本文的独特切入角度在于解耦：将开放词汇动作规划（用什么抓取、抓取哪个物体）与仿真训练的动作执行（如何精确控制机器人手部到达目标位置）分离开来，而不是像现有方法那样通过单体端到端学习来联合处理这两个问题。这种解耦设计的核心洞察是：这两个子问题各自有最成熟的工具——大规模视觉模型（Grounding DINO、SAM、AnyGrasp）擅长视觉泛化和开放词汇理解，而仿真训练的低层控制器擅长精确运动控制。现有的端到端方法（模仿学习或视觉强化学习）将这两个本质不同的问题混在一起训练，导致模型既无法充分利用预训练视觉模型的泛化能力，也无法达到仿真训练策略的控制精度。HERO的关键技术突破是将末端跟踪误差从13.38cm降低到2.44cm（降低5.5倍），这一精度的飞跃使得模块化方法在人形机器人操作中首次变得可行。
核心方法
HERO的整体思路可以用一个直观的类比来理解：想象你在黑暗中伸手去拿桌上的杯子。你不需要持续盯着杯子看——你可以先看一眼记住位置，然后依靠对自身身体的精确感知来控制手部移动到目标位置，中途如果感觉到身体位置偏移了就重新调整目标。HERO的系统设计正是这个逻辑：模块化架构将看和抓分开处理。在看的层面，利用大规模视觉模型（Grounding DINO + SAM + AnyGrasp）从RGB-D图像中理解场景、定位目标物体并生成抓取姿态，这一步充分利用了预训练视觉模型的强大泛化能力。在抓的层面，使用在仿真中训练的HERO跟踪策略控制机器人全身29个自由度协调运动，将手部精确地送到抓取位置。技术路线上，HERO首先通过逆运动学（IK）将6自由度末端目标转化为上肢17维关节角度目标，然后使用cuRobo碰撞自由规划器生成上肢参考轨迹，最后由学习的全身策略在50Hz下跟踪这些参考轨迹。关键的精度保障来自于三个创新：残差神经正向运动学（替代不精确的解析FK）、残差神经里程计（补偿基座位移）、以及闭环重规划和目标调整机制。
HERO的核心创新是残差感知末端执行器跟踪策略（Residual-Aware End-Effector Tracking），其与已有方法的本质区别体现在三个层面。第一，在状态反馈层面：现有方法（如SONIC）缺乏末端执行器误差反馈，策略只接收关节级信号；而HERO将末端执行器位姿误差 $\Delta E_t = f^{EE}(x_t) \ominus e_t$ 直接作为策略输入，让策略明确知道手部离目标还有多远。第二，在正向运动学层面：传统方法使用解析FK计算EE位姿，但HERO发现Unitree G1机器人的解析FK存在系统性偏差（平移误差1.30cm），因此训练残差神经网络 $\eta$ 来校正：$f^{EE}(x_t) = FK(x_t) \oplus \eta(x_t, FK(x_t))$，将误差从1.30cm降到0.50cm。第三，在执行控制层面：现有方法开环执行一次规划的轨迹；HERO每6秒重规划一次，并通过目标调整循环 $g_p \leftarrow g_p - \beta \cdot e_t^p$（其中 $\beta=0.6$）持续补偿系统性sim2real偏差。这三个层面的创新共同将跟踪误差从SONIC的13.38cm降低到2.44cm，实现5.5倍的精度提升。
方法步骤详情
HERO系统的完整执行流程包含以下步骤。第一步，开放词汇感知：给定自由形式语言查询（如orange mug），使用Grounding DINO 1.5在RGB-D图像中定位目标物体的边界框，SAM-3进行精细分割，AnyGrasp在点云上生成平行夹爪抓取姿态候选。第二步，抓取重定向：将AnyGrasp预测的平行夹爪抓取姿态旋转45度绕z轴，使拇指与其他两指相对以改善接触面积和力闭合，并将末端旋转限制在70度以内避免扭曲的IK姿态。第三步，IK与运动规划：将目标EE位姿 $T^{EE} \in SE(3)$ 通过逆运动学转化为基座高度 $h$ 和上肢关节角度目标 $q^* \in \mathbb{R}^{17}$，然后使用cuRobo碰撞自由规划器生成上肢参考轨迹 $\{q_t\}_{t=1}^T$ 和对应的EE参考轨迹 $\{ee_t\}_{t=1}^T$。第四步，策略执行：HERO跟踪策略 $\pi_t$ 以50Hz频率接收当前本体感知状态 $s_t$、参考基座高度 $h_t$、参考关节角度 $q_t$、残差EE误差 $\Delta E_t$、运动指令 $v_t$ 以及5步历史状态和动作，输出29自由度关节角度指令传给PD控制器。其中残差EE误差通过学习的神经FK模型计算，基座位移通过学习的里程计模型校正。第五步，闭环控制：每300步（6秒）使用当前状态和里程计校正后的目标重新规划剩余轨迹；同时目标调整循环持续微调命令抓取姿态以补偿稳态跟踪偏差，当残差低于1.5cm时停止调整。
技术新颖性
HERO的技术新颖性体现在多个层面的创新组合。首先，残差神经正向运动学是首创性的：不同于传统学习完整FK映射或进行URDF几何标定的方法，HERO训练轻量级3层MLP预测解析FK的残差修正，分别使用独立的平移和旋转预测头，旋转使用6D旋转表示（一种连续的旋转参数化方法，避免了欧拉角的万向锁问题）。在MOCAP数据上训练3小时数据（前2小时训练，后1小时验证），即可将EE位姿误差从1.30cm降至0.50cm，优于URDF几何标定的0.58cm。其次，残差神经里程计也是新颖的：HERO将踝关节视为根关节、机器人基座视为末端执行器，通过FK计算基座位姿，再用残差模型校正。与EE的残差模型不同，里程计模型估计相对于时间步0的基座变换而非绝对位姿，避免了对全局坐标系的依赖。第三，目标调整机制中仅调整平移而不调整旋转（因为实验证明旋转缩放不改善跟踪），以及调整的裁剪条件（裁剪到5mm/步，低于1.5cm时停止）体现了工程设计的精细考量。这些创新的组合——解析方法提供基础、学习模型进行残差修正、闭环机制补偿动态偏差——构成了一个层次化的精度保障体系，这是HERO相对于单体端到端方法的根本优势。
实验结果
HERO在多项实验中展示了全面的性能优势。在端到端系统测试中，Table 1报告HERO在10个日常物体上（包括红色可乐罐、紧急按钮、红色食人鱼植物、游戏卡带、薯片罐、洗手液瓶、机器人手、红苹果）的开放词汇抓取成功率达到27/30（90%），而直接PD控制仅为4/30（13.3%），自动化SONIC仅为5/30（16.7%）。在标准桌面高度（0.74m）和矮桌面（0.56m）上均表现稳定，分别达到27/30。在10个多样化真实场景测试中（包括厨房、办公室、机器人实验室、教室、走廊、休息室、咖啡馆等），HERO达到73.3%的成功率（22/30）。在5个杂乱布局场景中，成功率为80%（12/15），无需遥操作示范即可保持语言敏感性。在末端执行器跟踪精度评估中，Table 3显示HERO在真实世界MOCAP测量下的平移跟踪误差仅为2.44±0.86cm，旋转误差8.22±3.52度，关节误差0.21±0.05rad。相比之下，PD控制器的平移误差为12.09±3.14cm，SONIC为13.38±1.43cm，AMO为8.29±3.82cm（仿真），FALCON为13.57±4.41cm（仿真）。Table 4的消融实验表明，同时使用学习的EE位姿和基座位姿估计将平移误差从4.67cm降至2.56cm，接近MOCAP预言机的2.44cm。Table 5表明去掉重规划后误差从2.44cm增至5.17cm（翻倍），去掉目标调整后增至2.71cm。Table 6显示残差FK将EE位姿误差从1.30cm降至0.50cm，优于几何标定的0.58cm。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 开放词汇日常物体抓取（10物体×2高度，3次试验） | 抓取成功率 | 90%（27/30） | PD控制器13.3%（4/30），SONIC 16.7%（5/30） | 相比SONIC提升5.4倍，相比PD控制器提升6.8倍 |
| 多样化真实场景抓取（10场景×3次试验） | 抓取成功率 | 73.3%（22/30） | 无直接可比基线（模块化系统首创在人形机器人上） | 首次在人形机器人上实现开放词汇多样化场景操作 |
| 杂乱布局场景抓取（5场景×3次试验） | 抓取成功率 | 80%（12/15） | 无直接可比基线 | 无需遥操作示范即可处理杂乱布局 |
| 真实世界末端执行器跟踪精度 | 平移跟踪误差（cm） | 2.44±0.86 | SONIC 13.38±1.43，PD控制器12.09±3.14 | 相比SONIC降低5.5倍，相比PD控制器降低5.0倍 |
| 真实世界末端执行器跟踪精度 | 旋转跟踪误差（度） | 8.22±3.52 | SONIC 16.75±10.06，PD控制器40.82±36.27 | 相比SONIC降低2.0倍，相比PD控制器降低5.0倍 |
| 仿真中末端执行器跟踪精度 | 平移跟踪误差（cm） | 2.48±1.15 | SONIC 4.10±2.12，AMO 8.29±3.82，FALCON 13.57±4.41 | 相比SONIC降低1.7倍，相比FALCON降低5.5倍 |
| 正向运动学精度（EE位姿） | 平移误差（cm） | 0.50 | 解析FK 1.30，几何标定0.58 | 相比解析FK降低2.6倍，优于几何标定14% |
| 重规划消融实验 | 平移跟踪误差（cm） | 2.44（完整HERO） | 去掉重规划 5.17 | 重规划使误差降低2.1倍 |
局限与改进
论文和实验揭示了若干局限性。作者明确承认的局限包括三个方面：第一，自我中心视野（egocentric FoV）受限——当机器人大幅度弯腰或伸展手臂时，物体可能移出摄像头视野，论文Figure 4(c)展示了这一问题。这限制了机器人对远距离或高处物体的操作能力，作者提出需要主动颈部控制和视觉伺服来解决。第二，运动效率低——当前系统产生的运动轨迹不够优雅高效，可能需要学习运动先验来改善。第三，模块化失败——由于系统是模块化设计，任一模块（感知、抓取生成、跟踪）的失败都会传播到下游，加上灵巧手的限制（3指Dex-3手），抓取不规则形状物体时可能滑落（Figure 7(a)）或碰倒物体（Figure 7(b)）。从实验数据还可以观察到：矮桌面（0.56m）的成功率明显低于标准桌面（0.74m），说明蹲下姿态的控制更困难；SONIC在真实世界中表现大幅退化（仿真4.10cm到真实13.38cm），而HERO保持稳定（仿真2.48cm到真实2.44cm），但HERO在某些物体上仍有失败。此外，当前系统假设双脚静止在地面上，不涉及行走中的操作，限制了任务范围。
独立分析的弱点
HERO虽然取得了显著进步，但仍存在几个值得深入分析的弱点。首先，自我中心视野限制是一个严重问题：论文Figure 4(c)清楚显示，当机器人手臂和腰部大幅度移动时，物体可能完全移出RGB-D摄像头视野。这意味着机器人在执行大幅度弯腰或扭转操作时会失明，只能依靠本体感知和里程计继续运动。改进方向包括：引入主动颈部控制让摄像头跟踪目标物体、使用多视角传感器布局、或引入外部位姿估计（如基于地图的定位）。其次，抓取的灵巧性受限于Dex-3三指手，论文Figure 7显示物体滑落和碰倒是主要失败模式，尤其是对不规则形状物体（如食人鱼植物玩具）。改进方向包括使用更灵巧的五指手、改进抓取重定向算法以适应更多物体形状、或引入力反馈控制。第三，系统假设双脚固定不动，限制了任务范围为站立式操作。如果需要从一个房间走到另一个房间拿东西，当前系统无法完成。改进方向是将HERO跟踪器与步态控制器集成，实现行走中的物体操作。第四，目标调整机制中的固定参数（beta=0.6，裁剪5mm/步，阈值1.5cm）可能是针对特定硬件和场景调优的，泛化到其他机器人或环境时可能需要重新调参。
未来方向
论文作者提出了多个明确的未来研究方向。第一，主动颈部控制和视觉伺服：当前自我中心视野限制可以通过让机器人主动转动颈部来跟踪目标物体来解决，这需要整合视觉伺服控制器。第二，学习运动先验：当前运动轨迹由cuRobo规划器生成，不够高效优雅，可以通过模仿人类运动数据来学习更自然的运动模式。第三，更好的灵巧手和重定向：当前Dex-3三指手的抓取能力有限，改进手部硬件和抓取重定向算法可以提升对复杂物体的操作能力。基于HERO的成果，还可以延伸出更多研究方向：将HERO扩展到双臂协调操作，让两只手同时抓取不同物体或协作操作；将HERO与行走控制器集成实现移动操作；将HERO的残差FK和里程计方法推广到其他机器人平台（如四足机器人臂、轮式人形机器人）；引入触觉感知来增强抓取时的力控制，减少物体滑落；以及将HERO与大语言模型集成，实现更高级的任务理解和多步操作规划。
复现评估
从复现角度来看，HERO的复现难度属于中高水平。有利因素包括：论文使用的是市售机器人Unitree G1（无需定制硬件）和标准传感器（Intel D435i RGB-D摄像头、OptiTrack MOCAP系统）；使用的开源模型（Grounding DINO、SAM、AnyGrasp、cuRobo）均有公开代码和预训练权重；PPO训练使用标准算法框架。不利因素包括：残差FK和里程计模型需要MOCAP数据采集（论文使用13台OptiTrack摄像头，3小时数据采集），这是一个重要的硬件和数据门槛；仿真环境需要Isaac Gym和MuJoCo的配置，包括机器人URDF模型和仿真参数调优；论文未明确说明是否开源代码或模型权重；MOCAP到机器人坐标系的标定使用Kabsch-Umeyama算法（小于1.5mm RMSE），需要精确的标定流程。总体而言，如果拥有Unitree G1机器人和MOCAP系统，主要的技术组件都有公开参考实现，但数据采集和标定流程可能需要较长时间来复现。
论文图表
图中展示了HERO系统在多个真实场景中抓取各种日常物体的示例：包括在不同高度的桌面上抓取spam、kettle、orange mug、toy dog、Starbucks coffee、cleaner bottle、purple book、helicopter等物体。图片下方标注了各场景的桌面高度（0.87m、0.43m、0.74m、0.48m等），展示了系统在43cm到92cm高度范围内的操作能力。每张子图展示了机器人在实际操作中的姿态，包括弯腰、蹲下、扭转等全身协调运动。
这张图是论文的核心视觉展示，直观地说明了HERO系统的能力范围——在多种真实场景中用自然语言描述抓取各种新物体。它让读者立即理解open-vocabulary visual loco-manipulation的含义，并展示了系统处理不同桌面高度（从矮咖啡桌到标准桌面）的能力。图片中83.8%平均成功率的数据标注也提供了量化信心。
图中展示了两种典型的失败模式：(a) 物体从手中滑落，发生在抓取大型或不规则形状物体时；(b) 物体被碰倒，发生在抓取姿态或手部尺寸接触不稳定物体（如直立的书本）时。
失败模式分析对于理解系统局限性和指导未来改进方向非常重要。这两种失败模式分别指向了抓取力控制和抓取规划的改进空间。