人类通用抓取 Human Universal Grasping

HUG方法包含三个主要步骤：(1)数据收集与处理：使用Aria Gen 2智能眼镜记录，采集者站在目标物体前移动头部15-30秒捕捉无手场景，然后用右手抓取物体。通过相机姿态将抓取姿态回传到前序无手帧，一个物理抓取产生数百个训练对。使用视觉语言模型识别物体，SAM3传播掩码，稳定性和接近度启发式选择抓取帧。每条记录经人工审查后进入数据集。最终得到6,707条记录、41个建筑、约1,500个唯一物体、100万帧的训练数据。(2)模型训练：输入是224×224 RGB-D图像和用户点击的2D像素$(u,v)$。深度图反投影为度量点云，点击使用深度值和相机内参$K$提升为3D查询点$p_q$。RGB图像用冻结的DINOv2-Base ViT编码为256个patch token。点云围绕查询点裁剪为0.3米半径球体，采样4,096个点通过可训练PointNeXt U-Net编码为256个token。通过点绘制融合：每个点云质心投影到RGB图像，双线性采样对应的DINOv2 patch特征，与PC token连接后通过两层MLP投影为1024维融合token$f_i$。查询点和点云质心用共享随机傅里叶特征编码器$\gamma(\cdot)$编码以保留度量信息。融合token交叉注意力到查询token$q=MLP(\gamma(p_q))$，经过4层pre-norm transformer提炼生成场景条件token$s\in\mathbb{R}^{N\times D_f}$。抓取状态$x=[t, R_{6d}, \theta_{6d}]\in\mathbb{R}^{99}$分成三组（平移3维、旋转6维、手指90维），分别归一化投影为512维token，通过6层DiT块交叉注意力到场景token并受timestep通过AdaLN-Zero调制。三个线性头解码输出token回3、6、90维，速度在归一化空间通过流匹配ODE积分，结果反归一化生成预测抓取状态。损失函数结合速度预测MSE $L_v$和几何监督：恢复预测干净状态$\hat{x}_0=x_t-t f_\phi(x_t, t, s)$，通过MANO后监督相机帧中的3D手部关键点L1损失$L_{3D}$，总损失$L=\lambda_v L_v+\lambda_{3D}(1-t)L_{3D}$，其中$\lambda_v=1$，$\lambda_{3D}=20$，$(1-t)$权重将几何损失集中在接近干净的步骤。(3)部署与重定向：在部署时，给定新RGB-D图像和用户点击，模型预测MANO抓取，然后重定向到目标机器人手部。重定向过程不依赖每具身训练，直接将MANO关节角度映射到机器人手的关节角度。执行时使用开环预抓取→抓取→提升滚动，预抓取姿态将预测抓取沿两个非横向手腕轴偏移3厘米并张开手指，手腕线性插值到预测姿态同时手指闭合到预测MANO关节角度。

HUG的技术新颖性体现在多个方面：(1)数据规模新颖性：1M-HUGS是首个大规模野外人类抓取数据集，包含100万帧图像-抓取对，跨越6,707条记录和41个建筑，自动从动态视角生成大量(图像,抓取)对，与仿真或实验室设置的数据集形成鲜明对比。(2)模型架构新颖性：首次将流匹配应用于灵巧抓取生成，通过点条件流匹配从RGB-D图像预测多样化抓取。RGB-点云融合采用点绘制，每个点云质心投影到RGB图像采样DINOv2特征，实现了语义和几何信息的深度整合。(3)评估框架新颖性：HUG-BENCH是首个从真实物体开始构建的配对仿真-现实评估基准，90个未见物体跨越五个几何类别（圆柱形、球形、棱柱形、有附件形、无定形）和三个尺寸箱，每个物体都有度量尺度3D网格用于仿真和现实评估。(4)零样本泛化新颖性：首次实现了跨立体相机、跨机器人手部、跨家庭环境的零样本泛化，在桌面达到66.7%成功率，在野外达到62.0%成功率，仅下降4.7个百分点。(5)训练目标新颖性：损失函数结合速度预测和3D几何监督，$(1-t)$权重动态调整几何损失强度，确保在接近干净样本时几何约束更强。

HUG存在几个独立分析的弱点：(1)硬件限制导致的失败：Ability手较小，无法包裹足球和清洁布分配器，所有方法都是0/10。改进方向是支持多手型训练，包括不同大小的手部形态，在重定向时自动选择最合适的机器人手型。(2)开环执行的鲁棒性不足：失败模式显示大多数失败发生在从预抓取到抓取手闭合时，手在手指 settling 之前接触物体或桌面（桌面vs野外：hit object 42和57，hit surface 8和8）。改进方向是集成运动规划超越开环轨迹，防止手闭合时碰撞物体或桌面；加入力感知闭合，减少抓取后滑移，因为HUG预测静态姿态无接触力概念。(3)遮挡下的手部追踪退化：当抓取期间手被遮挡时，Aria Gen 2手部追踪退化，导致标签噪声。改进方向是开发鲁棒的手部追踪算法，使用多帧信息和物理约束，在遮挡时推断合理的手部姿态。(4)小物体和远物体的准确度下降：受224×224输入分辨率限制，小物体细节丢失；远物体在以自我为中心数据中罕见。改进方向是使用更高分辨率输入或自适应裁剪策略，针对小物体增加训练样本，围绕3D查询点归一化抓取平移预测。(5)单抓取执行的局限性：每试验预测和执行一个抓取，可能不是最优选择。改进方向是生成多个抓取候选，使用碰撞检测、可达性分析和稳定性评分选择最佳抓取，或使用闭环视觉反馈在线调整。(6)右手单手的局限性：仅支持右手抓取，限制了应用场景。改进方向是扩展数据集包含左手和双手抓取，训练多手型模型，支持对称抓取和协调操作。

基于论文成果可以延伸多个未来研究方向：(1)作者提出扩展支持左手和双手抓取，通过收集左手抓取数据和协调操作数据，实现更通用的抓取能力。(2)生成多个抓取候选并选择最佳是自然扩展，可以结合碰撞检测、可达性分析、稳定性评分和闭环反馈，实现鲁棒的抓取选择和执行。(3)集成运动规划和力感知，超越开环执行，使用实时视觉反馈和力觉反馈，在接触时调整姿态和力控制，减少滑移和失败。(4)扩展到室外和动态环境，当前评估仅限室内静态场景，未来可以支持户外场景、移动物体和人机交互场景。(5)多模态感知融合，结合触觉、听觉和力觉等多模态传感器，增强对物体属性（重量、摩擦、刚度）的理解，实现更精确的抓取规划。(6)终身学习和在线适应，使模型能够从失败中学习，持续改进抓取策略，适应新的物体和场景。(7)端到端从人类视频学习，直接从互联网视频或社交媒体视频中学习人类抓取，无需专门的智能眼镜采集，进一步扩大数据规模和多样性。(8)抓取理解和推理，不仅预测抓取姿态，还理解抓取意图（如使用工具、传递物体、放置物体），实现更高层次的抓取规划和执行。

论文的复现性评估如下：开源情况：论文声称开放源代码、数据、基准、检查点和交互式演示在网站发布。具体包括aria2mano流水线（从原始Aria记录通过立体深度、MANO拟合和数据集构建）、aria2mesh流水线（从扫描到仿真资产、MuJoCo环境）。数据集：1M-HUGS数据集包含100万帧RGB和灰度帧，跨越6,707条记录和41个建筑，估计约1,500个唯一物体。HUG-BENCH包含90个未见物体，度量尺度3D网格，30个测试物体可在Amazon上购买约250美元。算力需求：训练使用两块RTX 5090 GPU，DDP分布式训练，批大小64每GPU，训练100K步约10小时包括MuJoCo验证。推理使用50步欧拉积分。复现难度：中等。数据收集需要Aria Gen 2智能眼镜（昂贵但可购买），数据处理流水线aria2mano和aria2mesh已开源，降低了数据处理门槛。模型架构详细描述，损失函数和训练超参数明确，仿真环境使用标准MuJoCo。现实世界评估需要特定机器人硬件（Ability手、xArm、WUJI手、YOR移动操作器），但仿真评估可以在没有硬件的情况下进行。代码和数据已开源，降低了复现门槛。