UltraDexGrasp：基于合成数据学习双臂机器人的通用灵巧抓取 UltraDexGrasp: Learning Universal Dexterous Grasping for Bimanual Robots with Synthetic Data
提出数据生成流水线与抓取策略，实现双臂灵巧抓取，真实场景成功率81%
前置知识
灵巧抓取（Dexterous Grasping）
灵巧抓取是指机器人利用多指手（如12自由度的XHand）对物体进行抓取的技术，与传统平行夹爪抓取不同，灵巧手可以通过调整手指姿态来适应不同形状、大小的物体。人类在日常生活中会根据物体特性自主选择抓取策略：大型物体用双手协同抓取、中型物体用全手抓取、小型物体用两指捏取或三指三脚架抓取。灵巧抓取需要解决接触点选择、力闭合优化、手指关节控制等多个子问题。
本文研究的核心就是双臂机器人的通用灵巧抓取，理解灵巧抓取的基本概念是理解本文工作的前提
力闭合（Force Closure）
力闭合是评估抓取质量的重要概念，指通过接触点施加的力能够抵抗任意方向的外部扰动力和力矩。在硬指模型（hard finger model）中，接触点只能施加指向物体表面的法向力和切向摩擦力，且摩擦力需满足锥约束 \|f_{tan}\| \leq \mu \|f_n\|。当所有接触点形成的抓取旋量空间 $W$ 足够大时，抓取即满足力闭合条件。
本文的抓取合成器核心就是优化力闭合条件，生成物理上合理的抓取姿态
抓取旋量空间（Grasp Wrench Space）
抓取旋量空间 $W$ 是所有可能施加在物体上的旋量（力和力矩的组合）的集合。对于有 $k$ 个接触点的抓取，$W = \{w | w = \sum_{i=1}^{k} G_i f_i, f_i \in F_i\}$，其中 $G_i$ 是第 $i$ 个接触点的抓取映射矩阵，$f_i$ 是接触力。旋量空间越大，抓取抵抗外部扰动的能力越强。
抓取合成的优化目标就是最大化旋量空间，这是理解本文优化公式的基础
双层优化（Bilevel Optimization）
双层优化是一种包含上下两层优化问题的结构，上层优化问题的约束中包含另一个优化问题。在本文中，下层QP（二次规划）优化每个接触点的接触力以实现目标旋量，上层通过梯度下降更新手部姿态以减少目标旋量与可实现旋量之间的误差。这种结构将离散的接触力优化与连续的姿态优化解耦，提高了求解效率。
本文的抓取合成器采用双层优化框架，理解这一概念才能理解抓取生成的技术细节
Sim-to-Real迁移（Sim-to-Real Transfer）
Sim-to-Real迁移是指在仿真环境中训练的策略直接部署到真实机器人上的技术。主要挑战包括：仿真与真实环境的动力学差异、传感器噪声（如深度相机噪声）、视觉外观差异等。常用技术包括域随机化（domain randomization）、模拟点云增强、统计离群点去除（SOR）等。本文通过关节阻抗随机化、模拟点云增强等技术缩小sim-to-real差距。
本文的核心贡献之一就是实现了鲁棒的sim-to-real零样本迁移，这是评估方法实用性的关键
研究动机
当前机器人抓取能力远不及人类水平，特别是在多策略灵巧抓取场景下。人类能够根据物体的形状、大小和重量自主选择合适的抓取策略：大型重物用双手协同抓取保持平衡、中型物体用单手五指抓取、小型物体用两指捏取或三指三脚架抓取。然而，现有研究主要集中在平行夹爪和单手抓取上，双臂机器人的灵巧抓取仍被严重忽视。现有数据生成方法存在三个主要问题：（1）基于强化学习训练的专家策略在训练后是确定性的，给定观测只映射到单一动作，导致姿态重复且缺乏多样性；（2）基于优化和学习的合成方法大多是开环的，在动态真实场景中表现不佳，且通常忽略手臂运动学约束；（3）现有方法主要局限于单手设置，无法充分利用双臂协同能力。对于双臂机器人的通用灵巧抓取，由于自由度众多、需要双臂协调、存在多种可能的抓取策略，数据生成面临巨大挑战。
本文的目标是本文的目标是建立一个完整的双臂机器人通用灵巧抓取框架，包括：（1）设计一个能够生成高质量、多样化抓取轨迹的数据生成流水线，支持多种抓取策略（两指捏取、三指三脚架、全手抓取、双臂协同抓取）；（2）构建大规模多策略灵巧抓取数据集UltraDexGrasp-20M，包含2000万帧、覆盖1000个物体；（3）开发一个简单有效的抓取策略，以点云为输入，能够泛化到形状、大小、重量各异的新物体；（4）实现仅用合成数据训练、零样本迁移到真实场景的鲁棒抓取能力。
与已有工作不同的是，本文的独特切入角度在于三个方面的互补集成：首先，将基于优化的抓取合成器与基于规划的演示生成模块相结合，前者生成物理上合理的抓取姿态，后者生成运动学可行的执行轨迹，两者优势互补；其次，统一支持多种抓取策略，而非局限于单一抓取类型，通过在灵巧手上选择不同的接触点来适应不同策略；第三，采用闭环轨迹生成而非开环合成，通过运动规划生成无碰撞的协调轨迹，并在仿真中验证抓取稳定性后才记录数据。这种方法从根本上不同于现有的RL专家（确定性、缺乏多样性）、纯优化方法（开环、忽略运动学）和纯学习方法（需要大量真实数据）的范式。
核心方法
UltraDexGrasp框架由两个核心组件构成：数据生成流水线和通用灵巧抓取策略。数据生成流水线的直觉是：先用优化方法找到物理上合理的抓取姿态，再用运动规划生成可执行的协调轨迹。具体来说，首先导入物体资产和机器人URDF到仿真环境，对相机姿态和关节阻抗进行随机化以缩小sim-to-real差距；然后抓取合成器生成一批可行的抓取候选，通过物理验证、逆运动学分析和碰撞检测进行过滤排序，选择最佳候选；最后用双臂运动规划生成无碰撞的协调轨迹，在仿真中执行并验证抓取稳定性。抓取策略的设计遵循简洁有效的原则，以点云为输入，使用基于PointNet++的编码器提取特征，通过单向注意力机制聚合场景特征，最后用MLP预测有界高斯分布的动作。
本文的核心创新在于两个层面：在数据生成层面，提出将基于优化的抓取合成与基于规划的演示生成相结合的流水线，这种互补集成既保证了抓取的物理合理性（力闭合、摩擦约束），又保证了轨迹的运动学可行性（无碰撞、协调性）。这不同于纯RL方法的确定性输出，也不同于纯优化方法的开环特性。在策略设计层面，提出单向注意力机制（unidirectional attention）：动作查询令牌只能单向关注点云特征，而非传统transformer的双向注意力。这种设计的直觉是：动作预测应该基于对场景的观察，而不是让场景特征受到动作预测的影响，从而产生更稳定的训练和更好的性能。此外，策略预测有界高斯分布（bounded Gaussian distribution）而非直接回归动作向量，通过截断正态参数化优化负对数似然，这种概率建模方式进一步提升了训练稳定性。
方法步骤详情
方法分为数据生成和策略训练两个阶段。数据生成阶段：（1）场景初始化——从DexGraspNet选择1000个物体，导入物体资产和机器人URDF到仿真器，随机化相机姿态和关节阻抗；（2）抓取合成——对每个物体生成500个候选抓取，通过优化公式生成物理合理的抓取，优化目标包括旋量匹配误差、接触距离能量、手-物碰撞能量和手-手穿透能量，约束包括关节限位、摩擦锥约束和旋转矩阵约束；（3）抓取选择——通过物理验证过滤不合理的抓取，用cuRobo进行逆运动学分析，计算SE(3)距离排序并选择最佳候选；（4）演示生成——将抓取过程分为四个阶段（预抓取、抓取、挤压、提升），用双臂运动规划生成无碰撞轨迹，在仿真中执行并验证物体被成功提升至少0.17米且保持1秒以上。策略训练阶段：（1）点云编码——用FPS降采样到2048点，通过PointNet++的两层集合抽象层提取特征，第一层保持2048点（32近邻），第二层降采样到256点；（2）动作预测——将可学习的动作查询令牌输入transformer骨干网络，通过单向注意力聚合场景特征，MLP将动作隐变量转换为动作向量，预测有界高斯分布并通过截断正态参数化优化。
技术新颖性
本文的技术新颖性体现在四个方面：第一，首次提出面向双臂机器人的多策略灵巧抓取数据生成流水线，支持两指捏取、三指三脚架、全手抓取和双臂协同抓取四种策略，通过在灵巧手上选择不同的指尖接触点来适配不同策略，这是之前工作未探索过的；第二，将基于优化的抓取合成与基于规划的演示生成进行互补集成，既利用了优化方法在生成物理合理抓取方面的优势，又利用了运动规划在生成可执行轨迹方面的优势，避免了纯RL方法的确定性输出和纯优化方法的开环特性；第三，在策略架构中引入单向注意力机制，动作查询令牌只能单向关注点云特征，这种设计比双向注意力产生更稳定的训练和更好的性能，消融实验显示移除单向注意力后成功率从84.0%下降到68.2%；第四，预测有界高斯分布而非直接回归动作向量，通过截断正态参数化进行概率建模，消融实验显示移除分布预测后成功率从84.0%下降到73.5%。这些创新共同构成了一个完整且有效的框架。
实验结果
本文在仿真和真实场景中进行了全面的实验验证。在仿真实验中，使用由两个6自由度UR5e机器人和两个12自由度XHand组成的双臂双手系统，在包含600个物体（涵盖训练中见过和未见过的类别）的测试集上进行评估。物体重量范围从5克到1000克，最小物体的最长包围盒边长小于0.03米，最大物体的最短边长大于0.5米。本文策略在所有物体上取得84.0%的平均成功率，超过次优基线DexGraspNet 25.2个百分点（约43%相对提升）。在未见物体上取得83.4%的成功率，展现出强大的泛化能力。当使用相同数据集训练时，本文策略比DP3高出37.3个百分点。在真实世界实验中，使用两个UR5e机器人、两个XHand和两个Azure Kinect DK相机，测试25个物体（每个物体测试15次），最小物体体积仅18立方厘米，最大物体26400立方厘米，最轻仅3.6克，最重1095克。本文策略取得81.2%的平均成功率，显著优于DP3（46.7%）和DexGraspNet（62.3%）。数据规模实验显示，随着训练数据量从10万帧增加到2000万帧，策略性能持续提升，当训练帧数超过100万时，学习策略的性能显著超过数据生成本身的68.5%成功率。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 仿真实验-已见物体 | 成功率(%) | 小物体78.8%, 中物体84.3%, 大物体90.4%, 平均84.0% | DP3: 小物体41.7%, 中物体54.3%, 大物体48.5%; DexGraspNet: 小物体45.6%, 中物体72.0% | 比DP3平均高37.3pp, 比DexGraspNet平均高25.2pp |
| 仿真实验-未见物体 | 成功率(%) | 小物体76.9%, 中物体85.8%, 大物体87.5%, 平均83.4% | DP3: 小物体37.4%, 中物体50.1%, 大物体48.1%; DexGraspNet: 小物体45.6%, 中物体72.0% | 展现出强大的泛化能力，未见物体性能仅比已见物体低0.6pp |
| 真实世界实验 | 成功率(%) | 小物体72.0%, 中物体82.2%, 大物体89.3%, 平均81.2% | DP3: 小物体37.3%, 中物体56.0%, 大物体46.7%; DexGraspNet: 小物体51.3%, 中物体73.3% | 比DP3平均高34.5pp, 比DexGraspNet平均高18.9pp |
局限与改进
本文存在以下局限性：首先，数据生成流水线依赖于物体的凸包表面采样来初始化接触点，对于形状极其复杂或有内部结构的物体可能无法找到合适的接触点；其次，抓取合成器使用硬指模型和点-平面接触类型，这是一种简化的接触模型，无法完全捕捉真实手指与物体之间的复杂接触力学；第三，虽然论文展示了在不同形状、大小、重量物体上的泛化能力，但测试物体均来自DexGraspNet数据集，对于完全开放世界中的任意物体（如可变形物体、透明物体）的泛化能力尚未验证；第四，真实世界实验中每个物体仅测试15次，统计显著性可能有限；第五，策略在小物体上的成功率（72.0%）明显低于大物体（89.3%），说明对小物体的精细操作仍有提升空间；第六，论文未讨论计算效率和实时性，数据生成流水线的计算成本未知。
独立分析的弱点
本文存在几个值得关注的弱点。首先，抓取合成器依赖于物体凸包的表面采样进行接触点初始化，这种随机采样策略可能无法覆盖最优接触点，特别是对于有凹陷或内部结构的物体，改进方向可以是引入基于学习的接触点提议网络。其次，单向注意力机制虽然带来了性能提升，但论文未深入分析其作用机理，为什么单向注意力比双向注意力更好？是否在某些场景下双向注意力更优？这需要更系统的对比实验。第三，策略以点云为唯一输入，未利用RGB信息，对于外观差异大但几何相似的物体可能缺乏区分能力，可以考虑融合多模态信息。第四，数据生成流水线在仿真中验证抓取稳定性时，要求物体被提升0.17米并保持1秒，这个阈值是启发式设定的，未讨论其对数据质量和策略性能的影响。第五，虽然论文声称支持多种抓取策略，但未分析策略选择的机制——策略是如何决定对特定物体使用哪种抓取方式的？这种决策是隐式的还是显式的？
未来方向
基于本文的工作，可以延伸出多个有价值的研究方向。第一，可以探索更复杂的操作任务，如抓取后的工具使用、双手协调操作（如开瓶盖、拧螺丝），将灵巧抓取作为这些复杂任务的基础能力。第二，可以研究抓取策略的显式选择机制，根据物体属性（形状、大小、重量）自动选择最优的抓取策略，而非完全依赖隐式的端到端学习。第三，可以探索更高效的数据生成方法，当前方法对每个物体生成500个候选抓取并过滤，计算成本较高，可以研究基于生成模型的抓取合成方法。第四，可以扩展到更多样的机器人平台，当前工作使用UR5e+XHand配置，可以探索在不同自由度、不同手型的机器人上的泛化能力。第五，可以研究从少量真实世界演示中进行微调的方法，进一步提升真实场景的性能。第六，可以探索在线学习和自适应能力，让策略在部署过程中根据失败经验进行调整。作者已开源数据生成流水线（https://github.com/InternRobotics/UltraDexGrasp），这为后续研究提供了良好的基础。
复现评估
本文的复现条件较为有利。作者已开源数据生成流水线代码（GitHub仓库），这大大降低了复现门槛。数据集UltraDexGrasp-20M包含2000万帧、覆盖1000个物体，规模庞大但作者提供了完整的生成流程。硬件方面，仿真实验使用两个UR5e机器人和两个XHand，这些是常见的研究平台；真实世界实验使用Azure Kinect DK深度相机，也是广泛使用的传感器。然而，完整复现仍面临一些挑战：（1）数据生成需要GPU加速的物理仿真和cuRobo运动规划，计算资源要求较高；（2）策略训练使用2000万帧数据，需要较大的存储和训练时间；（3）真实世界实验需要精确的相机标定和坐标系对齐。总体而言，代码开源使得方法层面的复现可行，但完整复现所有实验结果需要相当的硬件和计算资源投入。
论文图表
展示了在仿真基准上的实验结果，包括已见物体和未见物体两类测试集。每个类别下按物体大小（小、中、大）细分。本文策略在所有类别上均取得最高成功率，平均84.0%，比DP3（46.7%）高37.3pp，比DexGraspNet（58.8%）高25.2pp。值得注意的是，DexGraspNet无法处理大物体（用'-'表示）。
这是论文的核心实验结果表，定量展示了本文方法相对于基线的显著优势，特别是25.2pp的提升（约43%相对改进）
展示了策略设计选择的消融实验结果。对比了完整策略（84.0%）与两个消融版本：移除分布预测（w/o Dist. Pred., 73.5%）和移除单向注意力（w/o Uni. Attn., 68.2%）。结果表明两个设计组件都对性能有显著贡献，单向注意力的贡献更大（15.8pp提升）。
这个表格验证了本文策略设计的有效性，证明了有界高斯分布预测和单向注意力机制两个创新点的贡献
展示了真实世界基准上的实验结果，包括小、中、大三类物体的测试。本文策略平均成功率为81.2%，显著优于DP3（46.7%）和DexGraspNet（62.3%）。特别是大物体上的成功率高达89.3%，展现了双臂协同抓取的优势。
这个表格展示了sim-to-real迁移的实际效果，81.2%的真实世界成功率证明了方法的实用价值