Play2Perfect：灵巧操作预训练在精密组装中什么因素最重要？ Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?
通过play预训练学习通用操作先验，再用RL微调解决多指机器人的精密组装任务
前置知识
目标条件强化学习
一种强化学习范式，策略π(s, g)根据当前状态s和目标g输出动作，目标是学习一个策略能够达到任意指定的目标状态。在本文中，策略需要根据当前物体姿态ot和目标姿态gt输出动作，使物体达到目标位置和朝向。这种范式使智能体能够学习通用的控制策略，能够适应不同的目标配置，而不是为每个特定任务学习单独的策略。
本文的核心方法就是训练一个目标条件的play策略，这是理解预训练阶段学习目标的基础，因为预训练的目的就是学习一个能够达到任意6D姿态目标的通用策略
稀疏奖励强化学习
强化学习中的一种奖励设计，只有当任务完成或达到特定里程碑时才给予奖励，过程中没有中间反馈信号。对于组装任务，通常只在零件正确插入或组装完成时给予成功奖励，探索难度极大，因为智能体在探索过程中几乎无法获得学习信号。这种奖励设置更接近真实世界的奖励信号，不需要人工设计复杂的中间奖励。
精密组装任务本质上是稀疏奖励问题，这正是本文要解决的核心挑战之一，理解稀疏奖励强化学习的困难是理解本文动机的关键
域随机化
一种sim-to-real转移技术，在训练时随机化仿真环境的各种参数（如动作延迟、观测噪声、物理参数等），使策略对这些不匹配具有鲁棒性。本文中随机化了动作延迟、本体感知观测延迟、以及物体姿态噪声，以增强策略在真实世界部署时的泛化能力。通过在训练时引入多样化的环境参数，策略学习到对这些变化的鲁棒性。
本文实现了零样本sim-to-real转移，域随机化是关键技术手段，理解域随机化如何工作有助于理解本文如何实现从模拟到真实世界的转移
6D姿态距离
衡量两个物体在三维空间中位置和朝向差异的度量。本文使用基于关键点的6D姿态距离dpose，同时捕获平移误差和旋转误差。6D姿态距离的计算通常涉及旋转矩阵或四元数，以及位置向量的差异，是灵巧操作任务中核心的评价指标。对于组装任务，既需要物体到达正确的位置，也需要达到正确的朝向。
本文的play预训练和组装奖励都依赖于6D姿态距离作为奖励函数的核心组件，理解6D姿态距离的计算和意义是理解本文奖励设计的关键
研究动机
多指机器人灵巧操作的精密组装任务面临双重困境：一方面，接触密集的特性使得收集高质量的模仿学习数据极具挑战性，因为人体操作者与机器人之间存在实体差距，且缺乏触觉反馈；另一方面，组装任务由零件最终姿态定义，本质上是稀疏奖励问题，使得直接用强化学习探索变得不可行。现有的sim-to-real RL方法通常需要密集的奖励塑形，这需要任务特定的先验知识。之前的工作通过添加结构来解决这个问题，一种方法是修改环境，使用自定义夹具来简化抓取和插入；另一种是修改机器人本身，使用专门的工具附件或末端执行器来使控制问题更容易。然而，这两种策略都需要为每个组装问题进行特定的硬件或环境工程。使用平行夹持器的机器人虽然使得遥操作可行，从而实现模仿学习和后续的RL微调，但仍然限制了速度和灵巧性。例如，在紧密插入任务中，间隙可能只有0.5毫米，这需要极高的精度控制，而平行夹持器难以实现这种精细的操作。
本文的目标是本文的目标是在不依赖遥操作的情况下，用多指灵巧手解决困难、稀疏奖励的问题如精密组装。核心挑战在于，由组装零件最终目标配置定义的稀疏奖励为强化学习提供了有限的训练信号。从随机策略开始，智能体必须在收到任何奖励之前发现抓取、手内重新定向、对齐和接触密集插入。本文提出的Play2Perfect框架通过两阶段学习解决这个问题：首先在模拟中通过RL训练一个目标条件play策略来操控多样化的基本物体到随机目标姿态，诱导出一个任务无关的操作先验；然后构建组装微调环境，使用由CAD设计定义的稀疏奖励进行微调，专注于探索组装成功所需的最终接触密集、高精度交互。目标是使机器人能够像人类一样，先通过玩耍学习基本的操作技能，然后专注于学习特定任务的精细操作。
与已有工作不同的是，本文的独特切入角度在于将play视为灵巧预训练：一个快速专门化到精密组装的通用先验，而不是像之前的工作那样将play控制器作为零shot部署或需要在测试时结合人类演示。虽然学习play的概念之前已经被探索过，但在play预训练配方中哪些方面对下游微调有用，特别是对于精密组装，仍然不清楚。本文系统地研究了使play对精密组装有用的设计选择，包括物体多样性、轨迹多样性、训练目标和目标精度。另一个独特之处是直接从组装CAD设计推导稀疏奖励，使用组装分解方法，这不需要任何演示或对下游组装任务的知识，这与依赖密集奖励、脚本化的多阶段控制器或精心设计课程的学习方法形成对比。这种方法更加通用，不需要针对每个任务进行人工设计。
核心方法
Play2Perfect框架采用两阶段学习范式：首先是灵巧play预训练阶段，在模拟中通过强化学习训练一个任务无关的通用操作策略，使其能够操控多样化的基本物体到随机目标姿态；然后是RL微调阶段，使用从组装CAD设计构建的稀疏奖励环境，专门化这个通用先验以学习精密、接触密集的组装技能。预训练阶段的目标是获得可重用的操作先验，如抓取、手内重新定向和姿态到达；微调阶段则将这个通用先验适应到组装，专注于探索成功所需的最终接触密集、高精度交互。整个过程不依赖任何人类演示或遥操作，完全通过强化学习自主探索。预训练阶段使用SAPG（Split and Aggregate Policy Gradients）算法，因为它之前被发现比PPO更适合灵巧play训练。为了实现sim-to-real转移，所有策略都使用域随机化进行训练，建模动作延迟、本体感知观测延迟，以及当前和目标物体姿态中的噪声。
核心创新点在于将play视为灵巧预训练的通用先验，而不是零shot部署的控制器。与之前需要遥操作收集机器人轨迹或主动人类手数据收集的play学习工作不同，本文通过RL学习操控多样化物体来训练play先验，不需要任何演示。另一个关键创新是直接从组装CAD设计推导稀疏奖励，使用组装分解方法，从完整的CAD装配开始，识别可行的零件移除并反转这个顺序来获得装配序列。每个步骤定义了一个稀疏目标序列：最终装配姿态和中间接触目标，例如预插入姿态。这种方法完全不需要任务特定的奖励塑形或人工设计的中间里程碑。第三个核心创新是系统地研究play预训练的设计选择，发现play预训练在它强制机器人使用手指而不是用固定抓取移动时迁移最好。通过消融实验，论文发现物体多样性、训练目标、轨迹多样性和目标精度都影响下游微调性能，其中方向控制和精确目标是最关键的因素。
方法步骤详情
方法分为两个主要阶段。第一阶段是灵巧play预训练，训练一个目标条件策略πθ(st, ot, gt, ϕ)，其中st表示机器人本体感知，ot和gt∈SE(3)是当前和目标物体姿态，ϕ通过3D边界框尺寸编码物体几何。在模拟中通过过程生成多样化的基本物体，包括立方体和圆柱体，每个物体的尺寸从广泛分布中采样，约束为适应机器人手内。还通过改变物体密度和在物体末端附近附加额外质量来随机化物理属性，这诱导了质心和惯性的变化，迫使策略学习不绑定到单一几何或质量分布的物体控制策略。play奖励包括三个项：rsmooth正则化动作以平滑控制，rgrasp鼓励将物体提升到桌子之上，rgool奖励达到当前6D物体目标。rgool在d(ot, gt) < ε时包含一个大的稀疏成功奖励，默认情况下d = dpose是基于关键点的6D姿态距离，联合捕获平移和旋转误差。每个playepisode中随机化目标序列，第一个目标在机器人工作空间中广泛采样，后续目标在接近前一个目标的位置采样并伴随显著旋转。第二阶段是RL微调，从CAD设计构建模拟环境。每个组装任务由包含K个刚性部件A = {pi}的CAD设计及其最终装配姿态指定。使用组装分解将此设计转换为一系列组装步骤：从完整装配开始，识别可行的零件移除并反转此顺序以获得装配序列。每个步骤需要将零件pi插入到由已组装零件定义的固定装置fi中。将每个步骤实例化为一个RL环境，桌子上有随机化的零件和固定装置姿态。组装微调仅使用从CAD指定的零件配置推导的稀疏成功奖励。部署时重用组装CAD网格进行真实世界6D姿态跟踪，使用FoundationPose，策略以60Hz运行闭环，物体姿态跟踪以30Hz运行。
技术新颖性
技术新颖性体现在多个方面：首先，是第一个系统地研究play预训练设计选择对接触密集精密组装下游微调影响的工作，包括物体多样性、轨迹多样性、训练目标和目标精度；其次，提出了直接从CAD设计推导稀疏奖励的组装微调方法，使用组装分解生成中间接触目标，完全不需要人工奖励设计；第三，在不依赖任何人类演示的情况下，仅通过RL学习通用灵巧play先验，这与之前需要遥操作或主动人类手数据收集的工作形成对比；第四，实现了零样本sim-to-real转移，在真实世界的紧密插入、多部件组装和旋拧任务上取得了显著成功；第五，发现play预训练在强制学习使用手指进行手内操作而不是用固定抓取移动时迁移最好，这为设计有效的灵巧预训练提供了重要指导。论文还发现，仅平移预训练无法迁移，因为它不学习方向控制，而仅旋转预训练可以迁移但学习较慢，这表明6D姿态控制是关键。
实验结果
核心发现包括四个主要实验的结果。首先，密集、任务特定的奖励无法克服对play预训练的需求。在四个主要接触密集组装任务上，Play2Perfect在2-5小时的RL训练时间内解决了所有任务，而两个从零开始的基线（稀疏奖励和密集奖励）即使在24小时后也没有产生成功的rollout。在简化的固定装置T型插入任务上，从零开始训练（密集奖励）需要超过100小时才能达到近乎完美的成功，而Play2Perfect在仅4小时内就达到了相同的成功率，实现了33倍的加速。更重要的是，从零开始（密集奖励）学习的策略仍然脆弱：它使用拇指而不是形成稳定的抓取来平衡销钉。在外力扰动下，其成功率在10N扰动下下降到约20%，并在更大扰动下最终下降到0%。相比之下，Play2Perfect即使在最大扰动下也保持超过75%的成功率，表明play预训练诱导了更鲁棒的操纵策略。其次，系统研究了play预训练设计选择对下游组装微调的影响。物体多样性：预训练期间使用更多物体导致更稳定的RL微调，最终成功率从10到1000个物体一致增加。训练目标：方向控制至关重要。仅平移预训练学习抓取和提升，但不学习物体方向控制，因此无法提供组装所需的手内重新定向先验。仅旋转预训练迁移良好，但学习速度比完整6D姿态目标预训练稍慢。轨迹多样性：在线随机轨迹学习最快，表明更广泛的目标姿态过渡覆盖更好地匹配下游组装微调。目标精度：精确目标很重要。松散的10cm阈值无法迁移，因为粗略目标到达不需要准确的物体姿态控制。5cm阈值最终学习，但比1cm阈值更慢，表明精确play诱导的先验与紧密间隙组装更好地匹配。第三，RL微调对精密、接触密集组装是必要的。仅play策略在松散的40mm间隙处达到75%成功，但在4mm处下降到接近0%。相比之下，Play2Perfect随着精度增加保持高成功率，在4mm处达到95%，在1mm处达到92%，在0.2mm处达到80%，这比训练分布更紧密。真实世界结果显示相同的趋势：在10mm间隙处，Play2Perfect达到100%成功，而仅play为60%；在2mm间隙处，Play2Perfect达到90%成功，而仅play下降到20%；在0.5mm间隙处，Play2Perfect仍然60%的时间成功，而仅play完全失败。最后，Play2Perfect实现零样本sim-to-real转移。在紧密插入上，策略在间隙变紧时保持高成功率：10mm处10/10，2mm处9/10，0.5mm处6/10。完成时间从6.8±1.5秒增加到11.1±5.1秒，因为策略为更紧密的对齐执行额外的局部搜索。在组装梁上，两个步骤都可靠地成功：步骤1成功8/10，步骤2成功7/10，每个平均在7秒内完成。在旋拧腿上，Play2Perfect在插入上达到7/10成功，在完整旋拧上达到5/10，成功试验需要15.6±2.9秒，包括两个阶段。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Tight-Insertion (0.5mm clearance) | Success Rate | 60% | 0% (Play-only) | 60 percentage points |
| Assemble-Beam Step 1 | Success Rate | 80% | N/A | N/A |
| Assemble-Beam Step 2 | Success Rate | 70% | N/A | N/A |
| Screw-Leg Insertion | Success Rate | 70% | N/A | N/A |
| Screw-Leg Full Screw | Success Rate | 50% | N/A | N/A |
| Fixed Tight-Insertion (Fixtured) | Training Time to Near-Perfect Success | 4 hours | 100+ hours (Scratch dense reward) | 33x faster |
| Tight-Insertion (1mm clearance) | Success Rate (Simulation) | 92% | 0% (Play-only) | 92 percentage points |
| Tight-Insertion (0.2mm clearance) | Success Rate (Simulation) | 80% | 0% (Play-only) | 80 percentage points |
局限与改进
作者承认的局限性包括：系统学习的是短视域组装技能而不是完整的自主组装流水线。任务排序、主动零件选择和目标姿态由外部指定，策略按任务或基准系列进行微调。真实世界部署依赖于物体姿态估计，这可能在遮挡或快速运动下失败。除了目标姿态外，策略不直接观察固定装置或周围几何形状。作者自己的观察表明：当前方法需要为每个任务单独微调策略，尚未实现多任务泛化；使用简单的原始形状进行预训练可能限制了策略处理复杂几何形状的能力；固定装置姿态在评估中是固定的，可能高估了现实世界中的鲁棒性；当前的任务序列是人工设计的，缺乏自动任务规划能力；方法依赖于高质量的6D姿态跟踪，遮挡可能导致失败；接触动力学中的sim-to-real差距仍然是一个挑战，特别是在紧密间隙组装中；当前的策略不包含视觉或触觉观测，这限制了其对场景的感知能力。
独立分析的弱点
独立分析的弱点包括：首先，需要为每个组装任务单独微调策略，缺乏多任务学习能力。这意味着在实际部署中，如果有多个不同的组装任务，需要训练和维护多个策略，增加了部署复杂度。改进方向是探索多任务微调或元学习方法，使单个策略能够适应多种组装任务。其次，预训练仅使用简单的原始形状（立方体和圆柱体），可能限制策略处理复杂真实世界物体几何形状的能力。改进方向包括在预训练中使用更多样化的物体几何形状，或从真实世界物体扫描中学习物体表示。第三，评估中固定装置姿态是固定的，可能高估了现实世界中的鲁棒性。改进方向是在更动态的环境中评估，包括变化的固定装置位置和照明条件。第四，策略不直接观察固定装置或周围几何形状，仅依赖目标姿态，这限制了其在复杂场景中的能力。改进方向是整合视觉或触觉观测，使策略能够感知固定装置和周围环境。第五，当前的组装序列是人工设计的，缺乏自动任务规划能力。改进方向是将Play2Perfect与自动任务规划系统集成，实现完全自主的组装流水线。
未来方向
未来研究方向包括作者提出和基于成果可延伸的方向：作者提出可以将这些技能与排序、场景记忆、恢复和更广泛的多任务微调结合起来，构建完整的自主组装流水线。基于成果可以延伸的方向包括：探索更复杂的预训练环境，包括更多样化的物体几何形状和物理属性；研究如何将视觉和触觉感知整合到策略中，以提高遮挡和复杂场景下的鲁棒性；开发自动任务规划系统，自动从CAD设计推导组装序列；探索多任务和元学习方法，使单个策略能够适应多种组装任务而不需要单独微调；研究如何处理动态和不确定的环境，包括变化的固定装置位置和外部扰动；探索如何将Play2Perfect框架扩展到更广泛的灵巧操作任务，不仅限于组装；研究如何减少对高质量6D姿态跟踪的依赖，例如通过端到端视觉学习；探索如何处理更复杂的长视域任务，包括错误检测和恢复机制；研究如何将人类交互整合到系统中，例如通过自然语言指令或演示；探索如何将Play2Perfect与其他预训练方法（如视觉语言动作模型）结合，以进一步增强泛化能力。
复现评估
复现评估需要考虑以下因素：开源情况方面，论文提到了项目网站play2perfect.github.io，通常包含代码和数据，但具体开源程度需要进一步确认。数据方面，论文使用了现有的组装基准（Fabrica和FurnitureBench），这些是公开可用的。然而，论文中对原始部件进行了修改（3D打印3倍缩放的部件和3倍更长的腿），这意味着复现需要相应的3D打印和修改。模拟环境使用了自定义的组装分解方法，需要完整的实现细节。算力方面，预训练和微调都使用了强化学习，特别是SAPG算法，需要大量的计算资源。论文提到预训练在1000个物体上进行，微调在多个任务上进行，总共的训练时间在几十小时量级，这需要GPU集群或长时间的训练。实现难度方面，需要实现或使用现有的模拟环境（可能是Isaac Gym或类似的高性能物理模拟器），集成FoundationPose用于6D姿态跟踪，并实现完整的RL训练流程。整体而言，复现需要较强的工程能力和计算资源，但鉴于项目的学术性质和公开基准的使用，预期复现难度中等偏高。
论文图表
