GR-Dexter技术报告：基于VLA的双手机器人灵巧操作系统 GR-Dexter Technical Report
首个4B参数VLA模型支持21自由度双手机器人完成长时序灵巧操作任务
前置知识
视觉-语言-行动(VLA)模型
VLA模型是一种将视觉、语言和行动三个模态融合的大规模模型，能够接受语言指令和视觉观测作为输入，直接输出机器人行动序列。其核心思想是利用在大规模视觉-语言数据上预训练的视觉-语言模型作为backbone，然后通过机器人轨迹数据进行微调，使模型具备理解指令并生成相应行动的能力。VLA模型通常采用Transformer架构，通过多模态注意力机制实现不同模态间的信息交互。
本文的GR-Dexter基于VLA框架构建，理解VLA的基本原理和工作机制是掌握本文方法的基础。
Flow Matching目标
Flow Matching是一种用于生成模型的训练目标，它通过学习从噪声分布到目标分布的概率路径来生成样本。在机器人轨迹生成中，flow matching目标可以表示为损失函数的形式，其中神经网络学习从噪声到目标轨迹的速度场。这种方法相比传统的扩散模型训练更稳定，采样效率更高。
本文使用flow matching作为训练机器人行动专家的核心损失函数，理解其原理对于掌握模型的训练方法至关重要。
跨具身学习
跨具身学习是指将从一个机器人平台上学到的技能迁移到另一个不同形态的机器人平台上的方法。由于不同机器人的自由度、运动学参数、传感器配置等存在差异，直接迁移面临挑战。常见的跨具身学习策略包括基于运动学对齐的重定向、基于视觉的模仿学习、以及通过掩码不可用行动维度来统一不同平台的数据表示。
本文的核心创新之一就是利用跨具身数据来增强GR-Dexter的泛化能力，理解跨具身学习对于理解本文的训练策略和实验设计非常重要。
研究动机
现有的基于视觉-语言-行动(VLA)模型的通用操作策略主要部署在配备简单夹爪的双手机器人上，而将VLA策略扩展到配备高自由度灵巧手的机器人面临显著挑战。具体而言，21自由度的灵巧手将控制空间扩展了几十个自由度，同时引入了感知困难——手指之间以及手与目标物体之间频繁的遮挡问题。此外，作为数据驱动的范式，VLA的性能很大程度上取决于用于双手机器人灵巧操作的机器人轨迹的质量和多样性。现有的双手机器人数据集大多基于6自由度夹爪，针对高自由度灵巧手的大规模遥操作数据仍然稀缺，这严重限制了VLA模型在灵巧操作场景中的应用。
本文的目标是本文的目标是构建一个完整的硬件-模型-数据框架，将基于VLA的通用操作能力扩展到配备21自由度灵巧手的56自由度双手机器人。具体包括：设计和制造紧凑型21自由度ByteDexter V2灵巧手、开发直观的双臂遥操作系统以收集高质量的机器人轨迹数据、训练一个4B参数的VLA模型GR-Dexter，使其能够在真实环境中完成长时序日常操作任务，并且对未见物体和未见指令具有鲁棒性。
与已有工作不同的是，本文的独特切入角度在于提出了一个系统性的解决方案，同时解决了硬件设计、数据收集和模型训练三个关键问题。与仅关注模型改进或仅关注硬件设计的工作不同，本文采用了硬件-模型-数据协同设计的思路。在硬件层面，ByteDexter V2采用连杆驱动而非腱驱动，提高了耐用性和力透明度；在数据层面，构建了一个包含机器人轨迹、视觉-语言数据、跨具身演示数据和人轨迹数据的金字塔式数据集；在模型层面，通过联合训练策略实现对这些异构数据的有效利用。这种端到端的系统性方法是本文的主要创新点。
核心方法
GR-Dexter采用硬件-模型-数据协同设计的整体思路。首先，硬件层面设计了ByteDexter V2灵巧手，这是一个21自由度的连杆驱动仿人机械手，高度219毫米、宽度108毫米，指尖集成高密度压阻式触觉传感器。两个ByteDexter V2手配合两个Franka Research 3臂组成56自由度的双手机器人系统。其次，数据层面构建了金字塔式数据集，包括约40小时的遥操作机器人轨迹数据、大规模视觉-语言数据、跨具身数据和人轨迹数据。最后，模型层面采用Mixture-of-Transformer架构构建4B参数的VLA模型，通过联合训练策略同时优化两个目标，实现对异构数据的有效利用。
本文的核心创新点在于提出了一个针对高自由度灵巧手优化的端到端训练框架，其与已有方法的本质区别体现在三个方面：第一，行动空间的设计——不同于传统VLA模型输出简单的二值夹爪动作，GR-Dexter的每个动作是88维向量，包括臂关节动作、臂末端位姿、手关节动作和指尖位置；第二，数据金字塔策略——通过精心设计的数据处理和对齐管道，将结构差异显著的跨具身数据和人轨迹数据整合到统一训练框架中；第三，指端对齐重定向——在跨具身轨迹重定向时采用指端对齐而非关节对齐，保留了任务相关的接触几何，同时对关节级差异保持不可知。
方法步骤详情
方法包含四个主要步骤：数据预处理、模型架构设计、训练过程和策略部署。数据预处理阶段，首先对图像进行标准化裁剪和缩放，使机器人手臂、灵巧手和物体在所有数据集中以相似尺度呈现。然后对轨迹进行严格质量控制，仅保留高质量轨迹。对于跨具身数据，通过指端对齐的方式重定向到ByteDexter V2手，即最小化指端位置差异而非关节角度差异。对于人轨迹数据，首先基于手可见性和速度进行过滤，然后将人轨迹映射到与机器人数据相同的视觉和运动学表示。模型架构采用Mixture-of-Transformer，基于预训练的VLM backbone，参数量4B。训练阶段采用联合策略，在mini-batch级别动态混合视觉-语言数据和机器人轨迹数据，优化目标为next-token-prediction和flow-matching两个损失函数的和。策略部署时，模型生成长度为k的行动块，条件是语言指令、观测和机器人状态，通过参数化轨迹优化器平滑生成的动作，确保精细抓取时的平滑过渡。
技术新颖性
GR-Dexter的技术新颖性体现在多个方面。在硬件层面，ByteDexter V2相比前代V1和ILDA手，在增加一个拇指自由度的同时实现了更小的尺寸，这是通过将执行器集成到手掌内部实现的。在数据层面，首次将大规模人轨迹数据和跨具身机器人数据整合用于训练高自由度灵巧手策略，通过指端对齐重定向和严格的质量控制管道解决了数据异构性问题。在模型层面，针对88维高维行动空间设计了专门的训练策略，通过对不可用或不可靠的行动维度进行掩码来处理不同数据源之间的结构差异。此外，本文还展示了长时序任务执行能力，包括化妆清理、吸尘和面包服务等复杂任务，这需要协调的双臂-手控制和精细的接触丰富操作。
实验结果
实验结果表明GR-Dexter在真实世界评估中展现了强大的长时序操作能力。在化妆清理任务中，使用约20小时遥操作机器人轨迹数据进行训练，在基本设置下，plain VLA基线达到0.96成功率，GR-Dexter达到0.97成功率，表明联合训练保持了纯机器人数据基线的强域内性能。在分布外设置下，plain VLA性能下降到0.64，而GR-Dexter显著提升到0.89，表明与视觉-语言数据联合训练显著增强了对未见空间布局的泛化能力。在泛化抓取任务中，使用约20小时机器人轨迹和20个物体进行训练，在基本设置上，plain VLA达到0.87，GR-Dexter无跨具身数据达到0.85，GR-Dexter达到0.93最佳性能。对于未见物体，GR-Dexter通过精心过滤和对齐的跨具身联合训练实现了0.85的成功率。对于未见指令，GR-Dexter达到0.83成功率。定性结果显示GR-Dexter能够可靠完成吸尘、面包服务等复杂工具使用任务。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 化妆清理(长时序操作) | 任务成功率 | 0.97(基本设置)，0.89(OOD设置) | 0.96(plain VLA，基本设置)，0.64(plain VLA，OOD设置) | OOD设置下提升39%(0.64到0.89) |
| 泛化抓取(基本设置) | 任务成功率 | 0.93 | 0.87(plain VLA)，0.85(GR-Dexter无跨具身数据) | 相比plain VLA提升6.9% |
| 泛化抓取(未见物体) | 任务成功率 | 0.85 | plain VLA性能大幅下降 | 显著优于plain VLA |
| 泛化抓取(未见指令) | 任务成功率 | 0.83 | plain VLA性能大幅下降 | 显著优于plain VLA |
局限与改进
作者承认了系统的几个局限性：首先，在人轨迹数据方面，仅利用了几百小时的人轨迹数据，大量互补的以人为中心数据尚未被开发；其次，机器人的手和臂是分别控制的，这可能阻碍接触丰富的灵巧行为中紧密的手-臂协调。从我们的观察来看，实验评估主要局限于相对受控的室内环境，对于更复杂、更动态的真实世界场景的性能尚未评估。此外，系统的实时性评估不够充分，长时序任务的总执行时间、各子任务的延迟等关键性能指标未详细报告。数据多样性方面，虽然包含了跨具身数据，但主要针对特定任务，对于更广泛的灵巧操作任务的覆盖有限。模型规模方面，4B参数相比最新的VLA模型相对较小，可能限制了模型的表示能力和泛化上限。
独立分析的弱点
独立分析来看，GR-Dexter存在几个需要改进的弱点。首先，手和臂的分离控制策略限制了接触丰富操作的性能，改进方向可以是设计统一的手-臂协调控制器，或者学习端到端的联合行动策略，而不是分别优化手和臂的动作。其次，人轨迹数据的规模相对较小，改进方向是扩大数据收集规模，利用更多样化的VR设备和穿戴式相机，或者探索使用从互联网视频挖掘的大规模以人为中心数据。第三，实时性评估不足，改进方向是进行详细的延迟分析，优化模型推理和行动生成的实时性能，这对于实际部署至关重要。第四，环境多样性有限，改进方向是设计更多样化的评估场景，包括不同的光照条件、背景复杂度、物体材质和几何多样性，以全面评估模型的鲁棒性。第五，触觉传感器信息未充分利用，虽然ByteDexter V2配备了指尖触觉传感器，但论文中未详细报告触觉信息在策略训练和执行中的作用，改进方向是探索触觉-视觉多模态融合策略。
未来方向
作者提出的未来工作方向包括两个主要方面：一是进一步扩大预训练规模，利用更多样化和更易获取的跨具身轨迹；二是构建具身不可知的控制抽象。基于现有成果，可以延伸多个研究方向。在数据方面，可以探索利用互联网上大规模的无监督视频数据，通过自监督学习提取灵巧操作先验，或者设计更好的跨具身数据对齐管道，减少对人工标注和重定向的依赖。在模型方面，可以探索更大规模的VLA模型，研究如何在高维行动空间下有效扩展模型参数而不导致过拟合；也可以研究分层控制架构，将高层任务规划和低层接触控制分离。在硬件方面，可以设计更多样化的灵巧手，探索不同的驱动机制和传感器配置。在应用方面，可以探索更复杂的任务场景，如家庭服务、医疗手术、工业装配等，验证系统的泛化能力和实用性。在安全方面，可以研究更完善的安全机制，确保在高自由度操作中的可靠性和人机交互安全性。
复现评估
从复现性角度评估，本文提供了较为详细的技术报告，但开源情况有限。硬件方面，ByteDexter V2灵巧手的详细设计图纸、控制接口和制造工艺未开源，使得其他研究团队难以复制硬件设置。数据方面，仅使用了公开数据集，但未提供数据预处理、重定向和对齐管道的代码和详细说明，这使得复现数据处理过程存在挑战。模型方面，未提供训练好的模型权重或推理代码，仅描述了架构和训练策略。代码方面，未开源训练和评估代码，复现实验需要从头实现，难度较高。算力方面，4B参数的VLA模型训练需要大量GPU资源，可能需要数百甚至数千GPU小时，这对大多数研究团队来说是难以承受的。评估方面，虽然描述了实验设置和任务，但缺乏详细的评估协议和指标计算方法，这使得公平比较变得困难。总体而言，本文的复现性属于中等偏低水平，主要障碍是硬件、数据和代码的开源不足。
论文图表