DexJoCo：面向 MuJoCo 的任务导向灵巧操作基准与工具包

面向MuJoCo的灵巧手操作基准+低成本遥操作工具包，1.1K人类示教。

前置知识

VLA (Vision-Language-Action) 模型

将视觉感知、语言指令和动作生成统一在单一神经网络中的端到端模型。VLA 通常以预训练大语言模型为骨干，把图像和语言一起 tokenize 后直接预测动作 chunk。代表工作包括 RT-2、π0.5、GR00T N1.5 等。

本文评测的 π0.5 和 GR00T N1.5 都是 VLA 模型，必须理解它们如何用 flow matching 生成动作、为何需要 LoRA 微调、以及为何默认 32 维 action head 在双手机任务中需要扩展。

灵巧手 (Dexterous Hand) 与高维动作空间

相对于夹爪的单一开合自由度，灵巧手具备多个手指关节，能执行精细抓取、铰接物体操作等类人任务。代表性硬件如 Allegro Hand 拥有 16 个自由度，远高于 6D 末端位姿，使模仿学习面临更高维输出空间。

本文核心就是评测 16 自由度 Allegro 手的策略表现，必须理解其动作空间是末端位姿 + 手部关节角的组合，以及该高维空间给 VLA 训练带来的分布外挑战。

模仿学习与人类示教 (Imitation Learning)

通过收集专家（人类或高水平策略）的状态-动作轨迹，训练一个策略网络去拟合条件动作分布。常用方法包括行为克隆 BC、CVAE、Diffusion Policy 和 flow matching。核心难点是分布漂移与协变量偏移。

DexJoCo 的 1.1K 轨迹需要被多种模仿学习算法消费，理解 BC、ACT (CVAE)、Diffusion Policy 的训练目标和动作分块预测方式对看懂实验对比至关重要。

手部姿态重定向 (Hand Retargeting)

把人类手部运动（手套或视觉捕获的关键点）映射到机器人手部关节角的过程。由于人手与机械手拓扑结构不同、关节数量不同，需要学习非线性映射。本文使用 GeoRT 自监督方法，通过多个代理损失避免自碰撞。

DexJoCo 的低成本数据采集核心就是 Rokoko 手套 + GeoRT 重定向。理解人-手结构差异以及为何要设计 L = L_dir + λ1 L_cover + λ2 L_flat + λ3 L_pinch + λ4 L_col 多目标损失，是看懂工具包的关键。

MuJoCo 物理仿真与域随机化

MuJoCo 是机器人学界主流的接触丰富刚体仿真引擎，支持高保真接触动力学。域随机化指在训练中随机扰动物体位置、桌面高度、相机视角、灯光、纹理等视觉与物理参数，以提升策略鲁棒性。

本文在 MuJoCo 上构建 11 个任务并实现相机球面采样、灯光 RGB 扰动、桌面纹理替换等多维随机化，理解 U(0, 0.05) m 高度偏移、U(0.3, 0.8) 灯光色等具体范围对评估 sim-to-real 潜力至关重要。

动作分块 (Action Chunking) 与时间集成 (Temporal Ensembling)

动作分块让策略一次输出未来 k 步动作而非单步，显著提升时序一致性；时间集成则在重叠分块区间对多个预测加权平均以平滑切换。两者已成为现代模仿学习与 VLA 推理的事实标准。

DexJoCo 的所有基线都使用动作分块 P(a_{t:t+k-1} | s_{t-h+1:t}, l)，并采用异步 server-client 推理 + 时间集成，是论文 3.5 节评估协议的核心。

研究动机

当前机器人操作评测体系相对成熟，但绝大多数基准（CALVIN、LIBERO、RoboTwin 2.0、DexMimicGen、Bi-DexHands 等）都建立在夹爪或单臂灵巧手之上，缺少对灵巧手所独有的多指精细操作、双手协调、工具使用与长时序推理能力的系统化覆盖。已有工作的具体问题包括四点：第一，许多研究为扩大工作空间而省略机械臂，只评测 in-hand 操作，导致轨迹在真实机器人上难以复现；第二，主流 benchmark 仍以 pick-and-place 或 in-hand 旋转为主，无法体现灵巧手相对夹爪的核心优势（如锤钉、铰接夹持、双手装配）；第三，示教数据要么靠 RL 策略生成（行为不符合人类自然操作模式），要么缺乏低成本易用的硬件方案；第四，已有灵巧手数据格式不统一，缺少标准化的语言指令，难以与 VLA 模型的训练/评测对接。这些缺陷共同导致灵巧手操作研究难以在统一指标下进行横向比较。

本文的目标是本文目标是发布一个同时覆盖"任务设计 + 数据采集 + 训练评测"全流程的灵巧手基准 DexJoCo。具体而言，作者在 MuJoCo 上构建 11 个功能化任务（涵盖工具使用、双手协调、长时序、推理四大类），每个任务都有结构化的成功条件 G = {g_seq, g_pose, g_joint, g_contact}；同时开发一套硬件成本约 $2,300 USD 的遥操作系统（Rokoko 手套 + HTC Vive tracker + GeoRT 重定向），采集 1.1K 条人类示教轨迹。作者希望通过统一协议评测 ACT、Diffusion Policy、π0.5、GR00T N1.5 等当代模型，给出可复现、可比较的灵巧手操作基线，并把 DexJoCo 打造成像 CALVIN 之于夹爪那样的灵巧手时代事实标准。

与已有工作不同的是，本文的独特切入角度是把"任务功能性 (functional interaction)"作为灵巧手 benchmark 的第一设计原则：所有 11 个任务都对应一种日常生活或工业中的功能（浇花、锤钉、夹镊子、折眼镜、开微波炉、按 iPad 密码），而不是简单的物体重定位或旋转；同时通过"低成本手部重定向 + 关节角式动作表征 + 双臂 VLA 训练管线"三件套，首次把"人类示教"与"VLA 训练"在数据格式上打通（输出 LeRobot-v3.0 与 DP Zarr 两种标准格式）。DexJoCo 也是首个在统一协议下同时支持 ACT、Diffusion Policy、π0.5、GR00T N1.5 四类策略、并配套提供域随机化（视觉+动力学）与多任务评测的灵巧手基准，填补了"任务丰富 + 人类示教 + 可对接 VLA"三位一体的空白。

核心方法

DexJoCo 的整体设计哲学是"基准、工具与数据集三位一体"。在仿真侧用 MuJoCo 搭建 11 个功能化任务，每个任务用结构化成功条件（顺序约束 g_seq、位姿约束 g_pose、关节角约束 g_joint、接触约束 g_contact）来定义完成度；在数据采集侧用 Rokoko Smartgloves 捕捉人类手部关键点 + HTC Vive tracker 定位手腕位姿，配合 GeoRT 自监督重定向网络 f: x_H → q_R = f(x_H) 将指尖位姿映射到 Allegro 手的 16 维关节角空间，端到端遥操作采集 1.1K 条示范；在评测侧，benchmark 输出 LeRobot-v3.0 与 DP Zarr 两种标准数据格式，让 ACT、Diffusion Policy (DP-T/DP-C)、π0.5、GR00T N1.5 等模型可以直接训练。最终，论文用一个统一异步 server-client 推理框架对四类基线在 11 个任务上做系统对比，并辅以域随机化、多任务训练、动作头初始化和语言泛化四组诊断性实验。

本文核心创新在于把"功能化任务设计 + 低成本手部重定向 + 双臂 VLA 训练管线"首次整合到同一灵巧手基准中，与已有工作形成三个本质区别。任务层面：CALVIN/LIBERO 等以 pick-and-place 为骨架，DexJoCo 的 11 个任务都设计为"无法用夹爪完成"的功能性交互（锤钉、铰接夹、双手 Hanoi），通过显式 g_seq、g_pose、g_joint、g_contact 约束定义成功，并附带视觉反馈（浇花时水流、点鼠标时屏幕点亮、密码按钮被按时高亮）。数据采集层面：用 $2,300 级别的 Rokoko 手套 + 自监督 GeoRT 网络在 L = L_dir + λ1 L_cover + λ2 L_flat + λ3 L_pinch + λ4 L_col 多目标损失下学会人-手关节映射。模型评测层面：本文是首个在同一协议下评测 ACT、Diffusion Policy、π0.5、GR00T N1.5 的灵巧手 benchmark，并通过 partial pretrain-AH 让 VLA 预训练优势在双臂任务中也能利用。

方法步骤详情

方法分五步。(1) 仿真构建：在 MuJoCo 导入 Rethink + Franka + Allegro + 任务资产（RoboCasa、PartNet-Mobility、Hunyuan3D），实例化物体集合与 g_seq、g_pose、g_joint、g_contact 四类约束。(2) 遥操作：穿戴 Rokoko 手套与 Vive tracker；GeoRT 网络 f: x_H → q_R = f(x_H) 把人类指尖映射到 Allegro 关节角，训练损失 L = L_dir + λ1 L_cover + λ2 L_flat + λ3 L_pinch + λ4 L_col。(3) 示教采集：写入 demo/replay.zarr；replay 阶段对同一轨迹在不同相机、灯光、纹理下重渲染以支持域随机化。(4) 格式转换：导出 LeRobot-v3.0 与 DP Zarr 两种格式。(5) 评测：异步 server-client 推理 + 时间集成；双臂任务保留 VLA 预训练 32 维 action head，剩余维度随机初始化 (partial pretrain-AH)。

技术新颖性

技术新颖性可总结为三点。第一，任务设计的功能性原则首次被系统引入灵巧手 benchmark：每个任务都附带"视觉交互反馈"（浇花时水流出、点鼠标时屏幕亮起、密码按钮被按时高亮），让 success condition 可从外观直接被验证；通过把反馈机制封装为 g_joint、g_contact 约束，让评测不再依赖复杂的接触力信号。第二，GeoRT 重定向 + VLA 数据格式 + 双臂 action head 扩展三件套首次以 $2,300 硬件门槛实现"人类自然示教 → 标准 VLA 训练数据"的完整管线，且 trajectory 重放单独做成可选项，使视觉域随机化可"零额外人工"地批量化生产。第三，评测维度的系统性：本文在统一协议下同时评估了"视觉鲁棒性"、"多任务可塑性"、"动力学迁移"、"动作头初始化"、"语言泛化"五个维度，发现 π0.5 在语言指令上的归一化互信息 NMI 仅 0.018、JS 散度均值 0.026 的严重模式坍缩。

**Figure 3**: Human demonstration data collection system

**Figure 8**: Domain randomization settings

**Figure 9**: Preset third-person camera poses

实验结果

论文在 11 任务、5 模型、550 次评估上做系统评测，核心发现可归纳为五点。一，平均成功率：π0.5 取得 rand-obj 协议下最高 52.5%，DP-T 50.4%，DP-C 47.6%，GR00T 40.2%，ACT 35.5%；rand-full 下 π0.5 仍以 34.1% 居首，所有模型下降 20-30 pp。二，单臂 vs 双臂差距巨大：π0.5 在 Water Plant 达 88.7%，但双臂 Assembly 全部基线低于 5.3%、Hanoi 最高 15.3%、Unlock iPad 最高 12.7%。三，多任务训练退化：DP-T 从 50.4% 跌到 33.2%，π0.5 从 52.5% 跌到 45.5%。四，动力学鲁棒性：π0.5 在随机摩擦/刚度/质量下保持 46.5%，高于 DP-T 的 41.6%；部分冻结 action head 让 π0.5 升到 48.7%。五，VLA 语言泛化失败：π0.5 在 Unlock iPad 上 NMI 仅 0.018、JS 散度 0.026，模型没真正学会条件化在语言上。

**Table 1**: Comparison with existing manipulation benchmarks

**Table 2**: Performance comparison on benchmark tasks

**Table 3**: Multi-task, dynamics, and action-head evaluations

**Table 6**: Task-specific randomization settings

**Figure 5**: Performance evaluation and failure mode analysis

**Figure 6**: Visualization of failure cases in typical tasks

查看结构化数据

任务	指标	本文	基线	提升
DexJoCo 11 任务平均（rand-obj 协议）	成功率 (%)	π0.5 52.5% ± 1.4, DP-T 50.4% ± 1.4, DP-C 47.6% ± 2.0, GR00T N1.5 40.2% ± 0.3, ACT 35.5% ± 2.0	本文自评测 5 个基线（ACT、DP-T、DP-C、π0.5、GR00T N1.5），未与已有 benchmark 同口径直接对比	π0.5 相对 ACT 提升 +17.0 pp，相对 DP-T 提升 +2.1 pp；VLA 类 (π0.5) 略胜纯视觉 DP-T，证明预训练对单臂灵巧手有边际收益
DexJoCo 11 任务平均（rand-full 协议）	成功率 (%)	π0.5 34.1% ± 2.9, GR00T N1.5 30.5% ± 1.1, DP-C 28.4% ± 1.5, ACT 22.7% ± 1.3, DP-T 20.0% ± 1.4	同 5 个基线的 rand-obj 配置 (52.5/50.4/47.6/40.2/35.5)	rand-full 相对 rand-obj 平均下降约 18-30 pp，其中 DP-T 跌 30.4 pp 最多，GR00T 跌 9.7 pp 最少，说明带预训练的 VLA 视觉鲁棒性更佳
Water Plant (单臂，工具使用)	成功率 (%)	π0.5 88.7% (rand-obj) / 75.3% (rand-full)，GR00T N1.5 72.7% / 66.0%	ACT 47.3% / 52.7%, DP-T 84.0% / 56.0%, DP-C 63.3% / 54.0%	π0.5 单臂任务最高 88.7%，相对 ACT 提升 +41.4 pp (rand-obj)，体现大规模预训练在"抓握 + 触发"任务上的优势
Hammer Nail (单臂，工具使用)	成功率 (%)	π0.5 84.7% (rand-obj) / 17.3% (rand-full)	DP-T 81.3% / 18.7%, GR00T N1.5 67.3% / 38.7%, DP-C 58.7% / 19.3%, ACT 50.0% / 22.7%	在 rand-full 下 GR00T N1.5 反而反超 (38.7% vs π0.5 17.3%)，提示预训练 VLA 在视觉扰动下并非单调更鲁棒
Microwave /B (双臂，长时序)	成功率 (%)	DP-C 54.0% / 62.7% (rand-obj / rand-full), π0.5 70.0% / 54.7%, GR00T N1.5 50.7% / 42.0%	ACT 66.0% / 50.0%, DP-T 73.3% / 21.3%	DP-C 是唯一在 rand-full 下不下降反而上升的模型 (+8.7 pp)，归因于其 FiLM-based 视觉注入对精细操作更强
Assembly /B (双臂，双手协调)	成功率 (%)	全部 5 个基线均低于 5.3%；最优 π0.5 5.3% (rand-obj) / 0.0% (rand-full)	DP-T 4.7% / 0.0%, DP-C 3.3% / 0.0%, GR00T 0.7% / 1.3%, ACT 0.0% / 0.0%	0% 提升空间——揭示当前 VLA/DP/ACT 在双手非对称装配任务上几乎完全失败，是灵巧手研究最大的未解难题之一
Hanoi /B (双臂，推理)	成功率 (%)	π0.5 15.3% (rand-obj) / 15.3% (rand-full), DP-T 24.7% / 0.7%, DP-C 12.7% / 9.3%, GR00T 0.7% / 0.0%, ACT 6.0% / 4.7%	Hanoi 测试在 5 个模型中无人超过 25%，GR00T 在 rand-full 下完全失败	DP-T 在 rand-obj 下反超 VLA (24.7% > 15.3%)，与 partial pretrain-AH 在双臂任务上可能拖累 VLA 表现的假设一致
Unlock iPad /B (双臂，推理 + 长时序)	成功率 (%)	DP-C 52.0% (rand-obj) / 12.0% (rand-full), π0.5 12.0% / 0.0%, GR00T 12.7% / 0.0%	ACT 9.3% / 0.7%, DP-T 8.0% / 2.0%	DP-C 在该任务 rand-obj 下 52.0% 远超其他基线 (其余 ≤ 12.7%)，作者归因于 FiLM 注入对"按按钮"等精密交互的优势
多任务联合训练 (Multi-task)	平均成功率 (%)	DP-T 33.2% ± 2.4 (从单任务 50.4% 跌 17.2 pp), π0.5 45.5% ± 1.5 (从 52.5% 跌 7.0 pp)	同模型在单任务训练的 50.4% / 52.5%	DP-T 退化更严重，π0.5 退化更小，验证预训练 VLA 的多任务可塑性优于从零训练的 diffusion policy
动力学随机化评估 (rand-dynamics)	平均成功率 (%)	π0.5 46.5% ± 2.6, DP-T 41.6% ± 0.3	无随机动力学的单任务配置 π0.5 52.5%, DP-T 50.4%	动力学随机下 π0.5 退化 6.0 pp、DP-T 退化 8.8 pp，说明仿真动力学随机化能成为 sim-to-real 的近似代理
动作头完全重训 (rand-AH)	平均成功率 (%)	π0.5 48.7% ± 0.9（vs. 保留预训练 52.5%）	部分冻结 pretrain-AH 52.5% ± 1.4	完全重训 action head 让 π0.5 损失 3.8 pp，证明保留 VLA 预训练权重对双臂扩展更优

局限与改进

论文的局限性可从两个层面分析。作者自己承认的局限包括：(1) 仿真到真实 (sim-to-real) 迁移尚未解决，文中明示这是"留给未来工作"的方向；(2) 仅依赖视觉-本体感知，缺乏触觉信号对接触丰富操作的支持；(3) π0.5/GR00T N1.5 等 VLA 缺乏灵巧手原生预训练数据，导致 action head 无法捕捉高维关节耦合；(4) Benchmark 中物理资产部分依赖 Hunyuan3D 生成 + 手工标定物理参数，存在建模误差。从读者视角还能补充几点观察：首先是任务覆盖偏置——11 个任务里有 5 个是单臂短时序（1-2 分钟），双臂任务以多阶段顺序为主，对"持续双手协调操作"的覆盖不足；其次是评测规模有限——每任务仅 50 次评估，标准差较大（部分任务 std 达到 5-8%），统计显著性需谨慎解读；最后是缺乏小样本或 zero-shot 评测，1.1K 轨迹对 16 维灵巧手动作空间仍偏小，论文也没有 cross-embodiment 或 few-shot adaptation 实验。

独立分析的弱点

独立分析本文方法还存在以下弱点并对应给出改进方向。第一，遥操作硬件虽仅 $2,300 USD，但仍需戴 Rokoko 手套 + Vive 追踪器，1-2 小时会出现手指出汗与疲劳；改进方向是探索基于纯视觉的手部重定向，借鉴 DexCap 等工作。第二，VLA 评测仅用 π0.5 和 GR00T N1.5 两个，没有对比 OpenVLA、HiRT、3D-VLA 等近期方法，难以下定论说"所有 VLA 都无法处理灵巧手"；改进方向是增加更多 VLA 基线并对 VLM 骨干、token 化方式做控制变量。第三，域随机化只覆盖了"训练分布内的视觉变化"，没有引入 sim-to-real 风格的材质变化、传感器噪声、极端光照；改进方向是加入 motion blur、exposure variation、specular highlight。第四，benchmark 缺少"成功过程中的细粒度度量"，如指尖接触位置误差、sub-goal 完成时间等。第五，对失败模式的分析偏定性（Fig. 5b/c 仅给出占比饼图），缺乏因果关联。

未来方向

作者在第 5 节明确提出三条未来方向：(1) 构建以灵巧手数据为主的大规模预训练 VLA（"hand-centric foundation model"），使 action head 能直接建模高维关节耦合；(2) 引入触觉传感，对接触丰富的灵巧操作进行多模态融合；(3) 提升仿真保真度以支持 sim-to-real 迁移。基于本文成果可进一步延伸的方向包括：在任务层面，可加入"双手接触式协作"（如双手搬运一个长杆）、"可形变物体操作"（如布料折叠）、"工具快速切换"等更复杂场景；在数据层面，可借鉴 DexCap 的纯视觉手部追踪降低采集门槛；在评测层面，可把"成功率"扩展为"过程-结果"双指标（如 sub-goal 达成时间、能量效率）；在算法层面，可探索 diffusion / flow matching 的"动作头 + 视觉头"双流设计，缓解当前 partial pretrain-AH 带来的双臂不均衡问题。

复现评估

论文整体具备较强可复现性。代码、数据集、项目页面均已发布（dexjoco.github.io），硬件清单 (BOM) 在附录中给出，仿真基于开源 MuJoCo + Menagerie + RoboSuite + RoboCasa + PartNet-Mobility + Hunyuan3D 资产栈。数据集导出为 LeRobot-v3.0 与 DP Zarr 两种主流格式，可被现成 VLA 训练框架直接消费。复现门槛有三处：一是硬件，需 2 台 HTC Base Station + 2 套 Vive tracker + 1-2 双 Rokoko 手套，国内采购约 ¥16,000；二是 GeoRT 重定向需针对每只操作者单独训练指尖 workspace 数据，约 30 分钟完成；三是训练算力：ACT/DP 从零训练 2-3 天/任务（A100 单卡），π0.5/GR00T 含 LoRA 微调 1-2 天/任务，11 任务 × 4 模型 × 2 数据协议 = 88 次完整训练。

DexJoCo：面向 MuJoCo 的任务导向灵巧操作基准与工具包 DexJoCo: A Benchmark and Toolkit for Task-Oriented Dexterous Manipulation on MuJoCo