H2RB：在 VLA 中桥接表征与动作空间的人到机器人迁移 Human-to-Robot Transfer via Bridging Representation and Action Space in VLAs
以几何锚定与解耦解码器潜动作，让机器人 VLA 从人类演示学会新物体与新技能
前置知识
VLA（视觉-语言-动作模型）
以视觉语言模型为主干的多模态机器人策略：输入相机观测、语言指令与本体感觉状态，输出动作块。典型结构是 VLM 产生条件 token，再由动作专家（常为扩散或流匹配头）生成 $K$ 步动作块 $A_t=[a_t,\dots,a_{t+K-1}]$。由于在海量机器人数据上预训练，它具备可迁移的视觉、语义与控制先验，是适配新任务的强初始化。
本文全部设计都围绕如何微调一个机器人数据预训练的 VLA 展开，不理解其结构就分不清哪些模块冻结、哪些在训练。
本体差异（embodiment gap）
指人类与机器人在感知外观（相机视角、手臂与末端形态）、运动学（自由度、工作空间）和动力学（速度、平滑度）上的系统性差异。它使人类演示的观测与动作分布和机器人数据不兼容，是利用人类演示迁移技能的主要障碍。本文量化了对齐前后的人-机潜间隙：3.81 降到 1.53。
全文问题定义与两个模块的动机都源于此：感知侧桥接观测差异，动作侧桥接动力学差异。
条件流匹配（conditional flow matching）
一类生成式建模方法：学习速度场 $v_\theta$ 把高斯噪声沿流时间 $\tau\in[0,1]$ 连续输运到目标分布，训练目标为 $\mathcal{L}=\mathbb{E}[\|v_\theta(x_\tau,\tau)-(x-\epsilon)\|^2]$，其中 $x_\tau=(1-\tau)\epsilon+\tau x$；推理时数值积分速度场得到样本。相比扩散模型路径更直、采样更省，π0 等流匹配 VLA 用它生成连续动作。
H2RB 的动作专家就是流匹配头，只是回归目标从原始动作换成了冻结分词器给出的潜动作 $Z_t$。
潜动作 / 动作分词器（latent action tokenizer）
把连续动作块压缩为低维潜 token 的自编码结构（常见 VQ-VAE 或变分自编码器）：编码器把动作映射到潜码，解码器负责还原。潜码可作为策略的学习目标，起到降维、去噪和跨域对齐的作用；配合 KL 与分布正则，可让不同来源的数据共享同一潜空间。
解耦解码器分词器是方法核心之一：共享编码器负责跨本体对齐，独立解码器负责保留各自的运动风格。
HaWoR 与手部运动重定向
HaWoR 是从视频重建 6D 手腕轨迹与手部关节姿态的方法。重定向指把重建出的人手运动转换到目标机器人的坐标约定与运动学结构（如 Inspire 灵巧手的关节空间），得到机器人可执行、可比较的腕-手动作表示 $a_t=[p_t,r_t,q_t]$，即腕位置、6D 旋转和关节角。
H2RB 的人类数据预处理与几何锚定目标（腕位姿加五指尖位置）都建立在 HaWoR 重建质量之上。
人类-机器人协同训练
把人类演示与机器人演示混合训练同一策略的范式，期望人类数据提供任务语义与技能结构、机器人数据提供可执行控制。若两域观测与动作分布未对齐，混训可能出现负迁移：本文中朴素协同训练使物体迁移从 12.0 跌到 8.0，技能迁移保持 0.0。
H2RB 本质上是一种协同训练框架，理解负迁移现象才能体会两个桥接模块为何必要。
研究动机
预训练 VLA 策略为机器人部署提供了强起点，但适配到目标机器人和新环境仍需采集昂贵的本体专属演示：需要物理机器人、遥操作管线和反复环境复位，成本高、难扩展。人类演示只需一个相机就能快速采集，但人与机器人在形态、动力学和视觉外观上差异巨大，而本文面对的 VLA 又主要在机器人数据上预训练，直接混训人类数据往往适得其反：在 OpenArm 真机实验中，仅在域内机器人数据上训练的基础策略对人类演示引入的新物体迁移得分仅 12.0，而朴素的人类-机器人协同训练进一步把迁移得分拉低到 8.0，甚至低于不混训。已有桥接方案要么从视频帧间变化推断潜在动作，要么重建世界坐标下的手部运动，把两类数据放进共同动作空间，但观测层面的感知鸿沟并未解决：VLA 仍需把外观迥异的人类/机器人观测映射到同一动作空间，动作预测不可靠，技能级迁移（如开门/关门）在所有共享动作基线（HaWoR-shared 10.7、Ego-Pi 共享动作 27.2 之外）上都是 0.0。
本文的目标是本文目标是：在不采集任何目标机器人演示、也不需要人-机器人成对演示的前提下，让以机器人数据预训练的 VLA（RLDX-1-IMG）直接从人类演示中学会新任务，同时保留原有机器人技能。具体拆成两个可量化的子目标：其一是物体迁移——人类只演示抓放新物体（盒子、球、毛巾），机器人要在这些新物体上完成抓放，并在物体位置移动（OOD）时保持鲁棒；其二是技能迁移——机器人数据里完全没有的开/关门（Open/Close）交互，要能从人类视频学会并在真机执行。衡量口径是 0-100 的加权任务进度得分，作者期望把物体迁移从基线的 8.0 提到 50 以上、技能迁移从 0.0 提到 60 以上，并验证该跨本体原则在异构多本体训练和另一台机器人 RB-Y1 上依然有效。
与已有工作不同的是，作者的独特切入是：跨本体迁移必须同时在感知和动作两个接口上搭桥，且两座桥的建造方式都刻意避开昂贵的监督信号。感知侧，已有工作要么依赖人-机器人成对演示做显式对齐（如 Xie et al. 2026、Zhu et al. 2026），要么用图像修补或渲染合成机器人视角观测（PHANTOM、Masquerade），成本和假设都重；H2RB 注意到手腕与指尖的几何结构是人手和机器灵巧手共享的物理不变量，于是给每条观测独立构造几何回归目标，无需配对、无需时序对应、无需观测合成。动作侧，已有方法把人类和机器人动作塞进单一共享动作映射，忽略了两套身体实现同一意图时的动力学差异；H2RB 的做法是共享潜在意图空间、但对每个本体保留独立解码器，把「做什么」与「身体怎么做」解耦。这一表征-动作双侧桥接的组合，是此前共享动作空间方案（Ego-Pi、HaWoR-shared）没有覆盖的盲区。
核心方法
直觉上，人手和机器人灵巧手抓同一个杯子时「意图」几乎一样——手腕到哪、指尖怎么张开闭合，这正是可共享的部分；但手臂关节怎么跟、轨迹速度多快，则属于各自身体的「方言」。H2RB 据此把跨本体迁移拆成两件事：让感知对齐到共享的物理几何（当前腕位姿加五个腕部局部坐标系下的指尖位置 $g_t$），让动作共享在抽象潜空间而把具体轨迹重建留给各本体的解码器。技术路线上分三步：先把人类视频经 HaWoR 重建出手腕与手部关节运动，重定向到机器人坐标系，得到与机器人一致的腕-手动作表示 $a_t=[p_t,r_t,q_t]$；然后训练一个共享编码器、双解码器的变分动作自编码器作为动作分词器，冻结后其编码输出成为 VLA 的预测目标；最后用条件流匹配微调 VLA，同时加一个几何锚定损失，把 VLM 条件特征拉向手部几何。整条管线在适配阶段只训练残差适配器、读出头与动作专家，VLM 主干、分词器与两个解码器全部冻结。
核心创新有两点，本质区别在于「共享什么、不共享什么」。第一，解耦解码器的潜动作分词器：人类与机器人动作块由同一个时间编码器映射到公共潜空间，但由各自的解码器 $D_H$、$D_R$ 重建，再配合逐位置质心匹配加方差-协方差正则把两个潜分布拉近。这与共享动作空间方案的根本不同是：不强迫两域穿过同一个动作映射，避免把人类较快的运动动力学（人类演示平均 7.36 cm/s，机器人遥操作仅 2.52 cm/s）坍缩成机器人的慢速模式。第二，几何锚定的 VLM 条件对齐：对每条观测，用残差适配器修正 VLM 特征 $h_t^{geo}=h_t+A_\phi(h_t)$，再用只训练、不部署的读出头 $R_\omega$ 回归该观测自身的手腕位姿与五指尖位置 $g_t$。因为每帧观测自带几何标签，对齐信号是逐帧自监督的，既不需要人-机配对演示，也不需要观测合成——这是与成对对齐路线和渲染合成路线（PHANTOM、Masquerade）的真正分野。
方法步骤详情
第一步，动作统一表示：对人类视频跑 HaWoR 重建得到手腕运动与手部关节，转换到机器人坐标约定并重定向，与机器人数据一起表达为 $a_t=[p_t\in\mathbb{R}^3, r_t\in\mathbb{R}^6, q_t\in\mathbb{R}^D]$（腕位置、6D 旋转、$D$ 个关节角）。第二步，训练解耦解码器分词器：共享编码器对每个本体 $d\in\{H,R\}$ 给出后验 $q_\psi(Z_t^d|A_t^d)$，由对应解码器重建 $\hat{A}_t^d=D_d(Z_t^d)$，用重建加 KL 训练，并以逐位置质心匹配加方差-协方差正则耦合两域潜分布；随后全部冻结，以后验均值 $Z_t=E_\psi(A_t)$ 作 VLA 目标。第三步，VLA 微调：以条件流匹配拟合潜动作 $\mathcal{L}_{FM}=\mathbb{E}[\|v_\theta(A_{t,\tau},\tau|s_t,h_t)-(A_t-\epsilon)\|^2]$，其中 $A_{t,\tau}=(1-\tau)\epsilon+\tau A_t$；几何锚定损失对 $h_t^{geo}=h_t+A_\phi(h_t)$ 经池化和读出头得到的 $\hat{g}_t$ 与真实几何 $g_t$ 做掩码 Smooth-L1 回归，总损失 $\mathcal{L}_{VLA}=\mathcal{L}_{pred}+\lambda_{geo}\mathcal{L}_{geo}$，VLM 主干全程冻结。第四步，部署：从 $\pi_\theta(\cdot|h_t^{geo},s_t)$ 采样 $Z_t^{gen}$，解码 $A_t^{cmd}=D_H(Z_t^{gen})$，腕部位姿经逆运动学转成机械臂指令。
技术新颖性
与 EgoMimic、EgoVLA、Ego-Pi 等人类-机器人协同训练工作相比，H2RB 的新颖性体现在三处。其一，感知侧的自监督几何锚定：PHANTOM/Masquerade 靠图像修补或渲染合成机器人视角，显式对齐方法依赖成对演示或轨迹伪配对，而 H2RB 的几何目标来自每条观测自身（当前腕位姿加五指尖位置），对齐变成逐帧回归问题，额外成本几乎为零。其二，动作侧的「共享潜空间+独立解码器」结构：LAD 和 XL-VLA 曾为异构末端保留独立解码器，但 H2RB 把这一结构用于人-机两种根本不同的身体，并用质心匹配正则显式控制潜空间对齐程度，消融显示归一化人-机潜间隙从 3.81 降到 1.53（降低 59.8%）。其三，可执行的中间表示：不同于从帧间变化推断的不可解释潜动作，H2RB 的腕-手表示能直接经逆运动学变成机器人指令，且解耦设计让人类数据的快节奏运动风格（7.36 cm/s 对机器人策略的 2.52 cm/s）在迁移后得以保留。
实验结果
真机实验用搭载 Inspire 手的 OpenArm 人形机器人，策略从预训练 RLDX-1-IMG 初始化。物体迁移（Table 1）：机器人域内基线对人类演示引入的新物体平均仅 12.0，朴素协同训练反而降到 8.0，HaWoR 共享动作 10.7，Ego-Pi 共享动作 27.2，而 H2RB 达到 51.8（提升 43.8），同时域内 Doll 保持 49.0；按位置分 H2RB 为 ID 55.0/OOD 45.3，显著优于 Ego-Pi 的 30.2/21.3。技能迁移（Table 2）：Open/Close 上所有共享动作基线全部为 0.0（Ego-Pi 域内 70.5 但迁移为零），H2RB 做到 Open 50.7、Close 74.7、平均 62.7，域内 Box PnP 还从 0.0 升到 81.0。异构人-机训练（HT）进一步提升：物体迁移 51.8→57.2，技能迁移 62.7→81.7。RB-Y1 包裹翻面任务上，纯机器人训练成功率 64%，人-机 HT 72%，几何锚定 HT 78%。指令条件化把技能迁移从 62.7 推到 83.3。消融（Table 3a）：无分词器 34.7/0.0，加分词器 43.3/49.7，再加跨域潜正则 51.8/62.7，人-机潜间隙从 3.81 降到 1.53（降 59.8%）。Table 3b 显示人类迁移策略执行速度 7.36 cm/s，约为机器人遥操作策略 2.52 cm/s 的 2.92 倍，任务得分 62.7 对 65.3 相当，说明人类运动风格被保留。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OpenArm 物体迁移（人类演示引入 Box/Ball/Towel） | 加权任务得分 (0-100) | 51.8 | 朴素协同训练 8.0；Ego-Pi 共享动作 27.2 | 对协同训练 +43.8，对最强基线 +24.6 |
| OpenArm 物体迁移（位置分布外 OOD） | 加权任务得分 | 45.3 | 协同训练 6.0；Ego-Pi 21.3 | 对 Ego-Pi +24.0 |
| OpenArm 技能迁移（Open/Close） | 加权任务得分 | 62.7（Open 50.7 / Close 74.7） | 所有共享动作基线均为 0.0 | 0.0 → 62.7 |
| 域内 Doll 抓放（保持性） | 加权任务得分 | 49.0 | 协同训练 18.0；域内专属策略 55.0 | 对协同训练 +31.0，接近域内专属水平 |
| 异构训练（HT）后的物体/技能迁移 | 加权任务得分 | 57.2 / 81.7 | 任务级协同训练 51.8 / 62.7 | +5.4 / +19.0 |
| RB-Y1 包裹朝向翻面任务 | 二值成功率（50 次试验） | 78%（几何锚定 HT） | 纯机器人训练 64%；人-机 HT 72% | +14 个百分点 |
| 技能迁移 + 指令条件化 | 加权任务得分 | 83.3 | 62.7 | +20.6 |
| 人-机潜空间对齐（消融） | 归一化人-机潜间隙 | 1.53 | 无跨域正则 3.81 | 降低 59.8% |
| 迁移后执行速度（Open/Close） | 运动速度 (cm/s) | 7.36（得分 62.7） | 机器人遥操作策略 2.52（得分 65.3） | 速度提升约 2.92 倍，得分相当 |
局限与改进
作者在正文承认的局限很少，需从实验设计反推。其一，评测规模小：每个目标物体仅 20 条分布内加 10 条分布外 rollout，加权任务得分是自定义的 0-100 进度分而非标准成功率，统计置信度难以评估；技能迁移的 Open 仅 50.7，与 Close 的 74.7 差距明显。其二，物体迁移只在一台 OpenArm 上验证，RB-Y1 只测了机器人侧下游适配，未做技能级人-机迁移。其三，人类动作需经 HaWoR 重建加重定向管线，几何锚定依赖可准确估计的腕-手几何，遮挡或快速运动下的重建误差会直接污染训练目标。其四，OOD 仅指物体摆放位置变化，未覆盖极端外观、尺寸或抓取姿态变化。其五，部署时使用人类解码器 $D_H$ 的设计假设共享潜空间足以桥接动力学差异，迁移后的 62.7 略低于机器人遥操作策略的 65.3，暗示执行精度上有轻微折损。此外正则细节、超参与任务打分标准都在附录，正文信息不足以完整复现。
独立分析的弱点
第一，管线对 HaWoR 重建质量强依赖：人类视频一旦出现手部遮挡、运动模糊或视角变化，重建出的腕-手动作会带系统误差，几何锚定目标也随之失真；改进方向是给几何目标引入不确定性估计，或在损失中按重建置信度降权。第二，部署使用人类解码器 $D_H$ 是把双刃剑：它保留了人类的快速运动风格，但当目标本体的动力学极限与人类差异过大（更高负载、更少自由度）时可能产生不可执行动作；可按任务或本体学习解码器选择或混合门控。第三，评测指标为自定义加权进度分且 rollout 数少（每物体 20+10 条），Open 技能仅 50.7 的方差可能被低估；建议报告置信区间并引入标准化的真机基准。第四，方法绑定单一预训练主干 RLDX-1-IMG 与 Inspire 手，跨主干（如 π0、GR00T 类模型）与跨末端（平行夹爪、异构多指手）的泛化性未验证；可在多种末端配置上重复 HT 实验检验。第五，几何锚定只约束腕与指尖，未对物体侧几何（如物体位姿）做对齐，物体外观差异大时条件特征仍可能失配；可扩展到手-物体空间几何目标。
未来方向
作者提出或暗示的方向包括：把指令条件化（技能迁移从 62.7 提到 83.3）与异构 HT 训练叠加，检验两者增益是否互补；继续扩大异构人-机数据的本体数量与人类数据规模，验证 HT 增益（技能 +19.0）是否随数据量持续上升；在 RB-Y1 类任务上引入技能级人-机迁移。基于成果可延伸的方向：把几何锚定从腕-手扩展到手-物体-场景的更完整空间几何，并减少对显式手部姿态估计的依赖，例如用可微渲染或自监督视频表征隐式提供几何信号；将解耦解码器思想用于长时序多技能任务，研究潜空间中的技能组合与插值；结合在线纠错或强化学习，在真机部署后用少量机器人交互修正 $D_H$ 输出的执行动力学；以及把人类演示来源扩展到互联网视频，做无遥操作的大规模预训练适配。
复现评估
复现难度偏高。论文为 arXiv 预印本，正文未提及开源代码或数据；核心依赖之一的预训练 VLA 是 RLWRLD 内部的 RLDX-1-IMG，外界无法直接获得，这是最大门槛。相对可获取的组件：HaWoR（Zhang et al., 2025）是公开的手部重建方法，腕-手表示与几何锚定损失均可自行实现；变分动作分词器结构简单（共享编码器加双解码器，重建加 KL 加质心正则）。硬件上需要 OpenArm 人形机器人加 Inspire 灵巧手做真机评测，还需约 100 条遥操作数据（Table 3b 的机器人基线）与人类演示采集；RB-Y1 实验则需另一台专有机器人。若退而求其次，在仿真环境（如 LIBERO/RoboCasa）用开源流匹配 VLA 复现「解耦分词器+几何锚定」的相对增益是中等难度的可行项目；完整真机复现则需机器人平台、预训练权重与遥操作管线齐备，属于高难度。
论文图表
总览图：H2RB 利用预训练 VLA，把人类视频中的任务经验迁移到机器人，桥接跨本体的感知鸿沟与动作鸿沟，全程不需要目标机器人演示，也不需要人-机配对演示。
一图给出问题设定与方法定位，是理解全文「人类演示作为可扩展监督源」这一主张的入口。
四类失败模式：(a) 人类专属策略抓取失败（腕部对不准）；(b) 机器人专属策略完全无视目标位置；(c) Ego-Pi 共享动作产生无效抓取姿态；(d) 共享动作基线在人类任务环境里回退执行机器人的抓放动作而非开门。
解释为什么单纯共享动作空间不够：坐标级对齐不解决感知失配，也不阻止预测向机器人潜分布回退，是方法动机的实证支撑。