形态计量模仿：从形态与接触感知的手部重定向到 Sim-to-Real 视觉运动策略 Morphometric Imitation: From Morphology and Contact Aware Hand Retargeting to Sim-to-Real Visuomotor Policy
优化人手模型匹配机器人形态并保留接触，经残差RL与蒸馏实现89.3%真机零样本成功率
前置知识
MANO 人手参数化模型
MANO 是从手部扫描数据学得的统计模型：输入形状参数 $\beta$ 与姿态参数 $\theta$（腕部全局旋转 $\theta_g$ 加 15 个手指关节的轴角旋转 $\theta_h$），通过模板网格、形状/姿态混合形状、关节回归器和蒙皮函数 $W$ 输出带姿态的手部网格与关节位置。GRAB 等手-物体交互数据集均以 MANO 为标准表示。
本文的核心组件 Scaled MANO 是在 MANO 基础上扩展的可缩放版本，运动学重定向、接触检测全部依赖 MANO 的网格拓扑与顶点对应关系，不懂 MANO 无法理解第一阶段的数学构造。
运动学重定向与动力学重定向
运动学重定向把重建的人手关节角或关键点映射为机器人手关节配置，纯几何求解、不考虑物理可行性；动力学重定向则在物理仿真中把参考轨迹修正为满足接触动力学、无碰撞、力不超限的可执行轨迹。前者产生参考，后者产生可用于模仿学习的演示。
本文三阶段流水线中 MMO 对应运动学重定向、残差 RL 对应动力学重定向，理解两者的分工与评价指标（接触 F1 vs 任务成功率）是读懂实验设计的前提。
残差强化学习 (Residual RL)
以参考轨迹 $q_{ref}$ 为 warm start，策略每步只预测残差动作 $\Delta q_t$，实际下发指令为 $q_{cmd} = q_{ref} + \Delta q_t$，用 PPO 训练。策略不必从零探索复杂接触行为，只需在参考附近做修正，训练快且稳定。
本文第二阶段用残差 RL 把 MMO 给出的运动学参考细化成物理可行的演示，其观测、奖励、终止条件的设计（物体位姿+接触信息）正是全文的核心消融对象。
域随机化与零样本 Sim-to-Real
在仿真训练时随机化物理参数（摩擦、质量、质心、PD 增益、物体各向异性缩放）与初始条件（物体位置、朝向、轨迹起始时刻），使策略学到对参数摄动鲁棒的行为，从而不经任何真机微调直接部署到硬件。
本文教师策略训练和蒸馏阶段的点云随机化都依赖域随机化，这是最终 300 次真机试验拿到 89.3% 零样本成功率、且无一例硬性桌面碰撞的关键。
流匹配与策略蒸馏
流匹配 (flow matching) 学习从噪声分布到动作分布的向量场，是扩散类生成模型的近亲，适合生成连续动作块；策略蒸馏则让带特权状态观测的教师策略产生演示，再训练只使用真实机器人可获得观测（点云、本体感知）的学生策略。
本文用 ManiFlow 的点云编码器 + DiT-X 动作生成器 + 流匹配/一致性训练，把残差 RL 教师蒸馏成 10Hz 执行的点云学生策略，是连接仿真演示与真机部署的最后一环。
研究动机
遥操作采集机器人演示质量高但成本、时间、人力受限，因此学界希望直接利用重建的人类手-物体交互（HOI）数据训练灵巧手。但把自然人类运动搬到机器人手要连闯三关。第一关是形态差异：人手五指、关节数多，而目标机械手可能是三指 Dex3（7 自由度）、四指 Allegro 或五指 Sharpa（22 自由度），完美几何对应原则上不存在，向量缩放式重定向（DexPilot、AnyTeleop）会把手指放错位置，论文给出的人类参考中甚至存在重建误差，如拇指穿透碗 5.8mm。第二关是动力学可行性：自然人类桌面运动包含贴近桌面的抓取，直接执行会撞桌或产生过大力，而已有工作要么约束人类演示的采集方式（限制工作区和抓取姿势），要么只用物体跟踪奖励做残差 RL（如 Chen et al.），丢弃了演示中的接触语义。第三关是 sim-to-real：即使仿真中训练出策略，点云观测、物体属性差异仍会使成功率大幅下降。论文的 Table I 显示，此前没有方法能同时覆盖运动学重定向、动力学重定向、零样本真机部署且仅用无约束自然人类数据。
本文的目标是本文要构建一个端到端三阶段框架 Morphometric Imitation：第一阶段用形态计量优化（MMO）把 MANO 表示的人手 HOI 轨迹运动学重定向到三指、四指或五指机械手，同时对齐形态并保留演示中的接触；第二阶段用残差 RL 在物理仿真中把运动学参考细化为动力学可行、接触稳定、避免桌碰的机器人演示；第三阶段把演示蒸馏成只依赖深度点云的视觉运动策略，实现零样本 sim-to-real 部署。评估上要回答四个问题：MMO 是否比五个已有运动学重定向基线更好保留接触；更好的运动学参考能否提升下游动力学重定向成功率；物体位姿与接触信息是否都必要；策略能否在 10cm×10cm 随机初始位姿下对 30 个真实物体稳定工作。
与已有工作不同的是，本文的独特切入点是方向反转：不把人类数据改造成适配机器人，而是优化人手模型去匹配机器人形态。具体做法是提出 Scaled MANO，让 MANO 的手掌与五根手指各自独立缩放，先把人手“长成”目标机械手的比例，再通过逐帧接触匹配恢复因形态变换而丢失的接触位置。与 OmniRetarget 的四面体网格匹配、Contact PyRoki 的指尖-物体邻近目标都不同，MMO 优化的是人手原始接触区域在变形后的复原。第二阶段同样有独立视角：先前残差 RL 工作大多只奖励物体跟踪，本文认为成功的动力学重定向应同时保持物体运动和产生该运动的接触行为，因此把两者同时编入观测、奖励 $r_t = r_{obj,t} \cdot r_{contact,t}$ 和终止条件，并用消融证明二者互补。此外全文显式处理机器人-桌面碰撞，这对把自然人类桌面运动（手经常贴近甚至低于桌面）迁移到真机至关重要，也是多数先行工作忽略的。评测方法学上，本文提出 location-aware 接触 F1 与接触补丁距离，直接度量重定向质量，而非只看遥操作效果。
核心方法
直觉上，让机器人学会人手的抓取，最自然的老师是人类自己：GRAB 数据集提供了带物体的高精度手-物体轨迹，但人手和机械手形态不同，硬搬会既丢接触又不可执行。本文分三步走。第一步“改人手”：构造 Scaled MANO，把手掌绕腕、每根手指绕各自 MCP 关节独立缩放，先用 URDF 长度比例初始化，再经非线性最小二乘让缩放后的人手关节与指尖对齐目标机械手骨架（形态匹配）；第二步，由于变形会破坏原接触，逐帧重新优化这只“机器人形状的人手”，把接触顶点拉回参考接触位置，同时惩罚桌面穿透、保持耦合手指相对构型（接触匹配）；第三步“搬机器人”：用线性混合重定向把对齐后的 MANO 骨架映射为机械手每个连杆（含腕部）的 6-DoF 位姿目标，再以 PyRoki 联合求解臂+手 IK 得到逐帧关节参考 $q_{ref}$。第四步在 ManiSkill 中用 PPO 训练残差策略 $q_{cmd}=q_{ref}+\Delta q$，以物体位姿与接触信息共同塑形奖励并设早停，产出动力学可行的演示。最后用流匹配把这些演示连同深度点云蒸馏成学生视觉运动策略，零样本部署到 KUKA iiwa14 + Sharpa Wave 真机。
核心创新是“先变形态、再修接触”的解耦式重定向。已有方法（DexPilot、AnyTeleop）均匀缩放人手指尖向量，接触位置随形态差被动漂移；OmniRetarget 的四面体网格匹配 F1 仅 7.6%-14.5%。本文的 Scaled MANO 用六维缩放向量 $S$（手掌 + 五指各一维）分两阶段变形 MANO：先整手绕腕以 $S_{palm}$ 缩放，再每根手指以 $\alpha_i = S_i / S_{palm}$ 绕其 MCP 关节缩放——利用手指顶点对自身手指关节混合权重 $w_i(v) \approx 1$ 的性质，顶点更新闭式化为 $T''_v \approx \alpha_i (T'_v - j_{MCP_i}) + j_{MCP_i}$，各指独立伸缩互不影响。对齐后参考手与原 MANO 拓扑一致，接触集合可直接按顶点索引迁移，再逐帧优化精确复原。第二个关键思想是残差 RL 中物体位姿与接触信息的互补编码：$r_{obj,t}=e^{-\alpha D_{Np,t}}$ 用 ADD 点距驱动任务运动，$r_{contact,t}=1-|N_{goal,t}-N_{obs,t}|/N_{max}$ 按机械手指数归一化地保持接触手指数量，消融显示只用其一会损失 15-40 个百分点的成功率。
方法步骤详情
第一阶段形态匹配：从机器人 URDF 提取关节位置 $J_R$ 与指尖位置 $F_R$ 及语义对应映射 $C$，以 URDF 比例初始化缩放向量 $S$、以对齐掌面旋转初始化 $\theta_g$，最小化 $L_{align}=w_j L_j + w_f L_f$（Levenberg-Marquardt），每手一次，输出形态对齐手 $M_{morph}$。第二阶段接触匹配：逐帧检测参考手距物体顶点 ≤5mm 的接触集 $H_c$，非接触帧继承接触最多帧的目标；每帧优化 $\Psi=[\theta_g, t, \theta_h]$，损失 $L_{contact}=w_c L_c + w_d L_d + w_{table} L_{table} + w_p L_p$ 分别负责接触顶点对齐、耦合手指间距（少指手把多根人指映射到同一机械指）、桌面穿透惩罚与姿态正则，帧间热启动。第三阶段位姿恢复：rest pose 下用热扩散法算混合权重，逐帧混合 MANO 关节变换得每个机械连杆（含腕部）的 6-DoF 目标，PyRoki 联合解臂+手 IK 并附加 JAX 手-桌碰撞检查；MMO 在 RTX 4090 上达单手 180 帧/秒（不含 IK）。第四阶段残差 RL：观测含本体感知、物体观测/参考位姿、参考关节与接触状态、连杆-桌面间隙及物体属性；PPO 训练 $q_{cmd}=q_{ref}+\Delta q$；跟踪误差/接触失配超阈值、桌碰、力超限即早停；域随机化覆盖 PD 增益、摩擦、质量、质心、10cm×10cm 初始位置、±15° 偏航、随机起始时间步与外力，每策略 60-90 分钟。第五阶段蒸馏：教师 rollout 记录关节目标、本体感知与深度点云（RANSAC 去桌面），学生用 ManiFlow 点云编码器 + DiT-X + 流匹配训练，输入 $(p_t, p_{t-1}, q_t, a_{t-1})$，10Hz 执行 3 步动作块后重规划。
技术新颖性
技术新颖性体现在四个层面。其一，Scaled MANO 的两阶段独立缩放是新的数学构造：利用 MANO 蒙皮权重中手指顶点对自身手指关节权重和为 1 的性质，推导出绕 MCP 关节缩放的闭式顶点更新，使形状混合形状与姿态混合形状同步缩放，这是任何现有人手模型不具备的能力。其二，重定向目标从“指尖接近”升级为“接触区域复原”：基线只在指尖-物体距离上做文章，本文显式优化每个接触顶点的三维位置，并用 location-aware F1 证明只有“帧、物体位置、手指部位”三者都对上才算正确接触，这一评测协议本身就是方法学贡献（含 failure-adjusted 平均防止失败序列被剔除后虚高）。其三，线性混合重定向把蒙皮思想搬到 1D 骨架图上，直接给出包括腕部在内所有连杆的 6-DoF 目标，而 DexPilot/AnyTeleop 只产生稀疏指尖位置、还需额外启发式重构腕部位姿。其四，残差 RL 同时使用物体位姿与接触信息的奖励乘积形式 $r_t = r_{obj,t} \cdot r_{contact,t}$，并用严格对照消融（同一 MMO 参考、同一超参）首次量化二者互补性。全文同一套超参跑通 3 种手与 10 类物体，也验证了公式的形态无关性。
实验结果
运动学重定向（Table II，每手 10 条 GRAB 轨迹，5mm 容差）：MMO 的 location-aware F1 在 Dex3/Allegro/Sharpa 达 38.0%、30.3%、37.2%，比最强基线（Position 10.2%/22.0%，Contact PyRoki 26.7%）高出 27.8、8.3、10.5 个百分点；补丁距离降至 7.5/9.1/9.7mm，基线最好为 18.9/18.7/10.7mm。动力学重定向（Table III，每类 2048 仿真 rollout，超参固定）：MMO 参考的成功率达 82.5%/69.9%/91.8%，较最强基线（53.2%/68.2%/56.5%）最高提升 35.3 点；接触期 C-ADD 从 5.36/6.26/5.76cm 降至 4.10/5.01/3.41cm。消融（Table IV）：只用物体位姿成功率降至 51.2%/47.6%/76.6%，只用接触降至 42.5%/41.6%/54.3%，并用最优——位姿管任务跟踪、接触管交互保持。真机（Table V，Sharpa）：教师仿真 91.78% → 学生仿真 93.75% → 真机 89.33%（300 次试验、30 个物体、10cm×10cm 随机位姿），仅比仿真低 4.4 点；灯泡 30/30 全成，透明酒杯靠杯内乒乓球做部分观测仍达 93.3%，全类别 ≥80%，无一例硬性桌碰。跨形态上，五指 22 自由度的 Sharpa 最好，三指 7 自由度的 Dex3 反超四指 Allegro——手指更细更接近人手比例，贴桌与穿环抓取余量更大。失败集中在工作区近行定位（29 次网格内失败中 22 次）与预抓取张角不足推走物体（最厚的红色闹钟）。附录显示 MMO 在 1/5/10mm 全部容差上 F1 均最高，配对 bootstrap 区间大多不含零。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 运动学重定向接触保持（Dex3，10 条 GRAB 轨迹） | Location-aware contact F1 @5mm（failure-adjusted） | 38.0% | 10.2%（Position，最强基线） | +27.8 个百分点 |
| 运动学重定向接触保持（Allegro） | Location-aware contact F1 @5mm | 30.3% | 22.0%（Position） | +8.3 个百分点 |
| 运动学重定向接触保持（Sharpa） | Location-aware contact F1 @5mm | 37.2% | 26.7%（Contact-Aware PyRoki） | +10.5 个百分点 |
| 运动学重定向几何误差（Dex3/Allegro/Sharpa） | 接触补丁距离（越低越好） | 7.5 / 9.1 / 9.7 mm | 18.9 / 18.7 / 10.7 mm（各手最强基线） | 降低约 50%-60%（Dex3、Allegro） |
| 动力学重定向任务成功率（Sharpa，每类 2048 rollout） | Success Rate | 91.8% | 56.5%（OmniRetarget） | +35.3 个百分点 |
| 动力学重定向任务成功率（Dex3） | Success Rate | 82.5% | 53.2%（OmniRetarget） | +29.3 个百分点 |
| 零样本真机视觉运动部署（Sharpa，10 类 30 物体） | Success Rate（300 次硬件试验） | 89.33% | 仿真学生 93.75%（无真机基线，差距反映 sim-to-real gap） | 仅比仿真低 4.4 个百分点；灯泡 30/30，酒杯（部分观测）93.3% |
局限与改进
作者承认的局限：每类物体需单独训练残差 RL 教师与视觉学生策略，尚无统一多任务策略；真机只在单一臂-手系统（KUKA iiwa14 + Sharpa Wave）验证；演示仅 10 条动捕轨迹，而人类数据 scalable 的卖点依赖单目视频重建，尚未打通。我观察到的额外局限：其一，MMO 假设参考手与 MANO 拓扑一致并依赖 5mm 阈值检测接触，GRAB 是高质量动捕重建，换成单目视频的噪声重建时该操作性阈值会变脆弱（作者在附录也声明 5mm 并非标定过的物理精度，物体网格边长 0.88-2.10mm 限制毫米级声明的可信度）；其二，人类参考本身含几何误差（拇指穿碗 5.8mm），MMO 会忠实恢复这些错误接触，只能靠物理阶段兜底；其三，各向异性缩放随机化覆盖不了剧烈几何变体——torus 的两个胶带卷实例远薄于 GRAB 的贝果形参考，导致真机最低 80% 成功率，说明形状泛化主要靠演示分布而非策略本身；其四，人指到机械指的映射 $g$ 固定，对复杂手内重定向可能次优；其五，深度相机对黑色、透明物体回波缺失（小手电、黑色闹钟、酒杯玻璃），策略鲁棒性部分靠点云随机化的“运气”。
独立分析的弱点
第一，逐类别训练的扩展性：10 类 × 3 手 = 30 个教师策略（各 60-90 分钟）加 10 个学生策略，遇到新物体须重走全流程，与“人类数据可规模化”的动机形成张力；改进方向是以 MMO 参考为条件训练单一多任务策略，或按物体类别做检索式条件化。第二，感知盲区：LiDAR 对透明/黑色物体失效，酒杯要在杯碗里放乒乓球才能工作，真实家庭场景不可接受；可引入触觉指尖、多视角 RGB 或透明物体深度补全。第三，定位失败集中在靠近基座的近行（22/29），提示近场点云分布或相机标定有系统性偏差；可做工作区相关的点云密度均衡、主动视角调整或把基座距离显式加入观测。第四，预抓取张角不足推走物体（红色闹钟案例），本质是学生对几何的推理失败；可在演示中增加开合度多样性，或对学生训练加入接触前接近速度的塑形。第五，固定的人-机手指映射 $g$ 与耦合手指约束在少指手上丢失手指分工信息，可学习软对应或接触图匹配。第六，训练在刚体仿真中完成，未处理可变形物、工具使用与双臂协作，桌碰终止设计也不适用于非平面支撑面。
未来方向
作者提出的方向：把十个类别的演示蒸馏成统一多任务策略；把部署扩展到 Dex3 和 Allegro 真机系统；把 MMO（运行 180 帧/秒、只需手与物体网格）接入单目视频 HOI 重建以兑现人类数据规模化的论点，包括双手交互；以计算与数据高效的方式提升对更广物体位姿与形状的泛化。基于本文成果可自然延伸的研究：一是把 location-aware 接触 F1 协议推广为社区标准的重定向基准，补齐目前“只看遥操作手感”的评测空白；二是将 Scaled MANO 的形态匹配与可微分接触模型结合，直接在梯度层面优化抓取质量；三是用该流水线做自动化数据引擎——MMO+残差 RL 在仿真中批量生成物理可行演示，供大规模视觉运动预训练（与文中提到的 EgoScale、Dyna-2 等数据规模化工作互补）；四是结合触觉传感与透明物体重建弥补点云观测短板；五是探索接触信息在人-机手之间的跨形态不变表示，使单一策略可服务多种末端执行器。
复现评估
复现条件总体友好。数据方面：GRAB 是公开数据集，10 条轨迹、10 类物体网格、真机 30 个实体的质量/尺寸/逐实例成功率在附录 Table X-XI 全部披露。算法方面：MMO 基于 JAX、开源 MANO 实现、jaxls 最小二乘求解器与 PyRoki IK 构建，各组件均开源；残差 RL 用 ManiSkill + PPO，蒸馏用 ManiFlow 公开配方；附录给出完整超参、域随机化细节、质心可行采样算法、奖励与终止条件公式、failure-adjusted 评测协议与配对 bootstrap 统计，并提到有 numerical release 提供逐序列数值。算力方面：单张 RTX 4090 即可复现全部仿真结果（MMO 180 帧/秒、教师 60-90 分钟/个），且除手指对应映射 $C$ 外三只手共用同一套超参，调参负担小。主要障碍在真机：需要 KUKA iiwa14 + Sharpa Wave + Intel RealSense L515，硬件昂贵且 Sharpa 并非普及设备，多数实验室难以逐字复现硬件结果，但仿真部分（Table II-IV 全部结论）可完整复现。未检索到官方代码仓库的明确声明，若代码未发布，按附录细节复现 MMO 约需数周工程量。
论文图表
逐类别给出三个部署阶段的成功率：教师仿真总体 91.78%，学生仿真 93.75%（7/10 类持平或超过教师，最大退化在立方块 92.14→76.56 与酒杯 92.19→85.94），真机学生 89.33%（灯泡 100%、杯 93.33%、torus 最低 80%），真机比仿真学生仅低 4.4 个百分点。
这是最终部署成果的总表，把蒸馏损失与 sim-to-real gap 分离开来量化，支撑 89.3% 零样本真机成功率这一头条结论。