RLHND：面向机器人学习的视频基础模型物理接地手部跟踪器 RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning

完整流程如下。第一步，输入与编码：单目视频切成 $W$ 个 $T=81$ 帧的 clip（480p），VAE 编码为干净潜变量，经 Cosmos 3 Nano conditioning 接口加 LoRA 得到特征网格 $F$。第二步，姿态解码：token 化并加空间位置与 Fourier 射线编码（射线头预测单位视线射线，受标定像素射线的余弦距离监督，其 Fourier 编码兼作位置嵌入）；双手 token 为 $X_w^H=q_H+g_\beta(\beta_{cache})$；$L$ 层交替注意力解码后输出关节角、形状、深度与存在概率。第三步，度量平移恢复：深度头直出 $\hat{\tau}_{z,t}$，2D anchor 反投影成 bearing，按权重 $w_{t,j}=z_{t,j}^{-2}$ 闭式最小二乘解 $\hat{\tau}_{x,t},\hat{\tau}_{y,t}$，失败时回退到腕部放置。第四步，$\beta$-cache 推理（Algorithm 1）：逐 clip 解码，缓存首个可见比例超过阈值 $T_v$ 的 clip 的形状并回溯重解码被扣留的 clips；有外部标定则零探测、每 clip 只解码一次。第五步，触理解码（stage-2，姿态流冻结）：每手 16 个骨 token 做时间推理，输出端按式 (6) 用固定蒙皮权重扩散 $h_{t,v}=\sum_{j\in\mathcal{B}} X_{t,j}^{LB} W_{lbs,vj}+m_v$，MLP 读接触 logit 与力分布；每手总力 $\hat{F}_t$ 经 softplus 读出，顶点力 $\hat{f}_{t,v}=\hat{F}_t\,\mathrm{softmax}_v$。第六步，训练：stage-1 共 20k 步、8×H100、有效 batch 32、bf16，损失含旋转/形状/3D/2D/平移/存在性/时间平滑/射线 8 项；stage-2 共 20k 步、单张 A100，损失为正类权重 10 的加权 BCE 加力总量与顶点分布 CE。数据为 7 个姿态数据集（ARCTIC、HOT3D、H2O、OakInk2、DexYCB、HO3D、HRDexDB）、力标签源 OpenTouch（覆盖 205 顶点）与 PVDB（421 掌侧顶点），以及网格推导的 contact-only 标签——用签名距离 $\delta_c=5$mm 判定，解决网格互穿漏标（无符号规则在一个 DexYCB 抓握中漏掉 364 个真接触顶点中的 253 个）。

新颖性体现在三个层面。第一，接口级的视频基础模型复用：把扩散主干改造成特征提取器并不新鲜，但本文细致论证了 conditioning-frame 接口才是与预训练对齐的干净帧入口，并以换用 Wan2.2 的消融（ARCTIC MPJPE-p 13.36 对 16.62mm）定量支撑，为“如何正确微调视频基础模型”提供方法论。第二，用表示层设计直接消灭两类被忽视的失败模式：形状缓存使 $\sigma_{shape}$ 严格为 0（Table 1 中 1.30→0.00），解剖学约束把不可行关节从参数空间排除，且二者互补——单独移除 A1/A2 分别使 MPJPE-p 退化到 14.26/14.87mm。逆运动学标签转换本身也经过系统求解器对比（Table 6：阻尼 GN 以 1× 成本逼近 Adam 283× 成本的精度，并避开无阻尼 GN 在伸直手指时 25mm 的最坏帧误差）。第三，触觉与姿态的解耦训练加 LBS 特征扩散：以 2|B|=32 个骨 token 替代 778 顶点注意力，用 MANO 固定蒙皮先验替代可学习扩散矩阵（B1 消融中可学习版本全面更差）；B2 消融证明混入网格推导的 contact-only 数据是触觉性能关键（去掉后 DexYCB F1 从 0.572 崩到 0.047）。此外附录 B.6 的负结果（让触觉专家单向注意姿态 token 无增益，OpenTouch F1 反而 0.696→0.635）说明骨 token 已隐式携带姿态信息，同样有参考价值。整体是“基础模型先验 + 部署驱动的结构先验 + 数据工程”的系统化组合创新。

独立分析以下弱点。第一，实时性缺失：clip 级（81 帧）处理是离线批式的，遥操作、在线数据采集等低延迟场景无法直接使用，论文也未报告视频解码与窗口重叠的端到端延迟；改进方向是滑动窗口增量推理与潜变量级状态缓存（β-cache 思路可推广），或将 7.8B 编码器蒸馏为小型学生模型。第二，力的泛化受制于传感器：监督只覆盖手套 205 个、压力板 421 个顶点，kPa 数值与具体传感器标定绑定，换新数据源会有域偏移；改进方向是引入标定不变的物理中介量（接触面积、法向速度）或跨传感器归一化训练。第三，单目度量深度未闭环：真实机器人管线中 RLHND 关键点仍需按立体深度逐帧缩放对齐（中位偏置 +2.2cm），说明尺度-深度模糊只是被缓解；改进方向是把外部 β 标定与场景尺度线索（桌面平面、物体先验尺寸）融入平移求解器。第四，接触到力的决策断层：DPP 部署时接触概率仅以 0.05 阈值二值化并统一推进 15mm，连续力分布完全未用于控制；改进方向是力感知的注入量调节或结合阻抗控制。第五，两流完全解耦的天花板：B.6 显示直接注意力无增益，但也意味着触觉流无法利用姿态流的遮挡推理能力，可探索骨 token 之上的轻量跨流融合或 stage-2 低学习率联合微调。

作者明确提出的方向包括：把 EgoPressure 等更新的自我中心压力数据集在统一表面表征与压力单位后纳入训练以扩大力监督规模；在无约束采集场景中验证外部 $\beta$ 标定与 $\beta$-cache 对劣质首窗口的鲁棒性；把预测力从二值接触升级为真实的控制信号（超越固定 15mm 偏移与锁定外展关节的固定 IK 重定向）。基于本文成果可自然延伸的研究还有：用 RLHND 对大规模互联网手部视频自动标注姿态、接触与力，构建“人类侧”VLA 预训练语料，打通人类视频到机器人策略的规模化路径；把稠密接触/力预测接入可微物理仿真，用于 sim2real 校准或策略的接触奖励构造；将 clip 级模型流式化以支持在线遥操作与实时数据采集质检；把输出从手扩展到手-臂整体（肘、腕、躯干线索）以及物体侧的接触/力联合估计，形成双向物理标注；以及针对作者伦理声明中自认的局限，系统审计跨被试、手型与肤色的性能差异并做针对性平衡。

复现友好度较高。作者承诺开源代码与预训练权重（项目页 seungjun-moon.github.io/rlhnd），训练与评估全部使用公开数据集（ARCTIC、HOT3D、H2O、OakInk2、DexYCB、HO3D、HRDexDB、EgoDex，触觉用 OpenTouch 与 PressureVisionDB），不涉及新采集人类数据。附录 A 信息完整：伪标签生成可查（Table 6 给出 45→29 自由度转换各求解器的误差与成本、λ=10⁻³、3 次迭代；签名距离接触规则 δc=5mm；OpenTouch/PVDB 力标签提升与门控协议；Algorithm 1 伪代码）；损失权重逐项列出（Table 7）；训练超参完整（AdamW、bf16、分层学习率、stage-1 20k 步 / stage-2 20k 步）；基线全部用官方权重在相同帧上重跑。算力门槛中等：完整复现 stage-1 需约 8 张 H100（有效 batch 32），stage-2 仅需单张 A100，只做推理或微调触觉专家门槛低得多。不可复现部分是真实机器人实验（RB-Y1 双臂机器人 + WUJI Hand 2 与专属遥操作数据），但重定向评估用公开 DexPilot 求解器在给出运动学参数的五个灵巧手上进行，可独立复现。潜在障碍主要是 Cosmos 3 Nano 权重获取许可，以及 HOPE checkpoint 需向作者索取。