用「触觉做梦」学习多功能人形机器人操作 Learning Versatile Humanoid Manipulation with Touch Dreaming

流程分四阶段。第一阶段 LBC 仿真训练：在 IsaacLab 用 PPO 训练 teacher $\pi^T(s_{\text{proprio}}, s_{\text{priv}}, v, \text{rpy}, h)$，$s_{\text{priv}}=c_{\text{feet}}\in\{0,1\}^2$ 为仿真特权信息；回报含跟踪/正则/接触/步态/稳定性多组奖励。通过 DAgger 蒸馏出 student $\pi^S(s_{\text{proprio}}, s_{\text{history}}, v, \text{rpy}, h)$，损失 $\mathcal{L}=\|q^S_{\text{lower}}-q^T_{\text{lower}}\|_2^2$。第二阶段 VR 遥操：头/腕/手动作映射到 $x_{\text{wrist}}$（IK）、$x_{\text{hand}}$（DexPilot 重定向）和躯干命令 $(v,\text{rpy},h)$；每只手记录 1062 维分布式触觉（17 区域）和关节力，同步双腕+双目 RGB，得到 $\mathcal{D}=\{(o_t, A_t, F_{t:t+\tau}, S_{t:t+\tau})\}$。第三阶段 HTD 单阶段训练：ResNet/MLP/触觉 CNN 通过 cross-attention 聚合为 token，Transformer 编-解码融合；动作专家输出 EE 位姿、躯干位姿、速度命令与手部动作；梦境专家用 Smooth L1 预测未来力、用 cosine+幅度损失预测未来触觉潜变量；目标潜变量 $z^\star_{j,k}=\text{stopgrad}\,T^{\text{tact}}_T(s_{j,k})$，EMA 更新 $\theta_T\leftarrow \alpha\theta_T+(1-\alpha)\theta_S$，总损失 $\mathcal{L}=\sum_i L^{\text{act},m_i}+\lambda_F L_{\text{force}}+\lambda_Z L_{\text{tact}}$。第四阶段部署：30 Hz 策略流式输出给 50 Hz 的 LBC/IK/手部重定向，梦境头仅训练时使用。

相较已有工作，方法新颖性体现在三方面：(1) **架构**——首次把 modular expert 分解应用到全身人形策略，使速度命令等低维关键量不必和位姿挤在同一动作头里，缓解表示容量争用；(2) **目标**——首次把 JEPA 式「预测未来潜变量」从视觉、自监督多模态引入到策略内的触觉监督，并通过 EMA+stop-grad 防止模态坍缩，实现单阶段端到端的接触感知表征学习；(3) **系统**——首次将 RL-based LBC、VR 灵巧遥操、分布式触觉感知、视-触多模态策略整合到一个闭环里，覆盖从硬件到部署的完整链路。作者明确指出与 ViTacFormer（两阶段预训练后接下游策略）、DreamTacVLA（世界模型风格潜规划）等路线的根本差异点。

(1) 共享 Transformer 主干缺乏模态路由：Tea Serving（双臂刚体持杯）和 Towel Folding（单臂形变）切换时模态贡献差异大，改进方向可加 Mixture-of-Experts 或任务条件 token，让梦境专家按任务类型选择性激活。(2) 梦境头推理时完全丢弃：梦到的潜变量没用于规划或动作选择，改进方向是把它作为隐式世界模型的中间状态，在推理时迭代展开构成「act-and-dream」闭环。(3) 数据规模未披露：论文未给出每任务演示条数与总数据量，训练集较小则泛化性堪忧，建议补充 ~50-100 demos/任务与跨任务迁移结果。(4) 触觉传感器布局固定：1062 维/手 × 17 区域已绑定硬件，换手需要重训 EMA 教师；改进方向是探索传感器无关的潜空间（如 I-JEPA 风格的大规模自监督预训练）。(5) roll 稳定性是薄弱环节：侧向倾倒容忍度低，对横向姿态变化大的任务（如叠毛巾）可能受影响，可在 LBC 奖励中加 roll 维度的额外正则，或用课程学习先学 roll 再学复合运动。

**(作者视角)**：(i) 把梦境触觉用作推理时显式规划信号，而非仅训练正则项；(ii) 把 EMA 教师替换为更大规模、在多任务多本体数据上预训练的通用触觉基础模型；(iii) 探索梦境潜在变量到 VLA 大模型的对接。**(延伸视角)**：(a) 把 Touch Dreaming 搬到导航或双臂协作任务中，验证 JEPA-style 监督对其他稀疏高维模态（如声学、深度）的有效性；(b) 跨本体迁移——共享的触觉潜空间是否能让一个任务上的训练数据帮助另一个任务；(c) 长期目标是构造「视觉-触觉-语言-动作」四模态世界模型，使人形机器人在接触丰富任务上具备预测-执行闭环；(d) 安全性：本文在 evaluation 上完全是成功率/得分，下一步应纳入「接触力上限」「失败恢复行为」等面向真实部署的安全指标。

**(a) 资源**：项目主页 humanoid-touch-dream.github.io 声称开源材料和补充视频；具体代码仓库和权重发布情况需到主页核实。(b) 数据：演示通过 VR 遥操在自有硬件平台（人形机器人 + 灵巧手 + 头部双目 + 腕部相机 + 分布式触觉传感器）上采集，硬件非商用可获得，第三方难以完全复现；同时每任务训练 demo 数未给出。(c) 算力：LBC 训练在 4096 个并行环境跑 500 步评估，需要 GPU 集群（IsaacLab 需要一定规模仿真）；HTD 单阶段训练 Transformer 需要多 GPU 但论文未给具体卡数和时间。(d) 难度评估：仿真部分（Table II）较易复现；实机训练 pipeline 较难；五任务实机评估是最大瓶颈，需要从头搭建硬件、采集数据、训练策略，整体复现难度 **高**，建议先精读 paper 与附录，再决定是否启动个人复现。