HydroShear:面向触觉 Sim-to-Real 强化学习的水弹性剪切仿真 HydroShear: Hydroelastic Shear Simulation for Tactile Sim-to-Real Reinforcement Learning

HydroShear 的方法分为三大块,完整流程如下。第一块是 Dilation 场计算 (Eq. 3-4):输入是 marker 位置 $\{p_i\}$ 和压头 SDF $\phi_I$,对每个 marker 算 $\phi_I(p_i)$,把 $\phi_I(p_i)<0$ 的 marker 标记为 '在接触' 集合 $C$;然后按 $\mathbf{M}^d_t = \sum_{i \in C} -\phi_I(p_{c_i})\mathbf{v}_{c_i}\exp(-\lambda_d\|\mathbf{v}_{c_i}\|^2_2)$ 累加,$\mathbf{v}_{c_i} = (x-p^x_{c_i}, y-p^y_{c_i})^T$ 是 marker 到接触点的平面偏移,$\lambda_d$ 控制 shadowing 衰减距离,输出是 dilation 矢量场。第二块是 Shear 场计算 (Eq. 5-17):输入是压头上一帧和当前帧的位姿 $E^I_{t-1}, E^I_t$ 与压头表面点 $\{\bar{\mathbf{o}}_j\}$,先算 $\alpha_{j,t} = (\text{ReLU}(-\phi_E(o_{j,t})) - \text{ReLU}(-\phi_E(o_{j,t-1}))) / (\phi_E(o_{j,t}) - \phi_E(o_{j,t-1}))$ 来截取真正在弹性体里穿行的位移比例 (Eq. 6),再算 $\mathbf{d}_{j,t} = \alpha_{j,t}(\mathbf{o}_{j,t} - \mathbf{o}_{j,t-1})$ (Eq. 7),然后用线性的 Kelvin-Voigt 关系 $\mathbf{f}^n_{j,t} = \tilde{\mathbf{f}}^n_{j,t-1} + E A_j d^n_{j,t}$ 和 $\mathbf{f}^{xy}_{j,t} = \tilde{\mathbf{f}}^{xy}_{j,t-1} + K A_j \mathbf{d}^{xy}_{j,t}$ 累加 (Eq. 8-9),再用 $\bar{\mathbf{f}}^n = \text{ReLU}(\mathbf{f}^n)$ 强制法向力非负,用 $\bar{\mathbf{f}}^{xy} = \min\{1, \mu \bar{\mathbf{f}}^n / \|\mathbf{f}^{xy}\|\} \mathbf{f}^{xy}$ 做 Coulomb 摩擦锥裁剪 (Eq. 10-11),最后用 $\tilde{\mathbf{f}}_{j,t} = H(-\phi_E(\mathbf{o}_{j,t}))\cdot(\bar{\mathbf{f}}^n \hat{\mathbf{n}} + \bar{\mathbf{f}}^{xy})$ 让脱离接触的点清零 (Eq. 12)。在产生 $\tilde{\mathbf{f}}$ 的同时,用相同递归式但把 (E, K, A_j) 置 1 的 '位移追踪器' 得到 $\hat{\mathbf{f}}_{j,t}$ (Eq. 14),并通过 $\tilde{\mathbf{f}} = \frac{K}{A} \hat{\mathbf{f}}$ 把 $\hat{\mathbf{f}}$ 缩放回力 (Eq. 15),用 $\hat{\mathbf{o}}_{j,t} = \mathbf{o}_{j,t} + \hat{\mathbf{f}}_{j,t}$ 把力落到弹性体表面点。最后 $\mathbf{M}^s_t = \sum_{k \in K_t} -\phi_E(\mathbf{o}_{k,t})(-\hat{\mathbf{f}}^{xy}_{k,t})\exp(-\lambda_s\|\mathbf{v}_{k}\|^2_2)$ 得到剪切矢量场 (Eq. 16),与 dilation 场相加得到总 marker 位移 $\mathbf{M}_t = \mathbf{M}^d_t + \mathbf{M}^s_t$ (Eq. 2)。第三块是参数标定 (Sec. III-C):四个参数 $\lambda_d, \lambda_s, K, \mu$ 依次独立标定——压头纯下压 10 个点拟合 $\lambda_d$,压头先下压再平移 10 个点拟合 $\lambda_s$,继续拟合 $K$,再采集 10 段打滑轨迹拟合 $\mu$,每个都是单变量最小二乘,比四变量联合优化稳定得多。模型在 NVIDIA 端以 GPU 并行 batch 方式执行,被嵌入 Isaac Gym 的并行环境循环,与 PPO 教师-学生蒸馏 (Fig. 2) 配合训练学生策略后,直接零样本部署到装有 GelSight Mini 的 Franka Panda 与 WSG-50 真实机器人上。

技术新颖性可以从三个层面分析。第一,模型层面,把 hydroelastic 接触模型从静态压力场推广到 '递归式 + 路径依赖' 的接触力跟踪,公式上保留了 Kelvin-Voigt 线性化的简洁,又能自然涌现 stiction / slip / hysteresis 等真实弹性体行为;而 FOTS 把 $\mathbf{M}_1 = \mathbf{M}_0 + \Delta\mathbf{d}_{\text{dilate}} + \Delta\mathbf{d}_{\text{shear}} + \Delta\mathbf{d}_{\text{twist}}$ 这种 '位移-加法' 写法作为基本假设,本质上假设 marker 位移可分解为几个独立项的简单累加,无法表达粘滑转变中的非线性突变。第二,几何表达层面,首次把压头 SDF 和弹性体 SDF 同时用进触觉仿真,使 '接触点位置'、'穿透深度比例'、'剪切力落点' 全部用 SDF 梯度直接计算,既能处理牛、torus 这类复杂多接触片几何 (Fig. 12),又对 SE(3) 平移/旋转统一适用——这与 FOTS 的 '接触围绕物体中心 G' 形成根本性差异。第三,工程层面,作者公开了一个 GPU 并行化的 FOTS 重实现,把单步推理时间从 122.8ms 压到 11.1ms (256 env 时,Tab. X),这一基线提升使得对比更公平,凸显 HydroShear 在 Tab. I 四个 shear type 上都取得最低 RMSE 和最高 cosine similarity 的真实差距。

独立分析,论文尚有以下可改进之处。第一,参数标定是单变量最小二乘,虽然稳定但忽略了参数间的弱耦合——例如 $\lambda_s$ 和 $K$ 都出现在 shear 公式中,理论上应能联合优化,目前的解可能次优;改进方向是用两次标定 (不同 $\mu$) 解耦后再做一次小范围 grid search。第二,标定对真实数据采集协议非常敏感,10 次下压、10 次平移、10 次打滑需要在 KUKA 机器人上严格控制,这对其他实验室复现是较大门槛;改进方向是设计一个自动化标定 pipeline,例如用轨迹优化自动生成 '最大化 Fisher 信息' 的标定动作。第三,模型只支持刚性压头——若未来推广到可形变物体 (柔性线缆、衣物),SDF 不能再用单一静态场表达,需要换成 occupancy field 或可微 mesh;改进方向是引入 neural SDF 或 SDF 动态更新。第四,虽然 GPU 并行,但 SDF 计算仍是瓶颈 (Sec. I 速度分析),在 1024 env 时单步 103.7ms 仍显著慢于 FOTS Reimpl. 的 12.0ms;改进方向是用 spatial hashing 或 narrow-band level set 优化 SDF 求解。第五,所有 4 个任务都基于 GelSight Mini,真实场景中传感器类型多样 (DIGIT、TacTip、磁性/电容),模型参数 (E, K, μ) 需要重新标定,缺乏迁移机制;改进方向是把标定参数 (E, K, μ) 表达为弹性体的可测宏观属性 (邵氏硬度、摩擦系数),让参数具有物理含义以便跨传感器迁移。

作者在 Sec. V 提到的未来方向有: (a) 接入原生支持 hydroelastic 接触的物理引擎 (如 Drake),摆脱 Kelvin-Voigt 的刚度近似; (b) 扩展到曲面弹性体 (curved elastomer),适配多指 dexterous hand; (c) 评估非视觉触觉传感器。基于本文成果可延伸的方向还有: (d) 用不同剪切类型 (dilation / shear / twist / roll) 的并行头作为策略的输入模态,而非当前的 H×W×3 矢量场,使策略能显式区分剪切模式; (e) 在 self-supervised 或 meta-learning 框架下学习参数的快速自适应,以减少真实标定成本; (f) 把剪切仿真器和 differentiable physics 联合优化,使策略梯度能穿透仿真器本身; (g) 探索 SDF 分辨率与策略性能之间的 Pareto 曲线,找到 sim-to-real 性价比最优的网格密度; (h) 与 FEM (如 DiffTactile) 混合——FEM 提供真值、HydroShear 提供快速近似,在训练初期用 FEM 引导 HydroShear 的参数在线更新。

复现评估整体较好。论文主页 hydroshear.github.io 提供代码与项目视频(根据论文标注),算法细节 (Eq. 1-17) 完整公开,标定流程 (Sec. III-C) 给出 4 步独立最小二乘,采样数 (10 + 10 + 10) 和 motion 类型 (下压、平移、打滑) 都明确。实现依赖 Isaac Gym (NVIDIA) + Isaac Gym TacSL (公开) + PPO (标准库) + Asymmetric Actor-Critic Distillation (AACD, TacSL 中已开源),网络结构在 Appx. C 详细给出 (两 LSTM 层 256 单元, MLP [512, 128, 64], encoder-LSTM-MLP backbone),PPO 超参数在 Tab. VII (教师) 与 Tab. VIII (学生) 完整列出,每任务 1024 (教师) / 256 (学生) 并行环境,GPU 选型隐含为 NVIDIA。复现主要门槛是 (1) 真实数据采集需要 7-DoF KUKA + 35mm 球形 indenter + GelSight Mini 的标定台 (Fig. 4),不是每家实验室都具备; (2) Isaac Gym 闭源、需要 NVIDIA GPU; (3) 1024 并行环境通常需要 24GB 以上显存。综合来看,对有 KUKA + 触觉传感器条件的实验室,复现难度中等;对纯算法研究者,可通过复用作者公开的 FOTS (Reimpl.) 基线、跑通四个任务来验证设计选择的有效性,门槛较高但可行。