Tactile-JEPA：面向分布式触觉传感器的拓扑感知自监督表征学习 Tactile-JEPA: Topology-Aware Self-Supervised Representation Learning for Distributed Tactile Sensors
在触觉单元连接图上做双尺度掩码采样的JEPA式自监督预训练，为电子皮肤学到通用触觉表征
前置知识
Taxel（触觉传感单元）与分布式电子皮肤
Taxel 是 tactile element 的合成词，指电子皮肤上一个独立的敏感单元，类比图像中的像素。分布式电子皮肤把几十到上千个 taxel 以稀疏、不规则的物理排布铺在机械手或身体表面，每个 taxel 输出多轴信号（磁性皮肤 3 轴磁通，压阻织物 1 轴压力），整体构成形如 $X\in\mathbb{R}^{N\times T\times m}$ 的多变量时间序列。与内置相机的视觉型传感器（GelSight、Digit）不同，它没有像素网格结构。
本文要解决的核心问题正是这种无网格信号如何做自监督预训练，理解 taxel 的稀疏不规则性才能明白为什么视觉 SSL 方法不能直接照搬。
JEPA（联合嵌入预测架构）
JEPA 是 LeCun 等人倡导的自监督范式：给定输入的可见部分，在潜空间中预测被遮蔽部分的表征而非重建原始像素或信号。典型实现包含上下文编码器、EMA 更新的目标编码器和一个轻量预测器，损失是预测表征与目标表征之间的 MSE。由于不做像素级重建，模型被鼓励学习语义级信息而忽略传感器噪声。
Tactile-JEPA 是 I-JEPA 在触觉域的直接变体，读懂编码器-预测器-EMA 三件套是理解方法部分的前提。
自监督学习（SSL）与冻结编码器评测协议
自监督学习不使用人工标签，从数据自身构造训练信号（遮蔽预测、对比学习、自蒸馏等）。预训练得到的编码器被冻结，只在其输出上训练轻量任务头并在下游标注任务上评估，以此检验表征的通用性与可迁移性。本文每个 SSL 方法用 3 个随机种子、每任务 3-4 个任务头，共 9-12 次运行取均值±标准差。
论文所有实验都遵循冻结编码器加任务头的协议（注意力探针、序列解码器、策略头），理解该协议才能正确解读 Table II/III 中的数字含义。
图上掩码采样（连通子图与 Dijkstra 扩张）
把传感器排布建模为图 $G=(V,E)$：节点是 $N$ 个 taxel，边连接物理相邻的单元。局部掩码从随机种子节点出发，按 Dijkstra 最短路扩张逐步加入相邻节点直到达到预算，得到紧凑的连通子图；全局掩码则在全图上均匀随机抽点。这替代了视觉 SSL 中在像素网格上采样矩形块的操作，且完全不需要 taxel 坐标。
这是本文最核心的创新机制，局部+全局的双尺度掩码直接控制表征的局部性，也是消融实验（Table IV）的全部主题。
EMA 目标编码器与 stop-gradient
目标编码器 $\bar{E}_\theta$ 不接收梯度，其权重按指数滑动平均 $\bar{\theta}\leftarrow\alpha\bar{\theta}+(1-\alpha)\theta$ 缓慢跟随上下文编码器，为预测提供稳定的表征基准；损失中的 stop-gradient 算子 $\mathrm{sg}(\cdot)$ 进一步阻断梯度流向目标侧。该机制源自 BYOL/DINO/I-JEPA，能有效避免表征坍缩。
式(5)中的 $\mathrm{sg}(z^{(l)}_i)$ 与 EMA 更新是理解训练动态的必要背景，也是论文讨论 BYOL、DINO 等基线在不同数据集上崩溃现象的钥匙。
ViT-Tiny 与注意力探针
ViT-Tiny 是最小的 Vision Transformer 配置，本文采用 12 层、嵌入维度 $d=192$、3 个注意力头、MLP 扩展比 4，把每个 taxel 的窗口嵌入当作一个 token，沿 taxel 维做双向注意力。注意力探针是一种轻量下游头：可学习的查询 token 对冻结特征做单层 3 头交叉注意力池化，再接两层 MLP 输出预测。
它们是编码器与全部下游任务头的具体实现，直接关系到计算开销分析（如 DECO-50 的 2124 个 taxel 需要分组降 token 数）和结果解读。
研究动机
执行接触丰富操作的机器人（家用、制造、农业场景）在严重遮挡、精细抓取和易碎物体接触下必须依赖触觉，而视觉-语言-动作（VLA）模型只有视觉这一条感知通道。视觉型触觉传感器（GelSight、Digit）已经能用 MAE、DINO、I-JEPA 等计算机视觉自监督方法预训练出可迁移编码器（如 Sparsh 系列、Sparsh-X），但覆盖全手或全身的分布式电子皮肤（磁性 Xela uSkin、ReSkin、AnySkin，压阻织物，电容 DexSkin 等）输出的是稀疏、不规则排布的 taxel 上的多变量时间序列，没有像素网格，直接照搬视觉 SSL 并非最优。现有变通办法各有缺陷：T-DEX 把瞬时帧重排成三通道图像用 BYOL 预训练，破坏了空间结构；Sparsh-skin 和 STAT 只把拓扑当作每-taxel 的位置特征，连接性从未进入训练目标；Tactile-GAT 与 TacGNN 虽然构建了 taxel 邻接图，却是端到端标签训练，学不到可复用表征；HyperTaxel 的对比目标需要只有仿真才能提供的接触面几何信息。
本文的目标是本文的目标是提出一种只依赖传感器自身信号和已知排布的自监督预训练方法 Tactile-JEPA：不需要人工标签，不需要 taxel 坐标，也不需要仿真特权信息，同时把传感表面的连通拓扑显式纳入预训练目标。方法要学出一个冻结后可接各种轻量任务头的通用触觉编码器，把时长约 0.1 秒的短时间窗内的多变量信号映射为每-taxel 嵌入，并要求这些表征同时捕捉局部接触细节与整个皮肤的全局接触状态。作者用三个公开数据集验证通用性：磁性 Sparsh-skin（Allegro 机械手，368 taxel，3 轴，100 Hz）、压阻 Tactile socks（人脚针织面料，237+216 taxel，1 轴，14 Hz）和双臂 Inspire 手的 DECO-50（1062×2 taxel，30 Hz），任务覆盖力估计、手内位姿估计、物体与动作分类、全身姿态估计以及视触觉策略学习，并与 BYOL、MAE、DINO 及端到端训练在同一时间窗体制下公平对比。
与已有工作不同的是，作者的独特切入点是把 I-JEPA 的『在嵌入空间预测被遮蔽部分的表征』范式从像素网格迁移到 taxel 连接图上：掩码不再是对图像块采样，而是在由传感器物理排布定义的图 $G=(V,E)$ 上采样区域。这带来两个关键设计：其一，局部掩码是图上的连通子图（从随机种子 taxel 出发按 Dijkstra 扩张），对应皮肤上的紧凑区域；其二，全局掩码由散布全图的 taxel 组成，对应整只手或全身的总体接触状态，两种尺度按 2 局部+2 全局等比混合。与已有工作相比，连接性第一次直接决定了自监督任务的结构本身，而不是作为输入特征出现；同时方法保留了 JEPA 免像素重建的优点，避免预测含噪原始信号，且图只在预训练时用于掩码采样，推理阶段的编码器完全不需要任何布局信息。
核心方法
Tactile-JEPA 的直觉是：遮住一部分触觉单元，让模型从可见单元的表征推断被遮单元的表征，且只在表征空间比对、不重建含噪信号。实现沿用 JEPA 三件套：上下文编码器 $E_\theta$ 只嵌入可见 context taxel；目标编码器 $\bar{E}_\theta$（上下文编码器权重的指数滑动平均）嵌入全部 $N$ 个 taxel，其在目标位置的输出即预测目标；预测器 $P_\phi$ 接收 context 嵌入与目标位置嵌入加可学习掩码向量 $u$，输出预测。损失为全对平均 MSE：$\mathcal{L}_{SSL}=\frac{1}{n_c n_t}\sum_{j,l}\frac{1}{|T_l|}\sum_{i\in T_l}\|\hat{z}^{(j,l)}_i-\mathrm{sg}(z^{(l)}_i)\|^2$，其中 $\mathrm{sg}$ 为 stop-gradient。编码器用 ViT-Tiny（12 层、$d=192$、3 头、MLP 扩展比 4），预测器同配置但仅 4 层。
核心创新是掩码采样发生在 taxel 连接图而非像素网格上，并配合双尺度设计。图 $G=(V,E)$ 的节点是 $N$ 个 taxel，边连接传感器排布中物理相邻的单元；它不需要坐标，对两只独立的手就自然形成两个连通分量。局部掩码：随机选一个种子 taxel，用 Dijkstra 扩张不断加入相邻 taxel 直到预算填满，得到紧凑连通子图，迫使编码器刻画局部接触模式（如单个指尖的压痕细节）；全局掩码：在整个图上均匀随机抽取 taxel 直到同样的预算，反映整个本体的总体接触状态（如整只手正在抓什么）。每个批次的 target 集合由等量局部与全局掩码组成，默认配置为 2 局部+2 全局。与把信号重排成图像的 T-DEX、只把拓扑当位置特征的 Sparsh-skin/STAT 相比，拓扑在这里直接决定了自监督预训练任务本身的结构；消融进一步证明：在掩码预算与形状都相同的前提下，图上采样的连通掩码系统性优于与图无关的 I-JEPA 块状掩码，把增益明确归因于拓扑利用。
方法步骤详情
(1) 输入表示：取 $T_w\approx0.1$ s 窗口，每 taxel 响应经共享仿射投影加 LN 映射到 $d$ 维。(2) 构建已知排布的 taxel 连接图。(3) 掩码采样：每窗口 1 个 context（覆盖 50–90% taxel）加 4 个 target（2 局部+2 全局），target 各占采样域 10–18% 并从 context 移除。(4) 编码：taxel 嵌入加位置嵌入后做双向注意力；context 编码器只编码可见部分，EMA 目标编码器编码全部 taxel。(5) 预测：预测器拼接 context 嵌入与目标位置嵌入加掩码向量 $u$，只取目标位置输出。(6) 训练：按 MSE 更新 context 编码器、EMA 更新目标编码器；Sparsh-skin 与袜子训 500 epochs，DECO-50 因 2124 个 taxel 先按相邻 4–5 个分组投影再训 150 epochs。(7) 下游：冻结编码器接注意力探针或窗口池化加单层解码器（位姿），DECO-50 策略融合触觉与 ResNet-18 视觉嵌入，输出 16 步动作块。
技术新颖性
技术新颖性体现在四点。第一，问题定义新：这是首个面向分布式电子皮肤、显式利用传感表面拓扑的自监督预训练方法，此前的工作要么适配像素网格（MAE/DINO/I-JEPA 的图像化处理），要么把拓扑降格为每-taxel 位置特征。第二，机制新：拓扑只通过『图上掩码采样』进入目标函数，预训练完成后编码器完全不需要布局信息，这与 Tactile-GAT/TacGNN 的图神经网络骨干、HyperTaxel 依赖仿真几何的对比目标都不同。第三，尺度可控：局部/全局掩码配比直接控制表征的局部性，消融显示单尺度掩码各有偏好——4 全局在 DECO-50 策略学习上最佳（0.4600），2L+2G 混合在力估计（14.05 cN）与手内 x 精度（95.74%）上最佳且三项全能，为按任务定制掩码提供了可解释的旋钮。第四，工程价值：同一掩码配置在磁性、压阻、不同本体、单/双传感器配置上全部稳定训练，而 BYOL 在袜子和 DECO-50、MAE 在袜子上崩溃、标准 DINO 在 DECO-50 上需禁用 iBOT 损失才可行，且预训练比 DINO 快 65–75%。
实验结果
主实验（Table II）冻结编码器训练任务头。Sparsh-skin 上：力估计总 RMSE 14.05 cN，比最强基线端到端 15.00 降低 6.3%（MAE 21.55）；手内位姿 $\theta$-RMSE 5.48°，比最强基线 BYOL 6.92 降低 20.8%，x 精度 95.74%、$\theta$ 精度 71.75% 均最优（p≤0.05）；物体分类 83.27% 持平 DINO。Tactile socks 上：动作分类 96.91%（DINO 95.63%，BYOL/MAE 崩溃），全身姿态 RMSE 13.42 rad，比 DINO 13.78 降 2.6%。DECO-50 策略学习：本文 0.4634 位列第二，MAE 0.4400 最佳，vision-only 0.5132，BYOL 与 DINO 崩溃。掩码消融：2L+2G 力估计最佳，4G 策略最佳 0.4600，图采样同预算下优于 I-JEPA 块掩码（13.93 vs 14.99 cN）。效率：4×A100 预训练 0.7–6.1 小时，比 DINO 快 65–75%。
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 力估计（Sparsh-skin，磁性 Xela uSkin，3 轴） | 总 RMSE (cN) ↓ | 14.05±0.73 | 最强基线端到端 15.00±0.92（MAE 21.55、BYOL 23.79、DINO 16.66） | −6.3% |
| 手内位姿估计（Sparsh-skin，SE(2) 平面位姿） | θ-RMSE (°) ↓ 与 x 方向精度 ↑ | 5.48±0.39；x 精度 95.74±1.05% | 最强基线 BYOL 6.92±0.36（端到端 7.20、DINO 8.27）；x 精度最高基线端到端 91.93% | −20.8%（θ-RMSE）；x 精度 +3.8 个百分点 |
| 物体分类（Sparsh-skin，14 类） | top-1 准确率 ↑ | 83.27±3.36% | DINO 83.26±0.79%（端到端 70.61%、BYOL 64.30%、MAE 63.44%） | 与 DINO 持平（+0.01 个百分点） |
| 动作分类（Tactile socks，9 类人体活动） | top-1 准确率 ↑ | 96.91±1.92% | DINO 95.63±1.53%（端到端 92.97%；BYOL、MAE 训练崩溃） | +1.28 个百分点 |
| 全身姿态估计（Tactile socks，19 个相对关节角） | 平均关节 RMSE (rad) ↓ | 13.42±0.33 | DINO 13.78±0.19（端到端 14.37；BYOL、MAE 崩溃） | −2.6% |
| 视触觉策略学习（DECO-50 双手装配任务，16 步动作块） | 归一化动作 RMSE ↓ | 0.4634±0.0029 | MAE 0.4400±0.0021（最佳）；vision-only 0.5132、随机嵌入 0.4969、端到端 0.4922；BYOL、DINO 崩溃 | 第二名；比 vision-only 降低 9.7% |
| 预训练效率（三个数据集） | 预训练时长（4×A100 80GB） | 0.7–6.1 小时（袜子 0.7/2.0、DECO-50 5.5、Sparsh-skin 6.1） | DINO（同规模骨干） | 快 65–75% |
局限与改进
作者承认并可见的局限：(1) SSL 目标定义在单个约 0.1 秒的窗口内，不建模跨窗口的时间结构，长时程触觉动态完全交给下游解码器，作者明确说明这是有意的设计取舍，换取编码器可以按控制频率调用；(2) 方法假设已知传感器排布以构建连接图，虽然不需要坐标，但面对排布未知或可即插即换的皮肤（如 AnySkin 场景）需要额外处理；(3) 策略学习上 MAE（0.4400）优于本文（0.4634），作者将其归因于动作预测依赖整手接触状态，说明嵌入预测目标并非在所有任务上最优；(4) 多个基线崩溃——BYOL 在袜子和 DECO-50、MAE 在袜子、标准 DINO 在 DECO-50 需禁用 iBOT 损失——使对比集中在可用基线上。我自己的观察：Table II 中每个任务的编码器是在该任务的训练集上单独预训练的，单一通用编码器跨任务共享并未直接展示；统计检验未做多重比较校正；DECO-50 的 4–5 taxel 分组会损失单元级分辨率；DECO-50 只使用了其 Assembly 子集，结论对其他任务类型的覆盖有限。
独立分析的弱点
独立分析的弱点与改进方向：(1) 时间盲区——窗口内自监督无法学到滑动、纹理、振动等跨窗口动力学，改进方向是把掩码扩展到 taxel×时间的时空图，借鉴 V-JEPA 做时空掩码预测，让编码器天然携带接触演化信息。(2) 拓扑先验硬依赖——需要人工给定邻接连边，面对排布未知的商用皮肤会卡住，可改为从信号相关性或力传播模型中学习图结构，实现布局无关预训练。(3) 单任务单独预训练——每个下游任务都要重新预训练一个编码器（0.7–6.1 GPU 小时），部署成本高，应训练一个多本体、多传感器的统一编码器，再用轻量适配器迁移。(4) 分组近似——DECO-50 的 2124 个 taxel 压缩为约 425 个 token，可能损害高空间分辨率的局部缺陷检测，可用稀疏/局部注意力替代硬分组。(5) 目标函数单一——嵌入预测在整手状态类任务上不敌重建型 MAE，可探索预测与重建目标的加权混合，或按掩码尺度自适应分配损失。(6) 评测范围——策略评估限于 DECO-50 的装配任务与遥操作数据，真实部署中的灵巧操作增益、以及力估计指标对传感器更换（如 AnySkin 替换）的鲁棒性仍待验证。
未来方向
作者的展望是把宽覆盖触觉感知带入机器人学习的实用范围，基于成果可延伸的方向包括：(1) 时间维自监督——把双尺度掩码推广到时空掩码，学习跨窗口的接触演化表征，服务滑动检测与动态操作；(2) 跨传感器统一编码器——沿 Sparsh-X 的多感官思路，把磁性、压阻、电容、听觉、惯性统一进一个骨干，实现即插即用的通用触觉基础模型；(3) 与 VLA 深度融合——把冻结触觉编码器的每-taxel 嵌入作为第四模态注入视觉-语言-动作模型，针对性提升遮挡与易碎物体场景；(4) 图结构学习——从数据中学习连接图或用超图建模多手多部件拓扑，摆脱对人工排布的依赖；(5) 扩大规模——现有数据集最大也只有 16.6 小时（DECO-50），扩大无标注触觉语料与骨干规模、检验表征是否随规模持续提升值得研究；(6) 掩码策略自动搜索——利用消融揭示的尺度-任务对应关系（局部利于细节、全局利于整手状态），按下游任务自动配比局部/全局掩码；(7) 与力/力矩、接触事件等物理量的联合预训练目标，进一步增强表征的可解释性与物理一致性。
复现评估
复现条件相当友好。代码与全部超参数开源在 https://github.com/E-Kovtun/tactile；三个数据集全部公开（Sparsh-skin 4.6 小时/170 万帧、Tactile socks 5.9 小时/29.8 万帧、DECO-50 16.6 小时/180 万帧），划分协议明确：Sparsh-skin 预训练与物体分类共享轨迹按 80/10/10 划分，力与位姿用独立采集数据，DECO-50 按完整示教 70/15/15 划分。算力门槛：预训练需 4×A100 80GB，最快 0.7 小时（袜子动作）、最长 6.1 小时（Sparsh-skin）；下游任务头单 GPU 0.2–4.0 小时。评测协议严谨：每个 SSL 方法 3 个种子、每任务 3–4 个头、共 9–12 次运行，报告均值±标准差，前两名做单侧 Welch t 检验（p≤0.05）。主要风险在基线侧：BYOL/DINO 的崩溃行为对超参敏感（DINO 需关 iBOT 才在 DECO-50 可行），作者脚注给出三个基线的代码来源与适配配置。总体属中等偏低复现难度，单个实验室数天内可验证核心结果。
论文图表
三个评测数据集的属性对照：Sparsh-skin 为磁性 Xela uSkin、Allegro 单手、368 taxel、3 轴、100 Hz、τ=10 帧、4.6 小时/170 万帧；Tactile socks 为压阻针织面料、人双脚、237+216 taxel、1 轴、14 Hz、τ=5、5.9 小时/29.8 万帧；DECO-50 为压阻 Inspire FTP、双臂、1062×2 taxel、1 轴、30 Hz、τ=3、16.6 小时/180 万帧。窗口时长均约 0.1 秒，对齐人类防滑反应延迟。
理解实验设置的基础：三个数据集在传感原理（磁/压阻）、本体（机械手/人/双手机械臂）、规模和采样率上差异极大，正是这种多样性支撑了『通用表征』的主张，也解释了 DECO-50 为何需要 taxel 分组。
核心对比表：在 Sparsh-skin 和 Tactile socks 两个数据集上，Tactile-JEPA 与端到端、BYOL、MAE、DINO 在物体分类、力估计、手内位姿估计、动作分类、全身姿态估计上的成绩。Tactile-JEPA 力估计 RMSE 14.05 cN 最优、θ-RMSE 5.48° 最优、θ 精度 71.75% 最优，动作分类 96.91% 最优，全身姿态 13.42 rad 最优；BYOL 和 MAE 在 socks 上崩溃；带星号结果表示相对第二名统计显著（单侧 Welch t 检验 p≤0.05）。
论文主结果表，直接支撑『降低力估计误差 6.3%、手内姿态误差 20.8%』的核心主张，也是判断各基线在哪些数据集崩溃、结论是否稳健的依据。
DECO-50 双手装配任务的策略学习对比：vision-only RMSE 0.5132、随机嵌入 0.4969、端到端 0.4922、MAE 预训练 0.4400（最佳）、Tactile-JEPA 0.4634（第二），BYOL 与 DINO 预训练编码器训练崩溃。
展示方法在最难的真实机器人控制场景中的表现：虽然被 MAE 以 0.023 的差距超过，但明显优于无触觉和端到端方案，客观呈现了方法的适用边界与训练稳定性优势。
掩码策略消融：对比 I-JEPA 块掩码（4I-JEPA）、4 局部（4L）、4 全局（4G）、默认 2L+2G，以及额外把 context 也改为局部采样的变体（†）。默认 2L+2G 力估计最佳（14.05 cN）且手内 x 精度最佳（95.74%），4G 策略学习最佳（0.4600）；局部 context 的 2L+2G† 提升力估计（13.28）但显著损害姿态（92.83%）与策略（0.4828）；4L+局部 context（13.93）优于同形状的 4I-JEPA（14.99），隔离出图采样的贡献。
这是理解核心设计选择的钥匙：局部掩码捕捉细节、全局掩码捕捉整手状态、混合配置最通用，且图采样本身（而非掩码形状）带来可测量的增益，直接支撑论文第三个贡献点。