以触觉观之：触觉驱动的材料区域视觉定位

提出Seeing Through Touch框架，用局部视觉-触觉对齐实现触觉引导的材料分割。

前置知识

对比学习 (Contrastive Learning)

对比学习是一种自监督表征学习方法，核心思想是把正样本（语义相同/对应的样本）在特征空间中拉近、负样本推远。常用 InfoNCE 损失：$\mathcal{L} = -\log \frac{\exp(s(z_i, z_j^+)/\tau)}{\sum_k \exp(s(z_i, z_k)/\tau)}$，其中 $s$ 是相似度，$\tau$ 是温度参数。本文用此框架让触觉特征和对应视觉特征对齐。

理解本文方法的基础。本文提出的局部对比目标是对传统全局对比（CLS token对齐）的关键改进。

视觉-触觉表征学习 (Visuo-Tactile Representation Learning)

研究如何把视觉图像和触觉传感器信号映射到同一个特征空间，使机器具备'看图知触感'的能力。早期工作多用 CNN 联合编码视觉、触觉、深度图，后期转向自监督对比学习（如 ImageBind、UniTouch）。本文聚焦的'局部对齐'是该方向的新分支。

本文所有方法、实验和讨论都建立在这个领域之上；理解其历史脉络（从全局对齐到局部对齐）有助于把握本文的贡献定位。

DINOv3 与自监督视觉骨干

DINOv3 是 Meta 2025 年发布的视觉基础模型，用大规模自监督预训练得到强大的局部纹理/几何表征。本文中视觉和触觉分支都用 DINOv3-Small 作为骨干，再各自接一个由 Channel-wise LayerNorm + 1×1 卷积构成的 aligner，把模态映射到共享特征空间。

理解骨干网络选型对实验结果的影响：实验对比了 T3（专用触觉预训练）与 DINOv3 初始化触觉骨干，结果 DINOv3 反而更好，说明视觉预训练纹理特征也能很好迁移到触觉。

mIoU 与 mAP 评估指标

mIoU（mean Intersection over Union）是语义分割标准指标，对每个类别计算预测 mask 与 GT mask 的交并比再平均；mAP（mean Average Precision）综合考虑不同阈值下的检索精度。本文两个指标结合使用，并参照多模态 grounding 协议。

本文所有定量结果都基于 mIoU/mAP，包括对比基线、变体分析、消融实验。理解这两个指标才能看懂表格中的数字差距含义。

研究动机

现有视觉-触觉学习方法存在两个根本局限。第一是表征层面的局限：主流方法（如 TVL、ImageBind、UniTouch）都依赖全局对齐，把视觉和触觉编码成单一向量后用相似度匹配，这种方式只能判断'图和触觉是否来自同一物体'，无法回答'触觉对应的区域在图的哪里'。例如 TVL 把触觉特征和视觉 CLS token 对齐，在单触觉定位任务上 TG-Test mIoU 仅 68.12、Web-Material mIoU 仅 32.16，在交互定位（同一图区分两种触觉）上几乎完全失效，IIoU 只有 1.0。第二是数据集层面的局限：最常用的 Touch-and-Go (TG) 数据集由 246k 对近距特写图像组成，每帧图像几乎整张都是同一种材料，且对应触觉帧之间视觉几乎不变（一个 touch instance 的 50+ 帧图像差异极小），导致有效的图像-触觉配对极少，对学习局部跨模态对应关系远远不够。

本文的目标是本文目标是让机器像人一样'以触觉观之'——给定一段触觉信号（例如手指按压布料产生的形变与振动），在 RGB 图像中精确圈出所有'摸起来有同样感觉'的区域，等价于一种由触觉信号条件化的材料分割（touch-conditioned material segmentation）。作者进一步把任务扩展到交互式场景：当同一张图里包含多种材料时，模型要能根据输入的触觉信号切换高亮区域，即在 Leather vs Paper、Metal vs Fabric、Tile vs Plants 等材料对之间做到互不混淆。为支撑这一目标，论文还要求模型对弱触觉信号鲁棒（处理 Touch-and-Go 中触摸开始/结束时信号较弱的情形），并且能推广到 Touch-and-Go 之外的 in-the-wild 真实场景。最终希望把'触觉-视觉对齐'从学术 demo 推进到可落地的下游应用，例如仓库中的材料感知分拣和机器人回收中的触觉引导分割。

与已有工作不同的是，本文切入点是把跨模态对齐从'全局'推进到'局部'：把触觉特征和视觉特征都保留为空间特征图（而非压缩为单一向量），通过密集点积相似度构造显著性图，从而获得像素级的定位能力；同时提出'材料多样性配对'策略——既然相似的材料会有相似的触感（论文称之为 tactile equivalence），就让一段触觉同时和多个同类别但视觉不同的图像配对，包括从网络爬取的真实场景图（Web-Material 数据集 32,107 张），扩大有效监督信号，弥补现有数据集多样性不足的问题。此外，本文还专门指出 Touch-and-Go 数据集存在严重的视觉偏差——Full Square 这种'什么都不学'的基线都能达到 67.25 mIoU，DINOv3 纯视觉注意力也能到 74.27 mIoU——这种'刷分容易'的现象掩盖了真实的方法差异，因此作者新建了 Web-Material 和 OpenSurfaces 测试集，把 IIoU（同时定位两种材料）作为更严格指标，倒逼方法做真正的细粒度跨模态对齐。

核心方法

Seeing Through Touch (STT) 是一个端到端的局部对比学习框架。直觉上：人摸一下布料就能'在脑子里点亮'图像中所有布料的视觉区域，模型要做的就是在特征空间中找到与触觉信号最匹配的视觉位置。技术上，模型先用两个共享的 DINOv3-Small 骨干（视觉冻结、触觉可训练）配合轻量 aligner 分别提取视觉特征图 $f_v \in \mathbb{R}^{C \times H \times W}$ 和触觉特征图 $f_t \in \mathbb{R}^{C \times H \times W}$。推理时，将触觉特征做空间平均聚合为 $\bar{f}_t \in \mathbb{R}^C$，再与视觉特征图逐点做内积得到相似度图 $M \in \mathbb{R}^{H \times W}$，最后取 max-pool 得到最终分数 $s(f_t, f_v) = \max(M)$，对应一张'触觉显著性图'。训练时则用 InfoNCE 风格的局部对比损失，关键差异是通过材料多样性配对把'正样本对'从一个扩展到多个同类别跨样本的图像-触觉对。

核心创新有三点。第一个是把对齐粒度从 CLS token 级别（全局）做到 patch 级别（局部）：相似度函数变成 $\max_{h,w}(\bar{f}_t \cdot f_v[h,w])$，使模型能定位到具体像素区域而不是只判断整体一致性；这是 TVL 等方法的本质升级。第二是材料多样性配对（Material Diversity-based Pairing, MDP）：打破'同一 touch instance 内的图-触对'这一传统约束，让一段触觉可以与同类别不同实例的图像配对（in-domain）或与网络爬取的真实场景图配对（out-domain），等价于把每个触觉的'正样本邻域'扩大了数十倍。第三是配套构建了两个新基准数据集（TG-Test 579 样本、Web-Material 675 测试 + 32k 训练），并发现 Touch-and-Go 本身因数据偏差导致定位分数虚高（Full Square 基线都能达到 67.25 mIoU），亟需更可靠的评测平台。

方法步骤详情

1) 触觉与视觉编码：给定图像 $v_i$ 和触觉 $t_i$，分别经过共享结构（DINOv3-Small 骨干 + Channel-wise LayerNorm + 1×1 卷积 aligner）得到 $f_v$、$f_t$。训练时冻结视觉骨干、优化视觉 aligner 以及触觉编码器全体；前 3 epoch 两边骨干全冻结只训 aligner，之后解冻触觉骨干。 2) 相似度计算：把 $f_t$ 在空间维度做平均池化得 $\bar{f}_t$，逐像素内积得到 $M[h,w] = \bar{f}_t \cdot f_v[h,w]$，最终得分 $s(f_t, f_v) = \max(M)$。 3) 正样本构造（Touch Instance Pairing）：同一 touch instance 内任意 (图, 触) 帧都视为正对，利用了'视觉时间不变性'。 4) 域内多样性配对（In-domain MDP）：同一材料类别 $y_n$ 下不同实例 $c_n, c_m$ 的图-触也可配对。 5) 域外多样性配对（Out-domain MDP）：网络爬取的图像（无对应触觉）按类别与 TG 中的触觉配对。 6) 损失：$\mathcal{L}_i = -\log \frac{\exp(s(f_{t_i}, f_{v_i})/\tau)}{\sum_j \exp(s(f_{t_i}, f_{v_j})/\tau)}$，对称地作用于视觉与触觉。 7) 推理：根据图像-触觉对的相似度图（可视化即显著性图），可输出材料分割 mask；交互式场景下，对同一图分别用两段触觉做推理，输出两张 mask 即可区分两种材料。

技术新颖性

技术新颖性体现在三方面。第一，特征层面：把触觉表征从 1-D 向量升级为 2-D 空间特征图，并设计 max-pool 相似度函数，使得训练目标直接优化'找位置'能力，这是对现有全局对比范式的根本性扩展。第二，数据层面：首次系统性地把'类内多样性'作为跨模态对齐的归纳偏置，并用 LLM 生成多样化检索 query + CLIP 正负 prompt 过滤 + 人工校验的流水线，构建出规模化的视觉-触觉跨样本配对数据集，这在之前的多模态触觉研究中并未被利用。第三，评测层面：作者揭示了 TG-Test 的视觉偏差问题（Full Square 基线都能达 67.25 mIoU），提出并发布了更可靠的 Web-Material 和 OpenSurfaces 测试集，定义了交互式定位 IIoU 指标（同时定位两种材料区域，IoU 需都大于 0.5），为后续研究建立了更严格、更难糊弄的评测基准。

**Figure 2**: Pipeline of Seeing Through Touch

**Figure 13**: Material Diversity Pairing

实验结果

作者在三个测试集（TG-Test 579 样本、Web-Material 675 样本、OpenSurfaces 211 样本）做了系统对比，核心结论四点。结论一（局部对齐必要性）：所有局部对齐变体大幅优于全局对齐，STT-Local 在 TG-Test 上 mIoU 76.79 vs STT-CLS 73.49 vs TVL 68.12；在 Web-Material 上 STT-Local 52.34 vs TVL 32.16、STT-CLS 34.74，差距更显著。结论二（材料多样性配对增益）：从 STT-Local → STT-Indomain → 完整 STT，Web-Material 上 mIoU 从 52.34 提升到 55.73 再到 60.94（+8.6），OpenSurfaces 上从 29.47 到 34.10 再到 36.73（+7.26）。结论三（交互定位）：STT 取得 IIoU=37，远超 TVL 1.0、STT-CLS 4.0；STT-CLS 和 TVL 在交互定位上几乎完全崩溃，说明全局方法无法在同一图中区分不同材料。结论四（TG 数据偏差）：Full Square/Full Circle 这种无推理基线在 TG-Test 上分别达 67.25/61.17 mIoU，DINOv3 视觉注意力 74.27 mIoU，几乎所有方法差距被严重压缩，因此 Web-Material 是更可靠的评测基准。此外材料分类任务上 STT 也以 67.77% 准确率超过 UniTouch 61.3%、VIT-LENS-2 63.0%、OmniBind 67.45% 等强基线。课程学习策略（先 TG 后 out-domain）也是性能关键。

**Table 1**: Tactile Localization Results on TG-Test, Web-Material, and OpenSurfaces

**Table 2**: Robustness to Weaker Tactile Signals

**Table 3**: Quantitative Results on Interactive Localization

**Table 4**: Category Distribution of the Train, Test, and Interactive Localization Test Sets of the Web-Material Dataset

**Table 5**: Comparison of Cascaded and End-to-End Methods

**Table 6**: Material Classification Linear Probing Accuracy

**Table 7**: Ablation on Tactile Backbone

**Figure 3**: Qualitative Tactile Localization Results

**Figure 4**: Touch-and-Go dataset examples

**Figure 5**: Qualitative Results on Interactive Localization

**Figure 6**: Qualitative Results on Material Replacement

**Figure 14**: Visual Comparison of Grounded-SAM and STT

查看结构化数据

任务	指标	本文	基线	提升
Tactile Localization (TG-Test)	mAP / mIoU	87.56 / 76.82	TVL 70.61 / 68.12；DINOv3 Att 83.74 / 74.27	vs TVL: +16.95 mAP / +8.70 mIoU
Tactile Localization (Web-Material)	mAP / mIoU	77.43 / 60.94	TVL 32.16 / 32.16；DINOv3 Att 62.73 / 47.12	vs TVL: +45.27 mAP / +28.78 mIoU
Tactile Localization (OpenSurfaces)	mAP / mIoU	48.06 / 36.73	TVL 17.93 / 18.61；DINOv3 Att 18.91 / 19.04	vs TVL: +30.13 mAP / +18.12 mIoU
Interactive Localization	IIoU	37.0	TVL 1.0；STT-CLS 4.0；DINOv3 Att 18.0	vs TVL: +36 IIoU（提升37倍）
Material Classification (linear probe)	Accuracy	67.77%	OmniBind 67.45%；VIT-LENS-2 63.0%；UniTouch 61.3%	+0.32%（微弱 SOTA，但视觉-触觉对齐仍带来分类能力）

局限与改进

作者坦诚指出两个失败模式。一是透明物体：当玻璃等高度透明区域较大、背景纹理透出明显时，模型无法准确分割（Figure 23 上两行）；只有当玻璃区域较小且具有明显折射或镜面高光时才能识别。二是表面涂装：当目标材料（如混凝土）被高对比度的涂鸦或 logo 覆盖时，模型倾向于忽略涂装区域，因为视觉上的强纹理主导了特征响应，导致'视觉一致'但'触觉等价'的区域被错分。作者还间接承认：当前方法在 OpenSurfaces 上的 mIoU 只有 36.73，距离 Materialistic 上限 69.83 仍有很大空间，说明触觉信号本身的信息量有限，纯触觉驱动定位仍是难题。此外，模型对训练见过的 18 个材料类别有依赖，对真正未见类别的开放集定位能力尚未验证。

独立分析的弱点

独立分析可观察到三个弱点。第一，触觉帧利用不充分：当前只用一个平均池化后的 1-D 触觉向量去匹配视觉，而触觉序列本身含时间动态（按压深度、释放过程），现有方法压缩掉了这种时序信息；可考虑引入 LSTM 或时序注意力聚合多帧触觉，进一步利用时间维度。第二，对视觉骨干依赖过强：因为触觉 backbone 用 DINOv3 视觉预训练初始化（实验显示比专用 T3 触觉预训练更好），这同时意味着模型对视觉风格的鲁棒性受 DINOv3 表征空间限制；涂装失败案例本质上就是视觉特征主导了触觉信号的引导。第三，材料类别封闭：当前只支持 18 个固定类别，无法处理'冷/热'、'软硬度'等连续属性；正负样本构建完全依赖人工类别标签，限制了向开放集场景的扩展。

未来方向

作者提出的方向有三：构建更大规模、更多样化的视觉-触觉数据集；将框架拓展到交互式感知与多感官场景理解；探索触觉信号在机器人真实任务（如仓库分拣、回收）中的应用。基于成果可延伸的方向：1) 把'触觉查询'扩展为'多模态查询'，例如同时输入触觉 + 语音/文本描述；2) 利用生成的显著性图作为伪监督去训练无标注视频中的材料分割模型；3) 与 NeRF / 3D Gaussian Splatting 结合实现 3D 触觉定位，参考 TaRF 的思路但放宽到 in-the-wild 场景；4) 探索与生成式模型（如本文用的图像编辑工具）结合实现基于触觉语义的图像编辑。

复现评估

复现难度中等偏低。代码与项目主页公开（https://mm.kaist.ac.kr/projects/SeeingThroughTouch/）；数据方面，训练所用 Touch-and-Go 公开、Web-Material 由作者基于 LLM 生成的检索 query + CLIP 过滤 + 人工标注构建（论文附录 Figure 9 给出完整 prompt 模板），也可参考补充材料 Table 4 的类别分布自己复现。算力要求不高：4 张 A5000 GPU（24GB 显存），有效 batch size 64，学习率 1e-5，AdamW 优化器，weight decay 0.05，总共 100+50 epoch 课程式训练。架构上仅依赖标准 PyTorch + DINOv3 公开权重，不涉及定制算子。最大的复现门槛其实是标注成本——TG-Test、Web-Material、OpenSurfaces 测试集的人工分割标注，以及交互定位 IIoU 测试集的额外标注，外部研究者难以完全复现评估环节。

以触觉观之：触觉驱动的材料区域视觉定位 Seeing Through Touch: Tactile-Driven Visual Localization of Material Regions