TactAlign：通过触觉对齐实现人类到机器人的策略迁移 TactAlign: Human-to-Robot Policy Transfer via Tactile Alignment
用Rectified Flow对齐人类手套与机器人触觉传感器的潜空间，实现跨具身策略迁移
前置知识
Rectified Flow
Rectified Flow是一种基于常微分方程（ODE）的概率分布传输方法，由Liu等人于2023年提出。其核心思想是在两个分布之间学习一个速度场 $v_\theta$，使得从源分布出发的粒子沿该速度场流动后到达目标分布。具体来说，给定源样本 $x_0$ 和目标样本 $x_1$，定义插值路径 $x_t = t \cdot x_1 + (1-t) \cdot x_0$，并学习速度场使其逼近恒定速度 $x_1 - x_0$。推理时通过求解ODE $\frac{dx_t}{dt} = v_\theta(x_t, t)$ 将源分布样本传输到目标分布。相比扩散模型，Rectified Flow的路径更直、传输成本更低，且天然适合学习带噪声配对之间的映射。
本文的核心创新就是用Rectified Flow来学习人类触觉到机器人触觉的潜空间映射，理解其工作原理是理解整个方法的基础。
触觉手套（OSMO Glove）
OSMO是本文合作者之一开发的开源触觉手套，采用粒子基磁性皮肤技术，能够在人手每个指尖上同时感知法向力和剪切力（三轴力信号）。其空间分辨率为1×3（每个指尖一个感应区域，三轴力分量），数据采集频率为30fps。相比外骨骼设备，OSMO手套保留了人手完整的自由度（最高23 DOF），使演示者能以自然的灵巧性与物体交互，同时获取丰富的触觉反馈。这使得人类演示数据既灵巧又包含触觉信息，是本文数据采集的关键硬件。
OSMO手套是本文人类端数据采集的核心设备，理解其信号特点（粒子基磁性皮肤、三轴力、1×3分辨率）有助于理解跨传感器对齐的挑战。
跨具身策略迁移（Cross-Embodiment Policy Transfer）
跨具身策略迁移是指将在一种机器人（或人类）上演示的操作技能迁移到另一种具有不同物理形态的机器人上执行。核心挑战在于：不同具身的传感器模态不同（如触觉传感器类型）、动作空间不同（如手指自由度、关节配置）、观测空间不同（如视觉视角、触觉分辨率）。传统方法通常在运动学或视觉空间进行迁移，但触觉信号由于传感器硬件差异巨大（如本文中OSMO为1×3分辨率，Xela为30×3分辨率），跨具身迁移更具挑战性。
本文解决的核心问题就是如何将人类穿戴触觉设备采集的触觉信号迁移到配备不同触觉传感器的机器人上，这是实现高效人机策略迁移的关键瓶颈。
自监督触觉表征学习
自监督触觉表征学习是指在不使用人工标注的情况下，通过设计代理任务（如重建、预测等）让触觉编码器学习有意义的触觉特征表示。本文采用类似JEPA（Joint Embedding Predictive Architecture）的架构，使用均方误差（MSE）重建损失训练人类和机器人各自的触觉编码器和解码器。编码器将原始触觉信号映射到共享维度的潜空间 $\mathbb{R}^d$，并通过交叉注意力池化模块将不同空间分辨率的触觉特征统一为固定长度的潜向量。这种方法使不同模态的触觉信号各自学习到有意义的表征，为后续的跨传感器对齐奠定基础。
自监督预训练是两阶段方法的第一步，它为人类和机器人触觉信号提供了各自的有意义潜空间表征，是后续Rectified Flow对齐的前提条件。
伪配对（Pseudo-Pairs）
伪配对是本文提出的一种从非配对数据中构建跨域对应关系的方法。具体来说，给定人类和机器人对同一任务的演示轨迹，提取每条轨迹中的手-物交互转换（包含手指位姿、物体位姿及其变化），然后通过相似度度量 $S(O_h^i, O_r^j)$ 匹配人类和机器人中相似的转换。相似度度量综合考虑了手指位置差异、物体位置差异以及它们的速度差异。通过设定阈值 $\delta$ 筛选高质量配对，并进一步用二元接触过滤（contact-to-contact, non-contact-to-non-contact）去除语义不一致的配对。这些伪配对天然存在噪声，但Rectified Flow对噪声具有鲁棒性。
伪配对机制使本文摆脱了对严格配对数据的依赖，这是与先前工作（如UniTacHand要求时空严格配对）的核心区别之一，大大降低了数据采集难度。
研究动机
在灵巧操作领域，人类演示数据具有采集速度快（比机器人遥操作快2-3倍）、天然灵巧、包含丰富多模态信息等优势。当人类穿戴触觉手套进行操作时，触觉反馈能引导手指精确调整力和运动。然而，现有的人类到机器人（H2R）迁移方法在处理触觉信号时面临严重瓶颈：大多数方法完全忽略触觉反馈，仅迁移视觉或运动学信息；少数考虑触觉的方法要么假设人类和机器人使用相同的触觉传感器，要么要求严格配对的人机演示数据（如UniTacHand），要么仅处理静态接触场景。这些限制使得触觉信号——尽管在灵巧操作中至关重要——在H2R迁移中几乎未被充分利用。具体而言，人类触觉手套（如OSMO，1×3分辨率，粒子基磁性皮肤）与机器人触觉传感器（如Xela，30×3分辨率，离散磁铁传感）之间存在巨大的信号尺度、空间分辨率和传动机理差异，直接使用未对齐的触觉特征反而会损害策略性能。
本文的目标是本文的目标是提出一种通用的跨传感器触觉对齐方法，能够在不需要配对数据、人工标注或特权信息的条件下，将人类穿戴触觉设备采集的触觉信号有效迁移到配备异构触觉传感器的机器人上。具体而言，该方法应满足以下要求：（1）仅使用非配对的人机演示数据即可学习对齐映射；（2）对齐后的触觉特征应保持物理意义（如力信息可跨传感器解码）；（3）对齐后的特征应能有效支持跨具身策略协同训练，并泛化到未见过的物体和任务；（4）在极端情况下（如仅有少量人类数据、零机器人数据），仍能实现零样本灵巧操作迁移。
与已有工作不同的是，本文的独特切入点在于将跨传感器触觉对齐重新定义为一个概率分布传输问题，而非传统的配对监督学习或分类对齐问题。先前的跨传感器触觉方法主要依赖以下假设之一：严格配对数据（需要人机同时执行相同操作）、相同传感器（限制了迁移范围）、粗粒度分类对齐（丢失连续触觉信息）、或静态接触场景（无法处理滑动接触等动态交互）。本文观察到，即使人机演示数据不是严格配对的，来自同一任务的人机转换之间仍存在有意义的对应关系——这些对应关系可以通过手-物体交互的状态（位姿和速度）来近似建立。基于这一观察，本文提出从非配对演示数据中提取伪配对，并利用Rectified Flow对噪声配对的天然鲁棒性来学习跨传感器映射，从而在保持方法通用性的同时解决了触觉信号的跨具身迁移问题。
核心方法
TactAlign的方法可以类比为「翻译」过程：人类触觉手套和机器人触觉传感器就像说两种不同「语言」的人，它们对同一物理接触事件产生的信号在格式、分辨率和尺度上完全不同。TactAlign的目标是建立一个「翻译器」，将人类的触觉「语言」翻译成机器人能理解的触觉「语言」。整个方法分为两个阶段。第一阶段是「学习各自的语言」：分别对人类和机器人触觉数据进行自监督预训练，让各自的编码器学会将原始触觉信号映射到有意义的潜空间表征（类似让两个人先各自掌握自己的母语）。第二阶段是「建立翻译词典」：利用从手-物体交互中提取的伪配对（类似双语对照语料），通过Rectified Flow学习从人类潜空间到机器人潜空间的映射（类似从对照语料中学习翻译规则）。这种两阶段设计的关键优势在于：第一阶段完全独立，不需要任何跨域配对信息；第二阶段虽然使用伪配对，但Rectived Flow对噪声的鲁棒性使得即使配对不精确也能学到有效的映射。
TactAlign最核心的创新是将跨传感器触觉对齐建模为带伪配对引导的Rectified Flow问题。与原始Rectified Flow使用随机配对不同，本文利用从手-物体交互状态中提取的伪配对来引导速度场的学习方向。具体来说，对于每个伪配对 $(h^*_i, r^*_j)$，定义插值状态 $x_t = t \cdot h^*_i + (1-t) \cdot r^*_j$ 和恒定速度 $h^*_i - r^*_j$，通过最小二乘回归训练速度场 $v_\theta$。这种方法的本质优势在于：（1）伪配对提供了粗略的对应关系，引导速度场向期望的映射方向学习；（2）Rectified Flow的路径直觉性使得即使伪配对存在噪声（因为手-物体运动与触觉观测之间不是一对一关系），学习到的速度场仍能收敛到有效的传输映射；（3）整个过程不需要严格的时空配对，大大降低了数据要求。实验表明，这种「带噪声配对的Rectified Flow」（Fig. 3第三列）能够从有噪声的伪配对中学到有效的跨域映射，其EMD距离降低78%（从0.091到0.020）。
方法步骤详情
TactAlign的完整方法流程如下。第一步，触觉自监督预训练：分别对人类OSMO手套和机器人Xela传感器的触觉数据训练编码器-解码器架构。每个编码器使用基于Transformer的自注意力编码器，末尾接一个可学习的长度为1的查询向量通过交叉注意力池化模块，将变长的触觉特征压缩为固定维度 $\mathbb{R}^d$ 的潜向量。训练使用MSE重建损失，数据来源为约10分钟的游戏数据和域内触觉对齐数据集。第二步，伪配对提取：从人类和机器人演示轨迹中提取手部和物体位姿（使用WiLoR进行手部姿态估计，使用FoundationPose进行物体位姿估计），构建跨域转换 $O_h^i = (p_h^i, o_h^i, p_h^{i+1}, o_h^{i+1})$ 和 $O_r^j$。通过综合考虑位置、方向和速度差异的相似度度量 $S(O_h^i, O_r^j)$ 进行最近邻匹配，配合二元接触过滤（仅保留contact-to-contact和non-contact-to-non-contact配对）构建高质量伪配对集 $\mathcal{P}$。第三步，Rectified Flow训练：以伪配对为条件，训练速度场 $v_\theta$，使用100个离散时间步，训练20万轮次，学习率 $5 \times 10^{-5}$。第四步，推理时通过欧拉法求解ODE将人类触觉特征 $h_i$ 映射到对齐后的特征 $\hat{h}_i$，并输入共享策略网络进行动作预测。
技术新颖性
TactAlign的技术新颖性体现在三个层面。首先，在问题建模上，这是首个将跨传感器触觉对齐明确建模为概率分布传输问题的工作，而非传统的配对监督学习或分类对齐。这种建模方式天然适合处理触觉信号的连续性和高维特性。其次，在数据要求上，本文提出的伪配对机制仅需要来自同一任务的非配对人机演示数据，通过手-物体交互状态建立跨域对应关系。这与先前工作形成鲜明对比：UniTacHand要求严格时空配对（人类和机器人必须同时执行相同操作），而其他方法要么假设相同传感器、要么需要手工设计的3D打印物体作为配对监督。第三，在对齐方法上，本文首次将Rectified Flow应用于跨传感器触觉对齐，并利用其对噪声配对的鲁棒性来处理伪配对中固有的噪声。理论和实验都表明，即使伪配对存在显著噪声，Rectified Flow仍能收敛到有效的传输映射，这是因为Rectified Flow的路径直觉性使得噪声配对的影响在训练过程中被自然平滑。
实验结果
TactAlign在三个接触丰富的操作任务（旋转、插入、盖子关闭）上进行了全面评估，核心发现如下。首先，在H2R策略协同训练方面，TactAlign相比无触觉输入基线平均提升+59%的成功率，相比无对齐基线提升+51%。其中旋转任务的提升最为显著，从无触觉的0%提升到76%，这表明旋转任务对手指-物体接触状态的精确感知依赖最强。其次，在跨物体泛化方面，TactAlign在仅使用约5分钟人类数据的情况下，对「仅人类见过」物体的成功率达到71%（三任务平均），对「双方都未见过」物体的成功率达到65.5%，而机器人仅用数据训练的基线在这两类物体上均为0%或接近0%。第三，在零样本灵巧操作方面（灯泡拧紧任务），TactAlign在完全没有机器人数据、仅使用20次人类演示的条件下实现了100%的成功率，平均约61秒完成拧紧至灯泡亮起。而无触觉和无对齐基线的成功率均为0%，无触觉基线的失败原因是手指无法稳定接触灯泡，无对齐基线的失败原因是卡死导致灯泡被完全拧出。第四，在力预测评估方面，TactAlign将人类到机器人的力预测误差沿Fx、Fy、Fz轴分别降低了约98%、99%、93%，且对齐后的H→R性能在Fx轴上仅比机器人到机器人的上界基线差2%。第五，UMAP可视化（Fig. 5）显示对齐后人类触觉特征分布与机器人分布几乎重叠，且有趣的是，尽管训练中从未使用力信息，对齐后的映射在归一化力幅值上呈现出一致的跨域趋势——高接触力的人类特征被映射到高接触力的机器人特征。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Pivoting（旋转） | Success Rate (%) | 76% | Robot Only 14% / w/o Tactile 0% / w/o Align 34% | 相比Robot Only +443%，相比w/o Tactile +∞，相比w/o Align +124% |
| Insertion（插入） | Success Rate (%) | 72% | Robot Only 28% / w/o Tactile 42% / w/o Align 12% | 相比Robot Only +157%，相比w/o Tactile +71%，相比w/o Align +500% |
| Lid Closing（盖子关闭） | Success Rate (%) | 74% | Robot Only 34% / w/o Tactile 20% / w/o Align 52% | 相比Robot Only +118%，相比w/o Tactile +270%，相比w/o Align +42% |
| Light Bulb Screwing（灯泡拧紧） | Success Rate (%) | 100% | w/o Tactile 0% / w/o Align 0% | 相比两个基线从0%提升到100%，绝对提升+100% |
| 触觉分布对齐 | Earth Mover's Distance | 0.020 | 对齐前 0.091 | EMD降低78% |
| H2R力预测（Fx轴） | ℓ1 Error (N) | 0.204 ± 0.025 | 无对齐 4.008 ± 3.705 | 误差降低约95% |
局限与改进
本文在Limitation章节承认了几个主要局限。首先，尽管TactAlign的公式设计是传感器无关的，但实验评估仅限于单一的手套-机器人配对（OSMO手套到Xela传感器），由于硬件可用性的限制，未在更多触觉模态（如基于视觉的触觉传感器GelSight等）或多手设置上验证。其次，触觉对齐本身无法解决人类和机器人之间的视觉差异——人类演示的视觉外观（人手、人类视角）与机器人执行时的视觉外观（机器人手、机器人视角）存在显著差异，将视觉和其他模态整合到统一的多模态策略中是重要的未来方向。从我的观察来看，还有几个潜在局限值得注意：（1）伪配对的构建依赖于物体位姿估计的准确性，而在高度遮挡或透明物体场景下，位姿估计可能不可靠；（2）方法假设人机演示共享相同的起始和结束物体状态，这限制了其在长时间序列任务中的适用性；（3）力预测评估中Fz轴的对齐效果明显弱于Fx和Fy轴（对齐后误差仍比机器人基线高0.7N），这可能与重力方向的固有偏差有关。
独立分析的弱点
基于对论文的深入分析，我识别出以下几个需要改进的弱点。第一，伪配对的质量高度依赖物体位姿估计的准确性。本文使用FoundationPose进行位姿估计，但对于形状对称、纹理缺乏或透明的物体，位姿估计可能存在较大误差或歧义，进而导致伪配对质量下降。改进方向可以是引入不确定性感知的配对机制，对位姿估计的置信度进行加权，或使用多视角融合提高位姿估计鲁棒性。第二，当前方法在Fz轴（重力方向）的力预测对齐效果显著弱于其他两个轴，这可能是因为人类和机器人在重力方向上的力分布存在系统性差异（机器人数据的z方向平均力比人类大约0.5N）。改进方向可以是在对齐过程中引入物理先验知识，如重力补偿或力分解。第三，触觉对齐和视觉模态是分离的——TactAlign仅对齐触觉特征，而策略网络的视觉输入仍可能存在跨具身差异。改进方向是将触觉对齐扩展到多模态对齐框架，同时处理视觉和触觉的跨具身迁移。第四，方法目前仅验证了指尖触觉，未涉及掌面或手臂的触觉信息，这在需要大面积接触的操作任务（如抓取大型物体）中可能成为瓶颈。
未来方向
作者在论文中提出了几个明确的未来方向。首先是扩展到更多触觉模态，特别是基于视觉的触觉传感器（如GelSight、DIGIT），这些传感器在学术界广泛使用但信号特性与磁性传感器差异巨大。其次是扩展到多手设置，即同时使用多个机器人手进行操作的场景。第三是将触觉对齐与视觉模态整合，构建统一的多模态跨具身策略。基于论文的成果，我建议以下几个延伸方向：（1）利用TactAlign的对齐能力，构建大规模跨传感器触觉数据集——不同实验室可以用各自的触觉设备采集数据，通过TactAlign统一到共享空间，形成触觉领域的「ImageNet」；（2）将对齐方法从人类-机器人扩展到机器人-机器人，实现不同机器人平台之间的触觉知识共享；（3）探索在线对齐——在策略执行过程中动态更新对齐映射，以适应传感器漂移或环境变化；（4）将Rectified Flow对齐框架推广到其他模态的跨具身迁移，如本体感觉、力矩传感器等。
复现评估
TactAlign的复现可行性较好。在开源方面，作者提供了项目网站（yswi.github.io/tactalign/），但论文中未明确提到代码开源计划。在硬件方面，复现需要两个关键硬件：（1）人类端需要OSMO触觉手套（开源硬件，论文引用了其设计论文），或类似的三轴触觉手套；（2）机器人端需要配备Xela触觉传感器的Allegro Hand和Franka Panda机械臂。这些硬件成本较高，但都是商业可得的。在数据方面，本文的数据集规模合理：自监督预训练约10分钟游戏数据，触觉对齐阶段100次机器人演示（约60分钟）和200次人类演示，策略协同训练阶段每个任务140-160次人类演示和50次机器人演示。在算力方面，整个对齐训练（20万轮次）在单张RTX 4090上仅需约10分钟，策略训练的算力需求也未超出一般实验室的承受范围。复现难度主要在于硬件获取和数据采集的质量控制，特别是手部姿态估计（使用WiLoR）和物体位姿估计（使用FoundationPose）的准确性会直接影响伪配对质量。
论文图表
