MoBind：用于IMU-视频姿态细粒度对齐的运动绑定框架

层次化对比学习实现IMU与视频骨架的亚秒级精确对齐

前置知识

IMU (Inertial Measurement Unit)

惯性测量单元，包含加速度计和陀螺仪，可测量物体的加速度和角速度。在人体运动分析中，IMU传感器通常佩戴在身体不同部位（如手腕、脚踝、躯干等），以高频（通常50-200Hz）记录运动数据。IMU数据是时间序列信号，包含丰富的运动动态信息但缺乏视觉语义上下文。

本文的核心就是将IMU信号与视频提取的骨架姿态进行对齐，理解IMU数据的特性对于理解方法的动机至关重要。

对比学习 (Contrastive Learning)

一种自监督学习方法，通过拉近正样本对（相关的样本）在嵌入空间中的距离，同时推远负样本对（不相关的样本），来学习有意义的表示。常用InfoNCE损失函数，其中s(.)是余弦相似度，tau是可学习的温度参数。

MoBind的核心技术就是层次化的对比学习，在token级别、局部级别和全局级别分别应用对比目标来学习IMU和姿态的对齐表示。

骨架姿态估计

从图像或视频中检测人体的关键关节点位置（如肩、肘、腕、膝、踝等）。通常使用深度学习模型（如MMPose、OpenPose等）从每一帧图像中预测2D或3D关节坐标。骨架姿态序列保留了人体运动的结构化信息，但可能受遮挡、视角变化等因素影响。

本文选择对齐IMU与骨架姿态而非原始像素，正是为了过滤无关的视觉背景并聚焦运动相关线索，这是方法的重要设计选择。

层次化表示学习

在不同粒度级别学习表示，通常是局部-全局或细粒度-粗粒度的层次结构。本文中包括三个层次：(1) token级别：每个时间片段的特征对齐；(2) 局部级别：单个IMU与对应身体部位的对齐；(3) 全局级别：所有IMU聚合后的全身表示对齐。

层次化设计是本文实现细粒度时间对齐的关键创新，区别于传统方法只使用单一全局嵌入的做法。

Masked Token Prediction (MTP)

一种自监督预训练任务，随机遮蔽输入序列中的部分token，然后用模型预测被遮蔽的内容。在本文中，IMU时间token被遮蔽后由轻量级Transformer预测原始token值，使用均方误差损失，其中M是被遮蔽位置的集合。

MTP是本文的辅助任务，防止模型过度拟合对齐线索而丢失动作级别的语义信息，在保持细粒度对齐的同时保留粗粒度语义。

研究动机

现有的IMU-视频多模态学习方法主要针对人类活动识别（HAR），通过对比学习将每个片段投影到单一的全局嵌入向量。这种设计在粗粒度的语义区分（如动作类别）上表现良好，但忽略了细粒度的时间结构。具体问题包括：(1) 只有相位偏移、短时滞后或重复边界不同的片段会被映射到相近的编码，导致表示对真正的时间同步不敏感；(2) 这限制了免校准的时间同步、亚秒级跨模态检索和空间定位等下游应用；(3) 在高度动态的场景（如TotalCapture）中，全身运动可能掩盖肢体级线索，阻碍对佩戴IMU的对齐；(4) 在包含重复运动的场景（如mRi康复动作）中，许多近重复片段会产生大量困难负样本。

本文的目标是本文目标是开发一个联合表示框架，显式建模IMU和视频之间细粒度的时间动态，同时保持粗粒度的语义。具体而言，要实现：(1) 亚秒级的IMU-视频时间对齐精度；(2) 准确的跨模态检索能力；(3) 在多人场景中正确识别IMU佩戴者及其身体部位；(4) 保持动作识别性能。最终的框架应支持免校准的时间同步、隐私敏感场景下的跨模态检索以及多人场景中的空间定位。

与已有工作不同的是，本文的独特切入角度是从IMU-视频对齐问题出发，而不是通用的多模态表示学习。与音频-视频同步方法不同，IMU信号具有局部性和严格的运动中心特性，使得大多数视觉背景无关。此外，IMU通常以多传感器配置部署，每个传感器附在不同身体部位，朴素连接无法捕获它们的空间和时间特异性。为此，本文提出将全身运动分解为局部身体部位轨迹，每个与对应IMU配对，并采用层次化的对比策略，先对齐token级时间片段，再融合局部对齐与全局运动聚合，从而在保持粗粒度语义一致性的同时实现细粒度的亚秒级时间对齐。

核心方法

MoBind是一个端到端的层次化对比学习框架，用于学习可穿戴IMU信号与视频中人体运动的联合表示。整体思路是：首先从视频中提取2D骨架关节点序列，同时处理来自N个身体佩戴传感器的原始IMU流；然后使用模态特定的模块产生表示，通过对比目标训练以拉近同步的IMU-视频对并推开不匹配的对。关键创新在于不像前人工作将输入压缩为单一全局向量，而是通过局部表示捕获身体部位运动，聚合成全局表示，并建模token级的时间动态。这种层次化设计可以捕获细粒度的运动细节。为了防止过度关注细粒度对齐而粗略语义表示不足，还添加了专门针对IMU输入的Masked Token Prediction（MTP）模块。层次化对齐和MTP共同使模型学习局部运动模式和细粒度动态，从而产生鲁棒的跨模态对齐和改进的HAR性能。

核心创新点在于层次化的对比学习策略和将IMU与骨架姿态对齐的设计选择。与现有方法（如IMU2CLIP、DeSPITE、SyncNet）使用单一全局嵌入不同，MoBind在三个层次应用对比损失：(1) token级别：匹配跨模态的个体时间token，促进沿时间的细粒度对应关系；(2) 局部级别：每个IMU传感器与其对应身体部位的运动对齐；(3) 全局级别：聚合的IMU表示与全局骨架表示对齐。这种设计本质上区别于只关注粗粒度动作类别的方法，能够在亚秒级精度上实现实例级对齐。另一个关键创新是选择将IMU与视频提取的骨架姿态对齐而非原始像素，这过滤了无关的视觉背景并聚焦运动相关线索。最后，MTP辅助任务在保持细粒度对齐的同时保留了粗粒度语义，防止模型过度拟合对齐线索。

方法步骤详情

MoBind的完整流程包含以下几个步骤：(1) 输入准备：从视频中提取2D骨架关节坐标序列，已知IMU传感器的安装位置后，将全身运动序列分解为N个部位特定的段，每个对应Jn个关节的子集。同时，N个IMU信号被同时处理，每个IMU的数据表示为X，其中F是帧数，C是传感器通道数。(2) 编码：IMU编码器由1D卷积块后接Transformer层组成，首先应用1D卷积层保持时间分辨率F并产生中间特征图，然后将序列划分为T=F/f个不重叠的时间片，每个展平并线性投影为D维向量，作为Transformer的输入输出时间token序列Z。身体部位编码器使用相同架构设计，对每个身体部位输出T个D维时间token。(3) 局部表示：对每个IMU和身体部位，通过在时间维度上对token序列应用平均池化得到局部表示Zn。(4) 全局表示：通过连接N个局部向量后接归一化-MLP块得到全局表示G。(5) 对比对齐：在三个层次应用InfoNCE损失：全局级别对齐聚合表示，局部级别对齐单个传感器-部位对，token级别对齐个体时间token。总对齐损失为Lalign，权重分别为1.0、1.0、0.5。(6) MTP辅助任务：在训练时并行运行，对IMU时间token随机采样遮蔽集，遮蔽比例为0.75，用可学习的查询向量替换被选token，轻量级Transformer从上下文预测缺失token，MTP损失为遮蔽位置的均方误差。(7) 联合优化：最终损失为L = Lalign + 0.3*Lmtp。

技术新颖性

MoBind的技术新颖性体现在多个方面：(1) 首个针对IMU-视频细粒度对齐的框架：虽然音频-视频同步有大量工作，但IMU-视频对齐一直未被直接研究。本文针对IMU的局部性和运动中心特性，设计了专门的框架而非简单迁移AV方法。(2) 三层次对比学习：token、局部和全局三层对比的层次化设计是首次应用于IMU-视频对齐，使得模型能够捕获从亚秒级时间对齐到全身运动模式的多粒度信息。(3) 骨架-IMU对齐而非像素-IMU：选择对齐IMU与骨架姿态而非原始像素，这是对现有IMU-视觉方法的重要改进，有效过滤了视觉背景噪声并聚焦运动相关线索。(4) 多传感器结构化建模：通过将全身运动分解为局部身体部位并分别对齐每个IMU与对应部位，实现了语义grounded的多传感器关联，而非朴素连接所有IMU信号。(5) IMU专用的MTP辅助任务：MTP模块专门针对IMU流设计，在保持细粒度对齐的同时保留了粗粒度语义，防止模型过度拟合对齐线索。(6) 统一的四任务评估：在跨模态检索、时间同步、空间定位和动作识别四个任务上全面评估，展示了所学习表示的多功能性。

**Figure 1**: Proposed framework for motion binding between IMUs and 2D pose sequence from video.

**Figure 2**: Overview of the proposed MoBind.

实验结果

MoBind在三个数据集（mRi、TotalCapture、EgoHumans）的四个下游任务上取得了state-of-the-art性能。在跨模态检索任务中，MoBind在mRi数据集上IMU到Video的R@1达到0.94，显著优于IMU2CLIP（0.67）、DeSPITE（0.57）和SyncNet（0.77）；Video到IMU的R@1为0.92，也远超基线。在TotalCapture上提升更为显著，IMU到Video的R@1从0.06提升到0.87，Video到IMU的R@1从0.07提升到0.68。在时间同步任务中，MoBind在mRi上的MAE为0.47秒，200ms容忍度下准确率为88%；在EgoHumans上MAE仅为0.04秒，准确率达到100%。MoBind还实现了精确的身体部位定位，在EgoHumans多人场景中定位准确率达到98.12%，F1分数0.9801，优于VIPL（准确率90.14%，F1 0.8933）。在动作识别任务中，MoBind在mRi和TotalCapture上微调设置下分别达到0.98和0.72的准确率，1-NN设置下为0.86和0.71，均优于IMU2CLIP、DeSPITE、SyncNet以及专门的IMU编码器UniMTS、Imagebind、EVI-MAE、Primus。消融研究验证了三层次对比的有效性：仅全局对齐时R@1为0.34，加入局部后提升到0.77，再加入token后达到0.94。MTP的作用也得到验证：移除MTP后，TotalCapture上的微调准确率从0.72降至0.55，1-NN从0.71降至0.53，证明MTP在保持动作语义方面的重要作用。鲁棒性实验显示，即使在部分传感器失效的情况下，MoBind仍保持强性能，体现了对实际部署的适应性。

**Table 1**: Cross-modal retrieval performance on the mRi, TotalCapture and EgoHumans datasets.

**Table 2**: Synchronization results on three datasets.

**Table 3**: IMU-to-person identification in multi-person scenes from EgoHumans.

**Table 4**: Human activity recognition results under finetuning and 1-NN setting on the mRi and TotalCapture.

**Table 5**: Ablation studies on contrastive objectives on mRi.

**Table 6**: Effect of Masked Token Prediction on model performance.

**Figure 3**: IMU to Video retrieval results on mRi (left) and EgoHumans (right).

**Figure 4**: Per-action synchronization accuracy on EgoHumans (left) and mRi (right).

**Figure 5**: Examples of body-part localization on EgoHumans.

**Figure 7**: Robustness to Sensor Failure.

**Figure 6**: Results for the challenging combined task of temporal synchronization and spatial localization.

查看结构化数据

任务	指标	本文	基线	提升
跨模态检索（IMU到Video，mRi）	Recall@1	0.94	IMU2CLIP: 0.67, DeSPITE: 0.57, SyncNet: 0.77	相比IMU2CLIP提升40.3%，相比SyncNet提升22.1%
跨模态检索（Video到IMU，TotalCapture）	Recall@1	0.68	IMU2CLIP: 0.07, DeSPITE: 0.03, SyncNet: 0.54	相比IMU2CLIP提升871.4%，相比SyncNet提升25.9%
时间同步（mRi）	MAE（秒）	0.47	SyncWISE: 3.31, IMUSync: 0.72	相比SyncWISE提升85.8%，相比IMUSync提升34.7%
时间同步（EgoHumans）	准确率（200ms容忍度）	1.00	SyncWISE: 0.02, IMUSync: 0.82	相比SyncWISE提升4900%，相比IMUSync提升22.0%
身体部位定位（EgoHumans）	准确率	0.9812	VIPL: 0.9014	提升8.9%
动作识别（mRi，微调）	准确率	0.98	SyncNet: 0.97, IMU2CLIP: 0.79, UniMTS: 0.95	相比IMU2CLIP提升24.1%，相比UniMTS提升3.2%
动作识别（TotalCapture，微调）	准确率	0.72	SyncNet: 0.68, IMU2CLIP: 0.60, Primus: 0.82	相比IMU2CLIP提升20.0%，相比SyncNet提升5.9%

局限与改进

作者在论文中讨论的局限性包括：(1) 对骨架估计质量的依赖：MoBind依赖于从视频准确提取的2D骨架姿态，骨架估计的噪声或错误可能影响对齐性能。虽然论文使用MMPose的RTMPose并声称在所有实验中始终使用估计的2D关键点，但未深入分析骨架估计误差的影响。(2) 计算复杂度：三层次对比学习增加了计算开销，相比单一全局嵌入的方法更复杂。(3) 传感器配置假设：方法假设已知IMU传感器的安装位置，在实际应用中可能需要额外的标定步骤。(4) 单模态性能未探索：论文专注于跨模态对齐，未评估学习到的表示在单模态任务上的表现。(5) 泛化性评估有限：虽然实验在三个数据集上进行，但都使用估计的2D关键点，未测试在不同骨架估计质量或不同传感器配置下的泛化能力。(6) 长序列处理：虽然提到支持任意长度的IMU和视频序列，但训练使用固定的5秒窗口，长序列的处理细节未详细阐述。

独立分析的弱点

独立分析的弱点包括：(1) 对骨架估计的过度依赖：整个方法的核心是IMU与骨架姿态的对齐，如果骨架估计不准确（如严重遮挡、极端视角或低光照条件），性能会显著下降。改进方向可以是引入更鲁棒的骨架估计方法，或设计能够在骨架噪声下工作的对齐机制。(2) 计算资源需求较高：三层次对比学习需要同时计算token、局部和全局的对齐损失，训练时间较长（2.5小时/运行），推理时也需要更多计算。改进方向可以是设计更高效的层次化对比策略，或使用知识蒸馏将大模型压缩到小模型。(3) 传感器配置的先验要求：方法假设已知每个IMU传感器安装在哪个身体部位，在实际部署中可能需要额外的标定步骤。改进方向可以是设计自标定机制，自动学习传感器与身体部位的对应关系。(4) 在高度相似重复运动上的挑战：虽然MoBind在mRi数据集上表现良好，但重复运动（如走路周期）仍会产生近重复片段和困难负样本。改进方向可以是引入更多的时间上下文或周期性建模来区分这些相似片段。(5) 缺乏对单模态任务的评估：论文没有评估学习到的IMU表示在纯IMU活动识别任务上的性能，这可能限制了方法的应用范围。改进方向是补充单模态任务评估，证明学习到的表示在跨模态和单模态任务上都有效。

未来方向

作者提出的和基于成果可延伸的未来研究方向包括：(1) 扩展到更多模态：当前框架专注于IMU和骨架姿态的对齐，未来可以扩展到其他模态如音频、文本或LiDAR，实现更丰富的多模态理解。(2) 自监督传感器标定：设计自动学习传感器与身体部位对应关系的机制，消除对人工标注的依赖。(3) 实时应用：优化模型架构和推理流程，使方法能够应用于实时系统，如在线体育分析或康复监测。(4) 更多下游任务：探索学习到的表示在其他任务上的应用，如动作质量评估、运动技能学习或人机交互。(5) 跨数据集泛化：研究如何提高模型跨不同数据集、不同传感器配置和不同环境条件的泛化能力，使其更适合实际部署。(6) 理论分析：深入分析层次化对比学习的理论基础，理解为什么三层次对比比单一层次更有效，以及如何最优地设计层次结构。(7) 轻量化部署：针对边缘设备和移动设备优化模型，使其能够在资源受限的环境中运行，扩大应用场景。

复现评估

复现评估方面：(1) 开源情况：论文提到代码可在https://github.com/bbvisual/MoBind获取，这是积极的开源实践。(2) 数据集：使用三个公开数据集：mRi（多模态3D人体姿态估计数据集，使用mmwave、RGB-D和惯性传感器）、TotalCapture（融合视频和惯性传感器的3D人体姿态估计数据集）、EgoHumans（以自我为中心的3D多人基准数据集）。这些数据集都是公开可获取的。(3) 计算资源：训练在单个NVIDIA GeForce RTX 5090上进行，每次运行约2.5小时。这对普通研究者来说可能是一个限制，因为RTX 5090是高端GPU。(4) 实现细节：论文提供了详细的超参数设置：使用5秒窗口，256维嵌入，损失权重分别为1.0、1.0、0.5、0.3，MTP遮蔽比例0.75，Adam优化器学习率0.0001，批量大小1356。使用Adam优化器和早停机制（验证集R@1，耐心500轮）。(5) 骨架估计：使用MMPose软件和RTMPose模型估计2D关键点，所有实验中一致使用估计的关键点而非ground truth，这增加了复现的真实性但也引入了额外依赖。(6) 难度评估：总体来说，复现难度中等偏高。主要挑战包括获取高质量数据集、配置MMPose和RTMPose环境、以及需要强大的计算资源。代码开源和详细参数设置有助于复现，但GPU要求和数据集大小可能是一些研究者的障碍。建议作者提供预训练模型权重或更轻量的实现版本以降低复现门槛。

MoBind：用于IMU-视频姿态细粒度对齐的运动绑定框架 MoBind: Motion Binding for Fine-Grained IMU-Video Pose Alignment