AnyMo：面向野外人体运动的几何感知与设备无关建模

几何感知IMU仿真+全身运动token对齐LLM，实现可穿戴运动通用理解。

前置知识

惯性测量单元 (IMU)

内置于手表、手机、耳机等可穿戴设备的传感器，输出三轴加速度和三轴角速度共6维信号。本文用 $x\in\mathbb{R}^{T\times6}$ 表示一个时间窗，佩戴的body location不同会得到完全不同的测量值。

整篇论文都在处理IMU信号，理解其6维结构、setup依赖性，是看懂为何同一运动会因佩戴位置不同而变成不同信号的起点。

零样本人体活动识别 (Zero-shot HAR)

人体活动识别(HAR)指从传感器信号判断用户动作(如走路、做饭、骑车)。本文研究零样本HAR：在14个完全未见过的数据集上直接识别，标签数从4到32类，不做任何下游训练。

HAR是评测AnyMo泛化能力的主任务之一，理解'零样本'的含义才能明白为何要强调setup-agnostic与开放词汇。

InfoNCE 对比学习

对比学习损失，通过拉近正样本对、推远batch内负样本对学习表示。本文用它构造跨视图预测对比目标：从一种设备配置的掩码观测预测另一种配置的全图隐表示并做对比判别。

AnyMo预训练的核心损失 $\mathcal{L}_{MCVPCL}$ 就是基于InfoNCE，不懂它就读不懂稀疏到全身的预测目标为何能学到setup无关表示。

乘积量化 VAE tokenizer

乘积量化把高维向量切成若干子向量，每个在独立码本里找最近码字，拼成离散token。本文用它把冻结编码器的连续运动隐表示离散化为紧凑的全身IMU token，供LLM消费。

这是连接连续运动信号与离散LLM词表的桥梁，理解它才能明白原始IMU流为何被压缩成可被语言模型读取的token。

Nymeria 身体模型

大规模同步人体运动数据集，提供身体网格、骨架、原子动作文本标注，以及头部和两腕的真实IMU流。本文以其23个解剖学体段($N_{seg}=23$)组织运动，并据此仿真稠密几何感知IMU候选。

AnyMo的训练数据与身体骨架定义完全建立在Nymeria之上，理解23体段的运动学树是看懂图编码器与仿真的基础。

时空图卷积网络 (ST-GCN)

把每个体段作为图节点、按身体运动学树连边，同时建模时间动态和跨体段相关性。本文用图编码器 $G_\theta$ 处理全身IMU观测，把佩戴位置与朝向变化视为体段内的setup变化。

图编码器是AnyMo的运动表示骨干，理解节点=体段、边=运动学树，才能看懂跨视图掩码预测为何能恢复全身运动。

研究动机

可穿戴IMU虽无处不在(手表、手机、耳机、戒指、眼镜)，但理解人体运动仍极困难，因为IMU信号严重依赖sensing setup——佩戴的body location、mounting位置、传感器朝向、设备硬件与采样协议。同样是走路，腕表偏重手臂运动、眼镜捕捉头部运动、口袋手机耦合躯干与腿部，即使底层动作相同，测得的加速度与角速度也大相径庭，小到面内朝向或硬件差异都会进一步扰动信号。这使一个setup上训练的模型难以迁移到其他用户、设备与数据集。论文指出三大耦合挑战：❶数据与监督稀缺，真实IMU难大规模采集且碎片化，监督多限于少量粗粒度封闭活动标签；❷合成增强真实性有限，现有生成流程往往绑定特定标签或活动、传感器位置稀疏；❸模态鸿沟，把连续多传感器运动与离散文本对齐困难，且随传感器/通道/位置增多更严重。Figure 1把这些挑战对比分类器、对比、LLM和合成生成四类方法，显示它们都只解决部分问题。

本文的目标是构建一个setup-agnostic(与设备无关)的可穿戴人体运动通用模型AnyMo，能在任意可穿戴配置下学习鲁棒IMU表示，并支撑开放词汇的运动理解任务。具体要在三种互补任务上验证泛化能力：(1)零样本活动识别，直接迁移到14个完全未见过的下游数据集，覆盖易(<10类)/中(10-20类)/难(>20类)三类标签规模；(2)跨模态检索，在留出的Nymeria真实受试者上做sim-to-real的IMU↔文本双向检索，并在EgoExo4D上做OOD零样本迁移；(3)可穿戴IMU运动字幕生成，把稀疏传感器信号解码为自然语言描述。核心主张是语言应通过紧凑运动表示(而非原始IMU流)连接到可穿戴感知，使语言模型提供开放词汇先验。

与已有工作不同的是，本文的独特切入角度来自关键洞察：可穿戴setup的变化是结构化的而非任意的。IMU附着在体表，其信号由身体运动、表面几何、传感器朝向与设备响应的交互产生，这提供了几何与物理的归纳偏置，与以往只在标签、活动或稀疏放置上做文章的方法本质不同。作者进一步主张语言应通过紧凑运动表示连接到传感，而非直接喂原始IMU token——原始数值token随传感器、通道、时间线性增长，而位置专用tokenizer又绑定固定setup；紧凑的全身token则避开两者局限，提供运动与语言间的稳定接口。AnyMo用物理驱动的几何感知IMU仿真、setup-agnostic预训练、全身token化与运动-语言对齐，第一次把稠密体表仿真、跨setup预训练、全身token化和语言生成四者结合，区别于以往只在其中一两点发力的工作。

核心方法

AnyMo整体思路是：既然setup变化结构化，就先用物理仿真在稠密体表放置上生成多样且合理的合成IMU，再用跨视图掩码预测对比学习让编码器学会setup无关的运动表示，最后通过全身token化把多位置IMU压成紧凑token并与LLM对齐。直觉上，AnyMo先为同一身体运动在大量虚拟佩戴位置上'采集'多种IMU候选，再训练模型从稀疏局部观测推断全身运动、并保持对setup变化稳定，最后把这种表示离散化喂给语言模型。技术路线分三步：(1)几何感知IMU仿真生成稠密候选；(2)setup-agnostic图编码器预训练+全身tokenizer；(3)运动语言模型预训练与多任务对比指令微调。训练仅用Nymeria的合成候选，真实IMU只用于估计设备噪声先验与留出评测，不接触任何下游数据集。

核心创新有三层。第一，物理驱动的几何感知仿真不同于以往以关节为中心的方法：它在Nymeria模板体网格上为23个体段选择候选表面顶点，由质心 $c_i$、解剖轴 $u_i$ 与表面法线 $n_{i,v}$ 构造右手表面传感器坐标系 $R^{surf}_{i,v}=[t,b,n]$，再对虚拟位置 $p^{imu}$ 求二阶导得加速度、由朝向轨迹得角速度，并叠加从真实IMU静默窗口估计的硬件噪声先验。第二，掩码跨视图预测对比目标(MCVPCL)把稀疏到全身恢复、对比判别和时间保持三者结合，损失为 $\mathcal{L}_{MCVPCL}=\mathcal{L}_{A\to B}+\mathcal{L}_{B\to A}$ 的InfoNCE，预测目标用stop-gradient，从而区别于单纯全图对比或掩码重建。第三，全身token化用乘积量化VAE把冻结编码器的隐表示离散化，再把每个码本向量 $e_{j,k}$ 投影进LLM嵌入空间并初始化LM head对应行，使新token带有运动语义而非随机词。

方法步骤详情

分四阶段。①几何感知仿真(§3.1)：在每个体段的Nymeria模板网格上选候选顶点，构造表面传感器坐标系并叠加面内旋转得虚拟传感器轨迹，由位置二阶导去重力算加速度、由朝向轨迹算角速度，再叠加两类从真实IMU估计的硬件噪声先验，生成稠密几何感知IMU候选。②setup-agnostic预训练(§3.2)：把全身IMU建成时空图(节点=体段窗，边=运动学树)；为每窗构造配对全图视图A/B(各体段独立采样顶点与安装旋转)，随机保留1-5可见节点做掩码，图编码器输出时间保持隐表示，六层Transformer预测对侧全图隐表示做InfoNCE；再训乘积量化VAE tokenizer(冻结编码器)离散化隐表示，EMA更新码本并刷新死码。③运动语言建模(§3.3)：以Qwen2.5-0.5B扩展IMU token词表并初始化LM head，先做因果LM预训练，再多任务对比指令微调(narration对比、标签对比、字幕与多选题)。④推理：真实稀疏IMU转token，配可见佩戴位置与任务提示，pooler嵌入做检索/识别、LM head生成字幕。

技术新颖性

技术新颖性四点。其一，几何感知仿真首次在稠密体表放置上同时建模位置、局部传感器坐标系与设备噪声，区别于关节中心式仿真，为合成预训练提供了广而合理的佩戴位置分布。其二，MCVPCL把'稀疏到全身预测+对比判别+时间保持'三目标合一，既避免全图对比只对齐完整观测而不学稀疏推断，又避免掩码重建不显式区分不同运动实例，还保留了tokenizer所需的时间结构。其三，全身token化把多位置IMU统一映射到与设备无关的全身token，而非传感器/位置专用tokenizer，token数不随传感器数线性膨胀，给运动-语言提供稳定接口。其四，运动语言模型把每个IMU码本向量投影并初始化LM head，使新词带运动语义，并通过多任务对比指令微调让一个模型同时支撑判别式(检索/识别)与生成式(字幕)任务，这是把稀疏可穿戴IMU做成通用运动-语言基础模型的关键组合。

**Figure 3**: 几何感知预训练、全身IMU token化与运动语言模型预训练的细节

实验结果

三任务上一致领先。零样本HAR(Table 1)：14个完全未见数据集上AnyMo平均Accuracy 35.7、macro-F1 29.5、Recall@2 57.5，比最强基线UniMTS(31.9/26.4/46.9)提升11.7%/11.6%/22.6%；Gemma 4 26B等更大LLM直接prompt仍明显落后，证明大语言先验不足。跨模态检索(Table 2)：Nymeria留出100样本IMU→Text MRR从UniMTS 10.0跃升到44.6，Text→IMU从ImageBind 6.7到46.7；全样本与EgoExo4D OOD虽衰减但仍居前列。字幕生成(Table 3)：Nymeria上ROUGE-L 31.1(基线15.7)、BERT-F1 69.7(57.3)；EgoExo4D零样本BERT-F1仍达67.1。消融(Table 4)：去掉几何感知仿真性能从35.7/29.5/57.5崩到8.4/3.8/16.3(最大降幅)，去掉全部对比微调降到23.5/15.8/40.3，证明仿真需配稀疏到全身目标、且next-token微调不足以支撑判别式识别。

**Table 2**: Nymeria留出集与EgoExo4D上的未见/零样本跨模态检索

**Table 3**: Nymeria与EgoExo4D上的IMU运动字幕生成结果

查看结构化数据

任务	指标	本文	基线	提升
零样本人体活动识别（14数据集平均）	Accuracy	35.7	UniMTS 31.9 / ImageBind 13.4 / Gemma 4 26B 19.7	+11.7% vs 最强基线 UniMTS
零样本人体活动识别（14数据集平均）	macro-F1	29.5	UniMTS 26.4 / ImageBind 8.8 / Gemma 4 26B 11.0	+11.6% vs 最强基线 UniMTS
零样本人体活动识别（14数据集平均）	Recall@2	57.5	UniMTS 46.9 / ImageBind 23.7 / Gemma 4 26B 33.2	+22.6% vs 最强基线 UniMTS
跨模态检索 IMU→Text（Nymeria留出100样本）	MRR	44.6	UniMTS 10.0 / ImageBind 5.0 / Gemma 4 26B 6.1	+34.6 绝对，约4.5倍于 UniMTS
跨模态检索 Text→IMU（Nymeria留出100样本）	MRR	46.7	ImageBind 6.7 / IMU2CLIP 5.0 / UniMTS 5.5	+40.0 绝对，约7倍于 ImageBind
IMU运动字幕生成（Nymeria留出）	BERT-F1	69.7	GPT-5.4 Mini 57.3 / Gemma 4 26B 56.5	+12.4 绝对 vs GPT-5.4 Mini
IMU运动字幕生成（EgoExo4D零样本）	BERT-F1	67.1	GPT-5.4 Mini 56.5 / Gemma 4 26B 55.1	+10.6 绝对 vs GPT-5.4 Mini

局限与改进

作者未设独立局限章节，但从实验可推断若干边界。首先在'hard'数据集(>20类)上准确率仍很低：UTD-MHAD 2.3%、Ego4D 2.8%、MMEA 4.1%，说明开放词汇识别在细粒度/大类数场景远未解决。其次OOD迁移衰减严重：EgoExo4D零样本检索MRR从Nymeria留出的44.6骤降到个位数(0.8)，说明sim-to-real与跨数据集泛化仍有差距。第三，AnyMo完全依赖Nymeria身体模型与23体段骨架，真实IMU仅来自头和两腕，其他身体位置的真实分布难以验证，仿真噪声先验也只从两条真实流估计，泛化到全新硬件存在风险。第四，LLM骨干仅用Qwen2.5-0.5B，更大模型能否进一步提升未做探索。第五，UMAP可视化显示synthetic与real虽按活动聚簇但仍存在域偏移，几何仿真无法完全消除sim-to-real gap。

独立分析的弱点

弱点一：几何仿真强依赖高质量同步身体网格/骨架，对缺乏运动捕捉的领域(如精细手指、非Nymeria动作空间)难迁移，改进方向是引入无需mesh的弱监督仿真或真实多位置采集。弱点二：评测主要在HAR/检索/字幕三任务，未覆盖异常检测、生物力学参数估计、多人交互等下游，泛化边界不清，可扩展到更多运动理解任务做压力测试。弱点三：sim-to-real gap在EgoExo4D上明显(MRR从44.6降到0.8)，说明仿真分布仍偏窄，可结合域自适应或更大规模真实未标注数据微调。弱点四：仅用0.5B LLM，未探索更大骨干与scaling law，可做模型规模消融。弱点五：掩码策略固定保留1-5节点，对极稀疏(单设备)或全身体感的不同部署未做自适应，可设计位置感知的自适应掩码。

未来方向

作者展望是把AnyMo作为可穿戴运动理解的generalist基础模型，扩展到更多设备(戒指、耳机、AR眼镜)和更多语言-运动任务。基于成果可延伸：(1)把几何感知仿真推广到无mesh场景，用神经身体表达或单目重建生成候选，降低数据门槛；(2)把全身token化思想迁移到其他稀疏时序信号(肌电、脑电、压力传感器)，构建多模态body foundation model；(3)结合主动学习与真实数据闭环持续缩小sim-to-real gap；(4)探索更大LLM骨干与scaling，研究IMU token词表规模、码本数量的扩展规律；(5)把运动-语言对齐用于上下文感知AI(主动提示、健康监测、人机交互)，实现'理解运动即理解用户意图'。作者还提到可构建AnyMo Bench等更细粒度的真实世界HAR基准。

复现评估

复现性中等偏上。有利因素：训练数据Nymeria、骨干Qwen2.5-0.5B、14个下游评测集、EgoExo4D均公开；核心数学公式(仿真方程、MCVPCL的InfoNCE、tokenizer的commitment损失 $\mathcal{L}_{com}$、对比指令损失 $\mathcal{L}_{CIT}$)均完整给出；项目页 baiyuchen.com/project/AnyMo 承诺提供代码与模型；附录给出数据预处理、提示模板、基线细节。挑战：需要同步的身体网格/骨架跑几何仿真，预处理管线复杂；仿真、图编码器、tokenizer、LLM四阶段训练计算量可观(作者用了UNSW Wolfpack集群)；部分超参(温度τ、码本数P/K、λ权重、学习率)散在附录，完整复现需仔细对齐；14数据集零样本评测协议与标签映射也需逐一配置。总体认真复现可行但工程量大。

AnyMo：面向野外人体运动的几何感知与设备无关建模 AnyMo: Geometry-Aware Setup-Agnostic Modeling of Human Motion in the Wild