基于结构化运动描述的无编码器人体运动理解

把骨骼序列规则化转成自然语言文本，让LLM直接做运动问答与描述，无需训练运动编码器。

前置知识

SMPL人体骨骼模型

SMPL（Skinned Multi-Person Linear model）是一种参数化人体三维建模方法，把人体表示为22个关节的位置序列，并配套提供263维特征向量（根速度、关节位置、6D关节旋转等），是当前3D人体运动数据的主流表示。

本文的SMD转换函数 $f_{\text{SMD}}: \mathbb{R}^{T\times J\times 3} \to \mathcal{V}^*$ 正是以SMPL的22个关节为输入，因此理解SMPL结构是看懂本文方法的前提。

LoRA（Low-Rank Adaptation）

LoRA是一种参数高效微调方法，向LLM的线性层注入低秩矩阵 $\Delta\phi$（约40M参数），冻结原始权重 $\phi$，仅训练小部分参数即可让模型适配下游任务，显存与训练成本远低于全参数微调。

本文的训练阶段仅对LLM加LoRA适配器（rank=16, α=32），损失 $\mathcal{L} = -\sum_{l=1}^{L} \log p_{\phi+\Delta\phi}(y_l | x, y_{<l})$ 仅作用于目标响应token上，是其"LLM无关"特性的关键。

运动问答与运动描述生成

Motion QA指给定一段骨骼序列回答关于"哪部分在动、往哪动、做了什么动作"等选择题；Motion Captioning要求生成自然语言描述。两类任务都需要对细粒度时空关节运动进行推理。

本文在BABEL-QA、HuMMan-QA和HumanML3D三个标准基准上同时验证，是评估SMD对运动理解能力最直接的任务。

VQ-VAE / VAE 运动编码器

现有方法常用VQ-VAE将运动序列离散化为token，或用VAE输出连续潜变量，再通过MLP投影层把潜变量对齐到LLM的词嵌入空间，模仿LLaVA等多模态范式，把运动当作"另一种模态"处理。

理解这些encoder-based方法（MotionGPT、MoChat、MotionGPT3等）的耦合性、跨域脆性，才能体会本文"无编码器"方案的核心动机。

研究动机

现有LLM-based运动理解方法普遍采用encoder-based范式：先用VQ-VAE（如MotionGPT、MotionGPT-2）、连续VAE（MotionGPT3）或线性投影（MotionLLM）把骨骼序列编码为token或潜变量，再通过多阶段对齐训练映射到LLM嵌入空间。这套范式带来三方面问题：第一，编码器与对齐模块需在配对的motion-text数据上做多阶段训练，流程复杂且成本高；第二，整个系统与具体LLM骨架强耦合，换LLM就要重训编码器和对齐模块；第三，跨数据源时VAE/VQ-VAE表现脆——MotionGPT3-Qwen在HumanML3D上训的VAE在BABEL-QA上还能跟IMoRe有可比性（50.1% vs 60.1%），但换到不同采集流程的HuMMan-QA时准确率骤降至22.0%，与本文的90.1%相差68个百分点，表明学习式编码器对输入分布迁移极度敏感。

本文的目标是本文的具体目标是设计一种确定性的、基于规则的方法，把SMPL关节位置序列直接转换为LLM可读的结构化自然语言文本，从而彻底摆脱对学习式运动编码器与跨模态对齐模块的依赖，让预训练LLM的世界知识（身体部位、空间方向、运动语义）直接作用于运动推理；并在BABEL-QA、HuMMan-QA、HumanML3D三个基准上同时刷新SOTA，同时验证该方案在8个LLM、6个模型家族间的可移植性，让"用规则替代表征学习"成为可能。

与已有工作不同的是，本文的独特切入角度是借力生物力学：临床步态分析早用"髋屈曲从3°升至81°"这类关节角曲线作为人体运动的精确描述语言，这种描述天然是文本形式，同时是定量测量。本文把这一思想扩展到全身26个关节角（覆盖骨盆、腰椎、颈部、双侧髋/膝/踝/肩/肘等13个身体部位组），通过"关节角+全局轨迹"两条结构化文本通道，构造出约4K token的SMD文本，让LLM在自身擅长的模态上做细粒度时空推理，从而绕开encoder-based范式的对齐成本与跨域脆性问题。

核心方法

本文方法由两阶段构成，整体直觉是"用规则把动作翻译成LLM听得懂的语言"：第一阶段 $f_{\text{SMD}}$ 是一个完全确定性的、零训练的规则化转换器，输入SMPL的22个关节位置序列，按四个步骤生成结构化文本；第二阶段把该SMD文本与任务提示拼成 $x$，送入冻结的预训练LLM，仅通过LoRA适配器（$\sim 40$M参数，rank=16, $\alpha=32$）做下游微调，损失仅作用于目标响应token。技术路线关键在于：用生物力学关节角作为"通用翻译语言"，借助LLM预训练时已学到的身体部位、方向、运动语义知识来填补关节角→动作语义的鸿沟，省掉encoder与对齐模块，并自然得到可解释的注意力热力图。

与已有encoder-based方法的本质区别在于：本文把运动数据从"另一种模态"重新理解为"LLM原生可读的文本"。MotionGPT3等方法依赖学得的离散/连续潜变量+MLP投影对齐到LLM词空间，是典型的"模态对齐"思路；SMD则通过 $f_{\text{SMD}}: \mathbb{R}^{T\times J\times 3} \to \mathcal{V}^*$ 的确定性规则映射直接产出LLM词表 $\mathcal{V}$ 上的字符串 $S$，因此既不需要多阶段对齐训练，也解耦了编码器与特定LLM骨架，还能让注意力直接落在人类可读的关节角描述上产生可解释性。这是一种"用领域知识代替表征学习"的设计哲学。

方法步骤详情

SMD构造分四步。Step 1（关节角计算）：以骨盆为根建立身体局部坐标系（$e_x$指前、$e_y$指上、$e_z$指右），沿运动学链依次计算26个关节角。例如髋屈曲定义为 $\theta^{(t)}_{\text{hip-flex}} = \text{atan2}(\hat{v}^{(t)}_{\text{fem}}\cdot e_x, -\hat{v}^{(t)}_{\text{fem}}\cdot e_y)$，共得13个身体部位组26个角度。Step 2（全局轨迹描述）：以骨盆轨迹为代理沿前向/侧向/高度三轴+偏航角提取，用窗口 $w=7$ 帧滑动平均平滑、峰谷检测（位移阈值 $\tau_p=0.03$m、偏航阈值15°）分段。Step 3（关节角描述）：对26条时间序列做相同平滑+分段，角度阈值 $\delta=5°$，标记 increases/decreases/holds/repeats N cycles。Step 4（SMD组装）：层次化输出为元信息头、全局轨迹块、关节角块，全部26角度约4K token、Top-3最活跃关节约1K token。

技术新颖性

技术新颖性体现在三方面。其一，跨模态输入再表征：把 $\mathbb{R}^{T\times J\times 3}$ 的连续运动信号转化为LLM词表 $\mathcal{V}^*$ 上的离散字符串，绕开encoder的表示学习与对齐训练，使SMD输入对数据源天然鲁棒（HuMMan-QA上90.1% vs MotionGPT3-Qwen的22.0%）；其二，跨LLM可移植性：同一SMD文本可在Qwen2.5-3B/7B/14B、Qwen3-8B、Qwen3.5-9B、Gemma3-4B、LLaMA-3.1-8B、GLM-4-9B共8个LLM上仅通过$\sim 40$M参数的LoRA适配（2–8 GPU-hour/适配器，单H200）即工作；其三，原生可解释性：Figure 3显示对"walking in place"和"waving with right hand"两类动作，模型分别聚焦于轨迹段+周期性关节角、以及Right Shoulder/Right Elbow段，提供了encoder latent难以做到的细粒度诊断。

**Figure 2**: Overview of our approach. (a) Pipeline for SMD-based Motion Understanding. (b) Structured Motion Description example for a 'Left Leg Kick' motion.

实验结果

主结果（Table 1）显示三类任务同时刷新SOTA。运动问答：BABEL-QA本文66.7% vs IMoRe 60.1%（+6.6pp），HuMMan-QA本文90.1% vs IMoRe 75.2%（+14.9pp），与MotionGPT3-Qwen差距16.6pp/68.1pp——后者VAE迁移到HuMMan-QA彻底失效（22.0%），印证SMD跨域鲁棒。运动描述：HumanML3D上R@1=0.584、CIDEr=53.16、BERTScore=45.58，相对MotionGPT3在CIDEr上+31%、BLEU@4上+17%。消融（Table 2）显示QA在Top-3时最佳（73.3/91.0），captioning随关节数单调上升（R@1：0.452→0.584）。Table 4表明SMD对δ、w、τp稳健，BABEL-QA波动≤4pp。Table 5显示零shot在随机~10%基线下BABEL-QA 35.6%、HuMMan-QA 31.7%，证明LLM能部分读懂生物力学描述。

**Table 1**: Main results. Top: motion QA accuracy on BABEL-QA and HuMMan-QA. Bottom: motion captioning performance on HumanML3D.

**Table 2**: Effect of the number of joints included in SMD.

**Table 3**: Effect of trajectory representation in the SMD.

**Table 4**: Sensitivity to SMD conversion parameters: δ (angle threshold), w (smoothing window), τp (trajectory position threshold).

**Table 5**: Performance with and without LoRA fine-tuning on Qwen2.5-7B using Top-3 SMD.

**Table 6**: Backbone portability across 8 LLMs from 6 model families.

**Figure 3**: Attention heatmaps for two captioning examples: (a) walking in place; (b) waving with right hand.

查看结构化数据

任务	指标	本文	基线	提升
运动问答 (BABEL-QA)	准确率 (10选项)	66.7%	IMoRe 60.1%	+6.6 pp (相对 +11.0%)
运动问答 (HuMMan-QA)	准确率 (10选项)	90.1%	IMoRe 75.2%	+14.9 pp (相对 +19.8%)
运动描述 (HumanML3D)	R@1 (检索精度)	0.584	MotionGPT3 0.573	+0.011 (相对 +1.9%)
运动描述 (HumanML3D)	CIDEr	53.16	MotionGPT3 40.6	+12.56 (相对 +30.9%)
运动描述 (HumanML3D)	BLEU@4	22.67	MotionGPT3 19.4	+3.27 (相对 +16.9%)
运动描述 (HumanML3D)	BERTScore	45.58	MotionGPT3 35.23	+10.35 (相对 +29.4%)
运动问答 (BABEL-QA, 零shot)	准确率 (无微调)	35.6%	随机猜测 ~11.6%	+24 pp (相对 +207%)

局限与改进

作者明确指出的局限是推理延迟：All-26 SMD约4K token，相对VAE类方法的~256 token长约15×，单H200上仅约1 sample/s，限制了实时部署；训练成本不受影响。另一局限是规则化的26个SMPL关节角集合对手指、手部精细动作刻画不足，对Kinect、COCO等其他骨骼格式的迁移需重新映射标志点（虽在NTU RGB+D 60上验证可行但需适配）。我额外观察到三点：第一，SMD的关节角计算依赖解剖学先验，扩展到非人型骨骼（四足、灵巧手、面部）需要重新设计运动学链；第二，固定阈值 $\delta=5°$、$\tau_p=0.03$m对极慢动作和高爆发动作（拳击、跳跃落地）可能过平滑或漏分段；第三，论文未在多模态数据（带视频/语音）上验证，纯骨架场景下SMD对环境与物体交互的描述能力未触及，且当动作类别高度依赖上下文（如"握住杯子"）时，文本化路径的内在信息瓶颈会更明显。

独立分析的弱点

独立分析本文存在四个值得改进的弱点。弱点一：文本长度膨胀。All-26 SMD约4K token导致decoder预填充成本高、长上下文注意力在多数LLM上未充分预训练，未来可通过"按query动态选择相关关节"或"先摘要再细化"的两阶段SMD减少token。弱点二：4个超参（$\delta=5°$、$w=7$、$\tau_p=0.03$m、偏航阈值15°）需手工调优，且4.3节显示在$\delta=3°$或$w=11$时R@1/CIDEr可小幅超过默认值，提示不同任务最优阈值不同；改进方向是引入运动自适应的局部信噪比估计或学习式分段。弱点三：依赖SMPL的22关节拓扑。当输入来自Kinect（25关节）、COCO（17关键点）甚至点云时，需要重新定义运动学链与标志点，目前仅NTU RGB+D 60有验证。弱点四：评测协议仍有缺口。论文对QA采用10选项标准化格式以利公平对比，但真实应用更接近开放式问答；captioning评测依赖HumanML3D的T2M evaluator，跨benchmark的鲁棒性（如KIT-ML）未充分报告。

未来方向

作者在文末与4.5节明确给出三个未来方向：(1)学习式SMD替代——训练一个端到端模型从运动直接生成SMD风格文本，保留可读性的同时放宽对规则化关节角的依赖；(2)运动自适应分段阈值——对极慢与极爆发动作设计局部信噪比感知的$\delta$、$\tau_p$；(3)从运动理解扩展到运动生成与编辑——把SMD作为运动扩散模型或多模态LLM的中间表征。基于成果还可延伸出：(a)将SMD用于运动检索（已在Zhang et al. [30]有先例），用LLM原生支持做零样本动作查询；(b)拓展到手指/面部关节，构造"手语SMD"或"表情SMD"；(c)把SMD与视频VLM（如LLaVA-Next）结合，做视频-骨骼跨模态描述对齐；(d)借助SMD的注意力可解释性分析模型失败案例，用作系统化错误诊断工具。

复现评估

复现友好度较高。作者在https://yaozhang182.github.io/motion-smd/公开了代码、SMD转换脚本、训练好的LoRA适配器及示例数据；数据集均为公开标准基准。算力门槛低：默认Qwen2.5-7B + LoRA rank=16, $\alpha=32$ 约40M可训练参数，QA联合训练5 epoch batch size 8 lr 1e-4 cos约7 GPU-hour，captioning约20 GPU-hour，单卡H200即可跑完。复现难度集中在三处：(a)SMD转换函数需严格按表7的描述短语库实现26个关节角的解剖学定义（如肩内收、膝屈曲），门槛在生物力学知识而非代码；(b)Joint angle calculation的解剖参考平面构建需正确处理坐标系方向与符号约定；(c)评测协议对QA统一为10选项需重做benchmark切分，附录D.1有详细方法。综合来看，复制主结果所需工作量约1–2人周，在LLM-based运动论文中属较易复现水平。

基于结构化运动描述的无编码器人体运动理解 Encoder-Free Human Motion Understanding via Structured Motion Descriptions