基于关节角度运动图像和Token-Patch后期交互的细粒度运动检索 Fine-grained Motion Retrieval via Joint-Angle Motion Images and Token-Patch Late Interaction
通过关节角度表示和Token-Patch后期交互实现可解释的细粒度文本-运动检索
前置知识
3D骨骼运动序列
3D human motion skeleton sequences are typically represented as frame-wise skeletal features, most commonly using a 263-dimensional feature vector where each joint's orientation is encoded as a 6D rotation matrix relative to its parent in a generic coordinate frame. This representation provides rich redundancy for motion generation but may be unnecessarily complex for retrieval tasks that require compact and discriminative representations.
Understanding this representation is crucial for grasping why the authors introduce the joint-angle representation and how it fundamentally differs from existing approaches that rely on raw joint positions.
Late Interaction（后期交互）
Late interaction was introduced by ColBERT for text retrieval and retains per-token representations instead of compressing documents into single embeddings. It computes relevance via a Maximum Similarity (MaxSim) operator where each query token finds its best-matching document token, and the final score aggregates these maxima. Unlike cross-attention mechanisms requiring joint processing, late interaction allows pre-encoding gallery items offline for efficient retrieval.
This is the core retrieval mechanism that replaces traditional global embeddings, making it essential for understanding the paper's fine-grained alignment approach.
Joint Angle Representation（关节角度表示）
Joint angles describe how a joint bends or rotates relative to its parent limb segment regardless of the body's global position in world coordinates. They are anatomically defined following International Society of Biomechanics (ISB) standards, decomposing each joint's motion into clinically meaningful components such as flexion/extension, abduction/adduction, and internal/external rotation along well-defined anatomical planes. These angles are inherently translation-invariant and each degree of freedom corresponds to a specific type of joint articulation.
This is the foundational motion representation that enables fine-grained matching by decoupling local joint movements from global trajectory, which is central to the paper's approach.
Masked Language Modeling（MLM）
MLM is a pre-training objective from BERT where input tokens are randomly masked and the model must reconstruct them based on surrounding context. This forces the encoder to capture deep syntactic and semantic relationships within sentences, producing token embeddings that encode not just lexical identity but also the token's role within the broader sentence structure.
This regularization technique is crucial for the paper's approach because it stabilizes fine-grained MaxSim matching by ensuring token embeddings carry sufficient contextual information for reliable alignment.
研究动机
现有文本-运动检索方法主要采用双编码器框架，将运动序列和文本描述压缩为单一全局嵌入向量，通过余弦相似度进行匹配。这种全局嵌入方法虽然计算高效，但会丢弃细粒度的局部对应关系。具体来说，在HumanML3D数据集上，TMR方法在Text-to-Motion检索中R@1仅达到8.92%，R@10为33.37%，MedR高达25.00，表明现有方法在细粒度对齐方面存在明显局限。此外，现有运动表示方法（如MoPatch）直接从原始3D关节位置构建伪图像，会将全局平移运动与各关节局部运动混合在一起，阻碍了对细微运动学差异的区分能力。例如，在行走动作中，原始位置表示中所有关节带都显示出均匀的漂移，掩盖了关节特异性运动模式。
本文的目标是本文的目标是实现可解释的细粒度文本-运动检索，解决两个核心问题：一是运动表示层面的全局与局部运动混合问题，二是检索层面的全局嵌入信息瓶颈问题。具体而言，作者希望构建一个既能保留细粒度运动细节又具有良好对齐能力的检索框架，在HumanML3D和KIT-ML两个标准数据集上超越现有方法的性能，同时提供可解释的文本-运动对应关系，使检索结果具有透明度，便于用户理解特定文本词汇与身体关节、时间片段的精确对应。
与已有工作不同的是，本文的独特切入角度是从生物力学和解剖学的角度重新思考运动表示，首次将关节角度引入跨模态运动检索领域。与依赖原始3D位置或6D旋转矩阵的现有方法不同，关节角度表示天然具有平移不变性，能够显式解耦全局轨迹与局部关节运动。更重要的是，本文首次在文本-运动检索领域用结构化、细粒度的后期交互机制替代了全局嵌入范式，这是对现有方法范式层面的突破。现有的改进方法要么通过LLM增强训练数据（如CAR、SGAR），要么引入跨模态注意力模块（如Lyu et al.、SECL），但都没有建立文本词汇与身体区域之间的直接、结构化对应关系。
核心方法
方法的整体思路分为三个阶段：首先是构建基于关节角度的运动图像，将3D运动序列转换为结构化的伪图像，每个水平带对应一个关节；然后使用双流架构分别处理运动和文本，运动编码器采用Vision Transformer输出patch级嵌入，文本编码器采用Transformer输出token级嵌入；最后通过MaxSim后期交互机制计算细粒度的文本-运动相似度分数，并结合MLM正则化增强文本token的上下文感知能力。这种设计的核心直觉是：通过将关节特征映射到图像空间，可以利用预训练ViT的视觉先验；通过保留patch级和token级特征而非池化为全局向量，可以保留细粒度信息；通过MaxSim的token-to-patch匹配，可以实现动态的、可解释的对齐。
核心创新点有两个：一是基于关节角度的运动表示，首次在跨模态检索中使用解剖学定义的关节角度来表示运动，每个关节按照生物力学标准分解为不同的自由度（如球窝关节3个自由度、铰链关节1个自由度），通过逆运动学从原始位置提取角度特征。这种表示天然平移不变，且每个空间区域编码不同关节，天然支持部件级对齐。二是引入MaxSim后期交互机制替代全局嵌入，这是文本-运动检索领域首次应用这种机制。MaxSim计算每个文本token与所有运动patch的最大相似度，然后平均得到最终分数。这种机制保留了细粒度细节，同时保持了独立编码的计算效率。此外，论文还创新性地将MLM作为正则化手段，专门针对细粒度匹配场景增强token嵌入的上下文丰富性。
方法步骤详情
方法步骤包含完整的数据流和处理流程：输入阶段接收原始3D运动序列和自然语言描述。运动图像构建步骤首先通过逆运动学提取关节角度特征，根据关节类型（球窝、铰链、脊柱）计算相应的角度分量，为K=14个运动学关节获得每帧29维特征向量$p_t \in \mathbb{R}^{29}$；然后使用可学习线性投影$\phi_k$将每个关节特征映射到统一空间$h_{t,k} = \phi_k(p_{t,k}) \in \mathbb{R}^{d_{part}}$，其中$d_{part}=16$匹配ViT的patch大小；将所有关节特征拼接为每帧的$H_t \in \mathbb{R}^{D_{emb}}$（$D_{emb}=K \times d_{part}=224$），沿时间轴堆叠并填充到T=224帧，生成224×224的运动图像$I_{motion}$。双流编码阶段将运动图像输入ViT获取patch嵌入$V = \mathcal{E}_m(I_{motion}) = \{v_1, v_2, ..., v_N\}$（N=196），文本输入DistilBERT获取token嵌入$L = \mathcal{E}_t(\mathcal{T}) = \{l_1, l_2, ..., l_M\}$。MaxSim计算阶段首先构建token-patch交互矩阵$S_{ij} = \frac{l_i^T v_j}{\|l_i\|\|v_j\|}$，然后对每个文本token计算最大相似度$\max_{j=1}^{N}(S_{ij})$，最后平均得到文本-运动对分数$\text{Sim}(\mathcal{T}, \mathcal{M}) = \frac{1}{M}\sum_{i=1}^{M}\max_{j=1}^{N}(S_{ij})$。MLM正则化阶段在训练时随机屏蔽15%的输入token，要求文本编码器基于可见token的上下文依赖重建原始token，优化目标$\mathcal{L}_{mlm} = -\sum_{i \in \text{mask}}\log P(w_i | \mathcal{T}_{masked}; \theta_{text})$。
技术新颖性
技术新颖性体现在三个方面：首先是运动表示的范式转变，从原始3D位置转向解剖学定义的关节角度，这不仅是特征提取方式的改变，更是从混合表示到解耦表示的根本性转变。现有方法如MoPatch也构建运动图像，但直接使用原始关节位置，导致全局轨迹信息污染了局部关节特征。本文的关节角度表示从根本上解决了这个问题。其次是检索机制的创新，首次在运动领域应用后期交互机制，这种机制在文本检索和视觉文档检索中已经证明有效，但在运动领域是首次尝试。与需要联合处理的跨注意力机制不同，后期交互允许离线预编码，在推理时只需对查询进行前向传播，检索通过轻量级相似度计算完成。第三是MLM正则化的针对性应用，MLM在视觉-语言预训练中作为辅助目标很常见，但本文将其专门用于增强token嵌入以支持细粒度MaxSim匹配，这种应用场景是新颖的。与使用LLM增强训练数据的方法（如SGAR使用GPT-4生成部分级描述）相比，本文不需要外部模型依赖，计算开销更小。
实验结果
核心发现分为三个方面：首先，在两个标准数据集上，本文方法在大多数指标上超越了不依赖LLM文本增强的现有方法，并在KIT-ML数据集上取得了最佳性能。在HumanML3D上，基线模型在Text-to-Motion检索中达到R@1=11.87%、R@10=43.80%、MedR=14.00，Motion-to-Text检索中达到R@1=13.10%、R@10=41.45%、MedR=16.00，与使用LLM增强的SGAR（R@1=12.86%、R@10=43.00）相比具有竞争力。在KIT-ML上，基线模型在Text-to-Motion检索中取得R@1=13.86%、R@10=59.28%、MedR=7.00的最佳性能，超越第二名Lyu et al.超过5%的R@10。其次，可扩展性实验显示本文方法具有更好的扩展性，Ours-L模型在HumanML3D上相比基线提升+4.28%的T2M R@10，MedR从14降至11，而MoPatch-L和SGAR-L相比基线版本只有微小提升甚至负增长。这表明全局匹配方法在扩展时收益递减，而结构化解耦的运动表示提供了语义连贯的patch特征，token级后期交互能够直接利用这些特征，将额外模型容量转化为更具区分性的匹配能力。第三，可解释性分析显示MaxSim交互分数图能够清晰展示模型为每个查询关注的身体关节和时间相位，这在全局嵌入方法中是不可能实现的。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Text-to-Motion检索 | R@1 | 11.87% | MoPatch 11.52% | +0.35% |
| Text-to-Motion检索 | R@10 | 43.80% | MoPatch 40.78% | +3.02% |
| Text-to-Motion检索 | MedR | 14.00 | MoPatch 17.00 | -3.00 |
| KIT-ML Text-to-Motion检索 | R@10 | 59.28% | Lyu et al. 54.12% | +5.16% |
| Ours-L扩展性 | HumanML3D R@10 | 48.08% | Ours基线43.80% | +4.28% |
局限与改进
作者承认的主要局限性是存储和计算开销。由于MaxSim保留N=196个patch嵌入，gallery存储增加到约837 MB，相比MoPatch的全局向量约4 MB有显著增长。虽然通过Product Quantization（PQ）压缩可以实现16倍压缩（52.32 MB）且R@10损失仅0.41%，但仍需要额外的压缩策略。查询延迟从3.14 ms增加到4.10 ms（在KIT-ML上从2.79 ms增加到3.19 ms），增加相对较小但仍然存在。另一个局限性是MaxSim只在T2M方向计算，由于运动序列包含远多于文本token的patch（N=196 vs M≪N），且许多patch编码静态或重复姿态，反向的max-over-text会引入大量噪声。这限制了双向细粒度匹配的对称性。此外，方法目前只针对文本-运动模态，尚未扩展到运动-视频、运动-音频等其他跨模态检索场景。
独立分析的弱点
独立分析的弱点包括：首先是表示粒度的固定性，当前方法将每个关节分配固定数量的像素带（16像素），这种均匀分配可能不适合所有场景，某些关节（如手部）可能需要更细粒度的表示，而某些关节（如躯干）可能过于冗余。改进方向可以是自适应带宽分配或基于运动复杂度的动态采样。其次是MLM正则化的局限性，当前只在文本端应用MLM，但运动端同样存在静态patch的噪声问题，可以考虑引入运动端的自监督任务（如mask patch重建）来增强patch嵌入的上下文丰富性。第三是MaxSim的单一最大值策略，当前只保留每个token的最大相似度patch，可能丢失有价值的次优匹配信息，特别是在语义模糊的情况下。改进方向可以是Top-K聚合或软注意力机制。第四是关节角度提取的复杂性，逆运动学计算需要层次化坐标传播，在实时应用中可能成为瓶颈，可以探索端到端的可微分关节角度提取网络。
未来方向
未来研究方向可以从多个角度延伸：作者提出的方向是探索高效索引策略，如近似最近邻搜索和向量量化，以将可解释检索框架扩展到大规模、工业级运动库。基于成果可以延伸的方向包括：首先是双向细粒度交互，当前MaxSim只在T2M方向计算，可以研究对称的后期交互机制，在M2T方向也实现细粒度匹配。其次是多模态扩展，将框架扩展到运动-视频、运动-音频检索，利用相同的后期交互机制实现可解释的跨模态对齐。第三是层次化交互，引入多尺度MaxSim，在不同粒度层次上计算相似度（如部件级、姿态级、动作级），以捕捉不同语义层次的对应关系。第四是动态交互，研究自适应的token-patch匹配策略，根据查询复杂度动态调整交互机制。第五是生成式扩展，将细粒度对齐用于运动生成和编辑，利用可解释的对应关系实现局部动作修改或组合式运动合成。
复现评估
复现评估方面，论文提到代码在补充材料中提供，但未说明具体开源平台。数据集HumanML3D和KIT-ML都是公开可用的标准数据集，分别来自AMASS和KIT原始数据。算力方面，训练在单个NVIDIA H200 GPU上进行60个epoch，batch size为128，这属于高端硬件配置。复现难度中等，主要挑战在于关节角度提取的逆运动学实现细节，以及ViT和DistilBERT的正确预训练模型加载。超参数相对明确：学习率在HumanML3D上为$1 \times 10^{-4}$，在KIT-ML上为$1 \times 10^{-5}$，MLM masking比例为15%，$\lambda_{mlm}=0.2$，温度参数$\tau$可学习。推理效率方面，预编码的gallery嵌入可以重复使用，查询延迟增加较小，适合实际部署。实验报告了详细的消融研究和可扩展性分析，提供了不同backbone规模的结果，这有助于理解方法在不同计算预算下的表现。
论文图表