MoRL：强化推理驱动的统一运动理解与生成 MoRL: Reinforced Reasoning for Unified Motion Understanding and Generation
通过强化学习和任务特定奖励，统一人体运动理解与生成的多模态模型
前置知识
SMPL/SMPL-X人体模型
SMPL（Skinned Multi-Person Linear Model）是一种参数化人体模型，能够通过少量参数（如姿态参数和形状参数）表示人体的3D形状和姿态。SMPL-X是其扩展版本，额外包含了手部和面部的精细建模。在运动研究中，SMPL系列模型将人体运动表示为一系列连续的参数序列，每一帧包含身体关节的旋转角度和位移信息，这使得不同动作、不同个体的运动数据可以在统一的参数空间中进行比较和生成。
本文使用SMPL-X格式表示运动数据，理解这个模型有助于理解论文中运动数据的表示方式和处理流程
强化学习与GRPO优化
强化学习（Reinforcement Learning）是一种通过奖励信号指导模型学习的范式。GRPO（Group-based Policy Optimization）是一种组策略优化方法，其核心思想是对每个输入采样多个候选输出，计算每个候选的奖励分数，然后在组内进行归一化处理来计算策略梯度。这种方法相比传统PPO更加稳定，特别适合处理长序列的推理任务，因为组内归一化可以有效降低奖励方差，稳定训练过程。
MoRL采用GRPO作为核心优化算法来训练模型，理解GRPO的原理是理解本文方法的关键
VQ-VAE向量量化
VQ-VAE（Vector Quantized Variational AutoEncoder）是一种将连续数据离散化的方法。它通过一个包含有限个向量的码本（codebook），将连续的输入编码为离散的token序列。具体来说，编码器将输入映射到潜在空间，然后通过最近邻匹配找到码本中最接近的向量进行替换。这种离散表示既保留了数据的主要特征，又能够与自回归语言模型无缝对接，因为LLM本身就是基于离散token进行预测的。
本文使用VQ-VAE风格的运动分词器将连续的3D运动序列离散化为运动token，这是实现文本和运动统一表示的基础
Chain-of-Thought链式思维
Chain-of-Thought（CoT）是一种提示大型语言模型进行逐步推理的技术。与直接输出最终答案不同，CoT要求模型先生成中间推理步骤，展示其思考过程，然后基于这些推理得出结论。这种方法在复杂推理任务中表现出色，因为它模拟了人类解决问题时的思维过程——将复杂问题分解为多个简单的子问题逐步解决。在训练阶段，可以通过包含推理链的数据来监督模型学习这种推理能力。
本文提出Chain-of-Motion（CoM）策略，是CoT思想在运动领域的创新应用，用于增强测试时的推理能力
自然语言推理（NLI）评估
自然语言推理（Natural Language Inference）是判断两个文本片段之间逻辑关系的任务，通常分为蕴含（entailment）、矛盾（contradiction）和中性（neutral）三类。预训练的NLI模型（如DeBERTa）可以评估一段推理文本与结论之间的一致性程度，输出蕴含概率作为连贯性得分。这种方法被用于自动评估生成文本的逻辑合理性，无需人工标注。
本文使用DeBERTa-v3-large作为NLI模型来计算推理连贯性奖励，这是奖励设计的核心组件之一
研究动机
当前人体运动理解和生成领域面临两个核心挑战。第一个挑战是推理能力不足。现有的运动-语言模型（如MotionGPT、MotionLLM等）将用户查询视为一个整体输入，缺乏对复杂动作的逐步解析能力。例如，当输入一个人先看左边然后用右脚踢东西这样的多阶段描述时，这些模型难以将动作分解为时序上独立的步骤，导致生成的运动在不同阶段之间出现语义混淆。在HumanML3D数据集上的实验显示，Motion Agent的BLEU@4仅为17.65，BERTScore为42.63，表明其在理解精细动作语义方面存在明显不足。第二个挑战是测试时规划能力缺失。大多数模型在推理时采用单次解码策略，缺乏显式的规划和反思机制。这意味着模型无法在生成过程中检查和修正错误，导致生成的运动可能出现物理上不合理的情况，如关节角度超出正常范围、运动轨迹不连贯等问题。在复杂动作场景下（如连续后空翻、Wack风格舞蹈），这种局限性尤为明显，生成的运动往往出现身体方向不稳定、旋转方向不一致等问题。
本文的目标是本文旨在构建一个统一的多模态运动模型MoRL，同时解决运动理解和运动生成两个任务。具体目标包括：第一，通过强化学习框架增强模型的推理能力，使其能够进行逐步推理和反思；第二，设计任务特定的奖励函数，分别针对理解任务（语义对齐和推理连贯性）和生成任务（物理合理性和文本-运动一致性）进行优化；第三，在HumanML3D和KIT-ML两个标准基准上超越现有最优方法，在理解任务上提升BERTScore和CIDEr指标，在生成任务上提升R-Precision和FID指标；第四，引入测试时推理策略，通过多候选评估和迭代优化提升输出质量。
与已有工作不同的是，本文的独特切入点在于将强化学习与任务特定奖励设计相结合，这是以往运动-语言模型所忽视的方向。现有方法主要依赖通用的相似度分数作为优化目标，而MoRL针对理解和生成两个任务分别设计了专门的奖励函数。对于理解任务，创新性地引入推理连贯性奖励（基于NLI模型），确保推理链能够逻辑地支撑最终答案；对于生成任务，结合物理合理性奖励（关节限制和速度平滑）与文本-运动一致性奖励，同时保证生成运动的物理真实性和语义匹配度。此外，本文借鉴DeepSeek-R1的成功经验，探索将强化学习应用于运动领域，这是此前未被充分研究的方向。通过构建两个大规模合成CoT数据集（各约14万样本），本文建立了训练-推理一致的框架，使得模型能够在训练阶段学习推理能力，并在推理阶段通过Chain-of-Motion策略进一步增强这种能力。
核心方法
MoRL的方法可以类比为一个先学规则、再学技巧、最后实战反思的训练过程。想象一个学习舞蹈的学生：首先通过大量有标注的教学视频（SFT阶段）学习基本动作和动作描述之间的对应关系；然后通过反复练习并接受教练的针对性指导（RL阶段）来优化动作质量；最后在表演时能够自我检查和调整（CoM推理）。技术路线上，MoRL基于Qwen3-4B-Instruct语言模型构建，配备文本分词器和VQ-VAE风格的运动分词器。运动分词器将连续的3D运动序列（每帧263维特征）编码为离散的运动token，与文本token共享同一表示空间。模型通过多模态融合层实现文本和运动表示之间的交叉注意力，支持双向任务：从运动到文本的理解任务，以及从文本到运动的生成任务。整体架构采用分层后训练流程：先在合成的CoT数据集上进行监督微调，再使用强化学习进行策略优化，最后在推理时采用Chain-of-Motion策略进行测试时增强。
MoRL的核心创新在于任务特定的双头奖励设计。与以往使用通用奖励函数的方法不同，MoRL为理解和生成两个任务分别设计了专门的奖励机制。对于运动理解，奖励由两部分组成：语义对齐奖励 $R_{sem} = \cos(E_{text}(\hat{a}), E_{text}(a))$，用于衡量生成描述与参考描述的语义相似度；推理连贯性奖励 $R_{coh} = f_{NLI}(\hat{r}, \hat{a})$，使用预训练的DeBERTa-v3-large NLI模型评估推理链与最终答案之间的逻辑一致性，取蕴含概率作为连贯性得分。对于运动生成，奖励同样由两部分组成：物理合理性奖励 $R_{phys} = -\lambda_1 \cdot L_{joint}(\hat{m}) - \lambda_2 \cdot L_{vel}(\hat{m})$，其中 $L_{joint}$ 衡量关节角度违规，$L_{vel}$ 惩罚突兀的速度变化，$\lambda_1=0.8$、$\lambda_2=0.2$；文本-运动一致性奖励 $R_{align} = \cos(E_{text}(t), E_{motion}(\hat{m}))$，使用跨模态编码器评估生成运动与输入文本的语义对齐程度。这种设计确保模型输出既符合语义真实性，又满足人类感知的真实性。
方法步骤详情
MoRL的完整方法流程包括三个阶段。第一阶段是冷启动监督微调（SFT）。输入来自两个大规模合成数据集：MoUnd-CoT-140K（运动理解，包含运动序列、推理链和描述）和MoGen-CoT-140K（运动生成，包含文本描述、推理链和运动序列）。模型在这些数据上进行5个epoch的微调，使用AdamW优化器，学习率 $1 \times 10^{-5}$，批量大小64。这一步建立稳定的初始策略，确保模型能够遵循正确的输出格式。第二阶段是强化学习优化。采用GRPO策略，对每个输入采样8个候选输出（group size=8），计算每个候选的奖励分数，在组内进行归一化处理：$\tilde{r}_i = \frac{r_i - \mu_r}{\sigma_r + \epsilon}$，然后使用KL正则化目标进行策略梯度更新。RL阶段学习率为 $5 \times 10^{-6}$，训练3个epoch。这一步通过任务特定奖励进一步优化模型输出。第三阶段是Chain-of-Motion（CoM）测试时推理。给定输入，模型首先生成中间自然语言推理链；然后采样多个候选推理-运动对；使用任务特定奖励评估并筛选高质量候选；低质量候选被丢弃，高质量候选通过迭代反思进行优化；最终输出最佳结果。CoM使用K=8个候选、T=2次迭代。
技术新颖性
MoRL的技术新颖性体现在三个方面。首先，任务特定奖励设计是本文最核心的创新。以往的方法（如MotionRL、Motion-R1）主要使用通用的奖励函数，而MoRL首次为理解和生成任务分别设计了专门的奖励机制，特别是推理连贯性奖励，这是首次在运动领域引入NLI模型来评估推理质量。其次，Chain-of-Motion（CoM）策略将链式思维推理引入运动生成和理解，与传统的单次解码不同，CoM通过多候选评估和迭代反思实现测试时优化。这种策略与训练阶段的CoT数据形成一致性，确保训练和推理的范式统一。第三，大规模CoT数据集的构建方法具有创新性。本文基于MotionHubV2数据集，使用Gemini-2.5-pro作为数据引擎，通过gap-based reasoning方法生成高质量的推理链。每个样本包含运动序列、推理链（标签）和最终答案（标签），这种结构化的数据格式为模型提供了清晰的推理监督信号。两个数据集各约14万样本，是目前运动-语言领域最大的CoT数据集。
实验结果
MoRL在HumanML3D和KIT-ML两个标准基准上进行了全面评估，结果显示其在运动理解和生成两个任务上均取得显著提升。在运动理解方面，MoRL在HumanML3D上实现了全面领先：BERTScore达到46.80，相比Motion Agent（42.63）提升4.17个百分点；CIDEr达到35.80，相比Motion Agent（33.74）提升2.06个百分点；BLEU@1达到56.99，相比Motion Agent（54.53）提升2.46个百分点；ROUGE-L达到51.83，相比Motion Agent（48.70）提升3.13个百分点。这些提升主要来自语义对齐和推理连贯性奖励的联合优化，确保生成的描述既符合语义又保持逻辑一致性。在运动生成方面，MoRL同样表现出色：R@1达到0.527，相比Motion Agent（0.515）提升；R@2达到0.711；R@3达到0.821；MM Distance达到2.790，是统一模型中的最佳结果，表明生成运动在特征空间中与参考运动更加接近。FID为0.203，略高于最优扩散模型（如MoGenTS的0.033），但考虑到MoRL是统一模型，这一结果具有竞争力。消融研究表明，移除语义对齐奖励导致BERTScore从46.80降至44.10，CIDEr从35.80降至34.05；移除推理连贯性奖励导致ROUGE-L从51.83降至49.10；移除物理合理性奖励导致FID从0.203升至0.285；移除CoM导致综合性能下降约2%。用户研究（20名参与者）进一步证实，MoRL在物理合理性、运动平滑性和语义一致性三个维度上均获得最高评分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 运动理解 - HumanML3D | BERTScore | 46.80 | 42.63 (Motion Agent) | +4.17 |
| 运动理解 - HumanML3D | CIDEr | 35.80 | 33.74 (Motion Agent) | +2.06 |
| 运动理解 - HumanML3D | BLEU@1 | 56.99 | 54.53 (Motion Agent) | +2.46 |
| 运动理解 - HumanML3D | ROUGE-L | 51.83 | 48.70 (Motion Agent) | +3.13 |
| 运动生成 - HumanML3D | R@1 | 0.527 | 0.515 (Motion Agent) | +0.012 |
| 运动生成 - HumanML3D | MM Distance | 2.790 | 2.967 (Motion Agent) | -0.177 (更优) |
| 运动理解 - KIT-ML | BERTScore | 33.66 | 32.40 (MotionGPT) | +1.26 |
| 运动理解 - KIT-ML | CIDEr | 34.04 | 29.80 (MotionGPT-2) | +4.24 |
局限与改进
作者在论文中明确指出了几个局限性。首先，MoRL依赖基于规则的奖励设计，这种设计可能需要针对新的运动领域或风格进行调整。例如，当前的物理合理性奖励主要关注关节角度违规和速度突变，但对于某些特殊动作（如杂技、体操）中的非常规姿态可能会产生误判。其次，Chain-of-Motion推理过程引入了额外的计算开销：单次解码延迟为8.7毫秒（吞吐量115 samples/s），而CoM推理延迟增加到18.4毫秒（吞吐量55 samples/s），成本增加2.1倍。这限制了MoRL在实时应用场景中的可用性。此外，MoRL基于离散化的运动表示（VQ-VAE），这种表示方式虽然便于与语言模型集成，但在重建过程中可能损失细节信息。模型不显式建模精细的接触动力学或复杂的人-物交互，这限制了其在需要精确物理交互的场景（如抓取、工具使用）中的应用。从实验结果看，MoRL在KIT-ML上的生成性能（R@1=0.439）略低于专门针对该数据集优化的LaMP（0.479），表明统一模型在某些特定数据集上可能不如专门模型。
独立分析的弱点
从独立分析的角度，MoRL存在几个值得关注的弱点。首先，奖励设计的泛化性问题：当前的物理合理性奖励使用固定的权重（$\lambda_1=0.8$、$\lambda_2=0.2$），这种硬编码的参数可能无法适应所有运动类型。建议引入自适应权重机制，根据运动类型动态调整奖励组成。其次，推理连贯性奖励依赖于冻结的DeBERTa模型，该模型的评估能力可能无法完全捕捉运动推理的特殊性。未来可以考虑训练领域特定的NLI模型，或引入人类反馈来校准奖励信号。第三，CoM策略的计算开销是其主要瓶颈。在批量生成场景下，K=8个候选的并行评估虽然可行，但仍增加了内存占用。建议探索更高效的候选筛选策略，如基于置信度的提前终止机制。第四，数据集构建依赖于Gemini-2.5-pro这样的外部大模型，这可能引入偏差且增加成本。未来可以研究自我生成CoT数据的方法，减少对外部模型的依赖。
未来方向
基于本文成果，可以延伸出多个有前景的研究方向。首先，可以探索将MoRL框架扩展到更复杂的运动场景，如多人交互、人-物交互、长时间序列运动（舞蹈、体育运动）。当前模型主要针对单人动作，多人场景需要新的奖励设计来处理交互合理性和避免穿透。其次，可以研究自适应推理深度的CoM策略，即根据输入复杂度动态调整候选数量和迭代次数，而不是使用固定的K=8、T=2配置。第三，可以探索将强化学习应用于运动编辑和风格迁移任务，利用任务特定奖励引导模型在保持原始运动结构的同时添加新的语义约束。第四，可以研究多模态输入的扩展，如结合视频、音频信号进行运动生成，实现更丰富的条件控制。最后，可以探索将MoRL与扩散模型结合，利用扩散模型的高质量生成能力和RL的推理增强能力，进一步提升运动质量。
复现评估
在复现性方面，MoRL具有较好的开源支持。代码已在GitHub公开（https://github.com/AIGeeksGroup/MoRL），项目网站提供了可视化示例。训练数据方面，模型基于公开的MotionHubV2数据集构建CoT数据，但论文未明确说明是否开源这两个大规模CoT数据集（MoUnd-CoT-140K和MoGen-CoT-140K），这是复现的关键资源。算力需求方面，所有模型在4块NVIDIA A100 GPU上训练，SFT阶段5个epoch、RL阶段3个epoch，对于学术实验室来说算力需求适中。模型基于Qwen3-4B-Instruct初始化，加上LoRA适配器（rank=16），参数高效微调降低了资源门槛。推理时，CoM策略增加约2倍延迟，但可以通过调整K和T参数来平衡质量和效率。总体而言，如果开源CoT数据集，复现难度为中等；如果需要自行构建数据集，则难度较高，因为需要调用Gemini-2.5-pro生成高质量推理链。
论文图表
