← 返回 2026-06-08

LIMMT:少即是多的运动跟踪方法 LIMMT: Less is More for Motion Tracking

Yu Guan, Zekun Qi, Chenghuai Lin, Xuchuan Chen, Dairu Liu, Wenyao Zhang, Jilong Wang, Xinqiang Yu, He Wang, Li Yi 📅 2026-06-05 👍 16 2026-07-13 08:36
强化学习 数据质量 机器人学 模仿学习 运动捕捉

通过数据质量选择而非数量堆叠,仅用3%数据实现超越完整数据集的人形机器人运动跟踪性能

前置知识

刚体物理模拟

刚体物理模拟是指在计算机中模拟物体的运动、碰撞、接触等物理行为,同时满足刚体约束(物体不会变形)。在人形机器人领域,刚体模拟器(如 MuJoCo、Isaac Gym)会检查运动轨迹是否违反物理定律,如脚是否插入地面、身体是否长时间悬空、关节速度是否超过硬件限制等。这些检查对于 sim-to-real 转移至关重要,因为违反物理约束的轨迹在真实机器人上无法实现,会导致策略失败或机器人损坏。

本文 Stage I 的核心就是在模拟器中验证运动的物理可行性,需要理解刚体约束和物理模拟的基本原理。

模仿强化学习

模仿强化学习是监督学习(模仿专家演示)和强化学习(通过环境奖励优化)的结合。在运动跟踪任务中,策略需要同时满足两个目标:尽可能贴近参考运动轨迹(模仿目标),以及在物理模拟器中保持平衡不摔倒(物理约束)。通常设计一个复合奖励函数,奖励跟踪准确性和惩罚违反物理约束的行为。训练初期策略经常摔倒,需要课程学习和合适的演示序列来逐步学习。

本文的核心问题就是如何选择高质量的演示序列来改善模仿强化学习的优化轨迹,需要理解这种学习范式的挑战。

Harmonic Motion Embedding (HME)

谐波运动嵌入是一种周期运动表示方法,它将运动序列分解为振幅 A、频率 F、相位偏移 $\phi$ 和偏置 b 等频率域参数。对于周期性运动(如行走、跑步),这种表示具有相位不变性,即相同动作不同起始时刻的嵌入距离很小。实现上使用周期自编码器,通过显式的正弦先验重建轨迹:(t) = A_i \sin(2\pi(F_i \cdot t + \phi_i)) + b_i$。与变分自编码器不同,HME 是确定性映射,避免了概率先知对物理尺度的扭曲。

本文 Stage II 使用 HME 学习语义嵌入空间来衡量运动多样性,理解相位不变性和确定性编码是关键。

Farthest Point Sampling (FPS)

最远点采样是一种几何采样算法,用于在点云或特征空间中选择具有最大覆盖的子集。基本思路是:随机选择初始点,然后每次迭代选择距离已选集合最远的点。在特征嵌入空间中,FPS 能够确保选中的样本在语义上尽可能分散,覆盖整个流形。加权 FPS 是其变种,在选择时不仅考虑距离,还考虑样本的其他属性(如复杂度),通过线性组合距离得分和属性得分来平衡多样性和特定偏好。

本文 Stage III 使用全局加权 FPS 来选择训练子集,理解 FPS 的几何直觉和加权变体是必要的。

研究动机

现有的物理基人形运动跟踪系统在数据集扩展上并未从"更多数据,更好泛化"的范式受益。尽管运动捕捉语料库从工作室级的高质量数据集(LaFAN1、AMASS)扩展到互联网规模的视频重建集合,但最先进的跟踪系统仍然使用小规模高质量数据。大规模野外语料库引入了系统性伪影:时间抖动、脚滑动、地面穿透、不合理接触等违反刚体物理约束的缺陷。这些缺陷会破坏模仿信号,导致脆弱的解决方案或奖励黑客行为。同时,在大规模运动库上训练成本昂贵:更大的集合增加了 rollout 多样性,但也放大了参考采样、课程设计和长时程优化的成本。实验显示,随机采样仅 3% 的数据会导致灾难性性能崩溃:Any2Track 的成功率从 94.2% 降至 83.8%,TWIST2 从 82.5% 降至 64.9%。

本文的目标是本文的目标是提出一个数据中心的视角,重新定义"高质量运动数据"的标准,并开发一个系统化的数据筛选框架,将大规模、有噪声的运动语料库转换为紧凑、高价值的训练库。具体而言,作者希望证明通过精心选择的数据子集(可能仅占原始数据集的 3%),可以实现超越完整数据集的跟踪性能。这不仅减少训练成本,还能提供更清洁的梯度信号,引导策略学习向更稳定的优化轨迹发展。

与已有工作不同的是,本文的独特切入角度在于挑战"更多数据更好"的盲目标度假设,提出数据质量比数量更关键,因为质量塑造了初始优化轨迹。与现有工作不同,作者不仅简单地移除低质量和错误片段,而是通过三个互补维度定义运动数据质量:物理可行性(运动能否由刚体人形机器人实现且无严重伪影)、动作多样性(运动库是否覆盖不同行为而非重复常见模式)、动作复杂度(运动是否提供信息丰富、动态的监督信号而非近静止片段)。此外,作者强调了质量评估的层次性:过滤必须先于表示学习,否则物理破损的运动会占据嵌入流形;复杂度加权必须放在最后,否则高能量伪影可能被过度选择。

核心方法

GQS(General Quality Selection)是一个三阶段流水线,设计简洁、可解释、即插即用。第一阶段使用模拟器基础的物理过滤,在刚体模拟器中重放每个候选运动并计算复合可行性得分,从可解释的物理指标中识别并移除不可行片段。第二阶段在剩余运动上学习连续流形,捕获行为的结构和节奏相似性,使用谐波运动嵌入(HME)实现周期自编码器,产生相位鲁棒的全局描述符。第三阶段执行多样性感知、复杂度加权的子集选择,通过全局加权 FPS 在学习到的嵌入空间中选择紧凑训练库,超越几何覆盖,在候选距离相近时偏好动态更丰富的运动。

核心创新点在于重新定义了运动数据质量的三个维度:物理可行性、动作多样性、动作复杂度,并设计了层次化的筛选流程。与现有方法相比,本文的本质区别在于:(1) 明确提出数据质量主导数据数量,因为质量影响初始优化轨迹;(2) 质量评估必须遵循层次顺序:过滤先于表示学习,复杂度加权放在最后;(3) 使用相位鲁棒的嵌入空间而非欧几里得关节空间来衡量语义多样性;(4) 在 FPS 中引入复杂度偏好,平衡几何覆盖和动态丰富性。这种设计使得选中的数据子集既广泛覆盖行为空间,又对学习具有信息价值。

方法步骤详情

Stage I(物理可行性过滤):首先应用二元有效性检查,丢弃持续时间小于 0.5 秒或关节速度违规超过 0.05 rad/s 安全边界的轨迹。对有效轨迹,计算质量得分 {phy}(T) = 100 - \sum_i w_i L_i$,其中惩罚项 $ 捕获六种物理违规模式:Floating {float}$ 检测非物理悬空,GroundPenetration {pen}$ 测量网格穿透地面的平均深度,VelocityViolation {vel}$ 捕获关节速度超过硬件限制的平均幅度,FootSliding {slide}$ 惩罚脚高度低于 5cm 时的水平脚速度,Self-Collision {col}$ 惩罚机器人链之间的碰撞,Jerk {jerk}$ 测量关节加速度变化率。通过数据驱动的敏感度分析校准权重,保留 {phy} \geq 90$ 的轨迹。Stage II(语义运动嵌入):使用周期自编码器(PAE)处理 = 4.0s$ 的时间窗口,包含关节位置、速度和根速度。编码器 \phi$ 将输入映射到频率域参数:振幅 $、频率 $、相位偏移 $\phi$ 和偏置 $,每个是 $\mathbb{R}^k$ 中的向量( = 8$)。潜在轨迹通过正弦先验重建:(t) = A_i \sin(2\pi(F_i \cdot t + \phi_i)) + b_i$。对于每个窗口 $ 构造局部描述符 = [A_w, F_w] \in \mathbb{R}^{2k}$,完整轨迹的全局嵌入通过时间平均获得:{global} = ?rac{1}{N} \sum_{w=1}^N [A_w, F_w]$。Stage III(全局加权 FPS):计算复杂度 (x) = ?rac{1}{T} \sum_{t=1}^T \|\dot{q}_t\|_2^2 + \lambda\|\ddot{q}_t\|_2^2$,其中 $\dot{q}_t$ 和 $\ddot{q}_t$ 是关节速度和加速度。应用秩归一化将 (x)$ 映射到 1$ 范围,记为 $\hat{C}(x)$。选择得分:$ ext{Score}(u) = ?lpha \cdot \hat{D}(u, S) + (1 - ?lpha) \cdot \hat{C}(u)$,其中 $\hat{D}(u, S)$ 是到嵌入空间中最近邻居的归一化距离,$?lpha$ 控制空间探索和复杂度最大化的权衡(默认 $?lpha = 0.99$)。初始化选中集合 $ 为最高复杂度的锚点,然后迭代选择最大化得分的候选,更新距离并直到达到目标数量。

技术新颖性

技术新颖性体现在多个方面:(1) 物理过滤的六指标综合评分系统,通过数据驱动的敏感度分析校准权重,区分"有害"指标(Floating、FootSliding)和"友好"指标(Velocity、Jerk),前者惩罚严重,后者惩罚轻微以保留高能量样本;(2) 相位鲁棒的谐波运动嵌入,通过显式频率分解实现时间不变性,使得相同动作不同起始时刻的嵌入距离很小,更适合衡量语义多样性;(3) 全局加权 FPS 的复杂度偏好机制,在保持全局探索能力的同时引入物理意识偏差,性能优于纯几何采样和基于聚类的采样;(4) 自适应比例选择(ARS)通过计算有效多样性比 = d_{eff}/D$(其中 {eff}$ 是解释 HME 嵌入 95% 方差的 PCA 分量数),预测最优子集比例 ^\star = c \cdot EDR^2$( ?pprox 0.5$),为不同数据集提供轻量级比例选择启发式。

The proposed GQS pipeline. The framework operationalizes motion quality through three stages: filtering physically infeasible data, mapping motions to a semantic latent space, and selecting a subset via complexity-weighted sampling.
Figure 1: The proposed GQS pipeline. The framework operationalizes motion quality through three stages: filtering physically infeasible data, mapping motions to a semantic latent space, and selecting a subset via complexity-weighted sampling.
Metric Sensitivity Analysis. Improvements indicate harmful artifacts that should be penalized heavily, while degradations indicate valuable dynamic motions that should be preserved.
Figure 6: Metric Sensitivity Analysis. Improvements indicate harmful artifacts that should be penalized heavily, while degradations indicate valuable dynamic motions that should be preserved.
Global vs. Cluster-based Selection. Global selection outperforms cluster-based selection by naturally re-balancing the distribution rather than inheriting the original dataset's imbalance.
Figure 7: Global vs. Cluster-based Selection. Global selection outperforms cluster-based selection by naturally re-balancing the distribution rather than inheriting the original dataset's imbalance.

实验结果

核心发现展示了强烈的"少即是多"效应。在 AMASS 数据集上,GQS 筛选的子集在多个数据比例下一致性地提高跟踪准确率和成功率。最引人注目的是,在某些设置中,仅使用 3% 的 AMASS 数据(需要不到一小时的数据)在所有评估指标上优于完整数据集。具体而言,Any2Track+GQS(3%)达到 95.6% 成功率和 0.108 rad MPJPE,超越完整数据集的 94.2% 和 0.114 rad;TWIST2+GQS(3%)达到 86.1% 成功率和 0.092 rad MPJPE,超越完整数据集的 82.5% 和 0.099 rad。这种增益在不同跟踪器间以即插即用方式迁移,表明 GQS 改善训练信号而非利用特定算法的特质。组件消融研究显示,在 3% 数据极端低数据 regime 下,移除物理过滤导致性能显著下降(成功率从 95% 降至 91.1%,MPJPE 恶化至 0.121 rad),验证了过滤的关键性。仅基于复杂度选择导致次优性能(93.4% SR),表明覆盖语义流形是首要先决条件。训练动态分析显示,GQS 筛选数据在早期训练阶段(0.5B 步骤前)就实现更高奖励和更低跟踪误差,确认筛选数据提供更清洁梯度,引导策略向更好解决方案发展。跨数据集泛化实验中,GQS 10% 子集在 PHUMA 上域内评估实现更低 MPJPE,零样本迁移到 AMASS 时成功率从 91.0% 提升至 92.8%。物理评分分析揭示关键的非单调关系:在最高评分运动(0-10%)上训练的策略达到 94.6% SR,与完整数据基线相当但不更优;性能在 60-70% 片段达到峰值 96.3% SR,表明完美物理分数通常对应保守或静态运动缺乏动态丰富性;最低评分片段(90-100%)性能下降至 92.2%。真实机器人部署显示,仅在 10% GQS 筛选数据上训练的策略在 Unitree G1 机器人上成功部署而无需微调。四个运动类别(行走、跳跃、舞蹈 1、舞蹈 2)中,10% GQS 策略在每一类别上都匹配或超越完整数据策略,平均 +7.5 SR 和 -15.8% MPJPE 改进,在动态 demanding 的舞蹈类别上优势最大。

Main Results on AMASS. Comparison of Success Rate, MPJPE, and MPKPE across different methods and data ratios. Physics Filter indicates Stage-I filtering, and FPS Ratio denotes the Stage-II subset ratio.
Table 1: Main Results on AMASS. Comparison of Success Rate, MPJPE, and MPKPE across different methods and data ratios. Physics Filter indicates Stage-I filtering, and FPS Ratio denotes the Stage-II subset ratio.
Component Ablation at 3% Data Ratio. The full GQS framework achieves the best performance, demonstrating the synergistic benefit of all three components.
Table 2: Component Ablation at 3% Data Ratio. The full GQS framework achieves the best performance, demonstrating the synergistic benefit of all three components.
Calibrated Weights for Physical Score. Toxic metrics are penalized heavily while Friendly metrics are penalized lightly to preserve high-energy samples.
Table 3: Calibrated Weights for Physical Score. Toxic metrics are penalized heavily while Friendly metrics are penalized lightly to preserve high-energy samples.
Domain Randomizations.
Table 4: Domain Randomizations.
Hyperparameter settings for training motion tracker.
Table 5: Hyperparameter settings for training motion tracker.
Real-world tracking on the Unitree G1 (10 trials per category, SR = trials tracked to completion). Policies trained on GQS-curated data (10%) consistently match or surpass Full-Data policies on the physical robot across all four motion categories, while requiring an order of magnitude less data.
Table 6: Real-world tracking on the Unitree G1 (10 trials per category, SR = trials tracked to completion). Policies trained on GQS-curated data (10%) consistently match or surpass Full-Data policies on the physical robot across all four motion categories, while requiring an order of magnitude less data.
Cross-corpus generalization: train on LaFAN1, test zero-shot on AMASS-test. LaFAN1 is segmented into 1,532 clips of 576 frames each (matching AMASS' average length). Despite the small training pool (≈10% of AMASS) and substantial game-vs-mocap domain gap, GQS still delivers a consistent improvement.
Table 7: Cross-corpus generalization: train on LaFAN1, test zero-shot on AMASS-test. LaFAN1 is segmented into 1,532 clips of 576 frames each (matching AMASS' average length). Despite the small training pool (≈10% of AMASS) and substantial game-vs-mocap domain gap, GQS still delivers a consistent improvement.
Hyperparameter sensitivity analyses on AMASS. Across all four design choices, performance is stable within a reasonable range and our chosen defaults (highlighted) consistently perform at or near the optimum, confirming that the GQS design is robust rather than brittle.
Table 8: Hyperparameter sensitivity analyses on AMASS. Across all four design choices, performance is stable within a reasonable range and our chosen defaults (highlighted) consistently perform at or near the optimum, confirming that the GQS design is robust rather than brittle.
Adaptive Ratio Selection (ARS) predictions. {eff}$ is the number of PCA components explaining 95% of variance in the HME embedding, and  = 2k$ is the embedding dimension.  = d_{eff}/D$ measures how much of the embedding capacity is occupied by genuine motion diversity. The ARS-predicted ratio ^\star= c \cdot EDR^2$ (with pprox0.5$) matches the empirically optimal subset ratio observed in our experiments on both datasets.
Table 9: Adaptive Ratio Selection (ARS) predictions. {eff}$ is the number of PCA components explaining 95% of variance in the HME embedding, and = 2k$ is the embedding dimension. = d_{eff}/D$ measures how much of the embedding capacity is occupied by genuine motion diversity. The ARS-predicted ratio ^\star= c \cdot EDR^2$ (with pprox0.5$) matches the empirically optimal subset ratio observed in our experiments on both datasets.
Performance vs. Data Ratio. The red line shows GQS Success Rate crossing the baseline at just 3% data. The blue line shows that tracking error peaks around 5%-10%. GQS significantly outperforms the Full Data baseline in both efficiency and quality.
Figure 2: Performance vs. Data Ratio. The red line shows GQS Success Rate crossing the baseline at just 3% data. The blue line shows that tracking error peaks around 5%-10%. GQS significantly outperforms the Full Data baseline in both efficiency and quality.
Training Dynamics. Learning curves comparing GQS 10% against Full Data. We achieve higher reward throughout training, not just at convergence, confirming that data curation improves the optimization trajectory from early stages.
Figure 3: Training Dynamics. Learning curves comparing GQS 10% against Full Data. We achieve higher reward throughout training, not just at convergence, confirming that data curation improves the optimization trajectory from early stages.
Generalization Analysis on PHUMA. In-domain evaluation shows the 10% subset achieves lower MPJPE than the full dataset. Cross-domain evaluation demonstrates the 10% subset significantly outperforms the full dataset when transferred to AMASS.
Figure 4: Generalization Analysis on PHUMA. In-domain evaluation shows the 10% subset achieves lower MPJPE than the full dataset. Cross-domain evaluation demonstrates the 10% subset significantly outperforms the full dataset when transferred to AMASS.
Performance vs. Physical Score Percentile. Performance drops at the tail but peaks at 60-70% rather than 0-10%, showing that the physical filter alone doesn't determine training value.
Figure 5: Performance vs. Physical Score Percentile. Performance drops at the tail but peaks at 60-70% rather than 0-10%, showing that the physical filter alone doesn't determine training value.
Real-World Motion Tracking. We deploy the policy trained on GQS-curated data (10%) to the Unitree G1 robot. Each row shows a different motion category: (a) Basic motion for daily and teleoperation, (b) dancing and expressive movements, (c) athletic skills and dynamic motions.
Figure 8: Real-World Motion Tracking. We deploy the policy trained on GQS-curated data (10%) to the Unitree G1 robot. Each row shows a different motion category: (a) Basic motion for daily and teleoperation, (b) dancing and expressive movements, (c) athletic skills and dynamic motions.
查看结构化数据
任务指标本文基线提升
AMASS 通用运动跟踪 Success Rate 0.956 (GQS 3%) 0.942 (Any2Track Full) +1.4%
AMASS 通用运动跟踪 MPJPE (rad) 0.107 (GQS 10%) 0.114 (Any2Track Full) -6.1%
AMASS 通用运动跟踪 Success Rate 0.861 (GQS 3%) 0.825 (TWIST2 Full) +4.4%
AMASS 通用运动跟踪 MPJPE (rad) 0.084 (GQS 10%) 0.099 (TWIST2 Full) -15.2%
PHUMA 零样本迁移到 AMASS Success Rate 0.928 (GQS 10%) 0.910 (PHUMA Full) +2.0%
Unitree G1 真实机器人 Average Success Rate 0.850 (GQS 10%) 0.775 (Full) +9.7%

局限与改进

作者在结论和未来工作中承认,当前的质量评估是基于规则的,可能缺乏人类感知中的细微差别。具体而言,六个物理指标都是硬编码的启发式,可能无法捕捉某些美学或功能性维度(如动作流畅性、自然度)。另一个潜在局限性是实验仅验证了两个数据集(AMASS 和 PHUMA)和一个机器人平台(Unitree G1),虽然跨跟踪器的泛化性得到验证,但跨数据集和跨机器人的泛化性需要更多实证研究。本文自己观察到的局限性包括:(1) 物理评分的非单调关系表明,单纯追求高物理评分可能导致选择静态、保守的运动,失去动态丰富性;(2) 自适应比例选择(ARS)仅在这两个语料库上验证,更广泛的实证研究是必要的;(3) 当前方法专注于筛选而非修复低质量运动,可能浪费某些可用的运动信息;(4) 复杂度指标仅考虑动能和加速度,可能无法捕捉所有对学习有价值的信息维度。

独立分析的弱点

独立分析的弱点包括:(1) 物理过滤的阈值和权重是启发式设定的,虽然通过敏感度分析校准,但对于新机器人或新数据集可能需要重新校准,增加使用成本。改进方向可以是自动化的权重学习,通过元学习或贝叶斯优化在新场景中自动调优。(2) 周期自编码器的窗口大小固定为 4.0s,嵌入维度固定为 16,这些超参数在不同类型运动上可能不是最优。改进方向可以是自适应窗口选择,根据运动周期性动态调整窗口大小,或者分层编码多尺度时间结构。(3) 复杂度指标仅考虑动能和加速度,忽略了其他可能对学习有价值的因素,如接触多样性、姿态变化范围、协调性等。改进方向可以是多维度复杂度评估,结合运动学、动力学和信息论指标。(4) 全局加权 FPS 的超参数 $?lpha$ 需要手动调整,不同数据集的最优值可能不同。改进方向可以是自适应 $?lpha$ 选择,根据嵌入空间的分布特性动态平衡探索和复杂度偏好。(5) 当前的 ARS 启发式假设二次关系 ^\star = c \cdot EDR^2$,这种关系可能在更多样化的数据集上不成立。改进方向可以是更复杂的比例预测模型,考虑数据分布的多个统计特征。

未来方向

未来研究方向包括:(1) 收集人类偏好数据并训练偏好驱动的奖励模型,类似于 RLHF,实现更细粒度的质量评估和更信息丰富的学习信号。(2) 修复低质量运动而非简单丢弃,通过物理约束优化或生成模型重建破损的运动片段,保留可用信息。(3) 在大规模低质量语料库上预训练以提取潜在暗知识,然后在高质量数据上微调,结合预训练和筛选的优势。(4) 将数据中心方法扩展到视觉-语言-动作模型(VLA)在机器人臂操作中的应用,验证"质量主导数量"原则在其他机器人学习任务中的普适性。(5) 探索在线数据筛选,在训练过程中动态调整训练集,根据策略学习进度选择性强调困难或信息丰富的样本。(6) 研究跨机器人平台的质量迁移,学习一个通用的质量评估模型,可以适应不同形态和动力学特性的机器人。(7) 结合课程学习和数据筛选,设计智能化的训练课程,根据策略能力动态调整训练数据的难度分布。

复现评估

复现评估方面,作者提供了项目页面(https://giraffeguan.github.io/limmt/),但未在正文中明确说明代码和数据开源情况。实验使用了两个公开数据集:AMASS(包含 15 个光学标记数据集,约 14K 训练片段和 140 测试轨迹)和 PHUMA(物理接地的人形运动数据集)。所有实验在两个物理模拟平台上进行:MJX(用于 Any2Track)和 Isaac Lab(用于 TWIST2),两者都支持 GPU 大规模并行训练。机器人平台是 Unitree G1。训练使用 PPO 算法,在 imes 10^9$ 环境步骤上进行,使用 8 块 NVIDIA RTX 4090 GPU。每个设置训练 10 个种子并报告均值和标准差。实现细节包括域随机化(地面摩擦、地形高度图、外部扰动、物理属性)和超参数设置(32768 并行环境、批量大小 1024、折扣因子 0.97、GAE 参数 0.95、裁剪参数 0.2、网络结构 [1024, 512, 256]、学习率 imes 10^{-4}$)。真实机器人部署在 Unitree G1 上进行,每个运动类别 10 次试验。复现难度中等偏高,主要挑战在于大规模计算需求(需要多块高端 GPU)和物理模拟环境的设置。如果代码开源,复现应该是可行的,但计算资源要求较高。