← 返回 2026-10-01

TERRA:地形感知的肌骨骼运动重建、重定向与控制 TERRA: Terrain-Aware Reconstruction, Retargeting and Control for Musculoskeletal Locomotion

Merkourios Simos, Chengkun Li, Bianca Ziliotto, Alexander Mathis 📅 2026-09-29 👍 19 2026-11-11 18:30
地形重建 强化学习 生物力学 肌骨骼控制 运动重定向

仅凭运动学数据重建地形,训练单一肌肉驱动策略掌握斜坡、楼梯与座椅上的全身运动

前置知识

肌骨骼模型与Hill型肌肉驱动

肌骨骼模型用骨骼刚体加肌肉-肌腱单元模拟人体。本文使用的 MyoFullBody(来自 MuscleMimic,禁用手指)含 354 个 Hill 型肌腱驱动器、83 个 MuJoCo 关节(1 个浮动根关节加 82 个标量关节)以及 49 个多项式耦合。控制信号是 354 维肌肉激活,而非直接关节力矩,动作空间高度冗余且非线性。

本文的最终目标就是训练肌肉驱动策略,理解执行器维度、肌腱极限与激活动态是读懂重定向约束(如肌腱连续性 Dten)和 EMG 验证的前提。

运动重定向(Motion Retargeting)

把一种身体形态(如 SMPL-H 人体网格)上的运动映射到另一种形态(机器人或肌骨骼模型)的过程。朴素做法只对齐关节角度,但会造成穿地、滑步、漂浮等物理违例。先进方法加入接触保持、碰撞避免等约束,本文还要满足解剖关节限位与肌腱长度极限。

TERRA 的中游核心就是地形感知重定向,论文 Table III 的全部指标(Dten/Dcol/Dpen/Dskat/Dfloat)都是重定向质量的度量。

交互网格(Interaction Mesh)

OmniRetarget 提出的重定向表示:把源身体关键点和场景采样点拼成顶点矩阵,做 Delaunay 四面体化后,用拉普拉斯算子 $L_t$ 度量源与目标网格形状差异,最小化 $\|L_t V_t(q) - L_t \hat{V}_t\|_F^2$,从而在重定向时保持身体与场景的相对关系。

TERRA 的重定向目标函数以交互网格残差为基底,再叠加自己的解剖与地形项,不懂这一项就看不懂其 SQP 公式(式 6)。

序列二次规划(SQP)

迭代求解非线性约束优化的方法:每步把目标函数二阶泰勒展开、约束线性化,解一个二次子问题得到更新量 $\Delta q$。本文在 89 维广义坐标上逐帧求解,用 Clarabel 求解器,并给穿透恢复设每迭代 10mm 的上限,防止单步修正在数值上爆炸。

重定向的可行性和速度都由 SQP 细节决定(首帧信任域 1.0/50 次迭代,后续 0.2/10 次),这是 TERRA 能 6498/6498 全收敛的关键。

PPO 与大规模并行仿真

PPO(近端策略优化)是截断重要性采样的策略梯度算法。本文用 MJX–Warp(MuJoCo 的 GPU 版)跑 8192 个并行环境,100Hz 控制、每动作 5 个 2ms 物理步,训练 40 亿步,4 块 A100 约 20 小时;actor/critic 为层归一化门控残差 MLP(宽度 2048、512×6)。

9.4 小时多样运动的单一策略能训出来,依赖这套并行训练配置;Table IV 的超参数是复现实验的依据。

SMPL-H 与 AMASS

SMPL-H 是带手部的参数化人体网格模型(本文只用身体,52 个关节位置/旋转);AMASS 是把各大学标记点数据集统一重放成 SMPL-H 序列的大规模运动库。TERRA 接受 AMASS 格式或 C3D/MAT/TRC 原始标记数据,先拟合 SMPL-H 形状与全局尺度,再把 17 个标志点对齐到 MyoFullBody。

论文的数据基础(993 段 AMASS-terrain 等 6498 段运动)都建立在这一格式之上,理解输入统一化步骤必需。

EMG 与垂直地面反作用力(GRF)

EMG(肌电图)记录肌肉激活的电信号,本文涉及股外侧肌 VL、股内侧肌 VM、比目鱼肌 SOL、腓肠肌 GAS、股二头肌 BF、胫骨前肌 TA;垂直 GRF 是测力台记录的足-地作用力。两者共同构成运动神经控制的外周生理证据。

论文用保留的 Gait120/Darmstadt/Vielemeyer 数据把策略输出的 EMG 与 GRF 波形和人类对比(Fig. 5),这是区分 TERRA 与纯动画式重定向工作的关键卖点。

研究动机

肌骨骼模型与强化学习结合已能让肌肉驱动的虚拟人体复现复杂动作:MuscleMimic 与 Kinesis 已在数百个参考运动上学会平地行走,MyoChallenge 等基准持续推动全身肌肉控制。但这些能力几乎全部局限于平地。原因有二。其一,主流运动捕捉数据集只记录人体运动学而不带场景几何——例如 AMASS 的 993 段非平坦运动根本没有配对地形,模型不知道脚踩的是楼梯还是斜坡。其二,把人类运动重定向到 354 块肌肉、82 个关节的肌骨骼身体时,必须同时保持源接触、避免穿透、滑步与漂浮,并满足解剖关节限位与肌腱长度极限;这些误差会被非平坦地形交互放大,直接让参考轨迹物理不可行。Table I 概括了这一空白:GMR、SceneBot、OmniRetarget、MuscleMimic 等代表方法中,没有任何一个能同时支持地形重建、地形重定向与肌骨骼(MSK)目标模型。

本文的目标是本文要构建一条端到端流水线,让肌肉驱动的人体在真实三维非平坦环境中运动,具体分解为四个目标。第一,仅凭运动学轨迹(无视觉观察、无场景先验)恢复任务相关的支撑几何,涵盖斜坡、楼梯、独立水平支撑与座椅四类 affordance。第二,把异构来源的运动(AMASS、PRISM、Gait120、Darmstadt、Vielemeyer 共 6498 段、约 9.4 小时)在解剖、肌腱、接触与碰撞约束下重定向到 MyoFullBody,作为物理可行的参考。第三,用得到的运动-地形对训练一个单一的参考条件化肌肉驱动策略,使其在四类地形上完成 held-out 运动跟踪。第四,用地形配对的生物力学数据做验证:比较策略生成的 EMG 与垂直地面反作用力和人类受试者在平地、下坡、下楼、坐站任务上的波形。

与已有工作不同的是,已有工作各占一角而未闭环:TIP 从稀疏 IMU 联合估计运动与局部高度场,但依赖惯性传感器而非纯运动学;SceneBot 用恒定高度补丁从重定向运动拼出场景,最接近本文,但代码不公开、只以下游跟踪成功率评价、不做几何精度评估;OmniRetarget 提出交互网格重定向,却假设地形/物体几何已知;GMR 与 MuscleMimic 只解决重定向本身。TERRA 的独特切入是把“运动即环境证据”形式化为对显式地形先验的结构化推断——不回归稠密高度场,而是在盒子、斜坡、楼梯、座椅四种解析原语上做选择与参数拟合,并用身体扫过空间的负证据裁剪几何;再把重建、解剖感知重定向、肌肉控制、生理验证串成闭环,首次用带真实地形的公开生物力学数据集(Gait120、Darmstadt、Vielemeyer)同时做定量几何与生理双重评估。

核心方法

直觉上,人体运动本身就是环境的探针:脚静止且放得很低的地方一定存在支撑面(正证据),身体扫过的空间一定没有障碍(负证据)。TERRA 把这一思想工程化为四步流水线(Fig. 2)。第一步输入统一化:C3D/MAT/TRC 标记点数据或 AMASS 的 SMPL-H 运动被拟合到与 MyoFullBody 中性姿势对齐的 SMPL-H 上,输出 52 个世界系关节位置/旋转。第二步地形重建:从踝/趾标志的静止低矮区间提取支撑高度,用踝-趾俯仰角与摆动净空廓线区分平地与斜坡,用骨盆低速外置检测座椅,最后把所有地形装配成有限个静态 MuJoCo 盒子。第三步地形感知重定向:在 OmniRetarget 交互网格残差之上加入解剖、接触、净空与碰撞约束,逐帧用序列二次规划求解 89 维广义坐标更新。第四步策略训练与验证:用 PPO 在 MJX-Warp 上以 8192 个并行环境训练单一跟踪策略(100Hz 控制、40 亿步、4 块 A100 约 20 小时),并把策略生成的 EMG 与垂直 GRF 和人类数据做逐肌肉、逐任务对比。

核心创新是把地形重建建模为对四个地形先验(独立支撑盒、斜坡、楼梯、座椅)的结构化离散-连续推断,而非稠密高度场回归。判别靠三条运动线索。线索一,中性姿势校准的踝-趾俯仰角:比较平坦误差 $E_{\text{flat}} = \mathrm{med}|\theta_t - \theta^0_\ell|$ 与斜坡误差 $E_{\text{ramp}} = \mathrm{med}|\theta_t - \theta^0_\ell - \arctan(s\cos\gamma_t)|$,误差小者获胜;当两者差落在 $2^\circ$ 模糊带内(约对应 20cm 足长上 7mm 端点不确定度),再用摆动净空评分裁决——高度近线性过渡判为斜坡,早升或晚降判为台阶,且摆动线索须超过支撑高度变化的 5%。线索二,支撑分层:排序后的表面高度 $\hat{h}_e = \bar{z}_e - o_j$ 相邻差超 4cm 开新层,跨度超 8cm 在最大内部间隙递归二分。线索三,座椅检测:骨盆速度低于 0.15 m/s 持续至少 0.4s 且水平位置在足部凸包外 0.10m。重定向端的关键区别是在交互网格上叠加解剖与肌腱项(肌腱长度变化超 5% 记违例 Dten),并以带穿透恢复上限 $\rho = 10\,\mathrm{mm}$/迭代的约束 SQP 保证物理可行性——这是所有基线完全缺失的。

方法步骤详情

步骤一(输入统一化):C3D/MAT/TRC 标记或 AMASS 运动输入后,将 MyoFullBody 与 SMPL-H 置于中性姿势,优化形状系数与全局尺度并对 17 个标志点(骨盆、脊柱、头,双侧髋膝踝趾与肩肘腕)施加残差偏移,输出 52 个世界系关节位置/旋转,垂直平移使最低趾位于 z=0。步骤二(支撑提取):保留踝/趾速度低于 0.30 m/s、至少 5 帧、中值高度低于局部最小加 0.05m 的连续区间为候选,减去关节偏移 $o_j$ 得表面高度,坐姿区间被排除。步骤三(先验装配):对斜坡拟合 $h(u) = h_0 + s[\mathrm{clip}(u, u_0, u_1) - u_0]$;至少 3 个抬升层且踏步在 5cm 内覆盖所有抬升静止足时选楼梯先验,否则退化为独立盒子;接触包络按足尺寸扩张后按自由空间轨迹裁剪。步骤四(SQP 重定向):在 89 维广义坐标($\Delta q \in \mathbb{R}^{89}$,含根平移、单位四元数与 82 关节)上最小化交互网格残差加 TERRA 残差(权重:定向 0.5、锚点 100、速度/位移 150/200、高度 400、分离 20000、净空/路线 1500、座椅 2000),穿透约束 $\epsilon_{\text{pen}} = 0.9\,\mathrm{mm}$、每迭代恢复上限 10mm,Clarabel 求解,暖启动首帧信任域 1.0/50 次迭代、后续 0.2/10 次。步骤五(策略训练):观测含关节位置速度、根高度、投影重力、肌肉激活、4 个足/趾触觉与 11×11 高度图(0.1m 间距),PPO($\gamma=0.99$、clip 0.2)训练 40 亿步,跟踪误差超 0.15m 或根姿态误差超 1 rad 终止。

技术新颖性

技术新颖性体现在四点。第一,能力组合首创:Table I 显示 TERRA 是唯一同时支持地形重建、地形重定向与肌骨骼目标的方法,填补 SceneBot(无 MSK、代码闭源)、OmniRetarget(需已知几何)、MuscleMimic(无地形)之间的空白。第二,结构化先验推断:相比 Voronoi/TIP/SceneBot 式稠密高度场,盒子/斜坡/楼梯/座椅原语带来解析级精度——楼梯踏步 MAE 8.08mm 对 Voronoi 的 42.24mm,坡度误差 0.223° 对 1.683°,家族分类准确率 99.9%。第三,解剖感知重定向:把肌腱连续性、腿部自碰撞分离(权重 20000)、摆动净空提升(至多 0.06m)等写成单侧罚项纳入 SQP,使环境穿透率从无残差消融版的 33.45% 降到 0.16%、接触保持 F1 从 88.49% 升到 93.80%,且每迭代穿透恢复上限 10mm 的设计让深穿透不会被一次性暴力修正。第四,规模与验证范式:6498 段运动、五个来源数据集训练单一策略(8068 个片段按受试者身份确定性划分 15% 测试、每方法三种子、每片段 5 次随机 rollout),并首次用地形配对的 EMG/GRF 数据把重定向质量、下游成功率与生物力学真实性串联评估。

TERRA method overview. Heterogeneous motion data are converted to SMPL-H, used to reconstruct compact collision terrain, and retargeted to the musculoskeletal model with terrain-aware constraints. The resulting paired trajectory–terrain scenes train a muscle-actuated tracking policy, whose biomechanical outputs are compared with subject-matched force-plate and EMG data on held-out motions.
Fig. 2: TERRA method overview. Heterogeneous motion data are converted to SMPL-H, used to reconstruct compact collision terrain, and retargeted to the musculoskeletal model with terrain-aware constraints. The resulting paired trajectory–terrain scenes train a muscle-actuated tracking policy, whose biomechanical outputs are compared with subject-matched force-plate and EMG data on held-out motions.

实验结果

地形重建(Table II):5474 个已知地形片段上家族分类准确率 99.9%(95% CI 99.853–99.982%),去掉足姿态与摆动线索降至 73.5%;坡度 MAE 0.223°(跨独立采集 0.544°/0.529°),楼梯踏步 MAE 8.08mm(Darmstadt 5.17mm),凳高 45.62mm;基线 Contact-LS 凳高误差达 490mm,Voronoi 踏步误差 42.24mm。PRISM 网格上足/座椅高度 MAE 12.95/11.16mm、抬升区 IoU 47.3%(Voronoi 仅 11.2%)。AMASS 一致性:接触 MAE 10.24mm(Contact-LS 47.46、Voronoi 25.57),$|r_e| \le 50$mm 占 97.1%,穿透/漂浮 0.7%/2.2%,抬升支撑 F1 93.9。重定向(Table III):6498/6498 全收敛,Dten 0.026%、Dpen 0.16%、Dskat 1.80%、Dfloat 1.02%、接触 F1 93.80%,全面优于 OmniRetarget(F1 86.05%、Dpen 31.97%)与 GMR(F1 74.19%);MM-MoCap-Body 穿透率高达 54.56%。策略跟踪:held-out 成功率 87.59%、MPJPE 74.47mm(三种子、每片段 5 次随机 rollout),高于 OmniRetarget 80.29% 与 GMR 56.43%;分地形(Table VI)斜坡 99.49%、平地 91.70%、座椅 89.32%、楼梯 81.90%、独立箱仅 46.45%。鲁棒性(Table V):10mm 地标噪声下准确率仍 97.06%,但支撑删除 30% 时凳子场景跌至 70.36%。生物力学(Fig. 5):平地、下坡、下楼、坐站上策略 EMG 与垂直 GRF 波形与人类定性相似但存在可见时序差异。

Terrain-reconstruction. Method comparison on a Vielemeyer 10° descent ramp (top) and PRISM stepping boxes (bottom). Black crosses denote the same reference toe contacts in every panel, and dotted segments connect each contact to the reconstructed height at the same horizontal location.
Fig. 3: Terrain-reconstruction. Method comparison on a Vielemeyer 10° descent ramp (top) and PRISM stepping boxes (bottom). Black crosses denote the same reference toe contacts in every panel, and dotted segments connect each contact to the reconstructed height at the same horizontal location.
A policy trained on TERRA motions can imitate held-out motion on various terrains, such as stairs, ramps, individual platforms, and chairs.
Fig. 4: A policy trained on TERRA motions can imitate held-out motion on various terrains, such as stairs, ramps, individual platforms, and chairs.
查看结构化数据
任务指标本文基线提升
已知地形家族分类(Gait120+Darmstadt+Vielemeyer,N=5474) 家族分类准确率 99.9%(95% CI 99.853–99.982%) 去除物理线索的消融版 73.5%(Contact-LS 与 Voronoi 不支持分类) +26.4 个百分点
楼梯踏步高度重建 Riser MAE 8.08 mm(Darmstadt 5.17 mm) Contact-LS 23.42 mm;Voronoi 42.24 mm 误差降低约 65%–81%
斜坡坡度估计 Grade MAE 0.223° Contact-LS 1.683° 误差降低约 87%
PRISM 网格几何重建(足+座椅,N=31) Height MAE / 抬升区 IoU 12.20 mm / IoU 47.3% Voronoi 26.29 mm / IoU 11.2%;Contact-LS 145.10 mm / IoU 3.5% 高度误差降低 54%,IoU 提升 4 倍以上
AMASS-terrain 运动-地形一致性(N=993) 接触高度 MAE 10.24 mm(成功率 993/993) Voronoi 25.57 mm(966/993);Contact-LS 47.46 mm 误差降低约 60%–78%
运动重定向(6498 段,100Hz) 接触保持 F1 / 环境穿透率 Dpen 93.80% / 0.16% OmniRetarget 86.05% / 31.97%;GMR 74.19%;MM-MoCap-Body 92.86% / 54.56% F1 +7.75pp,穿透率相对 OmniRetarget 下降约 99.5%
held-out 策略跟踪(三种子×五次随机 rollout) 成功率 87.59% OmniRetarget 80.29%;GMR 56.43%;MM-MoCap-Body 47.34% +7.3 个百分点(对最强基线)
held-out 策略跟踪 MPJPE 74.47 mm OmniRetarget 87.23 mm;GMR 91.97 mm 误差降低约 15%–19%(但 TERRA+Voronoi 以 71.65 mm 更低)

局限与改进

作者承认的局限:动态基元几何、在线(实时)重定向与移动表面尚未支持;生物力学比较是定性的——所有轨迹独立做 min-max 归一化后只比较波形形状,没有统计检验,且承认 EMG 时序与形状存在明显不匹配。我自己的观察:其一,独立支撑箱成功率仅 46.45%(Table VI),是五类地形中最弱一环,说明自由空间裁剪对稀疏散乱的接触证据很脆弱;其二,楼梯上 TERRA+Voronoi 组合(成功率 85.01%、MPJPE 66.65mm)反超 TERRA(81.90%、69.50mm),座椅 MPJPE 也逊于它(94.75 对 83.09mm),说明结构化先验并非处处最优;其三,流水线依赖大量手工阈值(0.30 m/s 接触速度、4cm 层间差、2° 模糊带、0.15 m/s 座椅速度等),作者只做了 80%/120% 阈值扰动与 2/5/10mm 噪声测试,跨体型、跨传感器、跨人群(儿童、老人、步态障碍)的可迁移性未验证;其四,全部地形是静态的并由有限盒子近似,扶手、桌面等非支撑几何与上肢密集接触场景(手指被禁用)完全未覆盖;其五,检测隐含周期性步态假设,对倚靠、侧坐、爬行等非典型运动可能失效。

独立分析的弱点

独立弱点分析与改进方向。一、箱子场景成功率仅 46.45%:独立盒子之间没有拓扑或连通性约束,自由空间证据一旦误裁就会删掉应放置的支撑;改进方向是引入可微分布局优化,或在训练时对高度图做随机缺块/噪声增广,让策略对不完美地形鲁棒。二、楼梯被 TERRA+Voronoi 攻破:解析分层在踏步不均匀或地标噪声大时可能错层,可改为双通道方案——结构化原语与稠密高度场并行重建,按重定向可行性或置信度在线选择,兼取两者。三、生理验证停留在定性层面:min-max 归一化抹掉了幅值信息,也未报告跨受试者一致性;应补充受试者内相关系数、波形互相关、肌肉协同(synergy)分解与显著性检验,并分析不匹配来源(如策略无疲劳、无反馈延迟)。四、阈值体系的手工性:虽然 80%/120% 扰动实验证明家族分类稳健(99.91%–99.95%),但所有常数都隐含健康成人步态假设;关节偏移 $o_j$ 的自校准思路可推广到其他阈值,实现按数据集/人群自适应。五、静态离线假设:移动表面(扶梯、电梯)与动态物体超出能力范围,重定向是逐帧离线优化,无法支撑实时遥操作或在线人形控制,需研究增量式 SQP 或学习型重定向。六、算力门槛:40 亿步训练需 4 块 A100 约 20 小时,且绑定 MJX-Warp 生态,迁移到其他仿真器成本高。

未来方向

作者在结论中点名三个方向:动态基元几何(支撑面随时间变化)、在线(实时)重定向、移动表面。结合本文成果还可延伸多条线。其一,作者明确暗示的神经科学联系:Warren(1984)与 Mark(1987)关于楼梯攀爬与坐姿按身体尺度感知的 affordance 经典发现,可在 TERRA 的地形表征与肌骨骼能力之间建立定量桥梁,与 Cisek 的 action opportunities 框架对接,研究具身智能体如何把环境几何与自身运动能力耦合表征。其二,扩展到 loco-manipulation:与 OmniRetarget 的物体交互网格重新合并,处理搬运、开关门等需手部接触的任务(需先恢复手指自由度)。其三,与同组 Arnold 多任务肌肉 Transformer、MyoChallenge 基准结合,检验地形技能能否零样本迁移。其四,上游接入视频或 IMU 运动估计(如 TIP、PRISM),形成从真实录像/可穿戴传感器到肌肉级控制的完整 real-to-sim 通路。其五,临床转化:Gait120、Darmstadt 等数据集来自生物力学实验室,TERRA 可作为康复评估、假肢与外骨骼设计的肌肉级仿真试验台,策略生成的 GRF 可直接与测力台对照校验。

复现评估

复现评估:作者明确承诺“Code and data will be made publicly available”,项目网站为 cnai.epfl.ch/terra,但正文未见即时发布链接,需关注后续更新。数据侧较友好:AMASS(需签许可)、PRISM、Gait120、Darmstadt(TUdatalib)、Vielemeyer(Scientific Data)均公开,EMG 与 GRF 随数据集提供。算力门槛中高:策略训练 40 亿步需 4 块 A100 约 20 小时(MJX-Warp GPU 仿真、8192 环境),重定向是 CPU 上的 SQP(Clarabel,必要时退回 CVXPY),单机可行但 6498 段运动耗时可观。超参披露较全:Table IV 给出 PPO 参数($\gamma=0.99$、学习率 8e-4→8e-5)、奖励权重、约束阈值($\epsilon_{\text{pen}}=0.9$mm、恢复上限 10mm)与 TERRA 各残差权重;但部分实现细节(关节偏移 $o_j$ 自校准流程、SMPL-H 拟合实现、座椅网格高度规则)指向补充视频而非正文,严格数值复现有摩擦。总体判断:熟悉 MuJoCo/MJX 与肌骨骼建模的团队可在数周内复现核心结果;代码正式发布后门槛将显著降低。

相似论文推荐