GRAIL：从 3D 资产与视频先验生成人形机器人移动操作数据 GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors
纯数字管线用 3D 资产+视频生成模型合成人形机器人操作数据，真机抓取 84%、爬楼梯 90%
前置知识
SMPL-X 人体参数化模型
SMPL-X 是一个从统计学习得到的 expressive body capture 模型，用一组低维参数（体型 shape 参数、逐帧姿态 pose 参数、手部 MANO 参数）参数化人体网格的形状与姿态，给定参数即可通过线性混合蒙皮生成带手指的全身 mesh。它是当前人体运动估计的事实标准表示。
GRAIL 用 GENMO/WiLoR 把生成的视频估计成 SMPL-X 参数，再通过 GMR 重定向到机器人，整个 4D 重建、接触损失、关键点投影都建立在 SMPL-X 顶点之上，不懂它就无法理解重建和重定向流程。
视频基础模型（VFM, Video Foundation Model）
这里特指图像到视频的生成式扩散模型，如 Kling 2.5 Turbo Pro。给定一张渲染图和文字 prompt，它能合成 5–10 秒、24 fps、1080p 的连贯交互视频。论文把它当作交互先验（interaction prior），而不是直接的运动来源。
GRAIL 的核心就是把 VFM 当成廉价、多样的交互行为发生器，理解它只生成 2D 视频、不直接给 3D 运动是理解整条重建管线存在意义的前提。
4D 人-物交互（4D HOI）
4D = 3D 空间 + 时间。4D HOI 指随时间变化的人体与物体在三维世界坐标系下的联合运动轨迹，包括人体姿态、物体 6-DoF 位姿、以及两者之间的接触关系。它是机器人操作示范的高质量表示。
GRAIL 的一切工作都是为了得到机器人可用的 4D HOI 轨迹，最终的跟踪策略、奖励、重定向都围绕这套时序 3D 轨迹展开。
Sim-to-Real 仿真到现实
在物理仿真里训练策略，再迁移到真实机器人的范式。通常配合 domain randomization（对视觉、物理参数加随机扰动）来弥合仿真与现实差距。GRAIL 还多了一层蒸馏：先把仿真里的跟踪策略蒸馏成消费 RGB 的视觉策略再部署。
论文最终的真机 84%/90% 成功率依赖这条 sim-to-real 链路，理解它才能明白为什么数据要先生成在仿真里、策略要先在仿真里训。
PPO 与运动跟踪强化学习
PPO（Proximal Policy Optimization）是策略梯度类强化学习算法，用 clipped surrogate objective 稳定更新。运动跟踪 RL 把参考姿态作为目标，用形如 $R_{motion}=\sum_i w_i\exp(-\|\tilde x_{i,t}-x_{i,t}\|^2/\sigma_i^2)$ 的高斯核奖励驱动仿真机器人去拟合参考轨迹。
GRAIL 的两类跟踪策略都用 PPO 在 Isaac Lab 里训练，奖励设计（运动跟踪 + 物体跟踪 + 抓取）是方法的关键组件。
全身控制器 SONIC
SONIC 是一个预训练的人形全身控制器：它把运动目标用 finite scalar quantization（FSQ）编码成离散潜 token $z_t$，再由冻结的动作解码器 $\mathcal G(z_t)$ 输出关节级动作，具备通用行走/平衡先验。GRAIL 在它之上做适配而非从头训练。
理解 GRAIL 为什么能「任务通用」——它复用 SONIC 的运动先验，只在上面加轻量适配器或微调编码器，这是高效扩展的关键。
FoundationPose 物体 6-DoF 位姿跟踪
FoundationPose 是一个基于已知物体 CAD 模型的 6 自由度位姿估计/跟踪器，给定首帧位姿即可在后续帧传播物体姿态。GRAIL 在其合成数据上微调 5 epochs，并把深度通道在训练和推理时都置零以适配 RGB-only 设定。
物体轨迹重建完全依赖 FoundationPose，而它能工作正是因为管线「先指定物体几何与相机」——这是特权 3D 配置转化为重建优势的具体体现。
运动重定向（Retargeting）
把一种骨架（如 SMPL-X 人体）的运动映射到另一种骨架（如 Unitree G1 机器人）关节空间的过程，通常用 IK 或优化保持末端/接触约束。GRAIL 用 GMR 做通用运动重定向，减少形态失配。
重建得到的是人体运动，必须重定向成机器人关节参考 $ ilde q_t$ 才能驱动跟踪策略训练，这一步的质量直接决定下游策略表现。
研究动机
人形机器人要完成 loco-manipulation（移动+操作）任务，策略必须同时协调整体平衡、手与物体的接触、以及针对地形几何的感知式行走，而这些能力所需的示范数据极难大规模获取。目前两条主流路线都有瓶颈：其一，遥操作（teleoperation，如 ALOHA 2、Homie）和动捕（motion capture）能产出高质量轨迹，但每增加一个新物体或新地形布局都要重新布置物理场景、穿戴动捕设备、甚至人手操作真机，扩展成本随任务数量线性甚至更快增长；其二，直接从野外视频中重建机器人可用的 4D 轨迹（如 InterCap、BEHAVE 风格的方法）虽然视觉覆盖广，却必须从单目、充满歧义的观测中同时反推相机参数、度量尺度、物体几何、人体形状、接触关系和世界坐标系运动，深度方向尤其模糊，导致重建结果常出现穿透、悬浮和尺度漂移，难以直接喂给物理仿真训练。作者指出，这种「先把不可控视频还原成 3D」的范式本质上是在解一个严重欠约束的问题。
本文的目标是GRAIL 的目标是构建一条在部署前完全数字化、无需真机或物理场景介入的人形机器人移动操作数据生成管线。具体而言，它希望做到三点：第一，用视频基础模型（VFM）作为交互先验，在已完全指定的 3D 资产场景里合成多样化的人-物交互视频；第二，利用这套已知的度量级 3D 配置（物体几何与纹理、相机内外参、环境深度、与目标机器人比例匹配的人形角色），把 4D 重建中的关键歧义从待推断量变成已知输入，从而重建出机器人可直接追踪的度量级 4D HOI 轨迹；第三，把重建运动重定向到 Unitree G1，并训练任务通用的跟踪策略，最终只用 GRAIL 生成的数据，通过 sim-to-real 蒸馏出自我中心视觉策略，部署到真机完成抓取和爬楼梯。整体目标是让数据规模化摆脱对物理采集的依赖。
与已有工作不同的是，GRAIL 的独特切入角度是「顺序倒置」：不同于 DAViD、ZeroHSI 等 VFM 路线先把视频生成出来再去反推相机、尺度、角色形态、物体几何和环境结构，GRAIL 先用程序化方式把物体放进 Infinigen 生成的场景、用刚体仿真稳定初始位姿、按 G1 形态预拟合人形角色、用已知相机内外参渲染首帧，然后再让 VFM 在这个受控度量框架内生成交互视频，并在重建阶段反复复用这套特权信息。这样一来，FoundationPose 有了已知物体几何和相机就能做精确 6-DoF 跟踪，MoGe-2 的深度图能对齐到渲染的真值背景深度恢复度量尺度，接触损失只在 VLM 标注的接触帧上生效。换言之，它把「重建歧义」这个老大难问题转化为在已知几何下的精修问题，这是和以往所有 HOI 数据路线的本质区别。
核心方法
GRAIL 是一条三阶段、以机器人为中心的纯数字管线。直觉上：先「搭好舞台」——把 3D 物体资产放进程序化生成的室内场景，放一个已按 Unitree G1 形态预拟合好的人形角色在旁边，用刚体仿真让物体落稳，再用已知相机渲染首帧；接着「让演员即兴表演」——用一个 VLM 从渲染图生成描述交互的文字 prompt，喂给视频生成模型（Kling 2.5 Turbo Pro）在静态相机下合成 5–10 秒的参考交互视频；然后「把表演翻译成机器人的语言」——分两步重建 4D HOI 轨迹：先用 GENMO 估计人体 SMPL-X 姿态、WiLoR 估计双手 MANO 姿态、用微调过的 FoundationPose 跟踪物体 6-DoF，再通过一个全局联合优化把人体和物体轨迹对齐到已知几何上；最后「教会机器人复现」——用 GMR 把 SMPL-X 运动重定向到 G1，在 SONIC 全身控制器之上训练两种互补的任务通用跟踪策略（物体感知的潜空间适配器 + 场景感知的高度图跟踪器），再蒸馏成自我中心视觉策略部署真机。整套流程在部署前完全不需要真机或物理场景。
核心创新有两个层面。第一个是「特权 3D 配置驱动的 4D 重建」：与其在不可控视频上做欠约束反推，不如先指定再生成，让相机、尺度、物体几何、环境深度、角色形态全部已知，重建退化成在已知几何上的残差精修——优化的是残差运动参数 $\Delta\Theta^{\mathcal H}_t$ 和 $\Delta\Theta^{\mathcal O}_t$（用 6D 旋转表示），并通过关键点投影损失 $\mathcal L_{kp}$、物体投影损失 $\mathcal L_{proj}$、度量深度 Chamfer 损失 $\mathcal L_{depth}$、接触损失 $\mathcal L_{cont}$ 和正则项 $\mathcal L_{reg}=\mathcal L_{foot}+\mathcal L_{vel}+\mathcal L_{smooth}$ 联合约束，总损失 $\mathcal L=\lambda_{kp}\mathcal L_{kp}+\lambda_{proj}\mathcal L_{proj}+\lambda_{depth}\mathcal L_{depth}+\lambda_{cont}\mathcal L_{cont}+\lambda_{reg}\mathcal L_{reg}$。第二个是「任务通用的互补跟踪器」：不单独训练一个控制器，而是在 SONIC 之上把同类轨迹池化训练。物体操作类用冻结控制器 + 物体感知适配器 $\pi_\varphi$（注入 64 维潜空间残差 $\Delta z_t$ 缩放 $\lambda=0.1$，并输出 2 维二值手部开合 primitive 映射到每手 7 个手指 DoF）；地形/坐下类则端到端微调控制器并接入 $11\times11$ 高度图编码器 $\epsilon_h$。
方法步骤详情
步骤一（机器人中心视频生成）：用 Infinigen 构建两类候选场景（纯地板或带桌子的房间），VLM 依据物体典型 affordance 决定放地板还是桌面，把预拟合好的人形角色与物体配对，刚体仿真（XPBD）让物体 $\Theta^{\mathcal O}_1$ 落到无碰撞稳定位姿，Blender 用已知内参 $C_K\in\mathbb R^{3\times3}$ 和外参 $C_E=(r_C,t_C)$ 渲染首帧；VLM 生成交互 prompt，Kling 在保持 $(C_K,C_E)$ 的静态相机设定下合成 $\{I_t\}_{t=1}^T$（可自回归续生成长序列）。步骤二（交互感知重建）：独立估计阶段——GENMO 出逐帧 SMPL-X 姿态（体型固定为预拟合形态）、用已知外参转到世界系；WiLoR 出左右手 MANO 参数，缺失检测用时间线性插值 + Savitzky-Golay 平滑，经腕部 IK 融入 SMPL-X；FoundationPose 在 RGB-only 设定（训练推理都把深度通道置零、微调 5 epochs）下从已知首帧位姿传播物体位姿。联合优化阶段——固定手部姿态，最小化总损失 $\mathcal L$ 得到 $\{\tilde\Theta^{\mathcal H}_t,\tilde\Theta^{\mathcal O}_t\}$；用 MoGe-2 估深度并对齐到渲染背景恢复度量尺度，SAM2 分割人/物区域反投影成点云，VLM 在均匀采样帧上标注接触标签；最后用 SAM2 掩码与渲染剪影比较，误差超 $\tau=0.2$ 的序列被丢弃。步骤三（重定向与跟踪）：GMR 把 SMPL-X 运动重定向到 G1 关节空间 $\{\tilde q_t\}$，在 SONIC 上训练两类策略，PPO 在 64 张 L40、每卡 1024 环境上跑 30000 次迭代。步骤四（sim-to-real）：把跟踪策略蒸馏成消费头部相机 RGB、输出 SONIC 潜 token 的自我中心视觉策略，加 domain randomization，部署到外接 RTX 5090、OAK-D W 相机、10 Hz 推理的 G1 上。
技术新颖性
新颖性体现在三处。其一，与 DAViD、ZeroHSI 等「先生成视频再反推 3D」的 VFM 路线相比，GRAIL 把相机、尺度、角色形态、物体几何、环境结构都设为生成前的已知量并在重建中复用，把欠约束问题转成已知几何下的精修——这是范式层面的区别。其二，与 HDMI（每个任务训一个专家策略）、ResMimic（在通用跟踪基座上加逐任务残差）相比，GRAIL 训练的是跨大类轨迹池的任务通用策略，并首次把潜空间残差适配 + 手部 primitive 这种轻量化操作能力和高度图条件化的端到端微调这两种互补机制组合在同一个 SONIC 基座上，做到既能精细手指开合抓取又能适应楼梯/斜坡/坐下。其三，重建栈本身是新的：FoundationPose 为 RGB-only 微调（深度通道置零）+ 度量深度对齐 + 仅在接触帧生效的只惩罚视线方向深度差的接触损失 $\mathcal L_{cont}$，加上用 SAM2 掩码做失败过滤（阈值 $\tau=0.2$）的质量控制闭环，是一套工程上完整、可复用的 4D HOI 重建方案。整体看，它把「资产条件生成」做成了一个端到端、可验证、可部署的工程系统。
实验结果
实验覆盖管线三个阶段。HOI 生成（Table 1，20 个 ComAsset 物体）：GRAIL 在几乎所有指标上最优——接触距离 0.008（HOIDiff 0.012、CHOIS 0.034、DAViD 0.246）、穿透率 0.90%（远低于 CHOIS 的 3.74%）、交互评分 3.58/5（DAViD 2.74）、物体平滑度 0.0022 最优；最关键的是物理可执行性，用 InterMimic 复现时的跟踪成功率高达 88.9%，而 DAViD 仅 24.0%、HOIDiff 15.8%、CHOIS 10.5%，身体偏差 0.0913、物体偏差 0.0851 也是最低，说明生成数据不仅好看而且真能被物理 humanoid 复现。用户研究（Table 7，30 人）GRAIL 在 affordance 合理性上被选 74.7%、物理合理性 70.9%，接近理论上限 75%。任务通用跟踪（Table 2，124 运动/43 物体基准）：完整 GRAIL 成功率 81.4%、物体位置误差 0.135 m、局部关节误差 41.8；HDMI 48.5%（ObjPos 0.283、MPJPE-L 122.3）、ResMimic 49.2%（0.393、80.9）。消融显示去掉 SONIC 从头训降到 45.0%、去掉适配器 $\pi_\varphi$（纯 SONIC）成功率最低仅 39.7% 但身体跟踪最好，说明身体模仿准不等于物体交互对；把相对物体观测换成绝对观测降到 57.9%。重建损失消融（Table 8）：完整模型下游跟踪 SR 81.4%，去掉 $\mathcal L_{proj}$ 降到 41.6%、去掉 $\mathcal L_{depth}$ 42.6%、去掉 $\mathcal L_{cont}$ 53.3%。真机部署：只用 GRAIL 数据训练的自我中心视觉策略，爬楼梯成功率 90%；抓取在 5 类已见物体平均 84%（立方体 100%、湿巾 90%、胡萝卜 90%、茶盒 70%、苹果 60%），5 类未见物体平均 80%。数据规模超 20000 条序列，覆盖抓取/全身操作/坐下/地形穿越四类，来自 1000 个物体资产和 1000 个程序化地形配置。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HOI 物理可执行性（20 物体，InterMimic 复现） | 跟踪成功率 SR（归一化身体与物体偏差均 <0.25 的帧占比） | 88.9%（身体偏差 0.0913、物体偏差 0.0851） | DAViD 24.0%（最强基线）、CHOIS 10.5%、HOIDiff 15.8% | 较最强基线 +64.9 个百分点，约为 DAViD 的 3.7 倍，且接触距离/穿透率/交互分均最优 |
| 任务通用 loco-manipulation 跟踪（124 运动/43 物体基准） | 成功率 SR（平均物体位置误差 <20 cm 的 episode 占比） | 81.4%（ObjPos 0.135 m、MPJPE-L 41.8） | ResMimic 49.2%（0.393、80.9）/ HDMI 48.5%（0.283、122.3） | +32.2 个百分点，物体位置误差从 0.393 降到 0.135 m，身体跟踪精度也大幅领先 |
| 真机抓取（自我中心视觉策略，每物 10 次试验） | 真实世界成功率 SR | 已见 5 类物体平均 84%，未见 5 类物体平均 80% | 无直接可比基线（纯 GRAIL 数据训练） | 从未见物体泛化 80% 验证了数据多样性带来的 sim-to-real 迁移能力 |
| 真机爬楼梯 | 真实世界成功率 SR | 90% | 无直接可比基线（纯 GRAIL 地形穿越数据训练） | 仅用生成数据即可达成高成功率地形穿越部署 |
| 重建损失消融（124 运动基准下游跟踪） | 下游跟踪成功率 SR | 81.4%（完整模型，ObjPos 0.135） | 去 $\mathcal L_{cont}$ 53.3% / 去 $\mathcal L_{proj}$ 41.6% / 去 $\mathcal L_{depth}$ 42.6% | 完整模型比任一消融高 28+ 个百分点，证明每个损失项都不可少且误差会向下游传播 |
局限与改进
作者承认：管线假设能得到 3D 物体资产、可仿真的场景搭建、以及一个能听从交互指令的 VFM；重建质量在严重遮挡、快速运动或 VFM 产出物体外观不一致时会下降，失败过滤会丢弃相当一部分序列；任务通用跟踪策略虽然在同类轨迹池上摊销了学习成本，但当运动族发生显著变化时仍需重新训练或微调。我自己的观察补充：真机只验证了抓取和爬楼梯两项，论文大量篇幅的全身操作（推车/搬运）和坐下在真实部署里没有成功率数据，存在「生成能力」与「部署验证」之间的落差；手指控制被压缩成二值开合 primitive（每手 7 DoF 由预定义抓取构型映射），无法做手内重定向或精细捏取；场景模板只有地板和带桌房间两种，多样性受限；推理只有 10 Hz 且 G1 外接台式机（RTX 5090）非完全板载，对快速反应操作可能不够；依赖 Kling 2.5 Turbo Pro 和 GPT 两套付费专有 API，加上 64 张 L40 的训练算力，对学术复现是显著门槛；已见物体中苹果仅 60%，提示对球形/反光小物体仍不稳定。
独立分析的弱点
弱点一：强依赖黑盒专有 VFM/VLM。整个交互的真实感和多样性被 Kling 和 GPT 的先验上界封顶，VFM 出现纹理不一致或几何错配时 FoundationPose 会丢跟踪并被 $\tau=0.2$ 过滤掉，而这类失败恰恰可能集中在难抓取/小物体上，造成数据分布偏置。改进方向是用可控的交互条件运动扩散模型（如条件化 contact/affordance）替代或约束黑盒 VFM，或在生成阶段加显式物理一致性损失提前过滤。弱点二：物体建模为刚体、手指为二值开合，无法处理铰接物体（门、抽屉、剪刀）和可变形物体（布料、食物），也无法做手内灵巧操作；改进方向是引入铰接/可形变物体资产并把手指 primitive 升级为连续关节控制。弱点三：静态相机加两类场景模板限制了视角与几何多样性，难以生成需要多视角观察的复杂操作；改进方向是多视角/移动相机生成与更多程序化场景。弱点四：真机验证覆盖窄（仅抓取+爬楼梯），全身操作和坐下缺真机成功率，泛化到未见物体有约 4 个百分点掉点；改进方向是补齐这些类别的真机评测并扩大未见物体测试集。弱点五：10 Hz 推理加外接台式机的部署形态偏保守；改进方向是模型蒸馏/量化实现板载实时控制。
未来方向
作者隐含提出的方向：扩大运动族时需要持续微调跟踪策略，暗示需要更自动化的课程式扩展机制。基于成果可延伸的方向有：第一，把铰接物体和可形变物体纳入资产管线，并把手部 primitive 升级为连续灵巧控制，扩展到开门、倒水、折叠等任务；第二，用可控运动扩散替代黑盒 VFM，降低对专有 API 的依赖并提升物理一致性；第三，把 GRAIL 数据与语言条件结合，训练 whole-body VLA，实现「说一句话就操作」的指令驱动移动操作；第四，引入多视角/移动相机生成以覆盖更复杂场景；第五，把失败过滤掉的高难样本反过来作为课程学习的重点，把被丢弃的难例变成主动学习信号；第六，跨人形平台验证（不只 G1），以及把 10 Hz 视觉策略蒸馏/量化到板载实时推理；第七，把生成数据与少量真机遥操作数据混合，研究纯合成数据与真实数据的互补比例。
复现评估
复现难度较高。代码与数据：论文给了项目页 research.nvidia.com/labs/dair/grail，但正文未明确承诺开源代码与训练好的策略权重，NVIDIA 论文通常会部分放出但时间不定；所用物体资产来自公开数据集（Robocasa、ComAsset、OMOMO、Hunyuan3D），地形是程序化生成可复现，最终 20000+ 序列是否随论文发布未明说。算力门槛很高：生成阶段每条 5 秒序列在单张 A100 上约 14 分钟（联合优化占 8 分钟），跟踪训练用 64 张 L40、每卡 1024 环境跑 30000 迭代约 30 小时（摊到每条运动约 0.5–0.9 分钟，新增同类运动热启动微调约 6 小时），真机部署还需 RTX 5090 台式机 + Unitree G1（约 1.6 万美元级）+ Luxonis OAK-D W 相机。最大障碍是管线深度耦合两套付费专有 API——Kling 2.5 Turbo Pro（视频生成）和 GPT（prompt 与接触标签），以及 SONIC、GENMO、WiLoR、FoundationPose、MoGe-2、SAM2 等多个预训练模型，任何一个变动都会影响结果。总体属于方法思路清晰、但端到端复现需要工业级资源的论文。
论文图表
上半部分展示仿真中的人形机器人执行 GRAIL 生成的参考运动，覆盖抓取、全身操作、坐下、地形穿越；下半部分展示只用 GRAIL 数据训练的自我中心视觉策略部署到 Unitree G1 上完成爬楼梯和抓取。
一张图讲清从纯数字数据生成到真机部署的完整闭环，是理解论文价值主张的最佳入口。