← 返回 2026-04-23

DeVI：通过合成视频模仿实现基于物理的灵巧人-物交互 DeVI: Physics-based Dexterous Human-Object Interaction via Synthetic Video Imitation

Hyeonwoo Kim, Jeonghwan Kim, Kyungwon Cho, Hanbyul Joo 📅 2026-04-22 👍 24 2026-07-13 08:36
SMPL-X 人-物交互 强化学习 灵巧操作 物理仿真 视频扩散模型 运动模仿
arXiv HuggingFace PDF

用视频扩散模型规划 HOI，从合成视频提 3D 人+2D 物目标驱动物理灵巧模仿。

前置知识

SMPL-X 人体参数化模型

SMPL-X 是 SMPL 的人体扩展模型，含 21 身体关节与 30 手部关节（每手 15），核心参数有 $\beta$（形状）、$\theta_b$（身体姿态）、$\theta_h$（手部姿态）。它通过线性混合蒙皮（LBS）从参数生成网格，是人体与手部最常用的统计形变模型。

本文智能体与模仿目标均用 SMPL-X 表达，所有关节角度、奖励设计、状态空间都基于其参数化，没有它无法理解 $\mathcal{J}_b, \mathcal{J}_h$ 投影操作的含义。

视频扩散模型

视频扩散模型将图像扩散扩展到时序维度，通过 3D U-Net 或时空 Transformer 对视频帧去噪，能根据文本/图像条件生成符合语义与物理约束的视频片段。本文用预训练图像到视频模型，把渲染首帧 $I_1$ 与文本提示合成为 HOI 视频 $V$。

DeVI 把视频扩散模型当作 HOI-aware 运动规划器，读者需理解其生成结果本质上仍是 2D 视觉一致而非 3D 物理精度。

PPO 与模仿奖励

PPO 是 on-policy actor-critic 算法，通过截断 surrogate 目标稳定策略更新。本文最大化 $J(\theta)=\mathbb{E}\sum_t\gamma^t R$，其中奖励 $R$ 由指数型跟踪误差组合，跟踪量为模拟状态与参考目标间距离。

理解 PPO 目标与指数型奖励是读懂混合跟踪奖励 $R = R_h \cdot R_o \cdot R_{contact}$ 各组成项如何驱动策略收敛的前提。

单目 3D 人体姿态估计

HMR 从单张图像或视频恢复 SMPL 形状与姿态，代表工作有 GVHMR（$\mathcal{F}_b$，world-grounded）与 HaMeR（$\mathcal{F}_h$，手部姿态）。它们通常先预测 2D 关节点再提升到 3D，但在手-物交互场景下受遮挡影响精度有限。

DeVI 用 $\mathcal{F}_b, \mathcal{F}_h$ 得到初始 3D 参考，但发现与物体对齐较差，因此提出 Visual HOI Alignment 进一步优化，这是理解方法动机的关键。

Chamfer 距离与接触奖励

Chamfer 距离度量两组点云最近邻平均距离，常用于重建评估。本文 HOI loss 用单边 Chamfer 强制身体关节点靠近物体顶点，使手部在关键时刻与物体表面建立接触，替代显式 6D 位姿跟踪奖励。

这种几何接触损失是物理仿真中替代 6D 物体轨迹的巧妙设计，也是连接 3D 人体与 3D 物体的桥梁。

研究动机

现有基于物理的 HOI 研究面临三个核心痛点：其一，传统方法如 PhysHOI、SkillMimic、InterMimic 都依赖高质量的 3D 动作捕捉演示，而精确的 4D HOI 采集成本极高，GRAB 等数据集仅覆盖约 20 个对象、十几种交互，难以泛化到未见场景；其二，近年视频生成模型虽能合成逼真的 2D 人-物视频，但其结果存在 2D 投影而非 3D 物理一致的缺陷，直接用做模仿目标会产生严重伪影；其三，传统 RL 模仿奖励采用 6D 物体位姿跟踪，在手-物紧密接触时容易过约束，导致策略无法收敛到稳定的灵巧抓取，例如 InterMimic 在 GRAB 数据集上的物体平移误差 $T_{obj}$ 高达 91.47mm，抓手类动作几乎不可用。

本文的目标是本文目标是设计一个零样本（zero-shot）框架 DeVI，无需任何 3D mocap 演示，仅依靠文本提示和初始 3D 场景（SMPL-X 人体 + 目标物体）就能驱动物理仿真中的角色完成灵巧的人-物交互。具体而言，作者希望让视频扩散模型充当 HOI-aware 的运动规划器，从合成视频自动提炼出既能驱动 RL 策略、又对 2D 生成噪声鲁棒的模仿目标，并在 GRAB 数据集上让 MPJPE-All 从基线 91~143mm 降到 25~42mm、$T_{obj}$ 从 91~103mm 降到 21~32mm。

与已有工作不同的是，DeVI 的独特切入角度是把模仿目标从"3D 人 + 3D 物体"降级为"3D 人 + 2D 物体轨迹"的混合表示（hybrid imitation target），从而绕开 3D 物体位姿估计的瓶颈；同时提出 Visual HOI Alignment 优化，把独立训练的身体姿态估计器 $\mathcal{F}_b$ 与手部估计器 $\mathcal{F}_h$ 的输出对齐到同一 SMPL-X 模型，并用 Chamfer HOI loss 强制在初始帧附近建立接触。这一组合让 RL 策略只需在 2D 投影空间跟踪物体几何，避免了 6D 奖励的过约束，又通过接触奖励保持物理可行性，与所有依赖 3D mocap 的前作形成本质区别。

核心方法

DeVI 把整条流水线拆成三步：(1) 用一个可微渲染管线将初始 SMPL-X 人体替换为带纹理的 THuman2.0 网格，与目标物体一起渲染成首帧 $I_1$，再用文本提示和图像到视频扩散模型合成 HOI 视频 $V$；(2) 从 $V$ 中并行提取两类参考信号 —— 3D 人体运动 $\hat{h}$（先由 $\mathcal{F}_b$ 和 $\mathcal{F}_h$ 独立估计，再通过 Visual HOI Alignment 联合优化）与 2D 物体轨迹 $\hat{o}$（用视频跟踪器追踪可见顶点的像素位置），二者组合成 hybrid imitation target；(3) 用 PPO 在 IsaacGym 物理仿真中训练 SMPL-X 角色，奖励由人体跟踪项 $R_h$、物体 2D 跟踪项 $R_o$ 和接触项 $R_{contact}$ 相乘构成，三者分别保证整体姿态、像素级物体位置和手-物接触的物理合理性。

核心创新点是"hybrid imitation target" + "hybrid tracking reward" 的解耦设计。已有方法 InterMimic 用全 3D 物体位姿作为目标，导致策略优化陷入局部最优；而完全 2D 的视频跟踪又无法保证物理一致性。DeVI 把对人体（容易从图像恢复 3D）使用 3D 关节位置和旋转作为目标，把对物体（难以精确恢复 3D）只追踪其在图像空间的投影 $\hat{x}_t$，让 RL 在 2D 物体几何约束下自动推断合理的 3D 位姿，避免了 6D 位姿奖励的过约束。这是首个把视频扩散模型作为零样本运动规划器用于物理仿真灵巧 HOI 的工作。

方法步骤详情

方法分四步。(1) 场景与视频合成：把 SMPL-X 替换为带纹理网格 $M_{Human}(H)$，与物体一起渲染成首帧 $I_1$，再送入图到视频扩散模型合成 HOI 视频 $V$。(2) 混合参考提取：用 GVHMR $\mathcal{F}_b$ 和 HaMeR $\mathcal{F}_h$ 估计身体与手部姿态，按手腕对齐成统一 SMPL-X 作为 3D 人体参考 $\hat{h}$；用射线投射选可见顶点，跟踪器给出 2D 像素坐标 $\hat{x}_t$ 作为物体参考 $\hat{o}$。(3) Visual HOI Alignment：最小化 $\mathcal{L}_{total}$，含 2D 重投影、测地时序平滑、单边 Chamfer 接触三类损失。(4) RL 训练：策略以未来 $k$ 帧人体参考 $g_t$ 为目标，奖励 $R=R_h \cdot R_o \cdot R_{contact}$，$R_h$ 跟踪全身+手腕姿态，$R_o$ 跟踪 2D 投影，$R_{contact}$ 由视频物体运动标签 $\psi_t$ 调制。

技术新颖性

技术新颖性体现在三个方面：第一，把视频扩散模型的角色从"数据生成器"重新定义为"HOI-aware 运动规划器"，使得同一框架可同时处理多物体场景和文本驱动的动作多样性；第二，提出 hybrid imitation target 解耦了 3D 几何精度需求和 2D 视觉一致性需求，避免了纯 3D 跟踪奖励的过约束和纯 2D 跟踪缺乏物理性的两难；第三，Visual HOI Alignment 把独立训练的 HMR 和手部估计器通过联合优化合并到单一 SMPL-X 表示，并通过 Chamfer HOI loss 把先验物体几何编码进参考姿态，使生成的参考动作天然具备接触可行性，无需额外的人工接触标注。这三者在已有文献中均无等价组合。

Method Overview：场景 → 视频生成 → 混合模仿目标 → RL 策略训练的整体流水线。
Figure 2: Method Overview：场景 → 视频生成 → 混合模仿目标 → RL 策略训练的整体流水线。

实验结果

实验分四组。(1) Table 1：DeVI 在 GRAB 16 个短动作上全面超越 PhysHOI/SkillMimic/InterMimic，MPJPE-Body 从 61.11~123.1mm 降到 28.61~38.79mm，MPJPE-Hand 从 109.9~154.7mm 降到 22.15~43.60mm，$T_{obj}$ 从 91.47~103.4mm 降到 20.96~32.36mm；无 2D 奖励版本在所有指标上都明显退化，证明 2D 投影奖励是关键。(2) Table 2：完整 DeVI 的 MPJPE-Hand 像素误差仅 3.74（无对齐时 25.6），$C_{prec}(\tau=0.025)$ 从 0.10 提升到 0.864，$d_{HOI}$ 从 101mm 降到 18.7mm，说明对齐对接触质量至关重要。(3) Figure 4：DeVI 在 20 个未见物体上可生成抓垃圾、喝可乐、戴草帽、拍照等多样语义级交互。(4) Figure 5：同一场景能根据文本切换煎锅-电磁炉等目标导向动作，或对同一初始姿态给出不同动作变体，展现视频规划器的语义优势。

Quantitative Comparison with Baseline：在 GRAB 数据集上对 PhysHOI、SkillMimic、InterMimic 的全面对比，并包含 DeVI w/o 2D Reward 消融。
Table 1: Quantitative Comparison with Baseline：在 GRAB 数据集上对 PhysHOI、SkillMimic、InterMimic 的全面对比，并包含 DeVI w/o 2D Reward 消融。
Ablation Study on Visual HOI Alignment：在 12 类物体 276 视频上对比 GVHMR、无对齐 DeVI 与完整 DeVI。
Table 2: Ablation Study on Visual HOI Alignment：在 12 类物体 276 视频上对比 GVHMR、无对齐 DeVI 与完整 DeVI。
Qualitative Results on Various Objects：DeVI 在 20 个网络未见物体上生成的多种语义级 HOI。
Figure 4: Qualitative Results on Various Objects：DeVI 在 20 个网络未见物体上生成的多种语义级 HOI。
Target-Awareness and Text Controllability：(a) 多物体目标导向；(b) 同一场景不同文本动作。
Figure 5: Target-Awareness and Text Controllability：(a) 多物体目标导向；(b) 同一场景不同文本动作。
查看结构化数据
任务指标本文基线提升
GRAB 单动作 3D HOI 模仿 (vs PhysHOI) MPJPE-All (mm) ↓ 25.35 142.6 降低 82.2% 误差
GRAB 单动作 3D HOI 模仿 (vs PhysHOI) T_obj 物体平移误差 (mm) ↓ 21.36 94.28 降低 77.3% 误差
GRAB 单动作 3D HOI 模仿 (vs SkillMimic) MPJPE-All (mm) ↓ 25.42 136.1 降低 81.3% 误差
GRAB 单动作 3D HOI 模仿 (vs SkillMimic) MPJPE-Hand (mm) ↓ 22.37 151.8 降低 85.3% 误差
GRAB 单动作 3D HOI 模仿 (vs InterMimic) MPJPE-All (mm) ↓ 41.56 91.14 降低 54.4% 误差
GRAB 单动作 3D HOI 模仿 (vs InterMimic) O_obj 物体朝向误差 ↓ 0.7996 0.8913 降低 10.3% 误差
GRAB 单动作 3D HOI 模仿 (vs DeVI w/o 2D Reward) MPJPE-All (mm) ↓ 25.92 116.2 降低 77.7% 误差，证明 2D 奖励不可或缺
接触精度 (12 类物体 276 视频) C_prec (τ=0.025) ↑ 0.864 0.100 (无对齐) / 0.073 (GVHMR) 提升 8.6 倍以上
接触距离 d_HOI (mm) ↓ 18.7 101 (无对齐) / 94.9 (GVHMR) 降低 80% 以上

局限与改进

作者在论文中明确承认几项限制：(1) DeVI 主要在桌面场景验证，对大幅走动、跨房间级别的大范围运动未测试；(2) 合成视频质量直接受视频扩散模型能力限制，当目标物体非常罕见或文本提示含糊时，视频可能产生物理不一致动作，进而污染模仿目标；(3) Visual HOI Alignment 假设初始帧人体必须与物体发生至少一次接触，否则 Chamfer 损失无意义，因此对"远距离交互"（如把遥控器递给远处的他人）不适用；(4) 当前策略是单动作训练，没有跨动作的通用先验，每次新视频都需要重新跑 PPO；(5) 与所有使用 $\mathcal{F}_b, \mathcal{F}_h$ 的方法一样，对严重遮挡（如双手完全握住小物体）时的手部位姿恢复仍然脆弱。从独立观察角度看，论文对失败案例缺乏系统性分析，也未报告训练时长和 GPU 资源，限制了对实际部署成本的可评估性。

独立分析的弱点

独立分析 DeVI 的弱点主要有四点：(1) 误差下限受视频扩散模型和 HMR 双重制约，Table 1 显示即便最优版本 MPJPE-All 仍为 25.35mm，比纯 mocap 训练的最优人类动作基线仍有差距，说明 2D 噪声会通过奖励信号传递到策略；(2) 缺乏对策略鲁棒性的压力测试，作者未给出在不同物理参数（摩擦、密度、初始姿态扰动）下的稳定性数据，限制了真实部署可信度；(3) hybrid tracking reward 中 $R_o$ 依赖单一固定虚拟相机视角，一旦测试时换视角就会失效，泛化到多相机或真实机器人视角需要重新训练；(4) 当前实现是单对象/单动作，难以扩展到长时序任务规划（如做饭的多步流程）。改进方向可以是引入概率性 HMR 集成、奖励中加入对抗式视角扰动、以及把单步 PPO 替换为层级 RL 以处理多阶段任务。

未来方向

未来研究方向可分为作者明示和可延伸两类。作者提出可拓展到多对象场景，并验证视频作为运动规划器的优势。可延伸的方向包括：(1) 把 hybrid imitation target 扩展为 hybrid policy，把视频条件扩散本身作为策略先验，避免显式追踪；(2) 引入物理一致的视频扩散模型（例如 PhysDiff）替代纯视觉模型，从源头降低 2D-3D 差距；(3) 将 DeVI 与机器人遥操作或真实动作捕捉数据结合，做 sim-to-real 迁移到灵巧手硬件（如 LEAP Hand、Allegro）；(4) 把 2D 跟踪奖励替换为多视角或多帧几何一致性约束，提升对真实场景噪声的鲁棒性；(5) 探索"视频规划 + 触觉反馈"联合控制，用手指传感器补偿视觉遮挡时的位姿估计误差。

复现评估

论文承诺开源代码与结果，提供了项目主页 https://snuvclab.github.io/devi/，核心组件（GVHMR、HaMeR、Cotracker）均为已有公开模型，训练在 IsaacGym 中完成，便于复现。训练数据方面，自收集了 276 个视频覆盖 12 类物体用于 Visual HOI Alignment 消融，对比实验则完全使用公开 GRAB 数据集。算力需求方面，作者未明确披露，但从 PPO + SMPL-X + 大规模采样的组合看，至少需要 4-8 张高端 GPU 数小时才能完成单动作训练。复现难点有三：(1) 视频扩散模型的推理对显存要求高，可能需要 A100 级别；(2) Visual HOI Alignment 中 4 个 loss 权重 $w_b, w_h, w_{tc}, w_{HOI}$ 论文未给出具体数值，需自行调参；(3) CoTracker 在严重遮挡下的可见顶点筛选阈值、IsaacGym 中 SMPL-X 的 PD 控制参数等都未列出，移植工作量较大。整体而言，方法思路清晰可复现，但要达到论文报告的指标需要相当工程投入。

论文图表

DeVI teaser：给定 3D 人体 + 物体 + 文本提示，用视频扩散模型作为 HOI-aware 运动规划器，输出物理可信的灵巧 HOI 动作。
Figure 1: DeVI teaser：给定 3D 人体 + 物体 + 文本提示，用视频扩散模型作为 HOI-aware 运动规划器，输出物理可信的灵巧 HOI 动作。

顶部展示输入的 3D 人体 SMPL-X 与目标物体网格，中部是文本提示驱动的视频扩散模型生成过程，底部是物理仿真中角色执行交互的连续帧。整体强调了"文本/场景 → 视频 → 物理动作"的链式管线。

这是全文核心思想的视觉浓缩，让读者在 5 秒内理解 DeVI 与传统"3D mocap → RL"路线的根本差异，是把握 motivation 的关键图。

Challenges in 4D HOI Reconstruction：(a) 6D 位姿估计噪声；(b) HOI 对齐缺失。
Figure 3: Challenges in 4D HOI Reconstruction：(a) 6D 位姿估计噪声；(b) HOI 对齐缺失。

上半子图展示从视频直接恢复 3D HOI 时 6D 位姿出现明显抖动；下半子图对比无 Visual HOI 对齐时手部漂浮在物体之外、对齐后手部紧贴物体的差异。

这张图是作者提出 Visual HOI Alignment 的动机证明，没有它读者无法体会 hybrid imitation target 设计的必要性。