RoboTryOn：通过虚拟试穿从人类视频合成灵巧机器人演示 RoboTryOn: Synthesizing Dexterous Robot Demonstrations from Human Videos via Virtual Try-On
把「人换机器人」做成虚拟试穿：三阶段生成管线从人类视频合成带动作标签的机器人演示
前置知识
VLA（视觉-语言-动作模型）
以视觉观测、语言指令和本体状态为输入、直接输出机器人动作的大模型。本文以 π0.5 为基座，它预测动作块（horizon H 的连续动作序列），用流匹配目标微调，推理时从高斯噪声出发以 Euler ODE 采样生成动作块。
RoboTryOn 合成演示的最终消费者就是 VLA，理解其输入输出格式（观测、状态、动作块）才能明白合成数据为何必须成对生成动作标签。
条件流匹配（conditional flow matching）
一类生成建模训练目标：学习一个向量场把噪声分布搬运到数据分布，损失形如 $\mathcal{L}=\mathbb{E}\,\|v_\theta(x_\tau,\tau)-(x-\epsilon)\|^2$（模型预测与「数据减噪声」的平方误差），采样时沿学到的 ODE 积分。比扩散模型训练更简洁，是近年 VLA 和视频生成的常用选择。
论文中图像模型、视频模型、IDM 和策略四个模型全部用流匹配训练，公式 (3.1)-(3.6) 都是该目标的实例。
逆动力学模型（IDM）
从前后两帧观测反推其间执行了什么动作的模型。本文的 IDM 每隔 K 帧取两张合成视频帧，预测中间 K 步的关节空间动作块。它把「看视频猜动作」变成监督学习问题，只需遥操作数据即可训练。
这是论文绕过手部重定向的关键：不从人手姿态推导动作，而是先生成机器人视频、再用 IDM 读出动作标签。
视频虚拟试穿（video virtual try-on）
视频生成任务：保留人物身份、把服装替换成参考图中的款式。DreamVVT 等方法采用「先生成关键帧、再以关键帧为条件合成中间运动」的两段式分解来保证外观一致性和时序连贯。
RoboTryOn 的核心隐喻：试穿是保人换衣，这里是保动作换身体；其关键帧自回归+视频插值的管线直接借自这一分解。
手部重建与动作重定向
从视频中估计 3D 手部关键点/关节角，再通过预设映射（配合逆运动学解臂部）换算成机器人手关节指令。人手与机器人手形态学和运动学不同，映射不唯一也不精确，且无法表达抓握力度。
重定向是本文要取代的主流路线（EgoMimic、Masquerade 都依赖它做动作），论文用开环回放证明其标签成功率仅 34.8%，是动机的直接证据。
视觉差距与动作差距
人类视频用于机器人训练的两重障碍：视觉差距指画面里是人手而策略部署时看到机器人（可用遮臂或叠加渲染缓解，但测试时也得同样编辑）；动作差距指重建手姿不精确、无精确重定向映射、抓握力度不可知。
论文的实验设计（Figure 3 量视觉差距、Figure 4/5 量动作差距）就是围绕量化这两个差距是否被弥合展开的。
研究动机
机器人基础模型（Open X-Embodiment、π0.5、Octo 等）已展现通用控制能力，但适配新任务仍高度依赖遥操作演示：需要机器人硬件、遥操作系统和大量操作员工时，对灵巧手负担最重——操作员必须通过难开发、难操作的重定向接口协调几十个自由度和精细接触。自我中心人类视频是可扩展的替代：互联网规模、无需机器人在场、天然包含双臂协调。但人类视频与机器人演示之间隔着两重鸿沟。视觉上，人类视频里是人手，策略部署时看到的却是机器人；现有方案（EgoMimic 遮臂、Masquerade 修复背景后叠加机器人渲染）在训练和部署时都必须对机器人相机流施加同样的编辑。动作上，重建手姿本身不精确，人手与机器人手形态学/运动学不同导致不存在精确重定向映射；即使映射完美也只能复现手的形状，无法知道该以多大力气抓握物体。
本文的目标是本文目标是：给定一段自我中心人类操作视频（含观测序列和任务指令）加一张目标机器人参考图像，自动生成一份与遥操作演示格式完全相同的机器人演示——合成观测视频、关节空间动作标签和由动作导出的本体状态——使策略能够学会人类视频中演示过、但从未被遥操作演示过的新任务。具体验收标准有三条：(1) 在新物体、新目标、新技能乃至双臂协调的域外任务上（遥操作数据全是单臂任务），仅凭人类视频转换数据把成功率从接近 0 提升到可用水平；(2) 消除部署时对相机画面编辑的依赖，策略直接吃原始相机观测；(3) 按人力工时计算，人类视频转换数据能以约 1/3 的收集成本匹配 50 条遥操作演示/任务的效果。
与已有工作不同的是，独特切入是把「人到机器人的转换」重构为虚拟试穿问题：试穿保留人物、替换服装；RoboTryOn 保留演示动作、把人换成机器人。与 Mitty（需要成对的人机演示数据训练）和 H2R-Grounder（用修复的背景加夹爪姿态提示重建视频）不同，本文的三个生成模型完全只用机器人数据训练，靠「手臂掩码 + 手部骨架」这一共享条件接口，让同一套模型在机器人数据上学习、在人类视频上零配对推理，且一个图像模型、视频模型和 IDM 同时服务两种本体差异极大的机器人。另一个关键取舍是不从重建手部姿态直接推导动作，而是先合成完整机器人视频、再用逆动力学模型从视频反推动作标签，把「视觉保真」和「动作可执行」两个问题解耦。
核心方法
直觉：与其费力把人手姿态精确映射成机器人关节（误差不可避免，回放成功率仅 34.8%），不如直接「生成」一段机器人在同一场景做同一件事的视频，再让模型看着视频回答机器人做了什么动作。管线分三阶段（Figure 1）：(1) 关键帧转换——从人类视频腕部轨迹选关键帧，图像生成模型 $f_\theta$ 以自回归方式逐帧把人类关键帧转换成机器人关键帧，前一机器人关键帧作参考保持外观一致；(2) 视频合成——视频生成模型 $g_\phi$ 在人类手部骨架流 $S_{1:T}$ 引导下补全关键帧之间的运动；(3) 动作标注——逆动力学模型 $h_\psi$ 从合成视频每隔 $K$ 帧预测关节动作块，本体状态按 $\hat{q}_t = \hat{a}_{t-d}$ 导出（$d$ 为动作滞后量）。三个模型与策略 $\pi_\omega$ 均用条件流匹配训练。效果：550 条合成演示（11 个任务各 50 条）即可让策略在域外任务从平均 3.1% 升至 73.0%（OpenArm）、1.0% 升至 46.9%（RB-Y1）；收集成本约遥操作的 1/3 即可匹配 50 条遥操作演示/任务的水平。
核心创新有三点。第一，范式转换：不是遮住人或把机器人贴上去（视觉上仍是拼接，且测试时必须同样编辑相机流），而是像 DreamVVT 换衣服一样把整个人换掉，同时保留任务、物体和背景——策略训练与部署都用原始相机画面。第二，共享条件接口解决无人机配对数据的训练难题：条件函数 $\Phi(o; M, S) := (1-M)\odot o \oplus S$ 把帧中被放大平滑到看不出体型轮廓的手臂掩码 $M$ 区域抹掉、画上手部骨架 $S$（机器人经正运动学投影、人类经重建手部重定向投影），同一模型两边通用；训练时扰动并随机丢弃骨架，使模型对手部姿态误差鲁棒，骨架只提供粗略位置/运动引导，精细手型来自机器人数据的先验。第三，用 IDM 从合成视频反推动作取代手部重定向：重定向标签开环回放成功率 34.8% 而本文 69.7%；策略梯度余弦相似度上重定向数据在动作专家内甚至略为负（约 -0.03 至 -0.05），本文数据达 0.53，说明重定向标签会把策略推向与遥操作数据冲突的更新方向。
方法步骤详情
准备阶段：在四个域内任务的遥操作演示加额外机器人视频（仅训生成模型、不训策略）上训练三个模型。第一步关键帧转换：从重建手部的腕部轨迹中选双腕速度局部极小、画面不模糊、腕部相对上一关键帧位移超阈值的帧（含首尾帧）为关键帧，按 $\tilde{o}^h_t=\Phi(o^h_t; M^h_t, S^h_t)$ 构造条件帧；图像模型以流匹配目标 $\mathcal{L}_{img}$ 训练，条件为条件帧、掩码和同段更早的参考帧 $o_{t'}$（提供本体、物体、背景外观）；推理时自回归转换 $\hat{o}^r_{t_j}\sim p_\theta(\cdot\mid\tilde{o}^h_{t_j}, M^h_{t_j}, \hat{o}^r_{t_{j-1}})$，首个参考即目标机器人参考图。第二步视频合成：视频模型以关键帧 $\hat{o}^r_T$ 为时间锚点、人类骨架流 $S^h_{1:T}$ 为运动引导，按 $\mathcal{L}_{vid}$ 合成完整视频；超长则按关键帧切分、相邻片段共享边界关键帧。第三步动作标注：IDM 每隔 $K$ 帧预测动作块 $\hat{a}_{t:t+K}\sim p_\psi(\cdot\mid\hat{o}^r_t, \hat{o}^r_{t+K})$ 并滑窗覆盖全序列；用逆运动学校正腕部位置、保留 IDM 预测的手部关节；状态按 $\hat{q}_t=\hat{a}_{t-d}$ 导出。第四步策略训练：以流匹配损失 $\mathcal{L}_{policy}$ 微调 $\pi_{0.5}$，数据用 $D\cup\hat{D}$ 或仅 $\hat{D}$；推理时 Euler ODE 采样动作块。
技术新颖性
技术新颖性：(1) 首次把视频虚拟试穿的关键帧自回归分解移植到本体转换——关键帧保证外观与场景一致性、骨架流保证运动保真，消融显示去掉骨架流掉分最狠（OpenArm 域外 73.0 降至 21.4），去掉后续关键帧条件则物体场景漂移（降至 39.3）；(2) 生成模型只用机器人数据训练，靠掩码加骨架的模态无关接口在人类视频上零配对推理，且单一图像模型、视频模型、IDM 同时服务 OpenArm（6-DoF Inspire 手）和 RB-Y1（20-DoF WujiHand）两种运动学、手型和相机位均不同的机器人；(3) 与依赖配对数据的 Mitty、依赖背景修复加夹爪提示的 H2R-Grounder 相比，本文支持多灵巧本体并输出带动作标签的完整演示；与渲染法相比无需测试时视觉编辑，Fréchet SigLIP 距离从 125.5 降到 32.7；(4) IDM 加 IK 腕部校正的混合标注兼顾视频推理的全局一致性与手部重建的腕部精度，是纯重定向与纯视觉推断之间的务实折中。
实验结果
真实机器人实验覆盖两台双臂灵巧手机器人（OpenArm 配 6-DoF Inspire 手、RB-Y1 配 20-DoF WujiHand），11 个桌面任务、每任务 28 次随机测试，各方法共享策略模型（微调 $\pi_{0.5}$）与数据，仅转换方式不同。域内 4 个 PnP 任务：OpenArm 成功率从 47.3%（仅遥操作）升至 75.9%（+RoboTryOn），高于 EgoMimic 50.0%、Masquerade 67.9%；RB-Y1 从 69.6% 到 79.5%。域外 7 个无遥操作任务：OpenArm 平均从 3.1% 跃升至 73.0%（新物体 64.3%、新目标 89.3%、新技能 83.9%、双臂 63.1%），仅合成数据 48.5%；RB-Y1 从 1.0% 到 46.9%（仅合成 40.3%），基线全部低于 10%。视觉差距：合成视频与真实机器人视频在 SigLIP 特征 UMAP 上重叠，Fréchet SigLIP 距离从 125.5 降到 32.7。动作差距：66 集开环回放成功率 69.7% 对重定向 34.8%；策略梯度余弦相似度 0.53 对基线 0.17/0.14。成本与速度：人类视频录制约为遥操作 1/5 时间，等量增补把 47.3% 提到 71.4%；重定时 1 倍速域内 85.7%。消融：无骨架流 42.0/21.4、无腕部校正 65.2/48.0；跨骨干有效（RLDX-1-Img 域外 0.0% 到 40.3%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OpenArm 域外 7 任务（新物体/新目标/新技能/双臂） | 真实世界成功率 %（每任务 28 次） | +RoboTryOn 73.0；仅用合成数据 48.5 | 仅遥操作 3.1；+EgoMimic 5.1；+Masquerade 8.2 | 相对仅遥操作 +69.9 个百分点，相对最强基线 +64.8 个百分点 |
| OpenArm 域内 4 个 PnP 任务 | 真实世界成功率 % | +RoboTryOn 75.9 | 仅遥操作 47.3；+Masquerade 67.9 | +28.6 个百分点 |
| RB-Y1 域外 7 任务 | 真实世界成功率 % | +RoboTryOn 46.9；仅用合成数据 40.3 | 仅遥操作 1.0；+EgoMimic 5.1；+Masquerade 7.7 | +45.9 个百分点 |
| RB-Y1 域内 4 个 PnP 任务 | 真实世界成功率 % | +RoboTryOn 79.5 | 仅遥操作 69.6 | +9.9 个百分点 |
| 动作标签质量：3 个 PnP 任务仿真副本开环回放（66 集） | 回放成功率 % | IDM 标签 69.7 | 手部重定向标签 34.8 | +34.9 个百分点 |
| 视觉分布接近度：合成 vs 真实机器人视频 | Fréchet SigLIP 距离（越低越好） | 32.7 | 原始人类视频 125.5；遮罩基本不变；叠加渲染约减半 | 降低约 74% |
| 收集成本效率：4 个域内任务匹配 50 条遥操作/任务的水平 | 人力工时（person-hours）与成功率 | 仅用人类视频转换数据，约 1/3 收集成本达到同等成功率 | 50 条遥操作演示/任务 | 成本降至约 1/3（人类视频录制时间约为遥操作的 1/5） |
局限与改进
可观察到的局限：(1) 生成模型与 IDM 只在域内遥操作演示加额外机器人视频上训练，人类视频动作若远离该分布（倒水、刷、双臂等域外技能），IDM 标签精度下降——去掉腕部校正对域外伤害（73.0 降至 48.0）大于域内正印证这点；(2) 速度继承问题：人类演示者约 1.25 倍遥操作速度，直接合成的策略执行也变快但域内成功率低 10 个百分点，重定时到 1 倍速后域内 85.7% 但域外略降（70.4），2 倍速则 57.1/42.9，速度与成功率存在权衡且重定时依赖手工指定；(3) 前端依赖 3D 手部重建与重定向，重建误差经骨架条件传播到生成和推理；(4) 长视频按关键帧切分片段合成，边界共享关键帧可部分止血但误差仍可能跨片段累积；(5) 评估限于 11 个桌面任务、两台机器人、每任务 50 条刻意录制的人类视频，未测试互联网级「野外」视频（不同视角、场景、光照）的泛化；(6) 双臂成功率（63.1/28.6）仍低于单臂，RB-Y1 域外绝对值偏低说明 20-DoF 手更难；(7) 抓握力度是靠「机器人数据中机器人怎么抓」的先验隐式学到的，对易碎/力敏感物体没有显式保证。
独立分析的弱点
(1) 对手部重建前端的依赖：骨架条件来自重建手部的重定向投影，野外视频或遮挡场景下重建质量骤降会直接误导关键帧与视频生成；改进方向是引入重建不确定性加权、或端到端学习一个对 2D 关键点鲁棒的骨架表征。(2) IDM 的分布外瓶颈：IDM 只见过域内任务动作，域外技能的手部关节标签全靠外推；改进方向是扩充用于 IDM 训练的机器人视频多样性、或用世界模型一致性/回放验证对低置信标签做过滤和拒绝采样。(3) 自回归关键帧的错误累积：某个关键帧转换失败（物体被误改、场景漂移）会作为后续参考传播；改进方向是加全局一致性校验（如 SigLIP 相似度阈值触发重采样）和多候选择优。(4) 成本核算只计录制工时，未计入三个生成模型的训练算力与视频扩散推理成本，合成一条演示的实际开销未披露；改进方向是蒸馏少步采样器降低推理成本。(5) 骨架随机丢弃训练虽提升鲁棒性，但也意味着手部精细构型完全依赖机器人手先验，对与训练机器人手型差异大的目标本体（如五指高自由度手）迁移能力存疑。
未来方向
作者方向：正文指向附录 A 的局限与未来工作讨论，结合实验可推断包括自动化速度重定时、扩展更多本体与任务类型。基于成果可延伸的方向：(1) 数据飞轮：把 Ego4D 等互联网级无标注人类视频批量转换，构建「人类视频预训练、少量遥操作微调」的大规模合成语料，冲淡遥操作数据瓶颈；(2) 主动数据筛选：用世界模型或视频预测评估器给合成演示打分，只保留高保真、高可执行样本，形成「生成-验证-筛选」闭环（论文的开环仿真回放可升级为闭环自动验证）；(3) 引入力/触觉模态标注，让 IDM 学出带接触力的动作标签，解决抓握力度不可知问题；(4) 在线自改进：把策略部署失败的片段回传，由生成模型和 IDM 修正后重新加入训练集；(5) 三阶段模型端到端联合微调而非分阶段独立训练，让关键帧转换与视频合成互相校正；(6) 把「虚拟试穿」范式推广到腿足、移动操作等其他本体形态差距大的领域。
复现评估
复现评估：正文未说明代码与模型权重开源情况，项目页（ryan-seungyong-lee.github.io/RoboTryOn）通常含演示视频，具体开源范围需查项目页或附录。硬件门槛高：需要两台双臂灵巧手机器人（OpenArm 加 Inspire RH56F1、RB-Y1 加 WujiHand）、遥操作系统，以及数据——200 条遥操作集（每域内任务 50 条）加 550 条人类视频（11 任务各 50 条）加额外机器人视频。算力：需微调 π0.5 级别的 VLA，并从头训练图像生成、视频生成、IDM 三个流匹配模型（附录 B.2 给出骨干与训练细节），视频扩散模型的训练与逐帧推理开销不小。数据侧人类视频录制便宜（约遥操作 1/5 时间）但依赖自我中心相机与手部重建前端。综合难度：高——机器人硬件、大模型训练、视频生成管线三者叠加；学术实验室可先在单任务单臂上小规模验证管线思想，或用公开双臂数据集替代自采遥操作数据，跳过多本体全任务矩阵。
论文图表
