OmniHumanoid：基于无配对适配的流式跨具身视频生成框架

解耦可迁移动作与具身外观的跨具身视频生成，仅用未配对视频即可适配新机器人。

前置知识

Diffusion Transformer (DiT)

DiT 是将 Transformer 架构引入扩散模型去噪过程的生成骨干，通过自注意力对图像或视频的 patch token 进行时空建模。相比 UNet，DiT 拥有更强的扩展性和长程一致性，是 Sora、Wan、HunyuanVideo 等现代视频生成模型的基础。

OmniHumanoid 建立在 Wan2.2-TI2V-5B 这类 DiT 主干之上，文中的分支解耦、LoRA 注入、单向注意力掩码都是针对 DiT 的 token 流设计的，不理解 DiT 就无法看懂其架构。

LoRA（Low-Rank Adaptation）

LoRA 是一种参数高效微调方法，冻结原权重 W，只学习低秩增量 ΔW = BA，其中 A∈ℝ^{r×d}、B∈ℝ^{d×r} 且 r≪d。训练和存储代价极低，可在推理时按任务切换，是当代扩散模型多任务/多风格适配的事实标准做法。

论文把每个机器人的外观与形态学封装到一个独立的 Embodiment Video LoRA（秩 64）里，并在共享动作模型冻结时只更新 LoRA，这是实现"无配对适配新机器人"的关键机制。

视频到视频（V2V）翻译

V2V 翻译指给定源视频，生成保持其运动轨迹但改变外观/风格/主体的目标视频，常用于风格迁移、编辑、跨域转换。代表性工作有 Runway Gen-4、Kling O1/O3、Wan2.1-VACE 等。

跨具身视频生成是 V2V 翻译的具身智能版本，约束更强：要同时保持运动轨迹、保持背景一致、并渲染出目标机器人形态。理解 V2V 任务设定才能体会本文的难度。

解耦学习（Decoupled Learning）

把混合在一起的多个变化因子（如运动 vs 外观、内容 vs 风格）显式拆分到不同模块或不同训练阶段分别学习，可以减少干扰、提升泛化。代表工作如 MotionDirector、AnimateDiff。

OmniHumanoid 的核心就是把"可迁移动作"和"具身外观"解耦到不同的分支与 LoRA 中，再用单向注意力掩码防止外观信息污染动作表征，是解耦学习思想的典型应用。

知识蒸馏与流式生成

蒸馏用一个强大的"教师"模型监督更小更快的"学生"模型；流式（streaming）/自回归生成则将长序列切成块（chunk），按因果掩码逐块推理，配合 KV 缓存实现长视频高效合成。

本文通过 teacher-forcing DSM + VSD + GAN 的组合蒸馏把 50 步双向生成器压缩成 4 步因果流式模型，从而在单卡 H200 上实现 720p 5 FPS 的实时跨具身合成。

研究动机

具身智能正面临"机器人演示数据稀缺"的瓶颈——为每款新机器人收集真实示教视频成本极高。更可行的方案是利用视频生成把已有的人类或机器人视频"改造"成目标机器人的视频，这便是跨具身视频生成。然而现有方法普遍存在四大问题：第一，运动动力学常常与具身几何、运动学纠缠在一起，无法在不同机器人间迁移；第二，每个新机器人都需要成对的源-目标视频作监督，难以规模化；第三，通用的视频编辑模型（如 Runway Gen-4、Kling）难以稳定保持高自由度机器人的身份、结构细节和时序一致性，PSNR/SSIM 上 X-Humanoid 在合成基准上也只能达到 23.03/0.8891；第四，现有双向 DiT 生成 50 步去噪太慢，仅 0.10 FPS，无法用于交互式部署或大规模数据生产。

本文的目标是论文提出 OmniHumanoid，目标是把跨具身视频生成做成"可扩展、实用、实时"的流水线。具体要实现三点：1) 把可迁移的动作和具身特定的外观解耦，使动作知识可在多个机器人间共享；2) 用轻量级 LoRA 在仅有未配对视频的条件下适配新机器人，无需为每款新机器人重新训练主干；3) 把 50 步双向生成器蒸馏为 4 步因果流式模型，在单卡 NVIDIA H200 上以 720p 5 FPS 实时运行。最终在 Synthetic Held-out 与 Real-world 两个基准上同时超越 Runway Gen-4、Kling O1/O3、Wan2.1-VACE、X-Humanoid 等强基线。

与已有工作不同的是，本文的独特切入角度是 TAPE 原则：Transferable motion（可迁移动作）+ paired-free Adaptation（无配对适配）+ embodiment Preservation（具身保持）+ generation Efficiency（高效生成）。它不像 X-Humanoid 那样对每个目标具身都依赖成对数据训练，也不是 MotionDirector 那种纯外观替换，而是同时在架构（分支单向注意力 + LoRA 解耦）、数据（Unity 渲染的运动对齐配对数据集）和推理（流式蒸馏）三个层面协同发力，并用 10000 步、batch size 1、双卡 H200 的极简训练配置就能在未见机器人上达到 PSNR 25.47、Embodiment 8.43 的水平，体现出很强的工程与算法协同。

核心方法

OmniHumanoid 的整体思路可以先从直觉理解：动作是"跨机器人共享的语言"，而外观/形态是"每台机器人独有的方言"。于是作者把所有机器人的"动作"塞进一个共享的 Shared Motion Transfer Model 里运行在 conditioning 分支，再为每个机器人 $e$ 单独训练一个 Embodiment Video LoRA $\Phi_e$，挂在 denoising 分支上负责渲染这台机器人的外观。为了避免 $\Phi_e$ 的外观先验反过来污染共享动作通路，作者设计了一个单向注意力掩码 $M^{(den \to cond)} = 1,\ M^{(cond \to den)} = 0$，只允许动作信息从 conditioning 流到 denoising，不允许反向流动。在推理阶段，只需加载对应的 LoRA 就能合成目标机器人的视频。最后，作者再把双向教师蒸馏成一个 4 步因果流式学生，让整个流水线可实时运行。

本文与已有方法的本质区别是"分支解耦 + 单向注意力"实现的跨具身因式分解。具体地：1) token 层把文本、denoising 潜变量、源视频条件拆为 $X^{text}, X^{den}, X^{cond}$ 三组，只对 den 注入 LoRA $W_{\bullet}^{den,e}=W_{\bullet}+B_{\bullet}^{(e)}A_{\bullet}^{(e)}$（秩 $r=64$），让动作通路保持干净；2) 用 $M^{(den \to cond)}=1,\ M^{(cond \to den)}=0$ 强制单向流动，比 MotionDirector 双路径 LoRA 更彻底切断外观对动作的污染；3) rolling LoRA loading 每步随机切换 LoRA，迫使共享模型学习跨具身不变性；4) $\mathcal{L}_{stream}=\mathcal{L}_{DSM}+\lambda_{vsd}\mathcal{L}_{VSD}+\lambda_{gan}\mathcal{L}_{GAN}$ 蒸馏，把 50 步双向模型压成 4 步因果流式模型。

方法步骤详情

流程四步。1) 训练用配对集 $\mathcal{D}_{pair}=\{(V_i^{src},V_i^{tgt},e_i)\}_{i=1}^{N}$；适配 $e^*$ 用未配对集 $\mathcal{U}_{e^*}=\{V_j^{e^*}\}_{j=1}^{M}$ 训其 LoRA，不动共享主干。2) Wan2.2-TI2V-5B 为 DiT 主干，$Q,K,V$ 分 text/den/cond 三组，仅 den 注入 LoRA 加单向掩码。3) Stage I 冻结 DiT 训 $\Phi_e$；Stage II 冻结 LoRA，在配对集上训共享动作模型并随机切换 LoRA。4) 流式蒸馏：token 排 $[ref|cond_0|tgt_0|\cdots|cond_M|tgt_M]$ super-chunk，teacher-forcing DSM 初始化后用 self-forcing + VSD/GAN 得 4 步因果学生。训练 10000 步、2×H200、AdamW 学习率 $2\times 10^{-4}$，数据 7200 对配对、100 场景、10 具身。

技术新颖性

技术新颖性体现在三个层面。架构层面，分支单向注意力 + 分支专属 LoRA 的设计首次明确地把"动作"和"外观"放到 DiT 的不同分支中，并通过非对称掩码物理隔离，比 MotionDirector 的双路径 LoRA、AnimateDiff 的时间模块分离更彻底；实验显示去掉单向注意力后 Embodiment 指标从 8.43 暴跌到 2.53。数据层面，自建 7200 对配对视频 + 100 场景 + 1920×1080@30FPS 的合成基准，把跨具身评估从定性推到可量化。推理层面，把通常用于实时视频生成的 self-forcing 流式蒸馏范式引入跨具身设定，把 50 步 → 4 步，速度从 0.10 FPS 提到 4.96 FPS（约 50 倍），且在 PSNR/SSIM/Motion/Embodiment 上仍优于因果学生本身，体现三项损失联合优化的有效性。

**Figure 2**: Overview of OmniHumanoid. A Shared Motion Transfer Model learns transferable motion from motion-aligned paired videos, while each Embodiment Video LoRA captures the appearance and morphology of a specific humanoid embodiment from unpaired videos.

**Figure 3**: Synthetic data construction pipeline. We create paired human-humanoid videos from community character, animation, and environment assets by aligning skeletons, retargeting the same motions to different embodiments, and recording them in diverse scenes with identical camera setups.

实验结果

在 Synthetic Held-out（Unitree-G1 held-out）和 Real-world 上对比五类基线。表 1：合成基准 PSNR 25.47、SSIM 0.9039、MSE 0.0033，全面优于 Kling O1/O3（22.70/22.76）、Runway Gen-4（18.83）、Wan2.1-VACE（22.44）、X-Humanoid（23.03），PSNR 相对最强基线升 2.44 dB；Gemini-3 Flash 评 Motion/Embodiment/BG/Overall 9.06/8.43/9.94/7.92，全面领先。Real-world Motion 8.47、Embodiment 8.56、Overall 8.39，超 Runway Gen-4（7.22 Overall）。表 2 消融：1) 去解耦 Embodiment 从 8.43 暴跌至 2.53、Motion 从 9.06 降至 6.35，验证解耦是核心；2) 流式蒸馏速度从 0.10 FPS 提到 4.96 FPS（约 50×）；3) 全量流式学生在六项指标上优于普通因果学生。

**Table 1**: Comparison of unseen robot adaptation on the Synthetic Held-out Embodiment Benchmark and Real-world Benchmark.

**Table 2**: Ablation study on OmniHumanoid variants across decoupling and distillation stages.

**Figure 4**: Generalization to new scenes, tasks, and both seen and unseen robot embodiments.

**Figure 5**: Qualitative comparison of motion transfer on various robot embodiments.

**Figure 6**: Effectiveness of Decoupled Attention.

查看结构化数据

任务	指标	本文	基线	提升
Synthetic Held-out Embodiment 像素重建	PSNR ↑	25.47	X-Humanoid 23.03	+2.44 dB，相对提升约 10.6%
Synthetic Held-out Embodiment 结构相似度	SSIM ↑	0.9039	Kling O3 0.8959	+0.0080，相对提升约 0.9%
Synthetic Held-out Embodiment 重建误差	MSE ↓	0.0033	X-Humanoid 0.0057	误差降低约 42%
Synthetic Held-out Embodiment 动作一致性	Motion ↑ (Gemini-3 Flash, 10 分制)	9.06	X-Humanoid 8.94	+0.12 分
Synthetic Held-out Embodiment 具身身份一致性	Embodiment ↑	8.43	X-Humanoid 8.04	+0.39 分
Real-world 跨具身视频综合质量	Overall ↑	8.39	Kling O1 8.53 / Runway Gen-4 7.22	接近最强商业基线，但相对 Runway Gen-4 提升 +1.17 分（+16.2%）
推理速度	FPS ↑	4.96（流式学生）	0.10（双向教师）	约 50× 加速，720p 单卡 H200

局限与改进

作者明确指出的局限主要有两点：1) 流式蒸馏会带来速度-质量的权衡——相比双向教师，PSNR 从 25.47 下降到 23.34，SSIM 从 0.9039 下降到 0.8900，说明 4 步生成仍有信息损失；2) 训练配置简单但依赖昂贵的合成数据与算力，5000 步+每 GPU batch size 1 仍需 2 张 H200，且评测用 Gemini-3 Flash 作 VLM 评判存在主观偏差。我自己观察到的局限包括：3) 数据集虽含 100 场景和 10 具身，但仍为合成，未必能迁移到真实机器人的金属反光、关节噪声等细节；4) 适配未见机器人需要"数十段未配对视频"，对极低数据场景（零样本或单样本）的扩展性未验证；5) 论文未给出 LoRA 秩 64 与训练步数 10000 的消融，工程经验主导的设定是否最优并不清楚；6) 评测只对比 5 个基线，且未与近期专为机器人视频合成设计的 X-Humanoid 之外的工作（如 MimicDream、RoboTransfer 等）充分对比。

独立分析的弱点

独立分析来看，本文至少有三个可改进的弱点。弱点一：合成数据集偏差明显。100 个场景和 10 个具身全部来自在线 3D 平台 + Humoto 动作库，背景风格、机器人材质分布相对有限，迁移到真实厨房、车库等复杂光照与遮挡场景时可能退化；改进方向是引入真实 RGB-D 扫描、更多样的外观与接触式交互，或结合 Sim-to-Real 域适应。弱点二：未见机器人的适配仍需"数十段未配对视频"，离真正零样本差距较大；改进方向是引入对机器人形态/运动学先验（如 URDF）的显式条件编码，让 LoRA 仅需几张关键帧即可收敛。弱点三：单向注意力掩码虽然保证了动作通路干净，但也意味着 denoising 分支不能再回头"确认"自己的生成是否符合源动作，长期 rollout 时容易出现累积漂移；改进方向是设计周期性重新注入动作锚点、或在长视频中显式做闭环校正。

未来方向

作者在结论中暗示的下一步方向是把生成数据用于具身智能下游训练（manipulation、locomotion 等）。结合论文成果，可延伸的研究方向包括：1) 把流式蒸馏范式扩展到更长 horizon（>10 分钟）的机器人操作视频，并支持随时切换具身 LoRA；2) 用 OmniHumanoid 生成的视频作为 synthetic data 训练 VLA（如 RT-2、OpenVLA），检验在仿真-真实闭环中是否能形成 self-improving loop；3) 把单向注意力扩展到可学习的、稀疏的双向连接，用动态掩码让 denoising 分支在必要时查询动作；4) 探索结合运动学/物理仿真约束的 loss（如关节角误差、重力一致性）来约束生成，避免物理上不可行的姿态；5) 在 3D 扩散或 NeRF 表征上做跨具身生成，进一步提升几何一致性。

复现评估

复现评估总体偏向"中等可复现"。算法层面，论文承诺开源 https://github.com/showlab/OmniHumanoid，给出 Wan2.2-TI2V-5B 主干、rank-64 LoRA、AdamW 学习率 $2\times 10^{-4}$、10000 步、batch size 1/GPU、2×H200 等关键超参，两阶段训练 + rolling LoRA loading + self-forcing 蒸馏的公式与因果掩码结构在 Sec. 3.3-3.4 写清。数据层面，Unity 流水线（10 具身、100 场景、7200 对配对、1920×1080@30FPS）依赖 Humoto + Blender 骨骼对齐 + Unitree-G1 作为 held-out，复现门槛不低。算力层面 2×H200 训练 10000 步合理，但流式蒸馏 + VSD + GAN 全流程仍需数日。评测用 Gemini-3 Flash 作 VLM judge，模型版本差异可能带来偏差。综合来看，论文提供了较完整的算法 recipe，但完整复现需要较高工程投入与算力。

OmniHumanoid：基于无配对适配的流式跨具身视频生成框架 OmniHumanoid: Streaming Cross-Embodiment Video Generation with Paired-Free Adaptation