Being-H0.5：面向跨具身泛化的人机融合机器人学习 Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization
提出统一动作空间和混合流架构，实现单一模型跨5种机器人平台部署
前置知识
Vision-Language-Action (VLA) 模型
VLA是一种将视觉感知、语言理解和动作执行统一在同一框架中的多模态模型。它接受RGB图像和自然语言指令作为输入，输出机器人的连续控制信号。典型架构如π0、GR00T-N1等，通过微调预训练的视觉语言模型（VLM）使其具备物理交互能力。VLA的核心挑战在于如何将高层语义推理与低层精细运动控制无缝衔接，同时处理不同机器人平台的形态差异。
本文是VLA领域的最新工作，理解VLA的基本范式（VLM backbone + action head）是读懂本文架构设计和实验对比的前提
Flow Matching / Rectified Flow
Flow Matching是一种生成模型方法，通过学习从噪声分布到目标数据分布的连续向量场来生成样本。与传统扩散模型不同，它定义了一条线性概率路径 x_t = (1-t)x_0 + t a_i，其中 x_0 服从高斯分布，a_i 是目标动作。模型学习预测速度场 v_θ(x_t, t, c)，使其逼近理想向量场 u_t = a_i - x_0。推理时通过Euler积分从噪声逐步去噪得到动作序列。
本文的Mixture-of-Flow架构和动作生成都基于Flow Matching范式，理解其原理是理解MoF设计动机和训练目标的关键
Mixture of Experts (MoE)
MoE是一种稀疏激活的神经网络架构，由多个并行的专家模块和一个可学习的路由器组成。对于每个输入，路由器动态选择Top-K个专家进行处理，而非激活全部参数。这种设计将总参数量与激活参数量解耦，使得模型可以拥有庞大的技能库，但推理时只激活一小部分参数，从而在保持模型容量的同时控制计算开销。
本文的Mixture-of-Flow (MoF) 直接借鉴MoE思想，将动作专家分为共享基础层和路由化的专用专家层
MANO手部模型
MANO是一种参数化的人手三维模型，通过少量参数（腕部位姿加手指关节角度）即可表示任意手部姿态。它将手部运动表示为全局腕部6DoF位姿加上N个手指关节角，常用于从视频中估计手部动作。本文将MANO参数映射到统一动作空间，使人手运动可以直接作为机器人控制的监督信号。
MANO是本文实现人机融合的核心桥梁，理解其参数化方式有助于理解统一动作空间的设计
Action Chunking
Action Chunking是一种控制策略，模型一次预测未来多个时间步的动作序列（称为一个chunk），而非单步动作。例如chunk大小为8时，模型一次输出8步连续动作。这种方法可以捕获动作的时间连续性，减少推理频率要求，但引入了推理延迟与执行的时序不匹配问题——当模型计算新chunk时，机器人必须继续执行已承诺的动作。
本文提出的Universal Async Chunking (UAC) 正是为解决跨embodiment场景下Action Chunking的时序不匹配问题
研究动机
当前VLA模型面临严重的跨具身泛化瓶颈。不同机器人的运动空间本质上是不同的物理语言——平行夹具的二值开合是一个简单标量，而灵巧手的精确捏取则需要高维协调向量。现有VLA如同单语者，在特定硬件上表现优异但无法跨形态部署。扩散类VLA的问题尤为突出：当仅在简单硬件（如平行夹具）上预训练的模型遇到复杂实体（如灵巧手）的高维向量场时，推理轨迹会漂移出有效运动流形，导致不稳定行为。此外，现有数据集规模有限（Open X-Embodiment经严格过滤后仅6个主要子集，AgiBot World仅约200小时桌面操作），且灵巧手数据不足总量的5%，严重制约了通用策略的学习。
本文的目标是本文旨在构建一个能够跨多种机器人形态泛化的基础性VLA模型，使单一模型检查点可以部署在形态差异巨大的平台上——从桌面机械臂到双足人形机器人。具体目标包括三个方面：第一，构建迄今最大的具身预训练数据集UniHand-2.0，包含超过35000小时数据和30种embodiment；第二，设计统一动作空间将人手运动和不同机器人控制映射到语义对齐的插槽中；第三，开发支持实时跨具身部署的推理基础设施。
与已有工作不同的是，本文的独特切入角度是人机融合学习——将人类交互轨迹视为物理交互的母语。不同于以往方法将人视频仅作为辅助信号或通过潜在动作间接利用，本文直接将人手运动映射到统一动作空间中，使其成为和机器人轨迹同等地位的监督信号。这种范式借鉴了NLP中多语言预训练的思路：不同人类语言共享底层语法（句法和逻辑），不同机器人也遵循共同物理定律。通过以人类数据为主体（16000小时人视频对比14000小时机器人数据）进行预训练，模型获得了密集的物理先验，能够快速适应新硬件，就像人类学习一门新方言。此外，本文首次将人手运动和多种机器人控制统一到单一动作空间中进行跨具身泛化训练。
核心方法
Being-H0.5的整体思路可以概括为数据、空间、架构、训练、部署五层递进。首先，构建UniHand-2.0大规模数据集（35000小时，400M样本，120B tokens），涵盖人手演示、机器人操作和视觉-语言理解三大类数据。其次，设计统一动作空间，将不同embodiment的控制信号映射到语义对齐的高维向量中，使人手运动和机器人控制可以共存于同一接口。第三，采用Mixture-of-Transformers (MoT) 架构，将高层语义推理（理解专家）与低层动作生成（动作专家）解耦。第四，通过统一序列建模进行人机融合预训练，将所有异构监督信号序列化为单一多模态token流。最后，通过Embodiment-Specific Adaptation、Manifold-Preserving Gating和Universal Async Chunking三项技术实现稳定的跨具身实时部署。
本文的核心创新在于两个层面的统一。第一是统一动作空间：不同于以往为每个机器人分配独立MLP头的做法，本文将人手MANO参数和不同机器人控制信号映射到同一个高维向量空间中，每个维度对应一个物理量（如末端执行器位姿、关节角度、夹爪宽度等）。这种设计强制模型学习共享的物理先验，而非embodiment-specific的命令映射。第二是统一序列建模：将视觉、文本、状态、动作四种模态序列化为单一token流，通过QA格式组织数据，对文本token施加交叉熵损失，对动作token施加Flow Matching损失和Masked Motion Token损失。这种设计使得预训练成为一个连贯的课程学习过程，模型在同一个框架中感知、描述和行动。
方法步骤详情
Being-H0.5的完整流程分为预训练和后训练两个阶段。预训练阶段包含三个关键步骤：第一，数据序列化——将每个样本组织为QA格式，其中查询部分包含视觉、文本和状态上下文，应答部分包含动作或文本目标。第二，混合运动表示——对人类数据同时监督连续动作chunk（通过Flow Matching损失L_FM）和离散运动token（通过Masked Prediction损失L_MASK），两者通过特殊的注意力掩码防止信息泄露。第三，多任务目标——运动生成是主目标（预测动作chunk），运动描述和运动续接是辅助目标（分别预测文本描述和未来动作）。后训练阶段也包含三个步骤：第一，Embodiment-Specific Adaptation——为每个embodiment维护一组轻量级slot-wise adapter，仅更新该embodiment激活的语义插槽对应的参数。第二，Manifold-Preserving Gating——通过Sliced-Wasserstein距离评估上下文特征的可靠性，生成门控信号g，当上下文不可靠时抑制特征依赖的修正，回退到学习的先验偏移。第三，Universal Async Chunking——根据每个embodiment的控制周期和推理延迟预算采样动态延迟d，将动作chunk分为已承诺前缀和预测后缀，仅对后缀计算损失。
技术新颖性
本文在技术新颖性上有多处突破。首先，UniHand-2.0是迄今最大的具身预训练数据集，规模是前代UniHand-1.0的200倍，首次实现了30种embodiment的统一训练。其次，统一动作空间的设计首次将人手运动作为泛化具身与其他机器人并列，而非仅作为辅助信号，这在VLA领域是开创性的。第三，Mixture-of-Flow (MoF) 架构将MoE思想引入Flow Matching框架，将动作专家分为共享基础层（编码跨embodiment不变的运动原语，如到达、抓取动力学、避障）和路由化专用层（处理embodiment和task特定动力学），实现了总参数量与激活参数量的解耦。第四，Manifold-Preserving Gating与DiG-Flow的输出门控不同，在投影前施加门控，使得方差仅正比于WE_obs(H)的平方而非(WE_obs(H)+b)的平方，产生更平滑的轨迹。最后，Universal Async Chunking首次将RTC扩展到跨具身场景，支持不同控制频率和延迟预算的机器人。
实验结果
Being-H0.5在仿真和真实机器人实验中均取得了领先结果。在LIBERO基准上，specialist达到98.9%平均成功率（L-Spatial 99.2%、L-Object 99.6%、L-Goal 99.4%、L-Long 97.4%），generalist也达到97.6%，表明单一检查点可以吸收跨基准多样性而仅损失少量性能。在RoboCasa的24个厨房任务上，specialist达到53.9%（Pick and Place 36%、Doors and Drawers 71.7%、Others 57.6%），generalist为53.3%，在仅使用224x224 RGB输入的情况下超越了使用3D输入的GWM（39.3%）。在5个真实机器人平台上（PND Adam-U 31DoF灵巧手、Unitree G1双臂、FR3+Inspire单臂灵巧手、BeingBeyond D1、LeRobot SO-101夹爪），Being-H0.5在4类任务（空间、长时程、双手协调、泛化）上全面超越π0.5。最令人意外的发现是embodiment-level零样本迁移现象：单一generalist检查点可以在Adam-U上解决从未见过的任务-embodiment对（如仅在G1上训练的翻转扫描任务），展现出跨形态的任务结构迁移能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO仿真基准（4个任务套件，每个500次试验） | 平均成功率 (%) | 98.9 (specialist) / 97.6 (generalist) | EO1: 98.2, X-VLA: 98.1, π0.5: 96.9, π0: 94.4 | 超越次优EO1达0.7%，LIBERO-Long达97.4%（次优94.8%） |
| RoboCasa 24个厨房任务（Human-50 few-shot设置） | 平均成功率 (%) | 53.9 (specialist) / 53.3 (generalist) | π0: 42.4, π0.5: 41.4, GR00T-N1: 36.0, GWM(3D): 39.3 | 超越次优π0达11.5%，Pick and Place子任务超越π0.5达14.5% |
| 真实机器人-空间任务（Stack Bowls, Water Plant, Stack Blocks, Arrange Flowers） | 成功率 (%) | 约75 (specialist), 约70 (generalist) | π0.5: 约55, scratch-generalist: 约35 | 超越π0.5约15-20个百分点 |
| 真实机器人-双手协调任务（Hand-over and Pack Products） | 成功率 (%) | 约45 (specialist), 约40 (generalist) | π0.5: 约25, scratch-generalist: 约25 | 超越π0.5约15-20个百分点 |
局限与改进
尽管Being-H0.5取得了显著成果，仍存在若干局限性。首先，零样本跨embodiment迁移的成功率仍然较低，虽然展现出任务结构迁移能力，但运动精度不可靠，尚不能直接用于生产环境。其次，当前模型仅使用224x224 RGB输入，未利用深度或点云等几何信息，在需要精确空间推理的任务上可能受限。第三，UniHand-2.0中仿真数据占比26%，虽然作者严格控制了比例以避免sim-to-real gap，但仿真数据的质量和覆盖范围仍是潜在瓶颈。第四，作者在论文中承认VLM backbone的选择对下游VLA性能影响显著，但本文未系统比较不同backbone的影响。此外，本文主要关注桌面和人形上半身操作，对于全身移动操作（如行走加操作）的验证有限。最后，训练成本较高（1000 GPU小时预训练），虽然作者开源了训练配方，但对资源受限的研究团队仍构成门槛。
独立分析的弱点
本文存在几个值得改进的弱点。第一，离散运动token的作用存疑：实验中去掉Masked Motion Prediction损失反而提升了Lab数据上的MWDS指标（从0.33升至0.35），仅在Wild数据上有改善（从0.20提升至0.28），说明离散表示可能在高质量数据上引入了不必要的量化损失，建议探索自适应权重或条件化启用机制。第二，MPG的推理开销：MPG需要两阶段推理（baseline pass加refinement rounds），虽然作者声称去噪步数K小于10即可，但两阶段设计增加了延迟，在高频率控制场景下可能成为瓶颈，需要进一步的延迟-精度权衡分析。第三，缺乏对embodiment-level零样本迁移的深入分析：虽然这是一个有趣的涌现现象，但成功率较低且缺乏系统的消融研究来隔离其来源（是统一动作空间还是联合后训练的贡献），建议在更多embodiment和任务上进行系统评估。第四，数据质量与标注精度：人视频数据的MANO估计本身存在噪声，虽然作者设计了四阶段后处理流程，但论文未量化噪声水平对最终性能的影响。
未来方向
基于本文成果，有几个有前景的研究方向。第一，扩大post-training数据多样性：作者观察到embodiment-level零样本迁移现象，建议通过增加post-training数据集的任务和embodiment覆盖来提升这种涌现能力，朝着真正的任意embodiment零样本泛化迈进。第二，整合更多模态：当前仅使用RGB，加入触觉、力和力矩、深度等模态可能显著提升精细操作能力，特别是对于灵巧手任务。第三，全身移动操作：将统一动作空间扩展到全身控制（包括腿部运动），使人形机器人可以同时行走和操作。第四，更高效的架构：MoF虽然实现了参数解耦，但专家数量和路由策略仍有优化空间，可以探索动态专家分配和自适应稀疏度。第五，持续学习：设计机制使模型可以在部署后持续从新embodiment和任务中学习，而不遗忘已有能力。
复现评估
本文的可复现性较好。作者提供了全面的开源发布，包括模型权重、训练流水线和仿真脚本，并承诺将包含真实世界部署基础设施和1000 GPU小时预训练配方。UniHand-2.0数据集整合了多个公开数据源（Ego4D、EPIC-KITCHENS、Open X-Embodiment等），同时提供了自建的UniCraftor数据收集系统。训练基础设施方面，本文基于InternVL-3.5作为VLM backbone，使用标准的Rectified Flow训练流程。主要复现门槛在于计算资源（1000 GPU小时预训练）和真实机器人硬件（5种平台的评估需要对应的物理机器人）。不过，作者提供了仿真基准（LIBERO和RoboCasa）的完整评估脚本，使得在计算资源有限的情况下也可以进行部分验证。
论文图表
