HY-Embodied-0.5：面向真实世界智能体的具身基础模型 HY-Embodied-0.5: Embodied Foundation Models for Real-World Agents

完整训练流水线分为五个阶段。第一阶段是大规模预训练：在 Hunyuan-1.8B LLM 上叠加 HY-ViT 2.0-400M 与 MoT 结构，在 600B+ 词元上做多任务训练，ViT 与 MoT 模块参数参与更新但视觉 token 梯度每 5 步才更新一次，base LR=5e-5，ViT LR=5e-6，最大上下文 32K，全局 batch size 256；总损失 $\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{llm}} + \mathcal{L}_{\text{vision}} + \mathcal{L}_{\text{global}}$，其中 $\mathcal{L}_{\text{vision}} = -\frac{1}{N_v}\sum_{i=1}^{N_v}\log p_i(z_i)$ 监督 ViT 离散 codebook 预测，$\mathcal{L}_{\text{global}} = -\frac{f_{\text{latent}}^\top f_{\text{teacher}}}{\lVert f_{\text{latent}}\rVert \lVert f_{\text{teacher}}\rVert}$ 把视觉潜在 token 对齐到 teacher ViT 的 CLS 全局特征。第二阶段是具身-空间 mid-training：在 25M 高质量数据上按 12:5:3 比例混合通用/具身/空间 QA，MoT-2B 同时混短长推理链（通过 \think 与 \no think 标记），冻结 ViT 并采用余弦 LR 衰减。第三阶段是 100K 冷启动 CoT SFT，关闭序列打包，每条样本单独前向，使用 cross-entropy 损失教会模型产生显式思考过程。第四阶段是 GRPO 强化学习：动态构造数据池，丢弃全对和全错的样本，保留'部分成功'的 50K 样本；奖励按任务结构分为四类（基于接地的 Multi-IoU/归一化 L2、基于回归的相对计数误差/相对指数误差、基于轨迹的 DTW+Goal 混合或 Fréchet 距离、基于文本的混合匹配或 LLM-as-Judge），所有 reward 归一化到 $[0,1]$；组大小 G=16，采用非对称 clip 区间 $[0.8, 1.35]$、LR=8e-7、batch size 128、训练 5 个 epoch。第五阶段是迭代自进化：RL 后用 rejection sampling 选出 300K 高质量思考轨迹做 RFT，循环多轮 RL↔RFT；最终通过 On-Policy Distillation 把 32B 教师的能力蒸馏到 2B 学生：学生先自采样 $y\sim\pi_s(\cdot|x)$，教师在每个 prefix $y_{<t}$ 上 teacher forcing 给出 $\pi_t(\cdot|x,y_{<t})$，学生用 $\mathcal{L}_{\text{OPD}} = \mathbb{E}_{y\sim\pi_s}\left[\frac{1}{|y|}\sum_t \mathrm{KL}(\pi_t\|\pi_s)\right]$ 进行 on-policy 监督。

从技术新颖性看，论文至少有四个此前工作中较少同时出现的组合：(1) MoT 用于具身小模型：以往 MoT 主要用于大模型平衡多模态容量，本文首次系统化地把 MoT 部署到 2B 量级，并通过 vision loss+global loss 给视觉分支加上独立监督信号，验证了 MoT 的训练效率和推理时间几乎不退化（prefill/decode 延迟与 Dense-2B 相当）；(2) 任务感知的 GRPO 奖励体系：把奖励函数按输出结构（几何/离散/连续/开放）分门别类，并显式区分'任务结构决定奖励结构'的设计哲学；(3) RL+RFT 迭代自进化：每轮 RL 之后用 rejection sampling 把'部分成功'的轨迹沉淀为显式 SFT 数据，使模型既能探索又能稳定收敛；(4) On-Policy Distillation 用于具身模型：相较普通离线蒸馏，OPD 在学生自己的解码状态上做 KL 监督，弥合了训练-推理分布偏差，特别适合把大模型的'思考分布'迁移到小模型。值得注意的是，作者在附录也明确指出'我们观察到 Qwen3.5-VL 在某些基准上产生重复性思考'，所以基线对比统一采用 thinking 与 non-thinking 中更好的结果，体现了一种诚实的实验设计。

独立分析论文中的弱点至少包含四个具体场景。其一是数据偏差：尽管使用了 100M+ 训练样本，但显式标注的'真实机器人 ego-view 数据'占比有限（每个任务 300–700 episode），导致在 Ego-Plan2（45.5）和 ShareRobot-Affordance（26.8）这类依赖第一人称动态感知的任务上绝对分数仍偏低，改进方向是引入更多真机遥操作数据并对 affordance 标注做半自动挖掘。其二是思考质量评估粗糙：RFT 阶段用更强教师模型给思考轨迹打分，但论文未给出该评估器的校准曲线与一致性指标，可能引入教师偏见；改进方向是引入过程奖励模型（PRM）或 step-level 的人工抽检。其三是对长视频/长程规划的支持有限：尽管使用 32K 上下文，但 SIT-Bench-Video 和 Ego-Plan2 上的提升幅度（+5.5、+6.7）远小于纯空间任务（MindCube +35.3），说明在长时序推理上仍有瓶颈，改进方向是引入 memory token 或 episodic retrieval 来扩展有效时序范围。其四是真机评估覆盖窄：仅有 3 个桌面级双手机器人任务，没有覆盖移动操作、软体操作、人机协作等场景，改进方向是建立与 RoboBrain/SpatialVLA 类似的多平台真机评测套件，把成功率与任务完成时间、轨迹效率一起报告。

作者在结论中提出的方向是'进一步弥合语言与动作模型之间的鸿沟，最终训练出更利于复杂现实应用的真实世界大脑'。基于本文成果可以合理延伸的研究方向至少包括：(1) 把 HY-Embodied-0.5 当作通才大脑，与专门的小模型（如 audio perception、触觉、力反馈）通过 MoT 类似的机制拼接，构造真正多模态的具身基础模型；(2) 把 on-policy distillation 与 RL/RFT 进一步统一，把蒸馏损失直接加到 GRPO 目标里做 joint training，避免'先 RL 再蒸馏'的两阶段信息损失；(3) 引入世界模型（World Model）或逆动力学模型（Inverse Dynamics）作为额外的规划监督源，缓解纯 VLM 在长程规划上的失败模式；(4) 把视觉潜在 token 与 latent thinking 进一步耦合，让模型在视觉序列内部就完成'多跳视觉推理'，而不是把思考全部压在语言侧；(5) 在更大规模机器人群体数据上预训练（如 Open X-Embodiment 风格），并探索参数高效微调（LoRA/Adapter）使端侧 2B 模型可以低成本适配到不同机器人形态。

复现评估整体中等偏好。开源方面：模型权重与代码已发布在 https://github.com/Tencent-Hunyuan/HY-Embodied，包含 MoT-2B 与 MoE-A32B 的推理脚本以及 VLA 微调代码，便于读者直接跑基线。数据方面：论文明确列出 22 个评测基准名称与协议（如 3DSRBench/SAT 用 circular accuracy、ShareRobot-Traj 用 1-DFD），但其内部自建的具身/空间/计数 QA 集合（数千万到数亿样本）未公开，仅描述了构造方法（用 VLM + SAM + 教师 VLM 校验的 pipeline），因此完全复现训练流程需要重建数据。算力方面：A32B 总参数 407B、激活 32B，预训练 600B+ 词元、加上多轮 GRPO（每轮 50K×5 epoch、batch size 128、序列长度 16K+16K），复现全套至少需要数十张 H100/月级别；MoT-2B 训练成本低一个量级，但仍非普通实验室可承担。总体难度：架构改动、奖励设计、RL 配方与蒸馏策略均描述清晰，论文级别可复现，但工业级复现需要腾讯混元的内部算力与数据资产。