小米机器人U0：基于世界基础模型的统一具身合成 Xiaomi-Robotics-U0: Unified Embodied Synthesis with World Foundation Model
38B统一具身合成模型，兼做世界模型与机器人数据引擎
前置知识
世界基础模型 (World Foundation Model)
指在互联网规模图文/视频数据上预训练的大型生成模型（如 Sora、Cosmos、EMU3.5），具备强语义理解、可控生成和视觉推理能力。它们能从多模态输入合成逼真图像/视频，泛化远超训练分布，但本身并不显式建模机器人约束、相机标定或物理交互。
本文正是以这类模型为起点，研究如何在不破坏其通用能力的前提下，把它扩展到具身场景，这是理解全文动机的关键。
自回归下一token预测 (Next-Token Prediction)
把图像、文本、控制信号统一离散化为token序列，用 Transformer 按 $P(Y|C)=\prod_{t=1}^{T} P(y_t|y_{<t},C)$ 逐token预测。本文用 IBQ Tokenizer 以 $16\times16$ 空间压缩比把图像编码进离散词表，与 Qwen 文本词表合并，所有模态共享同一套词表和预测目标。
本文的核心设计选择是不引入任何任务专用预测头，所有任务都退化为同一个自回归目标，这是实现多任务共训练的前提。
具身迁移 (Embodied Transfer)
给定当前多视角机器人观测和一组多视角深度图，在保留几何结构、机器人状态和相机配置的前提下，按新的场景描述改写背景、桌面、光照、目标物体外观，生成新的多视角一致 RGB 图像。本质是一种受几何约束的多视角图像编辑。
这是本文最具应用价值的能力，也是把世界模型变成可扩展数据引擎、提升下游策略鲁棒性的关键。
视觉-语言-动作策略 (VLA Policy, 如 π0.5)
一类以图像观测和语言指令为输入、直接输出机器人动作的端到端策略模型，π0.5 是其中的代表基座。本文不改 π0.5 本身，而是用生成数据做监督微调，观察其分布外鲁棒性变化。
本文最终的价值落点就是『生成数据能否真正帮到真实机器人策略』，π0.5 的成功率提升是最有说服力的证据。
FlashAR / 反对角并行解码
一种自回归图像生成加速范式：除原有的水平预测头外，额外引入垂直预测头，让图像token沿反对角线分组 $s(r,c)=r+c$ 并行生成，同一step内的token互相不可见以防信息泄漏。本文扩展为 FlashAR+，并用 H/V 门控融合 $z_{\text{fuse}}=g z_h+(1-g)z_v$。
38B 模型逐token生成图像极慢，没有这套加速（最高 82.9×）整个数据引擎和实时管线在工程上根本不可行。
研究动机
具身生成与普通图像/视频合成有本质差异：它要求严格的多视角一致性、跨相机的几何与物理连贯、显式的机器人本体约束，以及时间上连贯的交互动态。生成的观测不仅要『看起来真实』，还必须与机器人运动学、相机标定以及下游操作策略兼容。直接把基础图像/视频生成模型搬到具身场景，往往产生几何不一致、机器人状态不合理、与控制不兼容的结果。现有的具身世界模型（Dreamer 系列、World Action Models、DreamZero、Qwen-RobotWorld 等）试图用机器人轨迹数据或第一人称操作视频去持续微调基础模型来弥补这一差距，但这种适配范式与基础模型预训练截然不同：后训练只在机器人专用数据集上进行。由于具身数据相比互联网级视觉语料规模小得多、多样性低、高度重复，这种适配不可避免地削弱了从基础模型继承的泛化能力，限制了具身生成的多样性、可控性与可扩展性。
本文的目标是本文要打造一个 38B 参数的多模态自回归模型 Xiaomi-Robotics-U0，把图像生成、图像编辑、具身场景生成、具身迁移、具身视频生成这五类任务统一在单一自回归框架和同一套持续训练范式下，在不丢失基础模型通用生成能力的同时获得机器人中心的多视角推理与交互建模能力。可量化的目标包括：在具身场景生成与迁移的人工评估中超越 GPT-Image-2.0；在 World Arena 具身视频基准上排名第一；把 π0.5 策略在真实世界分布外操作任务上的成功率从 36.9% 提升到 63.2%，并验证基础世界模型既能当具身世界模型用，也能当可扩展的数据引擎用。
与已有工作不同的是，本文抓住了一个被前人忽视的点：不要把基础模型『特化』成机器人专用生成器，而应把具身合成当作基础图像/视频生成的『自然延伸』。通过在通用域和具身域数据上联合优化同一个自回归目标，让图像生成、场景理解、具身推理、未来预测之间天然共享知识。此外它首次提出结构化控制表述，把工作区、背景、前景无关物体、目标物体、光照解耦成五个独立可控维度，从而能在保持几何一致与交互动态的同时做大规模、细粒度的具身数据增强——这是把静态场景合成升级为可扩展轨迹生成引擎的关键切口。
核心方法
可以打这样一个比方：Xiaomi-Robotics-U0 像一个已经会画万物的通才画师，再被教会画各种机器人工作台——关键是让他一边继续练通用绘画、一边学具身场景，两种练习交替进行，既不丢掉原本的本事，又长出机器人视角的空间推理能力。技术路线上，模型以开源的 EMU3.5 为初始化（其底层是 Qwen-3-32B 的 decoder-only Transformer），图像由 IBQ Tokenizer 以 $16\times16$ 压缩比分词，把 IBQ 码本并入 Qwen 词表后，所有模态在统一离散词表下用下一token预测训练。训练数据被分成单步样本和序列样本两大类：单步含 T2I、X2I、具身场景生成、具身迁移；序列含图文交错子任务-子目标序列和多帧率（FPS 1/3/5）具身操作视频。最终累计 950 万单步样本（564 亿 token）和 260 万视频片段（496 亿 token），覆盖通用图文、具身操作、自动驾驶、第一人称、3D 重建、游戏六大领域。这套统一表述让多任务共训练成为可能，同时保留了预训练模型的强视觉生成能力。
全文最核心的创新是：把图像生成、场景合成、场景迁移、序列子任务预测、视频生成全部表述成同一个自回归序列建模问题，完全不引入任务专用预测头。这与传统具身世界模型加各种任务头的做法本质不同——因为只有一个统一的预测目标，通用域和具身域数据可以无缝混训，预训练积累的语义知识和可控生成能力被『自然地』迁移到具身设置而非被覆盖。第二个关键创新是结构化控制表述：把工作区、背景、前景无关物体、目标物体、光照解耦成五个正交控制维度，于是可以用文本独立地改写任意维度而不破坏几何一致性和交互动态，这正是可扩展、可控数据增强的基础。第三个是 FlashAR+ 推理加速：沿反对角线并行解码目标图像区域，条件前缀保持标准自回归可见性，目标区域内用二维 step-causal 注意力 $M(q,k)=\mathbb{1}[s(r_k,c_k)<s(r_q,c_q)]$ 防信息泄漏，配合 vLLM 在 1024×1024 上把单图生成从 450.77 秒压到 5.44 秒（最高 82.9× 加速），让 38B 模型真正可用。
方法步骤详情
流程分六步。①数据收集：从六大领域汇集语料，含 AgiBotWorld-Beta、Open X-Embodiment、自研 MiBot 及 RoboTwin2.0/GenieSim/InternData-A1 等。②过滤：剔除运动模糊、低质量、夹爪不对齐样本。③统一标注：用 Qwen3-VL-235B 跑四条分支——通用场景描述、按工作区/背景/无关物体/目标物体/光照五维的结构化标注、用 Video Depth Anything 抽逆深度作几何条件、用 HDBSCAN 在末端位姿与夹爪信号上聚类做子任务分解。④均衡：按任务目标、物体、空间关系、操作技能细粒度分组，重复组合降采样、长尾技能加权。⑤训练：先单步共训（T2I+X2I 防灾难性遗忘，再加场景生成与迁移），再序列训练（图文交错子任务-子目标序列 + FPS 1/3/5 多帧率视频）。⑥FlashAR+ 后训练：条件前缀保持自回归，目标图区按 $s(r,c)=r+c$ 并行生成。
技术新颖性
和已有技术的本质区别有三点。其一，与传统具身世界模型相比：后者只在机器人数据上微调从而牺牲通用性，本文用通用域+具身域联合自回归训练，明确把『保持基础模型能力』作为训练目标之一。其二，与多视角扩散模型（MVDream、SyncDreamer、Wonder3D、Era3D、Zero123++ 等）相比：它们聚焦物体中心生成、不显式建模机器人本体、标定相机或交互状态，而本文是首个把可控图像编辑、多视角具身场景生成、具身迁移统一进单一自回归框架并引入结构化五维控制的方法。其三，与可控图像编辑方法（InstructPix2Pix、FLUX Kontext、GPT-Image-2.0 等）相比：它们假设单视角观测，难以保证多相机几何一致；本文的结构化控制和深度几何约束让多视角输出真正对应同一个相干 3D 场景，而不是各自独立合理却彼此冲突的图像。
实验结果
实验全面领先。具身迁移基准（Table 2，300 样本）上相较 GPT-Image-2，深度 SI-RMSE 从 0.4007 降到 0.1407（−0.260），$\delta_1$ 从 0.5307 升到 0.8017，Canny F1 从 0.0519 升到 0.2066，分割 mIoU 从 0.4105 升到 0.7621，两难度所有指标均大幅领先。具身场景生成（400 样本）人工成对评估中多视角一致性明显胜出，仅仿真训练的 AGIBOT G2 也能生成真实对齐观测。最有价值的是真实世界结果（Figure 17）：增强后 π0.5 分布外干扰组平均任务进度从 36.9% 跃升到 63.2%（三个任务分别 30.6%→54.2%、51.1%→73.3%、28.9%→62.2%），base 组基本持平。WorldArena 上 EWMScore 73.64 在 100+ 模型中第一，指令跟随 93.86、交互质量 87.30、透视 98.84、运动平滑 95.51 均居首。效率上单图 450.77 秒经 FlashAR+ 与 vLLM 压到 5.44 秒（82.9×）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 具身迁移（Easy 分割） | Depth SI-RMSE (↓) | 0.1407 | GPT-Image-2.0: 0.4007 | −0.260（绝对，越低越好） |
| 具身迁移（Easy 分割） | Canny F1 (↑) | 0.2066 | GPT-Image-2.0: 0.0519 | +0.155 |
| 具身迁移（Easy 分割） | Segmentation mIoU (↑) | 0.7621 | GPT-Image-2.0: 0.4105 | +0.352 |
| 具身视频生成 | WorldArena EWMScore (↑) | 73.64（排名第一） | SisyphusWorld: 73.06 | 100+ 模型中第一，+0.58 over 第二 |
| 真实世界分布外操作 | π0.5 任务完成进度 (%) | 63.2（增强后） | 原始数据: 36.9% | +26.3 个百分点 |
| 1024×1024 单图生成效率 | 延迟 (秒/图) | 5.44（FlashAR++vLLM） | 标准 AR: 450.77 | 82.9× 加速 |
局限与改进
作者承认三类局限。其一，具身迁移仍依赖深度估计作为中间表示，深度估计本身会引入伪影，并限制了对物体纹理和局部外观的精细控制。其二，场景生成与视频生成是分开进行的，长时段 rollout 容易累积误差，场景的几何误差会传导到后续视频。其三，当前 32K 上下文窗口限制了长时长视频建模，难以做分钟级具身交互。从结果表我也观察到几个潜在问题：通用 T2I 的计数（GenEval Counting 0.49，相比 Qwen-Image 的 0.89 断崖式下跌）、属性绑定（0.53）、位置（0.60）等需要精确空间定位和符号绑定的复杂组合任务退化明显；真实世界增益全部来自视觉外观鲁棒性而非新的操作技能，且 base 组个别任务（Store Earphones）甚至略有下降；评估高度依赖人工成对偏好和定性可视化，缺乏可复现的自动化三维一致性度量。
独立分析的弱点
第一个弱点是几何误差不可纠正：因为深度是独立估计再作为条件喂入，深度估计本身的错误会原样传导到生成结果，模型无法在生成阶段修正几何。改进方向是直接在原始 RGB 观测上做多视角编辑，绕过深度中间件。第二个弱点是场景与视频解耦导致的误差累积：先合成初始场景再 rollout 视频，场景里的几何/物体偏差会被视频放大。改进方向是端到端联合生成场景与后续视频。第三个弱点是通用能力退化：Counting、Attribute binding、Position 在 GenEval 上明显掉点，说明数据混合比例和样本加权还能再调，尤其是高频具身样本可能挤占了通用组合推理的容量。第四个弱点是增强只改变外观（背景/光照/纹理）而不改物体几何和任务结构，因此只能提升视觉不变性、无法教策略新技能或新布局；改进方向是让结构化控制进一步覆盖物体位姿和布局随机化。第五个弱点是评估可复现性差：多视角几何一致性主要靠人工打分，缺乏像多视角重投影误差这样的自动化度量，建议引入显式 3D 一致性指标。
未来方向
作者明确指向三件事：在原始观测上做具身多视角图像编辑以摆脱深度中间件；联合生成场景与后续视频以缓解长程 rollout 的误差累积；扩展上下文窗口到分钟级具身交互生成。基于本文成果还可延伸出若干方向：把『自合成场景→rollout→再训练』闭合成自主进化的 agentic 数据引擎，让世界模型持续生成越来越多样的机器人经验；从桌面双臂扩展到全身人形和移动操作；把触觉、力觉等非视觉模态纳入统一词表以增强物理交互建模；并把生成数据真正用于大规模策略预训练而非仅做单任务增强，探索对整个 VLA 基座的提升。
复现评估
作者公开了代码和检查点（robotics.xiaomi.com/xiaomi-robotics-u0.html），底层基于开源的 EMU3.5 和 Qwen-3-32B，标注管线用的 Qwen3-VL-235B、HDBSCAN、Video Depth Anything、vLLM 都是公开工具，这些都是加分项。但完整复现门槛很高：训练语料累计 950 万单步样本（564 亿 token）+ 260 万视频片段（496 亿 token），含未公开的自研 MiBot 多视角数据集；真实世界实验每个任务要采集约 40 小时示教、再做等量的风格迁移增强，并在双臂 ARX 平台上跑 18 次实验/任务；38B 模型本身的训练和 FlashAR+ 后训练需要大量 H20 级 GPU。对中小团队而言，完整复现困难，但复用其检查点做场景生成、具身迁移或借鉴 FlashAR+ 加速思路做局部迁移是现实可行的。
论文图表
展示了模型的四类能力——通用图像生成、具身场景生成、具身迁移、具身视频生成，矩形对应同一本体的初始观测、成对迁移样本和视频关键帧，所有帧都是参考图加生成图。
一张图说清了本文要统一的全部任务边界，是理解『统一具身合成』这个核心定位的最佳入口。