Uranus：面向具身智能的下一代机器人仿真基础设施 Uranus: Building the Next-Generation Simulation Infrastructure for Embodied AI
以关节轨迹条件化的因果自回归扩散世界模型构建实时、可扩展的机器人神经仿真器
前置知识
世界模型
指能根据历史观测与动作预测环境未来状态的生成模型。在机器人领域，世界模型接收当前多视角画面和机器人动作（如关节角序列），生成未来相机视角的图像序列，从而充当"神经模拟器"：策略可以在模型生成的虚拟环境中交互、评估与训练，替代人工搭建的物理仿真器。其质量由画面保真度、动作可控性和长时程稳定性共同决定。
Uranus 本身就是一个机器人世界模型，理解它要解决什么问题、如何被评价，都需要先建立世界模型的基本概念框架。
流匹配与扩散模型
扩散模型通过迭代去噪把高斯噪声变成样本；流匹配是其连续时间形式，网络学习一个速度场。本文采用流匹配目标：对干净潜变量 $Z$ 与噪声 $N$ 插值得到 $Z_\tau = \tau N + (1-\tau)Z$，监督 DiT 预测速度 $u = N - Z$，损失为 $\mathcal{L}_{FM} = \mathbb{E}\|\hat{u} - u\|_2^2$。推理时从噪声出发沿预测的流方向迭代若干步得到干净样本。
Uranus 的每一步预测都是一个内层扩散去噪过程，后续的 4 步蒸馏、KV 缓存的读写语义都建立在这个内层循环之上。
因果自回归训练与 Teacher Forcing
类似大语言模型的训练方式：训练时就只允许模型看到参考帧和历史帧，禁止看到未来帧。Uranus 把序列打包为参考锚点 $R$、干净历史 $C$、噪声目标 $Y$ 三段，用块稀疏因果掩码限制注意力，使训练时的注意力模式与推理时自回归生成完全一致，避免了"先双向视频训练、再改造为因果学生"带来的转换成本与分布偏移。
这是 Uranus 与既有机器人世界模型最关键的区别，论文的训练策略、位置编码和缓存设计全部围绕它展开。
KV 缓存与注意力汇
自回归生成时缓存历史 token 的 key/value 张量以避免重复计算。滑动窗口缓存只保留最近 $w$ 个块、逐出更旧的历史；注意力汇指序列开头永远保留的若干 token，作为注意力的稳定锚点防止流式生成退化。Uranus 把参考图像的编码 token 作为持久注意力汇，并按"潜帧块"而非扁平 token 组织缓存。
分钟级开放式 rollout 的内存有界性与视觉稳定性依赖这套机制，是读懂推理与服务基础设施部分的前提。
Plücker 射线嵌入
一种密集相机几何编码：对每个像素 $(u,v)$，用相机内外参计算世界坐标系下的单位射线方向 $d(u,v) = R^\top\cdot\mathrm{normalize}([(u-c_x)/f_x,(v-c_y)/f_y,1]^\top)$ 与矩 $m(u,v)=o\times d(u,v)$，组成 6D 向量逐像素输入网络，显式告知模型每个像素对应的光线在空间中的位置与朝向。
Uranus 用它取代"学习相机 ID"，实现了可变视角、可变相机数量乃至新视角合成的统一条件化，是论文多视角可扩展性主张的技术基础。
分布匹配蒸馏（DMD）
一种少步数扩散蒸馏方法：不要求学生复制教师的采样轨迹，而是用真实数据分数 $s_{real}$ 与学生分布分数 $s_{fake}$ 之差作为分布匹配梯度，把学生生成分布拉向数据分布；配合自展开（self-forcing）让学生在自己的生成历史上训练以缩小训练-测试差距；再辅以 PCM 相位一致性正则约束局部去噪轨迹，防止学生分布收缩和误差放大。
Uranus 靠 DMD+PCM 把内层去噪从多步压缩到 4 步，是实现实时交互仿真的核心手段，也是训练章节的重点。
研究动机
机器人学习需要可扩展的仿真来完成数据生成、策略训练、受控评估和安全迭代，而真实机器人交互昂贵、缓慢、难以复现，且受硬件与安全约束。传统物理仿真器如 Isaac Sim 和 MuJoCo 虽然可扩展、可重复，但需要人工构建 3D 资产、环境和物理模型，开发成本高昂，且始终存在难以消除的 sim-to-real 差距。数据驱动的视频世界模型（如 Ctrl-World、GigaWorld-1、GE-Sim 2.0）提供了替代路线，但现有系统难以扩展为通用仿真器：它们通常只在单一或少数机器人本体、有限任务和场景的数据上开发，其性能究竟反映可迁移的世界建模还是对窄分布的过拟合并不清楚；同时它们沿用了离线视频生成的设计，每次推理生成 15 到 33 帧的固定长块（Ctrl-World 15 帧、GigaWorld-1 33 帧、GE-Sim 2.0 25 帧），动作到观测延迟大，无法支撑细粒度闭环交互，而且多采用末端执行器位姿条件与固定视角，不能适应可变相机配置和相机运动。
本文的目标是本文的目标是构建一个可作为下一代具身智能仿真基础设施的数据驱动机器人模拟器 Uranus，使其同时具备四个必要性质：一是交互性，在线接收四帧关节位置轨迹、每次推理只生成一个潜帧（对应每相机 4 帧 RGB），逐潜帧自回归且无固定 horizon，支持开放式 rollout；二是实时性，通过扩散步数蒸馏把内层去噪压到 4 步，配合系统优化实现流式 24 FPS（H20 GPU 上 10 FPS）；三是长时程稳定性，直接以因果生成器身份做 teacher-forcing 预训练，配合持久参考锚点、潜帧相对 RoPE 和滑动窗口 KV 缓存，支撑分钟级 rollout；四是可扩展性，用统一的图像空间骨架表示和 Plücker 相机编码，让同一个模型跨机器人本体、控制源、相机配置和更长序列扩展。作者还把模型当作平台来建设，同步搭建了数据、训练、推理、服务四层基础设施，并开源代码、权重与 SDK。
与已有工作不同的是，本文的独特切入角度有三点。第一是条件信号的选择：不同于现有工作用末端执行器位姿作动作条件，Uranus 直接条件化于未来关节位置轨迹 qpos，并通过前向运动学把任意本体的关节状态渲染成图像空间的骨架图，把关节个数、连杆长度、夹爪形态等本体差异吸收在网络之外，从而用同一接口覆盖 UR5、ALOHA、AGIBOT、ARX5、DROID 等所有 URDF/MJCF 定义的本体。第二是训练范式：不从双向视频模型蒸馏出因果学生，而是从 Wan2.1 初始化就以 teacher-forcing 因果目标直接预训练，训练与推理注意力模式从第一天起一致。第三是系统视角：论文把"仿真器"视为完整基础设施问题，从数据清洗（SAM 3 几何一致性过滤、MoGe-3 标定恢复）、64 卡 HSDP 加序列并行训练、滑动窗口 KV 缓存流式推理，到以 KV-cache 为中心的会话化服务全栈打通并开源，这种端到端工程完整性在机器人世界模型工作中非常少见。
核心方法
直觉上，Uranus 做的事情是"看着机器人即将执行的关节动作，预测相机里会发生什么"。它是一个 LLM 式的自回归世界模型：给定多视角参考图像、已生成的历史潜帧、外部提供的 4 个未来关节配置 qpos、相机标定和可选文本描述，预测下一时刻的多视角观测，并把结果回填为后续预测的上下文。技术上采用两级生成过程：外层是沿潜帧索引 $t$ 的因果自回归展开，$p_\theta(Z_{1:T}|\mathcal{C}_{1:T}) = \prod_{t=0}^{T-1} p_\theta(Z_{t+1}|Z_{ref}, Z_{\le t}, \mathcal{C}_{t+1})$；内层是流匹配扩散过程，把高斯噪声逐步输运为干净潜帧，保留视频扩散模型的保真度与多样性。因果 VAE 中 1 个潜帧解码为 4 个连续 RGB 帧（$F_{rgb} = 1 + 4(F_{lat}-1)$），4 个 qpos 与 4 个 RGB 时间戳一一对应，训练时取自录制状态、推理时由策略在线提供。值得强调的是，Uranus 预测的是"指定运动学轨迹的视觉后果"，而不是积分力矩或速度来解算运动。骨干网络是 1.3B 参数、30 层的 DiT（从 Wan2.1 初始化），交替使用空间注意力与时间注意力。
核心创新是把"因果自回归"与"视频扩散"在预训练阶段就焊在一起，并用一套几何一致的条件化方案实现跨本体、跨视角扩展。与现有机器人世界模型的本质区别有三：其一，现有方法用双向视频生成器每次输出 15 到 33 帧的大块，闭环延迟高；Uranus 每步只生成 1 个潜帧（4 帧 RGB），配合 4 步蒸馏实现流式交互。其二，现有方法训练时是双向注意力，推理时靠反复拼接历史硬凑长视频，训练-推理不一致导致长 rollout 漂移；Uranus 用 teacher-forcing 因果掩码直接预训练，训练即因果，并以参考锚点作为永不逐出的注意力汇稳定长程生成。其三，现有方法用末端执行器位姿和固定相机；Uranus 用图像空间骨架图（前向运动学加投影，末端标记的半径编码夹爪开度、颜色由球谐函数编码末端相对相机的位姿）统一表示任意本体，用逐像素 6D Plücker 射线图统一表示任意相机，四帧条件图经时间核为 4 的 Conv3D 压缩为一个潜帧 token 切片并与视频 token 相加融合。这让同一个模型可以跨本体、跨相机数量、跨控制源扩展。
方法步骤详情
流程分四步。第一步条件构造：对每个待生成潜帧，取 4 个与输出 RGB 时间戳对齐的关节配置 $Q_t=(q_{t,1},...,q_{t,4})$，经前向运动学与相机投影渲染成每视角 4 张骨架图，并逐像素计算 Plücker 射线图 $d(u,v)=R^\top\cdot\mathrm{normalize}([(u-c_x)/f_x,(v-c_y)/f_y,1]^\top)$、$m(u,v)=o\times d$；文本经冻结 T5 编码。两组 4 切片条件张量各经时间核为 4 的 Conv3D 压缩成 1 个潜帧 token（四个时间位用不同核权重保序），与视频潜帧 embedding 相加融合。第二步因果去噪：序列打包为参考锚点（干净、时间步 0）、干净历史、噪声目标三段，块稀疏因果掩码保证目标只见参考与窗口 $w$ 内历史；RoPE 对参考用固定前缀位置、对生成潜帧用从零起的相对索引；DiT 每两层交替空间/时间注意力（成本分别降 $F$ 与 $N_c$ 倍），以流匹配损失 $\mathcal{L}_{FM}$ 预训练 50 万步、batch 16。第三步蒸馏：从因果检查点同时初始化学生与冻结 real score、可训练 fake score，学生以滚动 KV 缓存自展开 29 帧生成样本，按 $\mathcal{L}_{gen}=\mathcal{L}_{DMD}+\lambda_{PCM}\mathcal{L}_{PCM}$ 优化（$K=4$、$\lambda_{PCM}=0.5$），去噪压至 4 步。第四步流式推理：prefill 后循环"4 步去噪（只读缓存）→ cache-fill 追加干净潜帧 KV → 滑窗淘汰最旧历史 → 流式 VAE 解码 4 帧 RGB 回传"。
技术新颖性
架构上，因子化空间-时间注意力并非首创，但与"以潜帧为单位、相机数可变"的流式设置结合恰当：同潜帧内多视角双向交互融合遮挡与几何线索，同视角沿时间因果传播动态，注意力成本从全注意力 $\mathcal{O}((N_c F H_p W_p)^2)$ 降为两项之和。训练上，潜帧相对 RoPE 与滑窗缓存天然兼容（逐出整块不改变保留块的旋转索引）；参考注意力汇借鉴 LLM 的 attention sink 并赋予语义角色（参考帧携带场景外观与机器人上下文），不引入人工前缀或额外参数。蒸馏上，不同于 self-forcing 原论文从双向模型经 ODE 初始化得到因果学生，Uranus 直接从因果预训练检查点初始化学生与两个分数网络，省去转换开销；并针对 DMD 单独使用时学生向窄分布收缩、小误差在自展开中放大为漂移与时间不连续的问题，引入 PCM 相位一致性正则。系统上，KV 缓存语义与 LLM 本质不同：内层去噪全程只读冻结缓存、噪声中间态绝不入缓存，去噪完成后以时间步 0 的专门 pass 把干净潜帧 KV 恰好追加一次，保证缓存与因果训练时的干净历史条件严格一致。
实验结果
WorldOlympiad 机器人赛道：Uranus-1.3B 总分 0.722、交互分 0.730 双双第一，3D 一致性 0.511 最高，物理分 0.925 仅次于 Cosmos-Predict-2.5（0.937），超过 LingBot-World（0.684）、Rolling Forcing（0.608）等全部对比模型。与 GE-Sim 2.0 在 100 条 AgiBotWorld-Beta 样本上对比：Uranus 头视角 PSNR/SSIM 起点 22.79 dB/0.81，140-160 秒区间仍达约 12.3 dB/0.45，GE-Sim 2.0 仅约 7.1 dB/0.20，多视角口径一致，长时程退化更慢。OOD 实验：场景（DROID 13 机构留 1）与轨迹（新遥操作轨迹）泛化成功；任务泛化（Table30 留 6/30 任务）轨迹跟得住但物理后果不可靠——台灯不亮、抓球接触错位；本体泛化（未见的 G2，叠加新任务与头部相机旋转）粗运动可迁移但物体交互不准、曝光漂移。开环一致性（5 人评审）训练集 86%、测试集仅 58%。闭环评估（RoboTwin，9 策略×5 任务×15 回合）与真实成功率 Pearson 相关 0.98、MMRV 仅 0.01。附录 C：失败感知微调后特征把结果预测 AUC 从 0.6785 提到 0.7409。系统：DiT 栈 SP=2 下加速 3.06×，Flash-VAED 解码约 6× 吞吐，流式生成 24 FPS（H20 上 10 FPS）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WorldOlympiad 机器人赛道（长时程交互世界模型基准） | Overall 综合分 | 0.722（Uranus-1.3B，排名第一） | Cosmos-Predict-2.5：0.712（次优）；其余最高 LingBot-World 0.684 | +0.010 vs 次优，8 个对比模型中总分最高 |
| WorldOlympiad 机器人赛道 | Interaction 交互分 / 3D Consistency | 0.730 / 0.511（均为最高） | Cosmos-Predict-2.5：0.721 / 0.479 | 交互分 +0.009，3D 一致性 +0.032 |
| AgiBotWorld-Beta 100 例长时程回放（140-160 秒区间，头视角） | PSNR / SSIM | 约 12.3 dB / 0.45（起点 22.79 dB / 0.81） | GE-Sim 2.0：约 7.1 dB / 0.20 | PSNR +5.2 dB，SSIM 翻倍以上，长时程退化显著更慢 |
| 开环仿真一致性（人工 5 人评审，多样性采样） | 与真实执行一致率 | 训练集 86%（100 例）/ 测试集 58%（50 例） | 以真实录制执行为参照，无外部基线 | 自证 28 个百分点的分布外泛化差距 |
| RoboTwin 闭环策略评估（9 策略 × 5 任务 × 15 回合） | Pearson 相关 / MMRV | 0.98 / 0.01 | 真实 RoboTwin 环境成功率作为参考 | 策略排名基本保持，仅 A/G 一次轻微颠倒 |
| 流式推理速度（1.3B，640×384，H20 GPU） | 端到端生成帧率 | 24 FPS（推理优化后）；H20 上 10 FPS；每潜帧 4 步去噪 | 未蒸馏的多步流匹配模型（每潜帧需多次去噪，远低于实时） | 4 步蒸馏 + DiT 栈 3.06× 加速 + VAE 解码约 6× 吞吐 |
| 局部动作结果预测（RoboTwin 50 任务局部分支基准） | AUC | 0.7409（Uranus 特征判别器） | 0.6785（仅动作输入的判别器） | +0.0625，三个随机种子提升稳定（+0.0555/+0.0647/+0.0673） |
局限与改进
作者承认五点局限：物理交互保真度不足——模型从视觉学习动力学、不显式施加刚体/接触/任务状态约束，会出现"动作对了但台灯不亮、抓球接触错位"的结果；长时程误差累积——因果训练和参考锚点只减缓不消除几何、外观、相机位姿与曝光误差的累积；泛化不均衡——场景与轨迹外推尚可，但任务、本体、视角大偏移下明显退化（如未见的 G2 上物体交互不准）；评估范围受限——可复现基线、共享数据集与标准化仿真器基准缺乏，闭环研究规模小；计算成本高——训练需 64 卡，部署需专门服务栈。我的补充观察：开环一致率从训练集 86% 跌到测试集 58%，这 28 个百分点的落差比定性演示更直白地说明"神经仿真器"与"视频生成器"的距离；WorldOlympiad 上 3D 一致性绝对值仅 0.511、CLIP 分仅 0.304，几何与语义对齐远未解决；所有 OOD 实验均为定性、无量化指标且案例由作者自选，可核验性有限；351M 帧语料几乎全部来自桌面操作，对移动操作、可变形物体、流体等场景覆盖未知。
独立分析的弱点
第一，动作条件只到关节位置层面，不含接触力与物体状态，模型本质是"运动学一致"而非"动力学一致"的仿真器——被推物体的位移由未观测物理属性（质量、摩擦、柔顺性）决定，天然不可预测；改进方向是引入可微物理先验或接触感知条件，或像附录 C 那样用失败数据微调强化后果表征。第二，评估统计功效不足：开环仅 150 例人工评审、闭环仅 9 策略 5 任务，置信区间必然很宽，与 GE-Sim 2.0 对比也只有单本体 100 例；应扩充协议、报告置信区间并公布逐例结果。第三，输出固定 4 帧一块，而训练数据混有 30/15 FPS 两种帧率，低频指令上采样只说"在上游转换"，未讨论对动作平滑性的影响。第四，流重叠优化后单步延迟约 505 ms（H20），决策频率上限约 2 Hz，对高频伺服不够，可蒸馏到 1-2 步或做异步预测流水线。第五，rollout 早期多视角分数低于头视角（侧视角更难），提示非头相机的标定与数据覆盖是短板。第六，跨本体扩展依赖 URDF/MJCF 与标定质量，缺相机参数的公开数据集（RoboCOIN、RoboMIND 等）被排除，数据准入门槛较高。
未来方向
作者提出的开放方向包括：从根本上解决长时程 exposure bias——teacher forcing 的干净历史分布与推理时 KV 窗口中的自生成历史不匹配，self-forcing 蒸馏能缓解但不能消除且显著增加训练复杂度；在 KV 缓存与服务栈之上增加动作专家模块，联合训练视频预测与策略生成，形成持续更新动作的流式动作模型；引入深度估计、目标检测、VQA 等理解型辅助目标，强化几何、物体身份与状态转变的表征；建立面向"神经仿真器"而非"视频生成器"的基准，纳入闭环频率、动作-观测延迟、可配置相机数量与跨本体迁移等指标；从"复现单条轨迹"转向"复现合理结果的分布"的分布级物理一致性评测；以及建设更系统的交互式视频开源基础设施。基于本文成果可自然延伸的方向：把附录 C 已验证的后果预测能力用于策略候选动作剪枝、safe RL 的代价估计或测试时搜索；利用 Plücker 条件的初步新视角合成能力做主动视角规划与数据采集；系统评测 LoRA/PEFT 在新本体、新场景上的适配上限；以及把 24 FPS 流式生成与遥操作系统结合，实现人在环中的操作预演。
复现评估
复现条件总体较好但训练侧有缺口。已开源：推理代码（Uranus-OSS）、SDK、演示数据、SFT 权重（Uranus-1.3B）与蒸馏权重（Uranus-1.3B-Distillation）。模型仅 1.3B 参数，640×384 下 4 步蒸馏推理，H20 上 10 FPS，单机多卡即可流式推理，复现推理与 LoRA 微调难度中等。训练侧：3,382 小时语料虽来自公开数据集（AgiBot World Beta/2026、DROID、RoboChallenge Table30），但清洗管线中的 MoGe-3 内参恢复、bundle adjustment 外参优化、SAM 3 几何一致性过滤、VLM 抽检未放出完整脚本；预训练 50 万步加 DMD 蒸馏在 64 张 GPU（8 节点×8 卡）上完成，完整复现训练成本很高；RoboTwin 闭环评测的 9 个策略清单与 7,891 条失败轨迹细节披露有限；WorldOlympiad 结果依赖第三方基准。好消息是论文对超参（表 2）、并行拓扑（HSDP 8×8 + SP=4）、各阶段延迟（60/280/70/80/45 ms）均给出具体数字，配合开源权重做推理复现、下游微调和策略评估研究是可行的。
论文图表
两组样例（取物放进购物车 0-18 秒；冲速溶咖啡 0-130 秒）的真值、Uranus、GE-Sim 2.0 逐帧对比。GE-Sim 2.0 随 rollout 推进物体位置与背景漂移加重，长时程样例末段场景严重畸变；Uranus 的物体位移和场景分布漂移明显更小。
为定量曲线提供直观对应：读者可以直接看到两种模型在 2 分钟尺度 rollout 上的视觉质量差距。
任务泛化评测：Table30 的 30 个任务留出 6 个（20%）作测试。样例 1"开台灯"中 Uranus 跟随了够取轨迹但灯没有亮；样例 2"把球放到小托盘"中最终抬起了球，但此前的接触与抓取与真值不同。
这是作者诚实的失败案例展示：说明了模型在未见任务上"轨迹跟得住、物理后果出不对"的典型失效模式，对理解当前世界模型的能力边界非常重要。
本体泛化评测：数据切分表显示训练涵盖 G1/Franka/ARX5/UR5/ALOHA/DOS-W1，测试用完全未见的 G2 本体（AgiBotWorld2026，同时伴随新任务、新场景和头部相机旋转）。三个样例中粗臂部轨迹与视角变化大体正确，但旋转角度不完全对齐，物体交互不准，背景曝光随时间漂移。
这是最难的一轴 OOD（本体、视角、任务、场景同时偏移），它同时展示了骨架条件化的迁移能力和当前极限，是评估"跨本体"主张成色的关键证据。