← 返回 2026-11-04

PrimeSim：从大规模跨具身演示学习的通用机器人世界模型仿真器 PrimeSim: A Generalist World Model Simulator from Large-Scale Cross-Embodiment Demonstrations

Travis Davies, Wentao Ma, Lihao Guo, Tengfei Ma, Xiaowen Chang, Jiafeng Xu, Shilong Wang, Yiqi Deng, Shaowen He, Xiaoqi Li, Qian Zhu, Ran Cheng, Hao Dong 📅 2026-11-03 👍 10 2026-11-11 18:30

世界模型强化学习仿真器机器人操作自回归仿真视频生成跨具身学习

arXiv HuggingFace PDF

用3万小时跨具身机器人数据把视频生成模型改造成动作可控、多视角一致、可长时序自回归的机器人仿真器

前置知识

世界模型（World Model）

学习环境动力学的生成模型：给定当前观测（图像+机器人本体状态）、历史与动作序列，预测未来的相机观测。与只求『画面合理』的普通视频生成不同，能当仿真器用的世界模型必须忠实执行给定动作、让环境对『实际实现的运动』产生正确响应，并在远超训练窗口的时序上保持一致，从而替代物理仿真器做策略评估与训练。

本文全部设计（动作条件、多视角注意力、记忆机制）都围绕『让世界模型合格地充当仿真器』展开，WorldSimProbe 基准检验的正是这一点。不理解这个目标与视频生成的差别，就无法理解各项设计的动机。

流匹配（Flow Matching）

一类生成建模训练目标：在干净数据 $x_0$ 与高斯噪声 $\epsilon$ 之间构造线性插值路径 $x_\tau = (1-\tau)x_0 + \tau\epsilon$，训练速度网络 $u_\theta$ 回归目标速度场 $v_\tau = \epsilon - x_0$，采样时沿速度场从噪声积分到数据。相比扩散模型的多步去噪，路径更直、采样更高效，是当前视频生成的主流范式。

PrimeSim 的中期训练与后训练各阶段（条件生成、一致性蒸馏、DMD）全部建立在流匹配语言之上，论文公式 Eq. 6-13 都需要此概念才能读懂。

一致性蒸馏与少步采样（Causal CD）

把需要几十步去噪的教师模型压缩成 4 步即可出好结果的学生的技术。Causal Consistency Distillation 让学生在线匹配教师流轨迹上相邻两点的局部 ODE 转变（Eq. 9），而非监督完整教师轨迹，配合 LoRA 适配器训练以省显存；一致性蒸馏有类似前向 KL 的 mode-covering 倾向，可能产生偏平均、细节变少的预测。

没有少步蒸馏，自滚动训练（梯度要穿过多个生成块）在算力上不可行；PrimeSim 的 10.1 FPS、以及 Stage 2 到 Stage 3 的质量问题都与蒸馏直接相关。

曝光偏差（Exposure Bias）与教师强制

教师强制指训练时把真实历史喂给自回归模型；推理时模型却只能条件于自己的不完美预测，这种训练-推理分布错配叫曝光偏差，会让误差在长 rollout 中滚雪球。缓解思路是让模型在训练中就面对自己的输出（self-rollout），并对自己的生成分布做分布匹配。

PrimeSim 后训练 Stage 3/4 的自滚动训练、非对称 DMD 与分层记忆，全部是为了解决这一问题，它是理解 fast-video, slow-memory 框架的钥匙。

分布匹配蒸馏（DMD）与反向 KL

用一个可训练的『假分数』网络 $v_\phi$ 估计学生生成样本的分布，与冻结参考模型（此处是中期训练的双向模型 $W_{BD}$）的分数相减得到更新方向 $\nabla_{KL}$，据此优化学生。反向 KL 是 mode-seeking 的，可抵消一致性蒸馏的 mode-covering 模糊化；『非对称』指教师是双向模型、学生是因果模型，借其更强的固定窗口生成质量但不强加其注意力结构。

Stage 3 的非对称 DMD 是 PrimeSim 在自条件下保持生成质量的核心机制，Eq. 10-13 需要此概念。

KV 缓存（KV Cache）

Transformer 自回归生成时缓存已处理 token 的 Key/Value 张量，使新 token 无需重算全部历史。缓存的组织方式（滚动窗口、sink token、分层保留）决定了模型能『记住』多远的上下文，以及显存与延迟的代价；缓存里放什么（真实观测还是模型自己的生成）还会引入训练-推理分布差异。

PrimeSim 用全局 sink + 稀疏慢记忆 + 密集近记忆的三层 KV 组织实现 105 秒稳定 rollout，Table 8 的消融与 Figure 12 的遮挡保持实验直接围绕它。

GRPO（组相对策略优化）

一种在线 RL 后训练算法：对同一状态采样一组动作序列（本文组大小为 8），用组内回报的相对优势代替价值网络来估计优势函数，从而稳定地优化策略。它无需 critic 网络，广泛用于大模型与 VLA 的强化学习后训练。

论文用 GRPO 完全在 PrimeSim 内部训练 OpenVLA-OFT 策略并验证增益迁移回 LIBERO 物理仿真器，这是『世界模型即仿真器』最有说服力的应用证据。

PSNR / SSIM / LPIPS

三种视频质量指标：PSNR 衡量像素级重建误差（越高越好）；SSIM 衡量结构相似性（越高越好）；LPIPS 用深度特征衡量感知差异（越低越好）。三者的共同局限是只度量『画面像不像』，无法度量『动作是否被正确执行』或环境是否对运动做出正确响应。

论文几乎所有消融、蒸馏和长时序实验都用这三个指标报告，读 Table 5-11 前需要知道其含义；也正因其局限，作者才补充 WorldSimProbe 这类行为基准。

研究动机

让机器人策略先在『想象』里评估和训练，可以避开真机在线训练的危险与采样成本，也绕开手工物理仿真器的逐环境建模工程和 sim-to-real 差距。但把视频生成模型当仿真器用存在三个具体缺口。其一，动作跟随不可靠：现有动作条件世界模型常『幻觉』出与指令不符的机器人运动——在标准全局注意力下，每一帧都能聚合多个时间步的动作信息，难以确定哪个动作该主导自己的演化，模型实际回放的是『看起来合理』的轨迹而非被命令的运动（作者引 IRASim、Ctrl-World 等的已知问题）。其二，多视角一致性差：腕部相机随机械臂运动、甚至互相拍到对方，各视角独立生成会导致同一物理场景在不同视角下互相矛盾，而 unrestricted 全局注意力又会淹没视角专属信息。其三，自回归长时序崩溃与算力瓶颈：常规视频生成器在固定长度的真实上下文上训练，推理时却要不断条件于自己不完美的预测，误差逐步累积；同时 50 步量级的迭代去噪让模型根本进不了控制回路。当时的开源动作条件世界模型（LingBot-VA、DreamDojo、Cosmos-3-Nano、IRASim、Ctrl-World）没有一个能同时满足『忠实执行动作、跨视角一致、长时序连贯』这三个仿真器的必要条件。

本文的目标是本文的目标是把一个通用预训练视频生成器（Wan2.2-TI2V-5B）改造成可以真正当仿真器用的机器人世界模型 PrimeSim，并给出可量化的验收标准：1）动作跟随——生成的运动必须落实命令的动作，能通过 WorldSimProbe 的反事实协议检验；2）多视角一致——头相机与双腕相机三个视角对同一场景保持物理一致；3）长时序稳定——自回归 rollout 显著超过训练窗口（实测最长约 105 秒、610–1046 帧），且质量退化可控；4）实时性——在单张 A100 上达到 10 FPS 量级（最终 10.12 TempFPS / 30.35 ViewFPS），足以支持闭环策略交互；5）实用性——在模型内评估策略的成功率要与物理仿真器高度相关（实测 Spearman $\rho=1.00$、Pearson $r=0.99$），并能作为 GRPO 强化学习的训练环境且增益迁移回 LIBERO；6）跨具身通用——换新平台只需极少数据（100–200 步梯度）即可适配。同时要求这些能力不依赖具身标识符，推理时只看动作、语言提示与观测。

与已有工作不同的是，切入角度上有三个不同于既有工作的选择。第一，数据路线：拒绝『大规模人类自我中心视频 + latent action 对齐』的主流做法（如 DreamDojo、CausalWM 等）——作者观察到机器人数据池（开源+闭源）规模已与人类视频语料相当，于是直接在 30,110 小时、22 个平台、1,773 个仓库、84:16 真仿比的机器人演示上训练，用统一动作表征『跳过』整个人类视频到机器人动作的对齐问题。第二，动作表征：提出锚定窗口首帧的相对动作块 $\tilde{a}_{t+i|t} = a_{t+i} \ominus a_t$，而非以往的前一帧差分（如 DreamDojo 的 delta 动作），使缺特征的平台填零即可、各具身的绝对原点偏移自动抵消、且所有变化都锚定到条件首帧从而强化逐帧条件信号。第三，也是全文最独特的 fast-video, slow-memory 后训练框架：以往世界模型（IRASim、Ctrl-World、GE-Sim 等）的记忆都条件于编码后的真实观测或干净历史帧，等于推理时喂给模型它自己不产生的数据，留下训练-推理鸿沟；PrimeSim 反其道而行——让 KV 记忆在训练时就由模型自己的 rollout 填充，训练=推理分布，再辅以用双向教师监督因果学生的非对称 DMD 与三层分级 KV 记忆。

核心方法

PrimeSim 采用『预训练→中期训练→后训练』的渐进课程，直觉是：先借通用视频先验学会『世界长什么样』，再用海量机器人数据学会『动作如何改变世界』，最后改造成『能连续、快速、长时间自己跑下去』的仿真器。技术路线：预训练直接采用 Wan2.2-TI2V-5B 权重，继承物体恒存性、光照材质、短时运动等先验；中期训练在 30,110 小时、22 平台的演示语料上引入三项设计——31 维统一跨具身动作表征、帧对齐双路动作条件（位移对角注意力掩码 + action-frame adapter）、视角感知交错注意力（30 个 DiT 块中每 3 个里 2 个视内注意、每第 3 个跨三视角全局注意 + 相机身份 token）——并以条件流匹配为统一目标（Eq. 5-7）联合训练双向世界模型 $W_{BD}$。后训练分四阶段递进：(1) 块因果注意力 + 教师强制，把双向模型改成自回归的 $W_C$（仍 50 步采样）；(2) Causal Consistency Distillation + LoRA 蒸馏出 4 步采样器；(3) 块级自滚动 + 非对称 DMD（反向 KL），解决曝光偏差与蒸馏的 mode-covering；(4) 情节级自滚动 + 分层时序记忆（全局 sink / 慢记忆 / 局部记忆）+ 潜空间连续 + 动作重锚定。最终推理只需 4 步去噪与有界 KV 缓存，在单张 A100 上达到 10.12 TempFPS（30.35 ViewFPS），最长稳定 rollout 约 105 秒。

核心创新是与『记忆条件于真实观测』这一惯例的决裂，以及动作-帧的显式硬绑定。其一，fast-video slow-memory：先前工作的记忆来自编码的真实观测或干净历史帧，推理时输入的是模型自己不产生的数据；PrimeSim 的 KV 记忆在训练时就由学生自己的 rollout 填充——除初始观测外所有记忆条目都来自自身生成历史，训练与推理使用同一套记忆更新机制，这直接解释了 WorldSimProbe T4（环境只对实际实现的运动响应）85.7 的领先，以及 Table 8 中分层记忆对滚动窗口的优势。其二，帧对齐双路动作条件：位移对角注意力掩码强制第 $t$ 帧只能注意 $a_{t-1}$（产生进入该帧转变的那个动作），首帧不接受动作条件；再由轻量 action-frame adapter 将动作 token 直接残差注入帧表征，不依赖可能被视觉特征淹没的注意力路由——两路各司其职：注意力决定『哪个动作管这一帧』，adapter 保证『这个动作真的调制这一帧』。其三，视角感知交错注意力：30 个 DiT 块交替 2:1 的视内/全局注意，并为每视角前置可学习相机 token，保证跨视角信息交换时仍能区分 token 来源。其四，首帧锚定相对动作块：Table 9 显示其 PSNR 24.56 明显高于绝对动作 22.23 与前一帧差分 21.34。

方法步骤详情

完整流程分四步。第一步，数据引擎：原始遥操作/UMI/仿真数据经过四阶段——视频质量过滤（光流运动分数 $M(V)=\sum_{t=1}^{T-1}\sum_{p\in\Omega}\|u_t(p)\|_2^2$ 用于按平台做分布控制而非单纯保留高运动样本；剔除 JPEG 伪影、数值损坏与短于 1 秒的片段）、动作质量过滤（对每个动作通道做一阶差分离群检测剔除传感故障；剔除灵巧手/腿式数据；剔除缺动作且无法由正运动学恢复的数据）、数据对齐（重采样至 10 Hz（容差 0.03 s）、统一 3 个相机位、无提示数据用模板补全、统一转 LeRobot 格式）与动作对齐（用 URDF 正运动学统一末端位姿、旋转统一为 $(x,y,z,w)$ 四元数），得到 2.38B 帧、1.52M 条、84:16 真仿比的语料。第二步，统一动作表征：所有动作转成 31 维固定表示（双臂末端位姿+四元数、全身关节角、二值夹爪、底盘 $(v_x, v_y, \omega)$，缺失槽位填零），并转为锚定窗口首帧的相对动作块：$\tilde{q}_t = q_t - q_0$，$\tilde{p}_t = R_0^\top(p_t - p_0)$，$\tilde{R}_t = R_0^\top R_t$，夹爪与底盘保持不变。第三步，中期训练：两层 MLP 把动作块编码成逐 latent 帧的动作 token，经帧对齐掩码与 adapter 双路注入 30 个 DiT 块，配合视角交错注意力与相机 token，以流匹配损失 $\mathcal{L}_{flow} = \mathbb{E}\|u_\theta^{BD}(x_\tau, \tau, c) - v_\tau\|_2^2$ 训练，条件 $c=(O_t, A_t, \ell)$ 包含观测上下文、动作轨迹与语言提示。第四步，后训练四阶段：Stage 1 用块因果注意力+教师强制（每个噪声块只看之前干净块，Eq. 8）得到 50 步的因果教师 $W_C$；Stage 2 以 $W_C$ 为冻结教师、初始化学生并只训 LoRA，做在线 Causal CD（Eq. 9）得 4 步采样器；Stage 3 学生在自己的生成历史上自滚动，用冻结 $W_{BD}$ 做反向 KL 非对称 DMD——$\nabla_{KL} = (\hat{x}_{0,\phi} - \hat{x}_{0,BD}) / \max(\mathbb{E}|\tilde{x}_0 - \hat{x}_{0,BD}|, 10^{-8})$，配合假分数网络 $v_\phi$ 的流匹配训练（Eq. 10-13）；Stage 4 把自滚动扩展到完整情节（KV 缓存贯穿情节、梯度跨情节累积后单次更新），引入全局 sink + 稀疏慢记忆 + 密集局部记忆的三层 KV 组织，潜空间连续化避免解码-再编码，动作按情节起点重锚定，假分数网络逐窗更新做摊销监督。

技术新颖性

与最相关工作的本质区别体现在四处。对照 DreamDojo（同样做跨具身数据训练）：其动作条件未做帧级硬绑定，PrimeSim 用掩码+adapter 双路，并在 Table 10 中证明组合优于常规 cross-attention+AdaLN（PSNR 24.56 对 23.31）。对照 Ctrl-World、IRASim、GE-Sim 等以真实观测/干净帧为记忆的模型：PrimeSim 是少数把『记忆训练在自己的生成历史上』落到实处的系统，这直接对应 WorldSimProbe T4 的领先（85.7 对 Ctrl-World 77.5）。对照 GE-Sim 2.0（同为 4 步蒸馏三视角系统）：PrimeSim 吞吐约为其 4.5 倍（30.35 对 6.73 ViewFPS），EWMBench 总分 6.09 对 5.82，且 HSD、nDTW、Logics 三项满分。方法论上还有两个较新的组合：asymmetric DMD——用冻结双向教师监督因果学生但不强加双向注意力结构，并用 reverse-KL 的 mode-seeking 特性抵消一致性蒸馏的 mode-covering 模糊化（Table 6 中 Stage 3 相对 Stage 2 把 PSNR 从 24.40 拉回 24.87、LPIPS 从 0.193 降到 0.176）；分层 KV 记忆 + 训练推理同一记忆更新机制，则是把长视频生成的记忆工程移植到动作条件仿真并补上分布一致性的一步。此外，中期训练消融刻意从预训练检查点（而非中期检查点）出发，避免强先验掩盖组件贡献，这一实验设计本身也较严谨。

**Figure 2**: Overview of the data pipeline. Raw demonstrations from teleoperation, UMI, and simulation are converted through four stages: video quality filtering, action quality filtering, action preprocessing, and data alignment. The pipeline produces a unified corpus of 30,110 hours across 20 dataset families and 22 robot platforms.

**Figure 4**: The PrimeSim model architecture. Left: the whole system, including the input data modalities, the VAE, the text encoder and the PrimeSim decoder. Right: the action conditioning mechanisms, a framewise attention mask and a frame-action adaptor.

**Figure 5**: General action representation in PrimeSim, covering single-arm, bimanual, UMI, and wheeled humanoid embodiments.

**Figure 6**: Overview of the post-training pipeline, from the midtrained base model through the four adaptation stages to the deployed simulator.

实验结果

六组实验逐一分析。(1) WorldSimProbe（LIBERO 上对五个开源动作条件世界模型）：PrimeSim 五套件取四冠——T2 全局轨迹覆盖 67.9（领先次优 10.0%）、T3 动作源行为保持 72.3（+41.8%）、T4 交互接地 85.7（对 Ctrl-World 77.5）、T5 交互动力学 37.1（+48.4%），均值 66.6 对次优 Ctrl-World 的 55.5；唯一失守的 T1 局部动作校准 70.2 输给 LingBot-VA 的 77.0，作者坦承细粒度控制精度仍非最优。(2) EWMBench（21 段 AgiBot World 社区划分）：总分 6.09 排名第一（GE-Sim LTX 5.82、COSMOS2 5.79；指令条件阵营最高 EnerVerse-FT 4.70），八维中 HSD 1.000、nDTW 1.000、Logics 1.000 满分，BLEU 0.570 高于最强 GE-Sim 变体 72.7%，但 Dyn 仅 0.666、明显低于 GE-Sim 的 0.78–0.85，是清晰短板。(3) 吞吐：4 步蒸馏后 10.12 TempFPS / 30.35 ViewFPS（288×384/视角，33 帧三视角窗口 3.16 秒），约为 GE-Sim 2.0 的 4.5 倍；连续长 KV rollout 降至 7.63 TempFPS。(4) 中期训练学到什么：三个 held-out 平台（xArm 7 单臂、ViperX 300 双臂、Stanford UMI 夹爪）在 batch size 1、lr 3e-5 下 100–200 步即达动作跟随 rollout，而预训练骨干给 10–20 倍预算（2000 步）仍达不到；XVLA 零样本（场景/相机全未见）PSNR 掉 3.97 dB、LPIPS 涨 0.105，200 步微调恢复大半。(5) 后训练分析：蒸馏带来 9.0× 提速（1.12→10.12 FPS），质量小幅下降（PSNR 26.15→24.87）；长时序（10 条 RoboTwin 2.0 情节，61.0–104.6 秒）上 Stage 4 把均值 PSNR 从 12.572 提到 18.709、ΔPSNR 从 18.305 降到 8.427；同 21 槽预算下分层记忆 (3+9+9) 优于滚动 (3+18)：ΔPSNR 8.427→6.008，末窗 PSNR 18.382→21.027。(6) 策略仿真器：8 个 OpenVLA-OFT 策略（仿真成功率 29.3%–85.0%）在 300 个 LIBERO-Spatial 初始状态上，PrimeSim 与物理仿真器的 Spearman $\rho=1.00$、Pearson $r=0.99$、平均绝对差 2.8 点；Wan2.2-FT 仅 $\rho=0.90$、8.3 点且系统性低估最强三个策略（12.0/12.7/18.3 点）。GRPO（组大小 8）在 PrimeSim 内训 200 步后，LIBERO 成功率 61.7%→73.2%，模型自估 60.1%→71.9%（差 1.6 点），增益完整迁移。消融：相对动作块 PSNR 24.56 > 绝对 22.23 > 前帧差分 21.34；双路动作条件 24.56 对 23.31；多视角机制中仅帧拼接 16.30，加视角 token 升至 23.78，再加视内注意力到 24.56。

**Table 1**: WorldSimProbe results on LIBERO, against five open-source action-conditioned world models. T1–T3 measure action realization; T4–T5 measure interaction response. Bold marks the best value per suite. PrimeSim leads four of the five, all but local action calibration.

**Table 2**: EWMBench scores. Higher is better; Overall is the sum of the eight dimensions. The first block is action-conditioned like ours; the second block is instruction- or text-conditioned and therefore not iso-protocol with ours.

**Table 3**: Inference throughput on a single NVIDIA A100-80GB (bfloat16), measured as steady-state wall-clock throughput per autoregressive chunk under each method's released inference recipe. PrimeSim: 10.12 TempFPS / 30.35 ViewFPS.

**Table 4**: Few-shot adaptation to held-out embodiments. Both initialisations are finetuned under an identical recipe with single-trajectory batches at batch size 1 and lr 3e-5. Entries are gradient steps to an action-following rollout. No action-following rollout was reached within budget for the pretrained backbone.

**Table 5**: Zero-shot transfer to a held-out dataset. XR2 is held-out episodes of repositories seen in pre-training; XVLA is excluded and differs in scene, garments and camera placement. Means ± std over eight validation windows.

**Table 6**: Distillation results. Stage 1 is the causal autoregressive teacher at 50 sampling steps. Stage 2 applies causal KV consistency distillation and Stage 3 causal KV distribution matching distillation (DMD), both reducing inference to 4 steps.

**Table 7**: Long-horizon generation quality averaged over ten held-out RoboTwin 2.0 episodes. Stage 3 uses fixed-length self-rollout training, while Stage 4 extends self-rollout training to complete episodes. The Stage 4 result uses the rolling (3 + 18) cache configuration.

**Table 8**: KV-cache organization ablation for long-horizon generation. Rolling memory allocation denotes sink and rolling slots; hierarchical memory denotes global, slow, and local slots.

**Table 9**: Ablation study on action representation. Best result per metric in bold. Absolute action: 22.23 PSNR; Delta action: 21.34; Relative action chunk: 24.56.

**Table 10**: Ablation study on action conditioning. The Baseline column uses vanilla cross-attention and Adaptive LayerNorm; Ours uses modified cross-attention and token fusion and shifting. The final row combines both mechanisms.

**Table 11**: Ablation study on multiview consistency. Components are added incrementally from naive frame concatenation: frame concatenation only 16.30 PSNR; + view token conditioning 23.78; + intra-view attention 24.56.

**Table 12**: Overview of the datasets used in PrimeSim midtraining (appendix). The corpus covers 20 dataset families and 22 robot platforms converted into the unified LeRobot format.

**Figure 7**: Few-shot adaptation to unseen embodiments. Each pair shows the midtrained model above the pretrained backbone for one platform held out from training: xArm 7, ViperX 300, and the original Stanford UMI gripper. The midtrained model reaches an action-following rollout within 100 to 200 gradient steps; the pretrained backbone does not reach the same regime even at ten to twenty times that budget.

**Figure 8**: Zero-shot and few-shot generation on an unseen setting and camera pose. Both subfigures show the AgileX Piper bimanual arm on XVLA: (a) Without adaptation the model controls the arms and renders the cloth, but the generated cloth state drifts from the commanded action once the motion becomes contact-rich. (b) After 200 gradient steps the arm trajectories and the cloth deformation track the commanded actions much more closely.

**Figure 9**: (a) Success in world model vs. simulator: each point is one OpenVLA-OFT policy evaluated on the same 300 LIBERO-Spatial initial states. (b) Success rate of the SFT policy before and after 200 steps of GRPO post-training inside PrimeSim, measured in the simulator (solid) and in PrimeSim (hatched).

**Figure 10**: Counterfactual action following on LIBERO. Each row shows seven frames sampled uniformly from a single PrimeSim rollout, generated conditional on an action sequence rather than a task prompt. Faithful generation requires the model to respond to the commanded motion rather than replay the recorded one.

**Figure 11**: Joint multiview generation. Rows are cameras (head, left wrist, right wrist); columns are seven frames sampled uniformly across a single 33-frame PrimeSim rollout. The three views are generated together under a single action sequence rather than independently.

**Figure 12**: Memory under occlusion. Five frames from a single RoboTwin 2.0 rollout, head camera. The arm sweeps across the workspace and its hand passes in front of the shoe, so the shoe leaves the camera's view entirely. When the hand clears, the shoe is present again at the same position, scale and orientation.

**Figure 13**: Cloth manipulation rollouts, seven frames sampled uniformly from each. All three are AgiBot G2 humanoid episodes shown from the head camera: a white cloth on a bamboo table beside a metal bowl, and a blue cloth on a bedding surface with a folded garment to its right.

查看结构化数据

任务	指标	本文	基线	提升
WorldSimProbe T2 全局轨迹覆盖（LIBERO）	T2 分数（越高越好）	67.9	Ctrl-World 61.7（五个对比模型中最强）	领先该轴最强竞争者 10.0%（相对）
WorldSimProbe T3 动作源行为保持	T3 分数	72.3	LingBot-VA 51.0	+41.8%（相对次优）
WorldSimProbe T4 交互接地	T4 分数	85.7	Ctrl-World 77.5	+8.2 绝对（+10.6% 相对）
WorldSimProbe T5 交互动力学	T5 分数	37.1	DreamDojo / Cosmos-3-Nano / Ctrl-World 并列 25.0	+48.4%（相对次优）
WorldSimProbe 五套件均值	Mean	66.6	Ctrl-World 55.5	+11.1 绝对
EWMBench 总评（21 段 AgiBot World）	Overall（八维之和）	6.09	GE-Sim (LTX) 5.82；指令条件最佳 EnerVerse-FT 4.70	+0.27 对最强动作条件基线；+1.39 对最强指令条件模型
EWMBench 动作语义	BLEU	0.570	GE-Sim (LTX) 0.330	+72.7%（相对）
推理吞吐（单张 A100-80GB，bfloat16）	ViewFPS / TempFPS	30.35 / 10.12（288×384×3 视角，4 步）	GE-Sim 2.0：6.73 / 2.24；BWM 官方配置：0.75	约 4.5× 于最快外部系统
新平台少样本适配（xArm 7 / ViperX 300 / UMI 夹爪）	达到动作跟随 rollout 的梯度步数	200 / 100 / 200 步	预训练 Wan2.2 骨干：2000 步仍未达到	对方预算为其 10–20 倍仍无法企及
零样本迁移到未见场景（XVLA 衣物折叠）	PSNR / LPIPS	15.82 dB / 0.297（零样本），200 步后恢复大半	同分布 XR2：19.79 dB / 0.192	量化了迁移代价：-3.97 dB / +0.105
长时序自回归质量（10 条 RoboTwin 2.0 情节，61.0–104.6 秒）	ΔPSNR（首窗−末窗，越低越好）/ 均值 PSNR	Stage 4：8.427 / 18.709	Stage 3 块级自滚动：18.305 / 12.572	长时序退化减少约 54%，均值 PSNR +6.14 dB
KV 记忆组织消融（同 21 槽预算）	ΔPSNR / 末窗 PSNR	分层 (3+9+9)：6.008 / 21.027	滚动 (3+18)：8.427 / 18.382	ΔPSNR 再降 2.42 dB，末窗 PSNR +2.65 dB
世界模型内策略评估（LIBERO-Spatial，8 策略 × 300 初始状态）	Spearman ρ / 平均绝对差	ρ=1.00 / 2.8 点	Wan2.2-FT：ρ=0.90 / 8.3 点	排序完全一致，误差缩小约 3 倍
GRPO 在世界模型内做 RL 后训练	LIBERO 物理仿真器成功率	61.7% → 73.2%（200 步，全程未查询物理仿真器）	SFT 初始策略 61.7%	+11.5 个百分点，且模型自估与真值差仅 1.6 点
蒸馏效率（RoboTwin 2.0 held-out）	FPS / PSNR	Stage 3：10.12 FPS / 24.87	Stage 1 因果教师（50 步）：1.12 FPS / 26.15	9.0× 提速，PSNR 仅降 1.28 dB

局限与改进

作者明确承认三点：1）生成分辨率仅 192×256/视角，结论限于『仿真器保真度』而非像素级真实感，未与更高分辨率模型做等视觉质量比较；2）新平台是 few-shot（100–200 步）而非 zero-shot，作者预期更多中期训练 GPU 时数、更紧的动作/状态约定对齐能缩小差距，但明说这是预期而非结果；3）最关键：几乎所有定量证据与全部闭环证据来自仿真（LIBERO、RoboTwin 2.0、AgiBot World），在世界模型内训练的策略只在仿真里验证，真机上的『仿真器角色』仍属开放问题。我自己的补充观察：EWMBench 的 Dyn（动态准确性）只有 0.666，显著低于 GE-Sim 的 0.78–0.85，与 T1 局部校准失冠互相印证——模型擅长轨迹级的动作落实，弱在细粒度、接触密集的动力学；T5 交互动力学的绝对分也只有 37.1，离饱和很远；吞吐对比各行分辨率/视野/步数不匹配（作者自己列了 caveat，PrimeSim 是 288×384+4 步，BWM 官方是 672×896+50 步）；EWMBench 评测集在训练语料内且对比模型在其上做过微调，属 in-domain 比较而非零样本迁移；长 rollout 的均值 PSNR（18.7）与短窗（24.9）之间仍有约 6 dB 差距，长时序质量衰减被缓解但未消除；吞吐随 KV 增长从 10.12 降至 7.63 TempFPS；RL 奖励来自离线 ResNet 成功分类器，存在 reward hacking 风险；所有消融都在单一 embodiment 上做，跨具身机制（如相对动作块取消绝对原点）的价值可能被低估；中期训练与专有语料的算力/数据规模未披露。

独立分析的弱点

独立分析四个弱点并给出改进方向。弱点一，细粒度动作校准与物体动力学不足：WorldSimProbe T1 70.2 落后 LingBot-VA 的 77.0，EWMBench Dyn 0.666 落后 GE-Sim，说明小幅扰动响应和接触密集交互的精度欠佳；改进方向是把动作 token 化做得更细（更高动作帧率、连续控制量分解）、在训练中加入小扰动反事实数据与局部动力学辅助损失，甚至引入力/触觉观测模态。弱点二，闭环证据全在仿真：策略在 PrimeSim 内训练后只在 LIBERO 验证，真机的视觉域差与动力学差完全未测；改进是在 1–2 个真机平台做『世界模型内训练→真机部署』的完整闭环，报告 sim-to-real 成功率迁移矩阵，并量化世界模型误差对策略的系统性偏置。弱点三，长时序衰减虽缓解但未消除（ΔPSNR 仍 6–8 dB，Div 仅 0.010）：长 rollout 中物体状态仍会漂移、生成多样性塌缩；改进包括对象中心的可检索场景记忆、周期性关键帧重锚定、以及在 DMD 参考中引入长窗口教师以约束长程分布。弱点四，评测协议碎片化：吞吐对比分辨率/步数/视野不齐，EWMBench 是 in-domain；改进是推动统一协议（同分辨率、同步数、held-out 数据）的公开评测，或至少报告多条吞吐-质量曲线。另外，奖励用离线 ResNet 分类器容易被策略钻空子，可换成 VLM 判官或世界模型内生的任务进度估计；推理仍需 A100 级算力，边缘部署需要量化/稀疏化工作。

未来方向

作者提出的方向：一是把仿真器角色搬到真机——验证在 PrimeSim 内改进的策略能否在物理硬件上获益，这是结论中明确宣布的下一步；二是靠更多中期训练 GPU 时数、更紧的各语料动作/状态约定对齐、更大更多样的语料，把 few-shot 适配推向 zero-shot。基于其成果可延伸的方向：1）把 GRPO 规模化——目前只用 200 步与 LIBERO-Spatial 十个任务，更长训练、更多任务族、组大小与奖励函数设计都值得系统研究，同时研究世界模型内的 model exploitation 与 reward hacking 现象；2）世界模型当数据引擎——论文已为 WorldSimProbe 构造过扰动轨迹与换物体轨迹，用 PrimeSim 反事实生成扩增 VLA 的 SFT 数据并量化对真机策略的增益，是很自然的延伸；3）可变形物体与接触丰富动力学是 Dyn 低分的直接指向，可引入 3D/几何先验、点云条件或触觉模态；4）与 VLA 联合训练（同一骨干既当策略又当世界模型），或用 PrimeSim 做 offline RL、model-based planning 的想象 rollout；5）记忆机制可探索对象持久性的显式建模——Figure 12 显示遮挡数秒的鞋在重现阶段能保持位置与朝向，说明上限还很高；6）分辨率升级（192×256→更高）后重新校准吞吐-质量权衡，并验证更高分辨率是否进一步改善细粒度校准。

复现评估

复现条件较好但成本分层明显。开源情况：作者明确放出模型权重、推理代码与训练代码，项目页为 primebottech.github.io/PrimeSim-website，这在同类大规模世界模型中相当少见。数据：30,110 小时语料来自 1,773 个仓库、22 个平台，其中开源部分（Open X-Embodiment、DROID、RoboMIND、RoboTwin 2.0、UMI 语料、AgiBot World 等）可获取，但混有 PrimeBot 专有数据，完整复现中期训练语料不可行；好在数据管线描述详尽（四阶段过滤、LeRobot 格式、10 Hz 重采样、3 相机统一、31 维动作规范、四元数 $(x,y,z,w)$ 顺序）。算力：中期训练的 GPU 时数未披露，按 2.38B 帧视频生成训练估计需多机多卡数周量级，普通实验室难以承受；但下游实验非常友好——few-shot 适配只需 batch size 1、学习率 3e-5、100–200 步；蒸馏用 LoRA 冻结骨干；所有评测在单张 A100-80GB 上完成，吞吐基准协议（附录 B）写得很具体。难度评估：站在发布权重上复现后训练、评测与下游应用（策略评估/GRPO）属中等难度，主要工作量在数据格式对齐与三视角预处理；从零复现中期训练属高难度。所用基准（WorldSimProbe、EWMBench、LIBERO、RoboTwin 2.0、AgiBot World）均为公开基准，主表结果基本可独立复验。

论文图表

**Figure 1**: PrimeSim. (a) The midtraining corpus: roughly 30.1K hours of curated robot data spanning humanoid, dual-arm, single-arm and handheld UMI platforms, mixing real and simulated footage. (b) The model is conditioned on a language prompt, a unified action representation, and three camera views; post-training makes generation autoregressive with a selected KV-cache memory at four denoising steps. (c) Capabilities: fidelity, action following, few-shot adaptation, and use as a simulator with r = 0.99 against LIBERO.
全文总览图：左侧是 3 万小时跨具身训练语料（人形/双臂/单臂/手持 UMI，真机+仿真混采）；中间是模型输入输出——语言提示 + 覆盖头/躯干/腰/末端/夹爪/底盘的统一动作表征 + 三个相机视角 → 预测未来帧，后训练后变成 4 步去噪、带选定 KV 缓存记忆的自回归生成器；右侧是四项能力：对先验系统的保真度、对照仿真真值的动作跟随、对未见具身的少样本适配，以及作为仿真器时 PrimeSim 成功率与 LIBERO 物理仿真器成功率的相关性 $r=0.99$。

这是理解全文的最短路径：一图看懂数据规模、模型接口（动作/语言/三视角）、运行方式（4 步自回归+记忆）和最终用途（可训练策略的仿真器）。

**Figure 3**: Overview of the PrimeSim training corpus: 30,110 hours, 2.38B frames and 1.52M episodes from 1,773 repositories over 22 robot platforms, at an 84:16 real-to-simulated ratio. Left: the task-category and embodiment distributions. Right: example frames from each of the five embodiment classes.
训练语料全景统计：30,110 小时、23.8 亿帧、152 万条情节、来自 1,773 个仓库、22 个机器人平台，真实:仿真 = 84:16。左半是任务类别与具身类型的分布（轮式人形占最大份额），右半是五个具身类别（人形、双臂、单臂、手持 UMI 等）的示例帧。

论文『直接用大规模机器人数据替代人类视频对齐』的核心赌注就体现在这些数字上；分布图还解释了为什么过滤掉腿式运动但保留轮式人形（其臂/躯干/底盘命令正好填满接口槽位）。

Figure 14: Generated rollouts on two EWMBench tasks, the qualitative companion of Table 2. Each row shows seven frames sampled uniformly from a single rollout, generated open-loop at 10 FPS from the first frame, the task instruction and the ground-truth action trajectory.

Table 2 的定性配套：两个 AgiBot World 任务的开环 rollout（10 FPS、条件于首帧+指令+真值动作轨迹，按评测用的 480×640 展示）。上：机械臂从传送带抓取瓶子并装箱（箱内已有其他物品）；下：机械臂把面包片放到烤炉旁的盘子上。

让读者直观看到 EWMBench 6.09 分背后的生成质量与语义一致性（高层语义、轨迹对齐、逻辑一致性三项满分对应的画面表现）。

相似论文推荐

WorldLine：面向机器人操作的动作驱动视觉仿真 🎯 77.6%

Pelican-Sim 1.0：面向具身智能的通用世界模型模拟器 🎯 76.8%

RynnWorld-Latent：以通用潜在动作为条件的跨具身世界模型 🎯 73.1%

GE-Sim 2.0：迈向机器人操控的综合闭环视频世界模拟器 🎯 72.4%

DreamDojo：基于大规模人类视频的通用机器人世界模型 🎯 71.6%