GE-Sim 2.0：迈向机器人操控的综合闭环视频世界模拟器 GE-Sim 2.0: A Roadmap Towards Comprehensive Closed-loop Video World Simulators for Robotic Manipulation
首个闭环视频世界模拟器，支持状态预测和奖励评估
前置知识
动作条件视频生成
给定初始观测和动作轨迹，生成未来视频帧的生成式模型。将低级控制信号映射到高维视觉空间，通过条件扩散模型实现。公式为 $x_{1:N}^t = S(x_0, m_{0:t-1}, A_t)$，其中 $x_0$ 是初始观测，$m$ 是记忆，$A_t$ 是动作轨迹。
这是GE-Sim 2.0的核心技术基础，理解动作如何映射到视觉变化对于阅读论文的方法部分至关重要。
扩散模型
通过学习逆扩散过程从噪声中逐步恢复清晰数据的生成式模型。训练目标是预测去噪速度 $v_\theta$，损失为 $\mathcal{L} = \|v_\theta - (\epsilon - l) \odot (1-M)\|^2$。推理时从随机噪声开始，通过多步去噪生成样本。
论文中的视觉专家和状态专家都基于扩散模型，理解其训练和推理过程是理解整个系统运作机制的关键。
本体感觉
机器人通过内部传感器获取的自身状态信息，如关节角度、夹爪开合度等。在本文中表示为16维向量 $s_t = [\theta_L^t, g_L^t, \theta_R^t, g_R^t]$，包含双臂各7个关节角度和夹爪开度。
现有视频模拟器只预测视觉状态，缺失本体感觉。本文的状态专家正是为解决这一关键缺陷而设计。
闭环学习
策略模型与模拟环境交互，根据环境反馈更新自身参数的学习范式。策略输出动作，模拟器执行并返回观测和奖励，策略基于此调整。支持强化学习和在线学习。
论文的核心目标是构建支持闭环学习的世界模拟器，理解这个概念才能领会为何需要同时提供视觉、本体感觉和奖励信号。
流匹配
扩散模型的一种现代化训练目标，直接学习从噪声分布到目标分布的向量场。给定目标latent $l$ 和噪声latent $\tilde{l} = (1-\sigma_\tau)l + \sigma_\tau \epsilon$，模型预测去噪速度 $v_\theta$。
论文中视觉专家和状态专家都采用流匹配目标训练，这是理解损失函数和训练过程的基础。
步蒸馏
加速扩散推理的技术，将多步教师模型蒸馏为少步学生模型。使用DMD2框架，通过分布匹配梯度 $\nabla_{DMD} = \frac{x_{fake}^0 - x_{teacher}^0}{x_{student}^0 - x_{teacher}^0}$ 迫使学生输出接近教师分布。
论文的加速框架核心是步蒸馏，理解这个技术才能明白如何在保持质量的前提下将推理步数压缩到4步。
研究动机
现有机器人操控策略评估面临严重瓶颈。真实机器人基准测试速度缓慢且难以复现，一个成功或失败案例可能需要数分钟到数小时收集，且环境设置、物体磨损等不可控因素影响结果一致性。传统物理模拟器在接触动力学、可变形物体、细粒度视觉外观，甚至机器人自身驱动方面存在严重缺陷，谐波传动器的弹性等实际物理效应常被抽象掉。而通用视频生成模型虽能生成逼真视频，但无法提供策略闭环交互所需的要素。它们只预测未来视觉状态，不提供本体感觉状态，而现代策略严重依赖关节角度和夹爪状态等信息。它们渲染rollout但不评估质量，缺少可验证的成功信号。它们的推理吞吐量远低于大规模并行评估所需的水平。这些差距使得我们无法快速、可靠地评估日益复杂的操控策略。
本文的目标是构建一个综合的闭环视频世界模拟器，不仅能够生成高保真的操控视频，还能提供策略闭环交互所需的全部要素。同时预测视觉观测和本体感觉状态，输出机器可验证的奖励信号，并具备高推理吞吐量。目标是让策略模型能够在模拟器中运行，其决策和执行结果能够与真实机器人一致，从而实现可扩展的自动化评估和基于奖励的闭环学习。
与已有工作不同的是，本文的独特切入角度是认识到现有方法都停留在仅视觉层面，未能构建真正的闭环系统。与已有工作不同，GE-Sim 2.0不是简单地改进视频生成质量，而是系统性地填补了三个关键缺口。第一个缺口是通过状态专家从视频latent解码本体感觉状态，解决策略对关节空间信息的依赖。第二个缺口是通过世界法官评估rollout并提供机器可验证的成功信号，消除对人工检查的依赖。第三个缺口是通过步蒸馏和随机跨度训练加速推理，使大规模并行rollout变得可行。这种从视觉预测器到闭环平台的范式转变是本文的核心创新。
核心方法
GE-Sim 2.0是一个双专家并行架构，共享相同的动作条件。视觉专家是一个动作条件的扩散Transformer，遵循分块自回归生成和稀疏记忆框架，生成未来视频块。本体感觉状态专家与视觉专家并行运行，通过交叉注意力消费视觉专家的中间特征，从视觉上下文预测相应的关节空间状态序列。两个专家的输出共同构成策略下一块动作预测所需的完整观测，实现从纯视觉渲染到策略交互源的扩展。世界法官作为外部模块，在闭环推理期间逐帧评估世界模拟器生成的rollout，输出任务完成成功信号。整个系统分阶段训练。首先在数千小时真实机器人数据上训练视觉专家。然后冻结视觉专家训练本体感觉状态专家。世界法官独立训练。最后应用基于蒸馏的加速框架。
核心创新在于将仅视觉视频世界模型升级为全观测闭环模拟器。与已有方法仅关注动作视频映射不同，GE-Sim 2.0引入了三个协同组件。第一个组件是状态专家，通过跨注意力从视觉专家特征解码关节角度和夹爪状态，提供策略所需的本体感觉观测。第二个组件是世界法官，作为任务感知的奖励模型，将rollout转换为机器可验证的成功信号。第三个组件是加速框架，通过步蒸馏和随机跨度训练，将多步扩散压缩为少步推理。这三个组件共同使系统从被动视频生成器转变为主动的策略训练驱动器。另一个关键创新是统一的动作表示，通过相机内外参将末端执行器轨迹渲染为空间对齐的姿态图和光线图，所有组件共享这一表示，确保条件一致性。
方法步骤详情
方法包含四个主要步骤。第一步是动作条件视频生成。视觉专家采用latent空间条件注入，每步输入由四个通道组成。包括16通道噪声视频latent、6通道像素光线图、3通道末端执行器姿态图和1通道记忆掩码。训练采用流匹配目标，仅在预测帧上计算损失。第二步是本体感觉状态预测。状态专家是轻量级Transformer块堆栈，消费视觉专家所有层的加权融合特征作为跨注意力的键和值。每帧本体感觉状态是16维向量，包含双臂关节角度和夹爪开度。训练时对历史帧应用时间索引扰动和历史轨迹重采样，增强闭环鲁棒性。第三步是世界法官评估。使用冻结的视觉编码器，每帧单独输入并附加专用令牌，取其隐藏状态作为帧表示。训练目标为每帧二元成功分类，采用类别平衡的二元交叉熵损失。第四步是加速。通过DMD2框架将多步扩散蒸馏为少步，训练时随机化学生去噪步数以支持灵活推理配置。通过随机跨度训练使推理时最多4倍帧跳过。组合起来，世界模型在单张H100上约2.3秒生成100帧rollout。
技术新颖性
技术新颖性体现在多个方面。首先，这是首个系统性地将视频世界模型扩展为闭环模拟器的工作，同时提供视觉、本体感觉和奖励三个观测维度。其次，状态专家采用跨注意力机制消费视觉专家特征而非重新编码，实现轻量化和高效率。第三，世界法官专注单一成功预测而非进度偏好双重目标，更好地适应包含错误恢复行为的真实轨迹。第四，统一动作表示将末端执行器姿态和相机几何分解为光线图和姿态图两个通道，这对腕部相机等运动敏感视角特别重要。第五，记忆帧误差模拟通过预编码扰动、局部退化和多视图同步外观变化，近似自生成记忆帧的错误模式，缓解训练推理分布偏移。最后，步蒸馏与随机跨度训练结合，在保持质量的前提下实现高吞吐量。
实验结果
实验验证了GE-Sim 2.0的核心主张。在WorldArena公开排行榜上，尽管仅用2B参数，GE-Sim 2.0获得最高总分，超越专用机器人世界模型和闭源通用视频生成器。六个操控任务的逐任务重放指标显示优势在每项任务上成立。头部视图PSNR较Ctrl-World提升3.96dB，较DreamDojo提升5.67dB。FID减半至32.3，FVD降低至481。在更难的多视图设置中，PSNR达到20.80dB，FID为24.92，FVD为613.5。长时序稳定性分析表明，GE-Sim 2.0在50秒rollout中PSNR从24.84降至21.08dB，降幅不到4dB，而基线模型在第一段后急剧下降。闭环评估显示任务级成功率对齐最佳，带状态条件的模型拟合趋势斜率接近1。情节级一致性显示带状态条件时准确率从0.63和0.74提升至0.81，召回率从0.25和0.67提升至0.82。世界法官在WM模式下准确率达79%，比Qwen3.5高出19个百分点，事件距离从57.8帧降至28.2帧。WM过滤的行为克隆在三个任务上成功率分别提升0.15、0.10、0.20，平均从0.417提升至0.567。消融研究确认状态专家提升情节级准确率和召回率，世界法官比通用VLM准确率高19个百分点且能识别Clean mirror stains任务的成功帧。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WorldArena综合得分 | 总分 | 第一名 | Ctrl-World、DreamDojo、Sora、Veo等 | 超越所有对比模型 |
| 六任务平均PSNR（头部视图） | PSNR↑ | 23.05 dB | Ctrl-World 19.09 dB | +3.96 dB |
| 六任务平均FID（头部视图） | FID↓ | 32.28 | Ctrl-World 62.70 | -48.5% |
| 六任务平均FVD（多视图） | FVD↓ | 613.5 | Ctrl-World 1527.5 | -59.8% |
| 世界法官准确率（WM模式） | 准确率↑ | 79% | Qwen3.5-122B 60% | +19 pp |
| WM过滤BC平均成功率 | 成功率↑ | 0.567 | 基础策略 0.417 | +0.150 |
局限与改进
作者承认的局限包括：接触丰富任务仍存在错误，Pull out plug和Command grasp等对接触状态敏感的任务上仍会出现假阳性和假阴性，表明细粒度接触状态和长时序状态累积仍具挑战性。世界法官在Pour water和Borrow flame任务上与真值的差距表明检测液位和火焰传递等小尺度视觉信号仍是开放挑战。WM模式和GT模式准确率之间约8pp的差距反映模拟器假象带来的误差份额。本文观察到的局限包括：状态专家在Command grasp任务上反而略微降低准确率，说明某些任务对精确关节状态恢复依赖较低。世界法官在Command grasp任务上不如通用VLM，提示离散物体抓取事件可能不需要任务感知专家模型。多视图设置的PSNR仍低于头部视图，说明跨视图一致性仍有提升空间。长时序rollout中仍有约4dB的PSNR衰减，暗示误差累积问题未完全解决。当前训练数据仅限于双臂遥操作和固定实体型，泛化到不同实体型和更广泛操控视频的能力尚未验证。
独立分析的弱点
独立分析的弱点包括：接触建模精度不足，虽比基线好，但Pull out plug等任务上的错误表明细粒度接触力、摩擦、弹性等物理细节仍难以准确模拟。改进方向是引入接触感知的显式建模，或将接触状态作为单独条件注入。状态漂移累积，长时序rollout中PSNR衰减约4dB，说明自生成记忆帧的误差会累积。改进方向是加强记忆帧误差模拟，或引入周期性重置机制。世界法官对小尺度信号敏感度低，液位和火焰传递检测困难。改进方向是引入时序聚合或高分辨率帧分析模块。多视图一致性有待提高，多视图PSNR低于单视图。改进方向是增强跨视图注意力，或引入视图一致性损失。实体型泛化受限，当前仅固定双臂。改进方向是收集跨实体型数据，或开发实体型条件注入。加速与质量权衡，虽压缩到4步，但进一步加速可能损害质量。改进方向是探索一致性蒸馏或自适应步数策略。
未来方向
作者提出的未来方向包括：数据和模型扩展，当前专注方法论，基础模型在固定实体型上训练，通用具身世界模拟器需要扩展到大规模跨实体型、自视角和UMI风格数据以及更广泛操控视频，系统研究数据和模型缩放行为。从外部法官到统一模型，当前世界法官是外部模块，适用于任务成功评估，长期形式是统一状态解码和成功判断到单一世界模型，其前向传播联合产生未来帧、本体感觉状态和任务完成信号，移除单独奖励网络并让奖励信号继承世界模型大规模学习到的先验。从离线过滤BC到在线闭环学习，实验显示rollout和奖励已可通过过滤行为克隆改进真实机器人策略，自然延续是模拟器内在线策略学习和强化学习，将系统从评估器和数据过滤器推进为策略训练环境。验证更广泛的策略系列，当前闭环和消融研究仅用单一VLA策略族，在更广泛策略上验证GE-Sim 2.0是有用的下一步。基于成果可延伸的方向包括：探索任务自适应奖励模型，针对不同任务类型训练专门法官。研究状态专家的替代方案，如直接从latent预测接触力或物体姿态。开发主动数据收集策略，利用模拟器识别薄弱区域并指导真实数据收集。探索与其他世界模型的集成，如物理引擎和神经模拟的混合架构。
复现评估
复现评估：论文声称是开源的，项目主页https://ge-sim-v2.github.io/提供代码和模型。核心模型使用Cosmos-Predict2-2B-Video2World DiT作为骨干，这是一款公开可用的模型。训练数据描述为数千小时真实机器人数据，涵盖遥操作记录、机器人上策略部署rollout和大量物体交互轨迹，但数据集本身可能未完全公开，这是机器人学习领域的常见限制。训练配置论文提供了详细描述。视觉专家采用流匹配目标，损失仅在预测帧上计算。状态专家在冻结视觉专家上训练，采用相同流匹配目标但仅对未来本体感觉状态计算损失。世界法官采用类别平衡二元交叉熵。加速框架使用DMD2蒸馏，训练时随机化学生去噪步数。评估协议清晰，六个任务各20个评估情节，使用特定策略，Replay模式固定动作轨迹测量重放质量，闭环模式重新运行策略测量结果一致性。基线对比包括Ctrl-World和DreamDojo，两者均公开模型权重和推理代码，使匹配条件下评估可行。硬件方面，25帧rollout在单张H100上2.3秒完成，这暗示推理在单个GPU上即可运行，门槛相对较低。然而，完整训练需要数千小时数据和大量计算资源，完整复现训练过程可能具挑战性。论文提供了详细的消融研究，验证各组件贡献，增强了结果可信度。总体而言，推理复现应较为可行，训练复现可能受数据可用性限制。
论文图表
