RISE：基于组合式世界模型的自我改进机器人策略 RISE: Self-Improving Robot Policy with Compositional World Model
通过组合式世界模型在想象空间中进行强化学习，实现机器人策略的自我改进
前置知识
视觉-语言-动作模型（VLA）
VLA是一类将视觉感知、语言理解和动作生成统一到单一模型中的机器人基础模型。它们通常在大规模网络数据上预训练以获得语义理解能力，然后通过模仿学习在机器人数据上微调以生成可执行的动作序列。例如π0.5就是一个代表性的VLA模型，它使用流匹配（flow matching）架构来生成动作块（action chunk），即未来H步动作的序列。VLA的核心优势在于其泛化能力，但在接触丰富和动态操作任务中仍存在鲁棒性不足的问题。
RISE正是在VLA基础上进行后训练改进，理解VLA的工作原理和局限性是理解本文动机的关键
世界模型（World Model）
世界模型是一种学习环境动态的模型，能够根据当前状态和候选动作预测未来状态。在机器人学习中，世界模型可以作为内部模拟器，让策略在想象空间中进行试错学习，而无需真实的物理交互。世界模型通常分为动态模型（预测未来观测）和价值模型（评估状态价值）两个组件。近年来，基于视频扩散模型的世界模型能够生成高保真的多视角视频，但动作可控性仍是核心挑战。
RISE的核心贡献就是构建了一个组合式世界模型，作为强化学习的想象训练环境
优势函数（Advantage Function）
在强化学习中，优势函数A(s,a)衡量在状态s下采取动作a相比平均水平的好坏程度。它定义为A(s,a) = Q(s,a) - V(s)，其中Q(s,a)是动作价值函数，V(s)是状态价值函数。正的优势意味着该动作优于平均，负的优势意味着该动作劣于平均。在RISE中，优势被离散化为N个均匀的bin，用于条件化策略生成，引导策略向高回报轨迹发展。
RISE使用优势函数作为策略改进的核心信号，将世界模型的评估转化为可操作的学习目标
时序差分学习（Temporal-Difference Learning）
TD学习是一种通过bootstrapping方式学习价值函数的方法。它利用当前估计的未来价值来更新当前状态的价值估计，更新规则为V(s) ← V(s) + α[r + γV(s') - V(s)]，其中r是即时奖励，γ是折扣因子。TD学习能够利用成功和失败的轨迹来建立区分成功与错误的价值函数，相比纯进度估计对细微失败更敏感。
RISE将TD学习与进度估计结合用于训练价值模型，这是其能够敏感检测接触丰富操作中细微失败的关键设计
研究动机
当前视觉-语言-动作模型（VLA）在接触丰富和动态操作任务中表现脆弱，微小的执行偏差会累积成失败。模仿学习（IL）作为VLA的核心机制，本质上受限于专家演示的质量和覆盖范围，同时存在曝光偏差（exposure bias）问题：一旦机器人略微偏离专家轨迹，就缺乏恢复技能来纠正方向，导致复合误差。强化学习（RL）虽然提供了通过自身成功和失败来改进的原理性路径，但在物理世界中面临严重瓶颈：硬件成本高昂、交互串行且耗时、需要人工监控和环境重置。在虚拟模拟器中，智能体可以并行进行大量交互，状态和奖励更新都是可控和可访问的，但这些特性在真实物理环境中并不成立。之前的真实世界RL方法被迫大量重用离线数据，存在严重的分布偏移问题，策略改进受限于缺乏足够的在线数据流。
本文的目标是本文的目标是建立一个可扩展的机器人强化学习框架RISE，通过将学习环境从物理世界转移到想象空间，实现自主的自我改进。具体目标包括：在不进行昂贵物理交互的前提下，实现在线策略强化学习；在动态砖块分拣任务上相比基线方法提升至少35%的成功率；在背包打包和封箱等接触丰富任务上验证方法的有效性；构建一个能够快速生成高保真未来状态的世界模型，生成延迟不超过2秒。
与已有工作不同的是，RISE的独特切入角度在于将世界模型不仅仅视为预测工具，而是作为强化学习的交互式训练环境。与先前工作不同，RISE避免了显式模拟终端状态来获取奖励，而是直接为候选动作产生块级优势（chunk-wise advantage）。这种设计的关键洞察是：通过将世界建模分解为动态预测和价值估计两个独立目标，可以为每个组件选择最适合的架构和训练目标。此外，RISE通过任务中心批处理策略（Task-Centric Batching）优先考虑同场景下的动作多样性而非场景多样性，显著提升了动作可控性。这种组合式设计使得世界模型能够提供快速且忠实的多视角状态预测，支持自我改进循环的高效运行。
核心方法
RISE的核心思想可以用一个类比来理解：就像一个棋手通过在脑中推演多种可能的棋局来提升棋艺，RISE让机器人通过在想象空间中进行大量试错来改进策略。具体技术路线如下：首先构建一个组合式世界模型，它由两个独立组件组成——动态模型负责根据当前观测和候选动作预测未来的多视角视觉状态，价值模型负责评估这些想象状态的价值并计算优势信号。然后建立一个策略预热阶段，利用离线收集的数据（包括专家演示、策略成功和失败的滚动、人工纠正）将策略锚定到物理合理的行为分布上，并赋予其优势条件化能力。最后进入自我改进循环，策略在想象空间中生成动作提议，世界模型评估这些动作并计算优势，策略根据优势信号进行在线更新，整个过程无需真实的物理交互。
RISE最本质的创新在于将世界建模问题分解为动态预测和价值估计两个独立但协调的子问题，并为每个子问题选择最适合的架构。动态模型基于高效的视频扩散模型Genie Envisioner构建，继承了LTX-Video的架构优势，在生成质量和推理速度之间取得良好平衡——合成25个多视角观测仅需不到2秒，相比Cosmos的10分钟实现300倍加速。价值模型则基于预训练的VLA策略π0.5构建，继承了机器人中心的理解能力。这种组合式设计的核心优势在于：动态模型可以专注于高保真状态预测，而价值模型可以专注于准确的回报估计，两者各司其职又相互配合。更重要的是，这种设计避免了在推理时引入任何计算开销，因为世界模型仅在训练阶段使用。
方法步骤详情
RISE的完整流程包括以下步骤：第一步是组合式世界模型的训练。动态模型首先在大规模动作标注数据集（Agibot World和Galaxea）上预训练，采用任务中心批处理策略，每个批次从少量任务中采样，优先覆盖同一场景下不同动作的样本，以提高动作可控性。价值模型从预训练的π0.5初始化，先用进度估计损失Lprog进行预热，再加入时序差分学习损失LTD进行联合训练。第二步是策略预热。在离线数据上微调预训练策略，用学到的价值模型标注优势信号，只对滚动数据标注学习到的优势，而专家和人类纠正数据直接配对最优优势值1。第三步是自我改进循环。滚动阶段：从离线数据集中采样初始状态，用最优优势1提示滚动策略生成动作提议，输入动态模型合成未来状态，价值模型评估实际优势并离散化。训练阶段：在线滚动数据与离线数据混合，训练策略在给定评估优势A的条件下生成动作。
技术新颖性
RISE在技术新颖性上有多方面突破。首先，与先前需要显式模拟终端状态来获取奖励的世界模型方法不同，RISE直接为动作块产生优势信号，避免了长时程预测的不可靠性问题。其次，任务中心批处理策略是独特的设计选择，它优先考虑动作多样性而非场景多样性，实验表明这能将完成率从40%提升到70%。第三，价值模型的双重训练目标——进度估计提供学习稳定性，TD学习提供失败敏感性——两者结合既保证了单调时序结构的理解，又能区分成功与细微错误。第四，动态模型的噪声调度设计，对上下文帧施加比原始GE-base训练更强的噪声，提高了遇到运动模糊和视觉伪影时的生成鲁棒性。最后，整个世界模型仅在训练阶段使用，推理时零开销，这使得RISE在实际部署中具有实用性优势。
实验结果
RISE在三个真实世界任务上进行了全面评估，结果显示其显著优于所有基线方法。在动态砖块分拣任务中，RISE达到85%的成功率，相比RECAP的50%提升35个百分点，相比π0.5基线的35%提升50个百分点。值得注意的是，直接应用在线RL方法（PPO和DSRL）反而导致性能严重下降，PPO将成功率从35%降至10%，DSRL同样降至10%，这验证了在物理世界中直接进行在线RL的不稳定性。在背包打包任务中，RISE达到85%的成功率，相比RECAP的40%提升45个百分点，相比π0.5的30%提升55个百分点。在封箱任务中，RISE达到95%的成功率，相比RECAP的60%提升35个百分点，相比π0.5的35%提升60个百分点。消融研究进一步验证了各组件的必要性：去除任务中心批处理将完成率从70%降至40%；去除进度估计损失将成功率降低20%；去除TD学习导致35%的下降。在线动作和状态的引入也至关重要，在线动作将成功率从35%提升到40%，在线状态进一步提升到70%。动力学模型的定量比较显示，RISE在PSNR、LPIPS、SSIM、FVD和EPE等所有指标上均优于Cosmos和Genie Envisioner基线。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 动态砖块分拣 | 成功率 | 85% | RECAP 50% | +35% |
| 背包打包 | 成功率 | 85% | RECAP 40% | +45% |
| 封箱 | 成功率 | 95% | RECAP 60% | +35% |
| 动态砖块分拣 | 得分 | 9.78 | RECAP 9.00 | +0.78 |
| 背包打包 | 得分 | 9.50 | RECAP 6.13 | +3.37 |
| 封箱 | 得分 | 9.88 | RECAP 8.13 | +1.75 |
局限与改进
RISE存在几个方面的局限性。首先是想象与现实之间的差距：尽管组合式设计提高了可控性和一致性，但在罕见或代表性不足的场景中，模型仍可能产生物理上不合理的状态转移。这需要未来在不确定性感知想象和物理约束的原理性整合方面进行探索。其次是模拟与真实数据的平衡问题：实验结果表明，相当数量的真实世界数据对于锚定学习过程仍然是必要的，但模拟滚动和真实经验之间的最优比例需要进一步调参。第三是从物理成本到计算成本的权衡：虽然RISE将机器人学习的主要瓶颈从物理交互转移到了计算，但训练高保真世界模型本身就需要高昂的计算成本，动态模型预训练需要16块H100 GPU运行7天，微调需要8块H100运行3天。从失败模式分析来看，动态砖块分拣中的失败主要源于时间不一致性（跟踪失败或抓取滑移）和分类噪声；背包打包中的高可变形性导致装载失败和提升不稳定性；封箱中的紧密几何公差导致装载不完整或双臂同步错误。
独立分析的弱点
从独立分析的角度，RISE存在以下弱点及其改进方向。第一，世界模型的可靠性边界问题：在任务中心批处理策略下，模型对高频、高多样性的场景覆盖可能不足，特别是在长尾分布的操作场景中。改进方向可以引入课程学习策略，逐步增加想象场景的复杂度和多样性。第二，价值模型的泛化能力：当前价值模型基于特定任务数据微调，对新任务的零样本泛化能力有限。可以通过元学习或多任务预训练来增强价值模型的适应性。第三，自我改进循环的收敛性：论文中固定进行10k步自我改进，但缺乏理论保证何时收敛。可以引入自适应停止准则，基于优势分布的变化率来判断何时停止。第四，离线数据的依赖：尽管RISE减少了物理交互，但仍需大量离线数据进行预热。可以通过主动学习策略，选择性地收集最有价值的离线数据来减少数据需求。第五，多视角一致性：虽然RISE支持多视角输入，但在视角之间的一致性维护上仍有改进空间，特别是在遮挡和视角切换场景中。
未来方向
基于RISE的成果，未来研究方向包括：作者提出的不确定性感知想象方向，通过引入概率建模来量化世界模型预测的不确定性，从而在策略优化中考虑模型误差。物理约束的原理性整合方向，将几何、动力学等物理先验显式编码到世界模型中，提高想象的物理合理性。计算效率优化方向，通过模型压缩、蒸馏或更高效的架构来降低世界模型的训练和推理成本。跨任务迁移方向，探索如何将在一个任务上学到的世界模型知识迁移到相关任务，减少新任务的数据需求。此外，可以探索将RISE扩展到更复杂的长时程任务，如需要多步推理和规划的桌面整理或厨房操作任务。还可以研究如何将RISE与大语言模型结合，实现更高级的任务理解和分解能力。
复现评估
RISE具有良好的可复现性。代码已在GitHub开源（https://github.com/OpenDriveLab/RISE），采用Apache License 2.0许可。数据方面，动态模型预训练使用的Agibot World数据集采用CC BY-NC-SA 4.0许可，Galaxea数据集采用Apache-2.0许可，Bridge数据集采用CC-BY 4.0许可，均为公开数据集。算力需求方面，动态模型预训练需要16块NVIDIA H100 GPU运行约7天，任务特定微调需要8块H100运行约3天，价值模型训练需要8块H100运行约1天，策略自我改进需要8块H100。整体复现难度中等偏高，主要挑战在于大规模GPU资源的需求和多阶段训练流程的协调。对于资源有限的研究者，可以考虑使用较小的模型变体或减少训练步数来降低计算成本，但可能会影响最终性能。
论文图表
