从观察与交互中规划：在线潜空间世界模型使真实世界逆向强化学习从观察中实现 Planning from Observation and Interaction
首个真实世界从零起步的逆向强化学习，仅需观察与交互即可学视觉操控
前置知识
逆向强化学习（IRL）
IRL 假设专家通过优化某个未知奖励函数 $R$ 来执行任务，学习的目的是同时恢复出奖励 $r \in \mathcal{R}$ 与策略 $\pi \in \Pi$，即求解 $\arg\max_{r\in\mathcal{R}} \mathbb{E}_{\pi_E}[r] - \max_{\pi\in\Pi}\mathbb{E}_{\pi}[r]$ 的学徒式博弈。在 IRLfO（IRL from Observation）中，演示数据 $D=\{(o_1,\dots,o_{T_i})\}$ 仅包含观察序列，不提供专家动作或奖励标签，因此奖励必须与最优策略协同从观察中学出。IRLfO 相比行为克隆（BC）能用更少演示，但代价是要在真实机器人上做大量在线交互，对样本效率极敏感。
MPAIL2 的核心研究对象就是 IRLfO，所有架构设计都围绕如何在没有动作和奖励监督的情况下仍能在真实机器人上学出视觉操控任务。
潜空间世界模型（Latent World Model）
潜空间世界模型通过编码器 $z_t = e_\omega(o_t)$ 把高维观察 $o_t$ 压到潜状态 $z_t$，再由动力学 $z_{t+1} = f_\psi(z_t,a_t)$ 在潜空间内做前向预测。该潜状态既能作为规划的状态表征，也能作为奖励与价值函数的输入，从而避免在像素空间预测与对抗训练。训练时通常采用折扣多步潜空间预测损失 $\mathcal{L}_{e,f}(\omega,\psi) = \mathbb{E}_{\tau\sim B}\sum_{t'=t}^{t+H}\rho^{t'-t}\|\hat z_{t'} - \mathrm{sg}(z_{t'})\|_2^2$，通过停止梯度 $\mathrm{sg}(\cdot)$ 防止表征坍塌。
本文贡献之一是把世界模型引入 IRLfO，让奖励学习被限制在受交互数据支持的潜空间内，大幅提升了样本效率，是实验 Q1 中"世界建模是 IRLfO 效率关键"结论的技术基础。
模型预测路径积分（MPPI）
MPPI 是一种基于采样的模型预测控制算法：在每个时刻从提议分布采样大量 $K$ 条 $H$ 步轨迹，用累积回报 $\sum_t \gamma^t \hat r_t + \hat q_{t+H}$ 给每条轨迹打分，然后以 softmax 加权的方式生成最终动作。本文中策略网络 $\pi_\phi$ 只负责采样一小部分 warm-start 计划，其余计划从当前提议采样，最终动作由 MPPI 综合二者生成。这种"基于规划的执行者"比纯策略网络在对抗训练中更鲁棒，因为即使策略退化，规划仍可基于已学到的奖励和价值函数恢复动作。
MPPI 是 MPAIL2 实现 IRLfO 在真实机器人上稳定的关键组件，去掉它（[-P] 消融）会导致成功率急剧下降，是 Q1 第二个观察的技术核心。
off-policy 训练与 $\lambda$-回报
off-policy 训练指从重放缓冲区 $B$ 采样历史转移 $(o,a,o')$ 来更新网络，可大幅提升样本效率。$\lambda$-回报 $G^\lambda_t$ 是 TD($\lambda$) 在多步想象轨迹上的递归定义 $G^\lambda_t = \lambda \hat q_t + (1-\lambda)\hat r_t + \gamma G^\lambda_{t+1}$，混合即时模型奖励 $\hat r$ 与引导值 $\hat q$，通过 $\lambda\in[0,1]$ 控制偏差-方差权衡。本文用 Q 集成（Q-ensemble）做方差削减，并用 Polyak 慢更新目标网络 $\bar Q_\zeta$ 提供稳定的引导目标。
本文反复强调 off-policy 优化是稳定对抗训练的前提：在 [−O] 消融中，把奖励/价值/策略改回 on-policy 后即便保留世界模型和规划器，样本效率和稳定性都显著下降。
梯度惩罚（Gradient Penalty, GP）
梯度惩罚源自 WGAN-GP，是在对抗训练中替代权重裁剪的正则化项 $\mathrm{GP}(r,B,D)$，约束判别器（即学习到的奖励 $r_\theta$）相对于其输入的梯度范数接近 1，避免在重放数据分布外的区域产生病态输出。在 IRLfO 设置下，奖励函数必须能可靠地评估规划采样的状态（这些状态可能不在线下分布内），GP 因此是奖励覆盖率的关键保障。
奖励目标 $\arg\max_r \mathbb{E}_D[r] - \mathbb{E}_B[r] - \beta \cdot \mathrm{GP}(r,B,D)$ 是 MPAIL2 学徒式目标的完整公式，理解 GP 的作用对读懂奖励稳定性至关重要。
研究动机
当前机器人学习方法存在三类显著的工程瓶颈：手写奖励函数、特定任务的仿真建模、以及动作监督（如遥操作）。三者都依赖领域专家、模拟器搭建和大量操作工时。为了摆脱这些瓶颈，研究界长期追求一种自监督范式——从观察中逆向强化学习（IRLfO），即只给定任务视频演示、不提供动作或奖励标签就学会操控。然而 IRLfO 一直被认为在真实机器人上不可行，主要原因有两点：第一，IRL 必须同时优化奖励函数与策略，对在线交互样本量的需求远高于普通 RL，已有方法普遍需要数千次策略 rollout，例如 MAIRL、DAC、MA-AIRL 都严重依赖仿真预训练才能上机器人；第二，传统策略网络在对抗训练中极不稳定（梯度博弈导致策略发散），导致真实部署的鲁棒性很差。论文用一句话概括这一困境：real-world IRL "has largely been impractical for real-world robot learning primarily due to policy brittleness and poor sample efficiency"。这种瓶颈使得即便拥有充足的真实机器人硬件，也无法在合理时间内（例如 1 小时内）从零开始学出一个视觉操控策略。
本文的目标是本文的具体目标是设计并验证 MPAIL2，使 IRLfO 首次在真实机器人上以"从零起步、仅靠观察和交互"的方式变得实用。量化目标包含三个层面：（1）在仿真与真实机器人上均能学出"推方块"和"抓放"等典型视觉操控任务；（2）训练时间压缩到 40 分钟以内，对照同等交互预算下的 RLPD 和 Diffusion BC；（3）首次在真实机器人上演示"正向在线迁移"——从已学任务迁移到新方向任务并取得正向加速。作者明确写道要让 MPAIL2 成为第一个"learning visual manipulation in the real world from scratch"的 IRL 方法，以及第一个 real-world "positive online transfer across visual manipulation tasks from scratch"。
与已有工作不同的是，已有真实世界 IRL 工作（如 MAIRL）通常依赖预训练视觉特征或仿真先验，且大多需要动作监督；MPAIL（前作）虽然展示了规划对鲁棒性的帮助，却仍然依赖仿真产生大量数据并通过 Real-to-Sim-to-Real 流程才能上机器人。本文的核心切入角度是把"潜空间世界建模 + 离策略对抗优化 + 在线规划"三者组合到一个 IRLfO 框架中，从而彻底摆脱仿真、奖励和动作监督。具体而言：世界模型提供样本效率，离策略对抗保证奖励在历史交互上不收敛到常数，规划保证策略在对抗训练下不发散。这一组合在先前 IRLfO 文献中尚未被系统研究，且第一次以 96 次独立真实机器人 run 的规模做了统计显著性验证。这一规模本身就是对"真实世界 IRL 是否可统计研究"这一开放问题的回答。
核心方法
MPAIL2 的整体思路是建立一个自监督的潜空间世界模型，并在其上同时做对抗式奖励学习、off-policy 价值学习与多步策略学习，最后用基于采样的规划器 MPPI 把决策权交给规划而非策略网络。直觉上可这样理解：先让机器人通过自监督的潜动力学"理解"环境（即用编码器-动力学重建未来潜状态），再借助少量人类演示（仅有观察序列）以对抗式学徒学习的方式训练一个"判断专家-自己"的奖励函数；最后在每个决策时刻，让规划器用这个学到的奖励在潜空间内采样大量候选动作轨迹并挑选回报最高的那条，从而绕开了传统策略网络在对抗训练中易崩溃的问题。技术路线上，MPAIL2 把五个组件——编码器 $e_\omega$、潜动力学 $f_\psi$、对抗奖励 $r_\theta$、Q 集成价值 $Q_\zeta$、多步策略 $\pi_\phi$——以独立损失函数联合训练，并外接一个 MPPI 规划器做最终动作选择。
MPAIL2 的核心创新是三件事的耦合：潜空间世界模型 + 离策略对抗 IRL + 基于 MPPI 的规划执行。与已有 IRLfO 方法的本质区别在于：（1）奖励学习不再依赖仿真预训练或 on-policy rollout，而是直接被锚定在由真实交互数据 $(o,a,o')$ 训练出来的潜空间 $z=e_\omega(o)$ 上，从而保证奖励只对"机器人见过的状态"有意义；（2）奖励与价值都用 off-policy 目标从重放缓冲区 $B$ 采样更新，避免 on-policy IRL 中奖励收敛到常数的问题 $\arg\max_{r}\mathbb{E}_{(z,z')\sim e_\omega(D)}[r]-\mathbb{E}_{(z,z')\sim e_\omega(B)}[r]-\beta\cdot\mathrm{GP}(r,B,D)$；（3）决策时不是直接用策略 $\pi_\phi$，而是用 MPPI 在潜空间做采样规划，使执行器对策略退化具有鲁棒性。这一耦合带来的关键好处是：策略即便因为对抗训练而出现 plasticity loss，规划器仍能基于已学到的奖励与价值恢复正确动作，这正是 Q3 中"规划缓解 plasticity loss、改善迁移"现象的根因。
方法步骤详情
MPAIL2 的完整训练-执行循环包含以下步骤。第一步是潜空间建模：用编码器 $z_t = e_\omega(o_t)$ 将观察 $o_t$ 映射到潜状态 $z_t$，再用潜动力学 $\hat z_{t+1}=f_\psi(z_t,a_t)$ 预测下一步潜状态；两者通过折扣多步预测损失 $\mathcal{L}_{e,f}(\omega,\psi) = \mathbb{E}_{\tau\sim B}\sum_{t'=t}^{t+H}\rho^{t'-t}\|\hat z_{t'} - \mathrm{sg}(z_{t'})\|_2^2$ 联合训练，其中 $\rho\in(0,1)$ 为时间折扣，$\mathrm{sg}(\cdot)$ 为停止梯度以防止表征坍塌。第二步是 off-policy 对抗奖励学习：在潜空间上区分专家转移 $\{z,z'\}\nsim e_\omega(D)$ 与学习者转移 $\{z,z'\}\nsim e_\omega(B)$，并用梯度惩罚 $\mathrm{GP}(r,B,D)$ 稳定训练，得到奖励 $r_\theta(z,z')$。第三步是 Q 集成价值学习：用熵正则化 off-policy $\lambda$-回报作为目标 $\mathcal{L}_Q(\zeta) = \mathbb{E}[\|Q_\zeta(z,a)-\bar G^\lambda_t(\hat\tau_t)\|^2]$，并配合 Polyak 慢更新目标网络 $\bar Q_\zeta$。第四步是多步策略学习：策略 $\pi_\phi$ 优化 $H$ 步想象轨迹上的 TD($\lambda$) 期望回报 $\max_\pi \mathbb{E}_{\hat a_t\sim\pi(\cdot|z_t)}[G^\lambda_t(\hat\tau_t^\pi) - \alpha\log\pi(\hat a_t|z_t)]$，起到 warm-start 规划与支持离策略价值估计的作用。第五步是 MPPI 在线规划：在每个决策时刻，采样 $K$ 条 $H$ 步动作序列，其中一小部分由 $\pi_\phi$ 给出，其余从当前提议采样；按累积模型回报 $\sum_{t'=t}^{t+H}\gamma^{t'-t}\hat r_{t'} + \hat q_{t+H}$ 打分后做 softmax 加权，输出最终动作。第六步是数据积累与更新：机器人执行得到的转移 $(o_t,a_t,o_{t+1})$ 写入重放缓冲区 $B$，所有五个组件按各自损失独立更新。算法 1 给出整体训练流程（详见附录 A.1），架构细节如网络大小与训练超参在附录 A.2 中列出。
技术新颖性
本文的技术新颖性可以归纳为四点。第一，把 IRLfO 完全从仿真和动作监督中解放出来——96 次真实机器人 run 全部从零起步、无任何预训练，奖励与策略都不接收动作标签，这与 MAIRL、DAC、MA-AIRL 等必须依赖仿真或特权信息的 IRL 基线形成鲜明对比。第二，把"潜空间世界模型 + 离策略对抗奖励 + 规划执行"三者作为耦合设计提出：奖励被显式锚定在潜状态-潜状态转移上、规划器在潜空间内做回报评估，这让真实世界 IRLfO 第一次变得可统计评估。第三，多步策略 + MPPI 的组合实现了"规划对策略退化的鲁棒性"：实验 Q3 中观察到当策略网络因 plasticity loss 性能下降时，规划器仍能维持正向迁移，这是纯策略方法无法获得的能力。第四，奖励模型的输入模态可灵活裁剪：只要演示方和学习者都能获取该模态（例如外置固定相机），就可以作为奖励输入，因此可实现"仅视频演示"的 Block Push 学习（63% 成功率，是 BC 26% 的 2.4 倍），为跨形态视频演示的可扩展数据源打开通路。
实验结果
MPAIL2 在三类视觉操控任务上同时取得显著领先：推方块（Block Push）、抓放（Pick-and-Place）、杯盘（Mug-on-Plate），并且在迁移和视频演示两个扩展任务上同样领先。具体数字（取最佳 checkpoint，3 粒种子、50 次 trial 的均值±标准差）如下：真实 Block Push 100±0%、真实 Pick-and-Place 82±12%、真实 Mug-on-Plate 55±15%；迁移到反向 Block Push 90±5%、迁移到反向 Pick-and-Place 94±10%；从零学反向任务 88±6% 与 53±37%；视频演示下 Block Push 63±10%。与之对比：去掉规划器的消融 [−P]（即 MAIRL+世界模型）在所有任务上分别跌到 64%、16%、3.9%、14%、16%、53%、12%、29%；再去除世界模型的 [−PM]（DAC）在所有任务上都是 0%；Diffusion BC 在 Block Push 上表现不错（94%），但 Pick-and-Place 只到 12%、Mug-on-Plate 34%、反向迁移任务 16-34%；RLPD 由于依赖手写奖励和动作监督，在所有任务上均为 0%。围绕三个研究问题的核心发现分别是：Q1——世界模型和规划对真实世界 IRLfO 都至关重要，去掉任意一项都会导致成功率崩溃；Q2——IRLfO 的少监督并不等于少性能，MPAIL2 与 [−P] 普遍超过拥有动作和奖励监督的 RLPD 与 BC；Q3——迁移实验中 MPAIL2 完整迁移（90%/94%）显著优于从零训练（88%/53%），而 BC 与 [−P] 出现负向迁移，体现了规划器对 plasticity loss 的缓解作用。所有实验在仿真中以 5 粒种子、真实机器人以 3 粒种子进行，累计 96 次独立真实世界训练 run，从零起步无任何预训练，这是真实世界 IRL 领域首次具备统计显著性的多粒种子研究。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 真实 Block Push（Franka） | 成功率（50 trial, best checkpoint） | 100±0% | [−P] 64±18%, [−PM] 0±0%, BC 94±6%, RLPD 0±0% | 相对最佳 BC +6pp，相对 IRL 基线 +36pp~+100pp |
| 真实 Pick-and-Place（Kinova Gen3） | 成功率（50 trial, best checkpoint） | 82±12% | [−P] 16±15%, [−PM] 0±0%, BC 12±6%, RLPD 0±0% | 相对 BC +70pp，相对 [−P] +66pp |
| 真实 Mug-on-Plate（Franka） | 成功率（50 trial, best checkpoint） | 55±15% | [−P] 3.9±2.8%, BC 34±12%, RLPD 0±0% | 相对 BC +21pp，相对 [−P] +51pp |
| 迁移 Block Push 反向（Franka） | 成功率（50 trial, best checkpoint） | 90±5%（完整迁移 60 episodes/20 分钟） | [−P] 14±13%, BC 16±8%, From Scratch 88±6%（140 episodes/50 分钟） | 在正向迁移 +2pp 同时训练时间从 50 分钟压缩到 20 分钟 |
| 迁移 Pick-and-Place 反向（Kinova Gen3） | 成功率（50 trial, best checkpoint） | 94±10%（完整迁移） | [−P] 16±18%, BC 18±6%, From Scratch 53±37% | 相对 From Scratch +41pp，相对 BC +76pp |
| 视频演示 Block Push（仅外部固定相机） | 成功率（50 trial, best checkpoint） | 63±10% | BC（含动作监督）26±6% | 在无动作监督条件下相对有动作监督的 BC +37pp |
| 训练时间 | 从零到 82% Pick-and-Place 成功率所需真实机器人交互时长 | 40 分钟内 | RLPD 0% 与 BC 12% 在相同 40 分钟预算内 | 在匹配交互预算下从 0%/12% 提升到 82% |
局限与改进
作者明确承认两点局限。第一是当前编码器假设潜状态可被瞬时观察，未建模硬件延迟、PID 跟踪误差、SLAM 等时序持续的信息动态；引入循环观测器或概率潜变量模型可能解决这一问题。第二是尚未利用跨形态先验：当前迁移只验证了同平台反向任务，作者提出未来应整合大规模预训练世界模型、策略和奖励模型，以实现跨形态泛化。结合独立观察，本文还存在几个隐含局限：（i）所有任务都需要在演示区域附近程序化随机重置（Mug-on-Plate 需要随机放置杯子和盘子），真正开放场景下的 reset 仍是开放问题；（ii）奖励的对抗式学习本质依赖演示分布的覆盖，对演示外行为的奖励评估仍可能失真，GP 只能缓解而非根治；（iii）规划器 MPPI 在潜空间内做 400-1600 条采样需要一定算力，对硬件延迟敏感；（iv）Q3 中的 video-only 实验只做了 Block Push 一个任务，是否能扩展到更精细的 Pick-and-Place 还需验证。
独立分析的弱点
独立审视 MPAIL2，可以看到以下几个值得改进的弱点。第一个是任务广度的局限：所有实验都在单一物体、单步抓放类任务上验证，对长视野、复合操作（如叠衣服、组装）尚未证明可扩展；潜空间动力学在长时间跨度的预测误差累积可能使规划性能下降，改进方向是引入循环网络或分块世界模型。第二个是奖励模型的覆盖率问题：尽管 off-policy + GP 已能稳定 IRL，但学到的奖励本质上仍是演示分布的判别器，对演示外的"等价成功状态"可能给出低奖励；改进方向是引入数据增强、对比学习或基于语言指令的奖励塑形。第三个是 MPPI 的计算开销：在 64×64 RGB + 1000 步规划样本下，每次决策需要多次神经网络前向，对真实机器人控制频率有压力；可考虑用学习式 proposal 或 amortized planner 替代纯采样。第四个是视频演示设定的局限：Q3 中仅做了 Block Push 一个任务，且演示与学习仍使用同一台相机视角，并未真正验证跨视角或第三人称演示；改进方向是引入视角不变的视觉编码器或先验世界模型。第五个是缺少失败模式分析：论文只报告最佳 checkpoint 成功率，对各方法"什么类型的失败最常见"未做系统归类；如果加入 failure taxonomy 将更利于后续工作定位瓶颈。
未来方向
作者提出的未来方向包括两类。一是预训练化：把 MPAIL2 框架与大预训练世界模型、大预训练策略、大预训练奖励模型结合，实现跨任务的通用表征迁移，尤其是把循环潜变量和概率建模引入编码器以处理硬件延迟和 SLAM 等时序信息。二是跨形态演示：当前 video-only 实验只验证了 Block Push，下一步应探索第三人称视频演示、跨形态（人形 ↔ 机械臂）演示的奖励共享。基于本文成果的可延伸方向还包括：（i）将多步策略替换为 diffusion policy，让 policy 与 planner 通过统一的 TD($\lambda$) 目标联合训练；（ii）扩展到组合任务（如先抓后放），验证 MPAIL2 的规划器在多子目标场景下的可扩展性；（iii）把 IRLfO 与语言条件奖励结合，实现"看视频 + 听指令"的开放式任务规范；（iv）发展 IRLfO 的安全约束，避免在真实机器人上学到不安全行为。
复现评估
本文的可复现性整体较高。作者明确提供了项目主页 https://uwrobotlearning.github.io/mpail2/，承诺开放训练视频、代码与更多细节；论文附录 A.1 与 A.2 分别给出 Algorithm 1 的完整伪代码与神经网络架构细节，超参数（如 $\rho$、$\lambda$、$\alpha$、$H$、$K$、GP 系数 $\beta$）均已列出。数据方面，演示轨迹规模在 Table 1 中明确给出（真实 Block Push 1451 转移、Pick-and-Place 1025 转移、Mug-on-Plate 1802 转移、Video Block Push 914 转移），便于复现实验。算力方面，所有实验在两个真实机器人平台（Franka 与 Kinova Gen3）上完成，96 次独立 run，单次训练 40-50 分钟，加上规划阶段的 GPU 前向需求，整体成本较高（需要持续运行机器人数小时）。复现难度中等偏上，主要难点在于（i）真实机器人硬件的可获得性，（ii）逐种子重新训练需要数十小时，（iii）对抗训练对实现细节敏感，奖励、价值、策略三者的学习率与目标网络更新频率需仔细调参。建议优先复现仿真部分（IsaacLab，5 种子）以验证算法正确性，再迁移到真实机器人。
论文图表
