GigaBrain-0.5M*: 一种通过世界模型强化学习训练的视觉-语言-动作模型 GigaBrain-0.5M*: a VLA That Learns From World Model-Based Reinforcement Learning
世界模型条件化强化学习，复杂操控任务成功率提升约30%。
前置知识
VLA（Vision-Language-Action）模型
视觉-语言-动作模型是一类将视觉感知、语言指令理解和动作生成统一到单一端到端架构中的基础模型。典型工作流程是接收视觉观测（如摄像头图像）和自然语言任务描述，直接输出机器人可执行的动作序列（action chunks）。代表性工作包括 π0、π0.5 和 OpenVLA 等。这类模型通常基于预训练的视觉-语言模型（VLM）作为骨干，通过微调适配到机器人控制任务。GigaBrain-0.5 采用混合 Transformer（Mixture-of-Transformers）架构，使用 PaliGemma-2 编码多模态输入，用 Diffusion Transformer（DiT）预测动作块。
理解 VLA 模型是阅读本文的基础，因为本文的核心贡献是对 VLA 模型进行世界模型增强的强化学习训练。
世界模型（World Model）
世界模型是一类能够预测环境未来状态的生成式模型。在本文中，世界模型基于 Wan2.2 视频生成模型架构，以当前观测和动作条件为输入，预测未来视觉状态序列和价值估计。它通过流匹配（Flow Matching）训练，将未来视觉状态和价值视为时序扩展的视频帧，利用 DiT 骨干的时空自注意力机制建模当前观测、动作与未来任务结果之间的关系。世界模型的预测能力使得策略能够在动作执行前预见未来场景，从而进行前瞻性规划。
世界模型是本文 RAMP 框架的核心组件，理解其架构和预测机制对于理解论文的技术路线至关重要。
RAMP（Reinforcement leArning via world Model-conditioned Policy）
RAMP 是本文提出的核心训练框架，全称为通过世界模型条件化策略的强化学习。它将世界模型的预测输出（未来状态潜在表示 $z$ 和价值估计 $v_t$）作为策略的条件输入，指导 VLA 模型的强化学习训练。RAMP 的训练目标函数为 $\mathcal{L}(\theta) = \mathbb{E}_D[-\log \pi_\theta(a|o, z, l) - \alpha \log \pi_\theta(a|I, o, z_t, l)]$，其中 $z$ 是世界模型预测的未来状态潜在表示，$I$ 是二值优势指示器。该框架通过迭代四阶段训练实现策略的持续自我改进。
RAMP 是论文的核心创新点，理解其公式推导和实现细节是理解整篇论文的关键。
RECAP 框架
RECAP 是 π*0.6 中提出的优势条件化强化学习框架。它使用稀疏优势信号（$I \in \{0, 1\}$，二值 0 或 1）作为 VLA 模型的附加条件输入，通过优势条件化的策略学习来改善机器人操控性能。RECAP 的策略形式为 $\pi(a|o, I)$，仅依赖当前观测和二值优势信号，不包含关于未来状态的显式信息。本文证明 RECAP 实际上是 RAMP 的一个退化特例，即当忽略未来潜在状态信息时，RAMP 退化为 RECAP。
RECAP 是本文的主要对比基线，理解其局限性有助于理解 RAMP 的优势和创新所在。
流匹配（Flow Matching）
流匹配是一种生成式建模方法，通过学习从噪声分布到数据分布的最优传输路径来生成样本。在本文中，世界模型和策略的 Diffusion Transformer 都使用流匹配训练。具体地，对于世界模型，线性插值 $s^{\tau,\epsilon}_{\text{future}} = \tau s_{\text{future}} + (1-\tau)\epsilon$ 构造噪声潜变量，其中 $\tau \sim \mathcal{U}(0,1)$ 是流匹配时间步，$\epsilon \sim \mathcal{N}(0, I)$ 是高斯噪声。模型学习预测沿最优传输路径的恒速向量场 $(s_{\text{future}} - \epsilon)$。
流匹配是 GigaBrain-0.5 动作预测头和世界模型的共同训练范式，理解其原理有助于理解模型的生成机制。
优势函数与价值估计
价值函数 $v_t$ 估计从当前状态开始的期望累积回报，优势函数 $A(s_t, a_t)$ 衡量执行某个动作相对于平均水平的好坏程度。本文中，价值通过世界模型联合预测，并使用 $n$ 步时序差分估计计算优势：$A(s_t, a_t) = \sum_{k=0}^{n-1} \gamma^k r_{t+k} + \gamma^n v_{t+n} - v_t$。优势随后被离散化为二值指示器 $I = \mathbf{1}(A(s_t, a_t) > \epsilon)$。奖励函数采用稀疏定义：成功终止时 $r_t=0$，失败时 $r_t=-C_{\text{fail}}$，其他时间步 $r_t=-1$。
价值估计和优势函数是 RAMP 训练信号的核心，理解它们的计算方式有助于理解策略学习的机制。
Embodied Chain-of-Thought（Embodied CoT）
具身思维链是 GigaBrain-0.5 的一个特殊设计，在生成动作之前先生成中间推理步骤，包括自回归子目标语言描述、离散动作 token 和 2D 操控轨迹 $t_{1:10}$。语言和离散 token 通过 VLM 头解码，2D 轨迹通过轻量级 GRU 解码器回归。这种设计增强了模型的推理能力，使得模型在执行动作前能够进行显式的目标规划。所有组件在统一目标函数下联合优化，Knowledge Insulation 技术防止语言预测和动作预测之间的优化干扰。
Embodied CoT 是 GigaBrain-0.5 基础模型的关键特征，理解它有助于理解 VLA 模型的推理能力基础。
研究动机
当前主流的 VLA 模型（如 π0、π0.5、OpenVLA 等）在处理长时程操控任务时存在根本性局限：它们依赖短视的当前观测来规划长时程动作，本质上是反应式控制（reactive control）而非前瞻式规划（prospective planning）。这种架构偏差导致模型在复杂多步骤任务（如衣物折叠、箱子打包、咖啡制作）中的表现受限，因为这些任务需要对未来状态的准确预测。例如，在衣物折叠任务中，操作者需要预见折叠动作对衣物形态的影响，而仅基于当前观测的策略无法提供这种前瞻性。此外，模仿学习策略还面临分布漂移导致的误差累积问题，限制了其性能上限。实验表明，即使是当前最强的 VLA 模型 π0.5，在 Espresso Preparation 和 Box Packing 等复杂任务上的成功率仍有较大提升空间。
本文的目标是本文的目标是突破 VLA 模型在长时程推理和未来预测方面的局限，通过将大规模预训练的世界模型集成到 VLA 训练流程中，实现预见式策略学习。具体地，作者希望：(1) 构建一个能够联合预测未来视觉状态和价值估计的世界模型；(2) 设计一个利用世界模型预测来条件化策略学习的强化学习框架 RAMP；(3) 通过迭代的部署-收集-训练闭环实现策略的持续自我改进；(4) 在复杂长时程操控任务（如衣物折叠、箱子打包、咖啡制作）上实现可靠的任务执行，成功率显著超越现有基线方法。
与已有工作不同的是，本文的独特切入角度在于将视频世界模型的时空预测能力与 VLA 策略学习深度耦合。与 π*0.6 的 RECAP 方法相比，RAMP 的本质区别在于信息增益的质变：RECAP 仅使用稀疏的二值优势信号（$I \in \{0,1\}$）作为条件，信息量有限；而 RAMP 引入世界模型预测的未来状态潜在表示 $z$，为策略提供密集的几何结构和物理动态先验。从信息论角度看，这显著降低了动作生成的条件熵 $H(a|o, z, I) \leq H(a|o, I)$。作者从概率建模角度严格证明了 RECAP 是 RAMP 的退化特例：$\pi_{\text{RECAP}}(a|o, I) = \int_z \pi_{\text{RAMP}}(a|o, z, I)p(z|o, I)dz$，即 RECAP 策略必须隐式地对所有可能的未来演化进行平均，而 RAMP 通过显式条件化消除了这种不确定性。
核心方法
本文提出的 RAMP 框架的核心直觉是：如果策略能够在执行动作之前看到未来会发生什么，它就能做出更好的决策。技术路线分为两个层次：首先构建一个世界模型来预测未来，然后利用这些预测来指导 VLA 策略的强化学习训练。整体架构如 Figure 1 所示，世界模型基于 Wan2.2 视频生成架构，以当前观测和机器人为条件，预测未来视觉状态和价值估计。策略模型 GigaBrain-0.5 则接收世界模型的预测输出作为额外条件输入，结合当前视觉观测、语言指令和机器人状态，生成最优动作序列。训练过程采用迭代四阶段范式：世界模型预训练、策略条件化训练、人机协同数据收集、基于收集数据的持续训练，形成一个自我改进的闭环。
RAMP 的核心创新是将世界模型的预测输出作为策略的条件信号，实现从反应式控制到前瞻式规划的范式转变。与 RECAP 仅使用稀疏二值优势信号不同，RAMP 同时利用未来状态潜在表示 $z$ 和价值估计 $v_t$ 作为策略条件。这一设计的理论基础是：在增强状态空间 $S = (o, z, l)$ 下，最优策略的闭式解为 $\hat{\pi}(a|S) \propto \pi_{\text{ref}}(a|S) \exp\left(\frac{A^{\pi_{\text{ref}}}(S, a)}{\beta}\right)$。通过贝叶斯定理将指数优势项转化为条件概率比，并引入二值改进指示器 $I$，最终得到可优化的训练目标。RAMP 与 RECAP 的本质区别在于：RECAP 策略 $\pi(a|o, I)$ 是对所有可能未来状态的边际分布的平均，而 RAMP 策略 $\pi(a|o, z, I)$ 通过显式条件化将问题从对未来的一般猜测转变为针对特定物理状态的精确规划。
方法步骤详情
RAMP 的完整训练流程包括四个阶段。第一阶段（世界模型预训练）：使用 4,000 小时真实机器人操控数据训练世界模型 $\mathcal{W}_\phi$，使其能够联合预测未来视觉状态 $\{o_{t+i}\}_{i \in \{12,24,36,48\}}$ 和价值估计 $v_t$。未来视觉观测通过预训练 VAE 编码为空间-时间视觉潜变量 $z_t \in \mathbb{R}^{H' \times W' \times C'}$，标量价值和本体状态通过空间分块投影 $\Psi(\cdot)$ 广播到空间维度后拼接，形成统一潜状态 $s_t = [z_t; \Psi(v_t); \Psi(p_t)]$。第二阶段（策略条件化训练）：从预训练的 GigaBrain-0.5 检查点初始化策略，使用世界模型预测的未来状态 token $z_{\text{future}}$ 和价值估计 $v_t$ 进行微调。未来状态 token 通过轻量 MLP 投影对齐维度，价值通过 $n$ 步时序差分估计转换为优势 $A(s_t, a_t) = \sum_{k=0}^{n-1} \gamma^k r_{t+k} + \gamma^n v_{t+n} - v_t$，并离散化为二值指示器 $I = \mathbf{1}(A > \epsilon)$。训练中采用随机注意力掩码（$p=0.2$）防止策略过度依赖世界模型信号。第三阶段（人机协同数据收集）：部署策略到真实环境收集轨迹数据，包含自主执行和专家干预。开发的数据收集软件自动检测和移除干预边界处的过渡伪影，确保时间连贯性。第四阶段（基于收集数据的持续训练）：使用收集的 HILR 数据集微调策略，世界模型同时使用 HILR 数据和基础数据联合训练以防止优势坍缩。
技术新颖性
RAMP 的技术新颖性体现在多个层面。首先，从理论角度看，本文首次建立了世界模型条件化强化学习与优势条件化强化学习之间的概率建模联系，严格证明 RECAP 是 RAMP 的退化特例，这为后续研究提供了清晰的理论框架。其次，从实现角度看，RAMP 的几个设计选择具有创新性：(1) 将价值信号作为额外潜帧注入世界模型，通过空间分块投影将标量信号扩展为空间表示，无需修改 DiT 架构即可实现价值和未来状态的联合预测；(2) 随机注意力掩码机制（$p=0.2$）使策略在训练时随机忽略世界模型信号，既防止过拟合又支持推理时的灵活切换，高效模式下完全跳过世界模型，标准模式下利用世界模型进行前瞻规划；(3) 人机协同数据收集中自动检测和平滑干预边界的设计，确保了收集数据的时间连贯性。从实验结果看，联合预测价值和未来状态的方案（Kendall tau=0.8018，MAE=0.0621）显著优于仅预测价值的方案（Kendall tau=0.7288，MAE=0.0838），验证了未来状态预测对价值估计的上下文支撑作用。
实验结果
本文的实验结果覆盖三个层面。首先，在基础模型评估方面，GigaBrain-0.5 在八项内部任务上全面超越 π0、π0.5 和 GigaBrain-0 基线。例如，在 Juice Preparation 任务上达到 100% 成功率（GigaBrain-0 为 90%），在 Box Packing 和 Espresso Preparation 上分别比 π0.5 提升 10% 和 20%。在公开基准 RoboChallenge 上，中间版本 GigaBrain-0.1 以 51.67% 平均成功率排名第一，比 π0.5 的 42.67% 提升 9%。其次，在价值预测性能方面，联合预测价值和未来状态的世界模型方案表现最优：MAE=0.0621、MSE=0.0099、RMSE=0.0989、Kendall tau=0.8018，推理延迟 0.25 秒，优于 VLM-based 方案（MAE=0.0683，Kendall tau=0.7972，延迟 0.32 秒）和仅预测价值的方案（MAE=0.0838，Kendall tau=0.7288，延迟 0.11 秒）。这表明未来状态预测为价值估计提供了关键的上下文支撑。第三，在多任务泛化方面，世界模型条件在单任务和多任务训练中均带来显著提升，尤其在多任务设置中效果更为突出，在 Box Packing 任务上提升高达约 30%。最重要的是，RAMP 在三个高难度操控任务上均达到接近完美的成功率，显著超越 AWR 和 RECAP 基线，在 Box Packing 和 Espresso Preparation 上比 RECAP 提升约 30 个百分点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Juice Preparation（内部评估） | 成功率 (%) | 100% | GigaBrain-0: 90% | +10% |
| Box Packing（内部评估） | 成功率 (%) | 约 95% (RAMP) | π0.5: 约 65%; RECAP: 约 65% | 比 π0.5 +30%; 比 RECAP +30% |
| Espresso Preparation（内部评估） | 成功率 (%) | 约 95% (RAMP) | π0.5: 约 55%; RECAP: 约 65% | 比 π0.5 +40%; 比 RECAP +30% |
| Laundry Folding（内部评估） | 成功率 (%) | 约 95% (RAMP) | RECAP: 约 80% | 比 RECAP +15% |
| RoboChallenge（公开基准，30 个任务平均） | 平均成功率 (%) | 51.67%（GigaBrain-0.1） | π0.5: 42.67% | +9% |
| 价值预测（联合预测 vs 仅预测价值） | Kendall tau | 0.8018（联合预测） | 0.7288（仅预测价值） | +0.073 |
局限与改进
尽管 RAMP 取得了显著成效，本文仍存在若干局限性。首先，世界模型的推理延迟（0.25 秒/帧）虽然低于 VLM-based 方案（0.32 秒），但仍可能限制高频率实时控制场景的应用，尤其在需要毫秒级响应的精密操控任务中。其次，世界模型预训练需要 4,000 小时真实机器人操控数据，数据收集成本高昂，且数据分布可能限制模型在新任务领域的泛化能力。第三，HILR 数据收集阶段仍需人类专家参与干预，尚未实现完全自主的数据生成闭环。第四，实验主要在特定的双臂机器人平台（PiPER arms 和 G1 人形机器人）上验证，跨机器人形态的泛化能力尚未充分评估。第五，论文未充分讨论 RAMP 在面对全新任务类型时的零样本或少样本迁移能力。最后，随机注意力掩码概率 $p=0.2$ 的选择缺乏详细的消融分析，最优掩码策略可能因任务复杂度而异。
独立分析的弱点
从独立分析的角度，本文存在以下可改进的弱点。第一，世界模型架构方面：当前采用 Wan2.2 作为世界模型骨干，这是一个通用视频生成模型，可能并非机器人操控场景的最优选择。未来可探索针对机器人领域定制的世界模型架构，例如引入物理约束或接触感知模块，以提高预测的物理合理性。第二，价值估计精度方面：虽然联合预测方案优于仅预测价值方案，但 Kendall tau 仅为 0.8018，仍有约 20% 的排序误差。可通过引入更强的时间建模能力（如因果 Transformer）或集成多个世界模型的预测来提升价值估计精度。第三，数据效率方面：世界模型预训练需要 4,000 小时数据，策略训练还需额外的 HILR 数据。可通过引入课程学习（curriculum learning）策略，从简单任务逐步过渡到复杂任务，提高数据利用效率。第四，推理灵活性方面：随机注意力掩码虽然支持两种推理模式，但策略在训练时已适应了随机掩码的分布，可能影响无掩码时的最优性能。可探索更精细的条件化策略，如基于任务难度自适应调整世界模型的参与程度。
未来方向
作者在结论中提出了两个明确的未来研究方向。第一，更高效地利用模型 rollout 数据：当前 HILR 数据收集依赖人类专家干预，未来可探索减少人类参与的方法，例如通过自动化的失败检测和恢复机制，或利用世界模型模拟来扩展训练数据。第二，更可扩展的自主进化范式：作者希望实现自主数据策划、策略优化和世界模型更新的闭环交互，使系统能够持续自我改进而无需人工干预。基于本文成果，还可延伸以下方向：(1) 将 RAMP 框架扩展到多机器人协同场景，利用世界模型预测多个机器人之间的交互；(2) 探索世界模型的可解释性，通过分析世界模型的预测来理解策略的决策过程；(3) 将 RAMP 与大语言模型（LLM）结合，利用 LLM 的推理能力增强任务规划的可解释性和泛化性；(4) 在仿真环境中大规模验证 RAMP 框架，降低真实机器人实验的成本和风险。
复现评估
在复现评估方面，本文的开源情况较为有限。论文引用了训练框架 GigaTrain（https://github.com/open-gigaai/giga-train），但未明确说明模型权重、世界模型检查点或 RAMP 训练代码是否开源。项目页面（https://gigabrain05m.github.io）提供了演示视频，但可能不包含可复现的代码和数据。在数据方面，GigaBrain-0.5 预训练使用了超过 10,000 小时的机器人操控数据（6,000+ 小时世界模型生成数据 + 4,000 小时真实数据），RoboChallenge 基准提供了 736 GB 的开源数据集。在算力方面，论文提到使用 A800 GPU 进行推理（VLM-based 价值预测延迟 0.32 秒），训练使用 FSDP v2 进行分布式训练，batch size 为 3,072，训练 100,000 步，这需要大规模 GPU 集群。整体而言，完整复现 RAMP 框架面临的主要挑战包括：(1) 缺乏世界模型权重和训练代码；(2) 需要大规模机器人操控数据；(3) 需要物理机器人平台进行 HILR 数据收集；(4) 计算资源需求巨大。
论文图表