SimVLA:用于机器人操作的简洁 VLA 基线模型 SimVLA: A Simple VLA Baseline for Robotic Manipulation
仅0.5B参数的VLA基线通过标准化训练细节实现SOTA,超越数十亿参数大模型。
前置知识
Vision-Language-Action (VLA) 模型
VLA 是一类将视觉感知、语言理解和动作执行统一到单一模型框架的机器人学习方法。这类模型利用大规模预训练的视觉语言模型(VLM)作为骨干网络,将多视角 RGB 图像和语言指令映射到共享的 token 表示空间,然后生成机器人执行的连续动作序列。VLA 模型的核心挑战在于如何有效地将高层语义理解与底层运动控制结合,实现通用的机器人操作能力。
本文提出的 SimVLA 正是 VLA 模型的一个极简基线,理解 VLA 的基本架构和设计范式是理解本文贡献的前提。
Flow Matching(流匹配)
Flow Matching 是一种用于连续生成模型的训练方法,它学习一个确定性的向量场,将噪声分布变换到数据分布。具体而言,给定归一化的动作块 x 和高斯噪声 ε∼N(0,I),采样噪声水平 t∈(0,1] 并构造噪声动作 x_t = tε + (1-t)x。动作头 v_θ(x_t, o_t, t) 使用标准 ℓ2 目标训练来预测对应的去噪向量场。推理时通过少量欧拉积分步骤从噪声生成到数据。相比扩散模型的多步迭代去噪,Flow Matching 提供了更轻量且稳定的连续动作生成机制。
SimVLA 使用 Flow Matching 作为动作生成机制,相比扩散模型更轻量稳定,相比离散自回归解码更适合连续控制任务。
Action Chunking(动作分块)
动作分块是指模型预测未来一段时间窗口内的动作序列 A_t = [a_t, a_{t+1}, ..., a_{t+H-1}],而非单步动作。参数 H 表示动作块的时间跨度(horizon)。模型以 receding-horizon 方式执行:预测一个动作块后只执行前几步,然后基于新观测重新预测。这种方法能产生更平滑、时间上更一致的动作,但 H 的选择对性能影响很大,需要针对不同任务调优。
本文发现动作块长度 H 是关键性能旋钮,LIBERO 使用 H=10,WidowX 和 Google Robot 使用 H=30,这对复现和比较至关重要。
LIBERO 和 LIBERO-PRO 基准
LIBERO 是一个标准的机器人操作仿真基准,包含四个套件:LIBERO-Spatial(空间理解)、LIBERO-Object(物体操作)、LIBERO-Goal(目标导向)和 LIBERO-Long(长时程任务),每个套件 10 个任务各 500 条专家演示。LIBERO-PRO 在此基础上引入系统性扰动,从四个维度测试鲁棒性:物体外观(Obj)、空间布局(Pos)、语言指令(Sem)和任务目标(Task),用于评估模型是否真正理解任务而非记忆轨迹。
LIBERO 是本文的主要评估基准,SimVLA 在此取得 98.6% 的最优平均成功率,LIBERO-PRO 的结果则揭示了模型在位置鲁棒性上的不足。
SimplerEnv 仿真平台
SimplerEnv 提供高保真度的仿真环境,包括两个变体:Simpler-Fractal(Google Robot)和 Simpler-Bridge(WidowX)。这些环境用于评估模型在不同机器人平台上的泛化能力,特别是 real-to-sim 迁移性能。评估采用 variant aggregation 方式测试策略对场景变化的鲁棒性。
SimplerEnv 是本文跨平台评估的重要基准,SimVLA 在 WidowX 上取得 95.8% 的 SOTA 成绩,在 Google Robot 上取得 76.1%。
研究动机
当前 VLA 领域发展迅速,研究者提出了大量架构创新,从引入时序上下文的机制、注入显式 3D 空间感知的模块,到建模复杂动作分布的高容量解码器。然而,这些创新往往伴随着令人困惑的混杂变量:不同的预训练数据集、骨干网络规模差异、临时优化策略等。这使得研究社区面临一个严峻挑战:无法准确归因性能提升到底来自架构创新还是训练细节。例如,OpenVLA-OFT 使用 7B 参数取得 97.1% 的 LIBERO 成绩,VLA-Adapter 使用 0.5B 参数取得 97.3%,而 π0.5 使用 3B 参数取得 96.9%。这些不同规模、不同架构的模型之间的性能差异,很难归因于特定的架构组件。由于架构变化经常与预训练数据集差异、骨干网络规模不同或临时优化策略等混杂变量一同引入,很难将新机制的影响与底层训练配方的影响分离开来。
本文的目标是本文的目标是建立一个透明、可复现的 VLA 研究参考点。作者并非要证明架构复杂性不必要,而是要建立一个高性能的复杂度下界,使未来创新能够以此为基准进行测量。具体而言,SimVLA 旨在通过提供一个简洁、最小化的设计,帮助社区更好地量化复杂架构组件被引入时的真正附加值。作者希望通过标准化那些经常被忽视的训练动态——如数据打乱策略、动作空间归一化和优化调度——来实现公平的跨模型比较。通过这种方式,研究者可以更精确地评估未来架构创新的真正贡献。
与已有工作不同的是,本文的独特切入角度在于:与其引入新的架构机制,不如问一个更根本的问题——当核心建模和训练选择被仔细标准化时,一个最小化 VLA 设计能达到多强的性能?SimVLA 采用模块化哲学,将感知与控制解耦:使用标准预训练的视觉语言骨干和轻量级动作头。这种设计的关键优势在于未来适应性:随着 VLM 的发展,研究者可以直接替换最新的 SOTA 骨干(例如从 0.5B 升级到 7B),而无需重新设计复杂的跨模态适配器。这种 VLM 编码器+动作头的解耦范式,使得性能提升可以清晰归因于训练优化或动作建模选择,为公平比较提供了坚实基础。
核心方法
SimVLA 的整体思路可以用一个简洁的比喻来理解:将机器人操作系统的大脑(语义理解)和小脑(运动控制)完全分离。具体而言,系统由两个核心模块组成:一个标准的视觉语言模型(VLM)作为感知编码器,负责将多视角 RGB 图像和语言指令融合为统一的 token 表示;一个轻量级的 Transformer 动作头,负责基于这些融合表示生成连续的动作序列。VLM 每个控制步骤只执行一次,后续的所有去噪迭代都由轻量级动作头处理,从而大幅降低推理延迟。这种设计既保持了模块化灵活性,又实现了高效部署。
SimVLA 的核心创新不在于引入新的架构机制,而在于识别并标准化那些沉默的性能驱动因素。作者发现,数据打乱策略、动作空间归一化和优化调度等看似微小的选择,往往比架构差异对性能的影响更大。通过严格控制这些因素,SimVLA 使用仅 0.5B 参数的骨干网络,在 LIBERO 基准上取得了 98.6% 的平均成功率,超越了 7B 参数的 OpenVLA-OFT(97.1%)和 3B 参数的 π0.5(96.9%)。这种少即是多的设计哲学,与当前追求更大、更复杂模型的趋势形成鲜明对比。关键发现是禁用数据打乱会导致性能从 98.6% 暴跌至 9.9%,禁用动作归一化降至 12.3%,学习率从 2e-4 调整到 5e-4 导致性能降至 72.7%。
方法步骤详情
SimVLA 的工作流程分为三个阶段:第一,感知编码阶段。给定时间步 t 的观测 o_t(包含多视角 RGB 图像、语言指令和机器人本体感觉),预训练的 VLM 编码器 E_φ 将其映射为融合的 token 表示 Z_t。第二,动作头处理阶段。将投影后的 VLM token、广播的本体感觉状态嵌入、正弦时间嵌入和噪声动作块拼接为统一的 token 序列,输入纯自注意力 Transformer 编码器。第三,流匹配去噪阶段。动作头预测去噪向量场,通过少量欧拉积分步骤从噪声生成干净的动作块,以 receding-horizon 方式执行。这种 encode-once, denoise-in-the-head 的工作流确保了高效推理。
技术新颖性
SimVLA 的技术新颖性体现在三个方面:首先,它提出了一种解耦感知与控制的模块化范式,使得 VLM 骨干可以独立升级而不影响动作生成模块。其次,作者系统性地识别并标准化了影响 VLA 性能的关键训练细节,包括数据打乱(禁用后性能从 98.6% 暴跌至 9.9%)、动作归一化(禁用后降至 12.3%)、学习率选择(5e-4 导致 72.7%)和 VLM 学习率乘数(设为 1.0 后降至 44.2%)。第三,SimVLA 证明了简单的 token 拼接加上自注意力机制(平均 98.6%)优于更复杂的交叉注意力(91.5%)或条件 AdaLN(91.1%)注入方式,为未来架构设计提供了重要基准。
实验结果
SimVLA 在多个基准上取得了令人瞩目的成果。在 LIBERO 基准上,尽管只有 0.5B 参数且不进行机器人数据预训练,SimVLA 以 98.6% 的平均成功率排名第一,超越了所有大模型基线,包括 7B 参数的 OpenVLA-OFT(97.1%)和 3B 参数的 π0.5(96.9%)。在 LIBERO-PRO 鲁棒性评估中,SimVLA 在语义鲁棒性上表现优异(约 98-100% 成功率),但在位置鲁棒性上仍有挑战(Long 套件仅 3%)。在 WidowX 任务上,SimVLA 取得 95.8% 的平均成功率,与预训练的 X-VLA 持平,且在 Put Spoon on Towel 和 Put Eggplant in Basket 任务上达到 100%。在 Google Robot 任务上取得 76.1%,超越 SpatialVLA(67.5%)和 RT-2-X(65.6%)。真实机器人评估显示,SimVLA 在零样本跨场景泛化下与 π0.5 性能相当,大多数任务约 80% 成功率。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO (Spatial/Object/Goal/Long 平均) | 成功率 (%) | 98.6 | OpenVLA-OFT 97.1 / π0.5 96.9 / VLA-Adapter 97.3 | +1.5% vs OpenVLA-OFT, +1.7% vs π0.5, +1.3% vs VLA-Adapter |
| LIBERO-PRO (语义鲁棒性) | 成功率 (%) | 约 98-100 | OpenVLA 97-98 / π0.5 96-97 | 显著优势,特别是在 Task 维度(10% vs π0.5 的 0-1%) |
| WidowX (SimplerEnv) | 平均成功率 (%) | 95.8 | X-VLA 95.8 / MemoryVLA 71.9 / FPC-VLA 64.6 | 持平 X-VLA,显著超越大模型基线 |
| Google Robot (SimplerEnv) | 平均成功率 (%) | 76.1 | X-VLA 75.7 / SpatialVLA 67.5 / RT-2-X 65.6 | +0.4% vs X-VLA, +8.6% vs SpatialVLA |
| 真实机器人 (Galaxea R1 Lite) | 任务成功率 (%) | 与 π0.5 相当 | π0.5 | 零样本泛化下表现相近,无需 VLA 预训练 |
局限与改进
尽管 SimVLA 取得了优异成绩,但存在明显局限性。首先,在 LIBERO-PRO 的位置鲁棒性评估中表现不佳,Long 套件仅 3% 成功率,表明模型在空间布局变化下的泛化能力有限。其次,真实机器人评估中,fold the clothes、put the pen into the pen holder 和 put the flowers in the vase 等任务仍然具有挑战性,说明精细操作能力有待提升。第三,SimVLA 的设计哲学是少即是多,但这也意味着它可能无法处理需要复杂时序推理或 3D 空间理解的任务,而这些正是当前 VLA 研究的热点方向。第四,作者承认学习率等超参数的选择对性能影响巨大(如 5e-4 导致 72.7%),这意味着模型对训练细节高度敏感,需要仔细调优。
独立分析的弱点
SimVLA 存在几个值得关注的弱点:第一,位置鲁棒性严重不足。在 LIBERO-PRO 的位置扰动维度上,Object/Goal/Long 套件的成功率仅为 1%、0%、3%,这表明模型可能过度依赖视觉外观而非空间关系进行决策。改进方向可以探索引入轻量级的空间编码机制,如位置编码增强或相对位置表示。第二,动作块长度 H 需要针对每个基准单独调优(LIBERO 用 H=10,其他用 H=30),这降低了方法的通用性。未来可以研究自适应动作块长度或动态 horizon 策略。第三,模型对优化动态高度敏感,学习率从 2e-4 调整到 5e-4 就导致性能从 98.6% 降至 72.7%。这说明模型的优化景观可能不够平滑,需要探索更鲁棒的优化策略。第四,SimVLA 在长时程任务(LIBERO-Long)上的表现(96.4%)虽然强劲,但相比 Spatial/Object/Goal 套件仍有差距,暗示缺乏显式记忆机制可能限制了长序列依赖建模。
未来方向
基于 SimVLA 的成果,未来研究可以从多个方向展开:首先,模块化设计使得 VLM 骨干可以独立升级,研究者可以直接测试最新 SOTA VLM(如 7B+ 模型)对性能的提升,而无需修改动作头架构。其次,可以探索将 SimVLA 与当前 VLA 的三大创新方向结合:视觉时序增强(如 FlowVLA 的光学流预测)、几何先验集成(如 SpatialVLA 的 3D 位置编码)和复杂动作表示(如扩散策略)。第三,标准化训练动态的方法论可以推广到其他机器人学习领域,建立更公平的比较基准。第四,真实机器人部署中的精细操作挑战(如折叠衣物)提示需要研究更好的任务分解和层次化控制策略。最后,作者提到的未来适应性特性值得深入探索:如何设计真正即插即用的模块化架构,使得每个组件都能独立演进。
复现评估
SimVLA 在可复现性方面做出了重要贡献。作者承诺在项目网站(https://frontierrobo.github.io/SimVLA)发布完整代码,论文附录详细列出了所有关键超参数(见 Table 7 和 Table 8),包括批大小、学习率、训练步数、优化器配置等。训练使用 4×H100 GPU,批大小为 64×4=256(LIBERO)或 80×4=320(WidowX/Google Robot),训练 150K 步。真实机器人训练使用 64×H100 GPU,批大小 32×64=2048,训练 150K 步。这些详细的配置使得复现成为可能。然而,需要注意到模型对学习率等超参数高度敏感(如 VLM LR multiplier 从 0.1 调到 1.0 导致性能从 98.6% 降至 44.2%),因此复现时需要仔细调优。此外,Galaxea Open-World Dataset(500 小时、10 万轨迹)的获取可能对独立研究者构成挑战。
论文图表