VLANeXt：构建强大视觉-语言-动作模型的配方 VLANeXt: Recipes for Building Strong VLA Models
通过500+消融实验系统探索VLA设计空间，提炼12条关键发现和一个实用配方，构建出SOTA级VLA模型
前置知识
Vision-Language-Action (VLA) 模型
VLA是一类将预训练视觉-语言模型（VLM）与机器人控制策略相结合的端到端模型。其核心思想是利用VLM从互联网数据中学到的丰富视觉理解和语言接地能力，将视觉观测和语言指令直接映射为机器人动作。典型流程包括：VLM编码视觉和语言输入 → 产生动作相关表征 → 策略模块解码为连续或离散动作。代表模型包括RT-2、OpenVLA、π0等。
本文的核心研究对象就是VLA模型的设计空间，理解VLA的基本范式是理解本文所有设计选择的前提
Flow Matching
Flow Matching是一种生成模型框架，通过学习将噪声分布映射到目标分布的速度场来生成样本。与扩散模型的逐步去噪不同，Flow Matching直接学习从噪声到数据的连续流（continuous flow），训练过程更稳定且效率更高。其核心损失函数为 $\mathcal{L}_{\text{FM}} = \mathbb{E}_{t,\epsilon}\left[\|v_\theta(x_t, t) - (x_1 - \epsilon)\|^2\right]$，其中 $x_t = (1-t)\epsilon + t x_1$ 是插值路径。
本文发现Flow Matching在动作预测精度和泛化能力之间取得了最佳平衡，是VLANeXt最终采用的动作学习目标
Action Chunking（动作分块）
动作分块是指一次预测未来多步动作（如8步）而非逐步预测。动作序列被拼接为一个高维向量 $(t, \dim)$，模型输出整个动作块。这种做法源于ACT（Action Chunking with Transformers）等工作，已被证明能提高推理效率和动作连贯性，因为模型可以利用未来动作之间的时序依赖性。
本文实验表明更大的动作块（chunk size从1到8）持续提升性能，最终采用chunk size=8
LIBERO 和 LIBERO-plus 基准
LIBERO是一个机器人操作基准，包含Spatial、Object、Goal和Long四个套件，每个套件500条专家演示、10个任务，评估不同空间布局、物体、目标和长时序任务的策略泛化。LIBERO-plus在此基础上增加了7类系统性扰动（相机位姿、机器人状态、语言指令改写、光照、背景、噪声、物体布局），共10,030条演示，更严格地评估鲁棒性和泛化能力。
这两个基准是本文评估所有设计选择的核心测试平台，LIBERO-plus上的表现差异尤其能体现设计选择的优劣
VLM-Policy连接策略
VLA模型需要设计VLM（视觉语言模型）和策略模块之间的信息传递方式。本文比较三种策略：(1) Loose连接——VLM和策略模块完全解耦，通过独立的meta query桥接；(2) Tight连接——逐层紧密耦合（类似π系列的cross-attention）；(3) Soft连接——逐层连接但插入可学习query作为潜在缓冲区，介于前两者之间。连接策略决定了VLM的表征如何有效地传递给策略模块用于动作生成。
Soft连接是本文的一个核心发现，它以微小的设计改动带来了性能提升，体现了'信息注入位置与信息内容同等重要'的关键洞察
研究动机
当前VLA（Vision-Language-Action）领域正处于快速发展的初期阶段，各类模型如雨后春笋般涌现——从RT-2、OpenVLA到π0、NORA、UniVLA等，但整体呈现碎片化和探索性的特征。不同研究团队提出了各自的设计方案，包括不同的VLM-策略接口方式（松散耦合vs紧密耦合）、不同的动作表征方式（离散分类vs连续回归vs扩散模型）、不同的感知输入配置（单视角vs多视角、是否使用本体感知）等。然而，各工作在训练协议和评估设置上的不一致性，使得研究人员难以识别哪些设计选择真正有效。例如，π0使用tight连接和flow matching，OpenVLA使用token复用和binning分类，OpenVLA-OFT使用独立策略头和回归目标，但这些设计选择的独立贡献无法从现有文献中清晰分离。这种'原始汤'状态严重阻碍了领域的系统性进步。
本文的目标是本文的目标是在统一的框架和评估协议下，系统性地重新审视VLA的设计空间，覆盖三个核心维度：基础组件（架构和训练目标）、感知要素（视觉/语言/本体感知输入）和动作建模视角（辅助目标和时序建模）。具体而言，作者希望通过超过500个消融实验，明确回答以下问题：(1) 策略模块应该有多复杂？(2) VLM和策略模块如何连接最好？(3) 动作应该用什么方式表征和学习？(4) 哪些感知输入是必要的？(5) 辅助目标（如世界建模、频域损失）是否值得引入？最终目标是提炼出一组实用的配方（recipe），指导研究者构建强大的VLA模型。
与已有工作不同的是，本文的独特切入角度在于：不追求提出一个全新的架构创新，而是回归VLA的源头RT-2，从最简单的基线出发，沿三个维度逐步改进，每次只改变一个设计选择，用控制变量的方式精确量化每个选择的贡献。这种方法虽然在大规模模型时代显得'朴素'，但正是当前VLA领域最需要的——在众多令人眼花缭乱的新模型中，需要有人系统性地搞清楚'什么设计选择真正重要'。作者的方法论类似于OpenAI的Scaling Laws研究或Google的T5论文，将分散的经验知识转化为结构化的、可操作的设计指南。
核心方法
本文的方法可以概括为'从RT-2出发的系统性进化路线'。作者首先建立一个最小化的RT-2风格VLA基线——使用LLaMA-3.2-3B作为语言骨干，SigLIP2作为视觉编码器，复用文本token进行动作分类（binning离散化）。然后沿三个维度逐步引入改进：(1) 基础组件维度，包括策略模块设计（从token复用→独立策略头→大型策略模块）、动作分块、动作学习目标（分类→回归→扩散→Flow Matching）、VLM骨干容量、VLM-策略连接方式；(2) 感知要素维度，包括时序观测历史、相机视角范围、本体感知输入配置；(3) 动作建模视角维度，包括世界建模辅助目标和频域正则化。每个维度的探索都是在前一个维度的最优选择基础上进行的，形成一条清晰的进化轨迹（如Figure 2所示）。最终得到的VLANeXt模型虽然只有2.5B参数，却在多个基准上超越了更大的基线模型。
本文最核心的创新洞察是：VLA的性能提升主要来自一系列原则性的设计选择，而非激进的模型缩放或任务特定工程。具体来说，作者发现了几个与直觉相悖或此前未被明确指出的关键发现：(1) Soft连接优于Loose和Tight连接——可学习的query缓冲区在VLM的文本空间和策略模块的动作空间之间起到了'潜在推理'的作用；(2) 视频输入反而有害——尽管VLM已经在视频上预训练，添加时序观测历史不仅不提升性能，反而略有下降，说明冗余的时间信息引入了噪声；(3) 本体感知应该注入VLM而非策略模块——直接注入策略模块会降低模型对视觉和语言输入的依赖，而注入VLM能更好地与视觉/语言信息融合；(4) 频域建模是一种轻量而有效的正则化——将动作预测视为时序预测问题，用DCT频域损失约束低频分量，能有效避免模型对轨迹抖动的过拟合。这些发现共同指向一个核心原则：'信息注入的位置与信息内容同等重要'。
方法步骤详情
VLANeXt的构建过程可以分为以下步骤：(1) 基础基线构建——使用Qwen3-VL-2B作为VLM骨干（经过实验验证，在效率-性能权衡上优于LLaMA-3.2-3B和PaliGemma-3B），将视觉观测和语言指令输入VLM，VLM输出meta query token序列；(2) 策略模块设计——使用16个meta query和12层transformer策略头，通过Soft连接（逐层cross-attention + 可学习query缓冲区）与VLM交互，时间步通过adaLN条件注入；(3) 感知配置——采用双视角输入（第三人称视角 + 腕部相机），本体感知信息通过线性投影注入VLM（历史长度8步）；(4) 动作生成——使用Flow Matching目标，一次预测8步动作块（action chunk），动作空间为连续向量 $(8, \dim)$；(5) 辅助正则化——添加频域损失，使用DCT将动作转换到频域，对低频分量赋予更高权重（weight=0.5），对高频分量赋予较低权重；(6) 训练配置——在LIBERO数据集上训练10,000步，batch size 256，学习率 $1 \times 10^{-4}$，AdamW优化器，cosine decay调度器。
技术新颖性
本文的技术新颖性主要体现在方法论层面而非单一的技术突破。首先，这是VLA领域首次如此大规模、系统性的设计空间探索（超过500个消融实验），其规模和严谨性远超之前的初步探索（如Liu et al. 2026的Nature Machine Intelligence论文或Zhang et al. 2026的VLM4VLA）。其次，几个发现具有独立的参考价值：Soft连接的设计（在两个已知策略之间找到更优的中间点）、频域损失用于机器人动作正则化（将时间序列预测领域的成熟技术引入机器人学习）、以及'视频输入有害'这一反直觉结论。此外，作者开源了一个统一、轻量、易用的代码库，封装了VLA设计空间的关键组件，使研究者可以在共享基础上复现和扩展，这种'基础设施贡献'在VLA领域同样具有重要价值。
实验结果
本文的核心实验发现可以总结为12条关键结论，体现在Table 1的详细消融中。在基础组件方面：(1) 独立策略头（Separate Head）相比token复用将LIBERO性能从19.8%提升到30.2%；(2) 大型策略模块（12层transformer + 16 meta query）进一步将性能推至64.4%；(3) 动作分块从chunk=1到chunk=8，LIBERO-plus总分从34.0%提升到43.4%；(4) 在动作学习目标中，回归（Regression）在LIBERO上达到85.4%最高，但Flow Matching在高精度控制下最终更优（LIBERO-plus上45.0% vs 48.4%，后续实验进一步验证）；(5) 更强的VLM骨干持续带来收益，Qwen3-VL-4B（95.8% LIBERO）优于Qwen3-VL-2B（90.0%）优于LLaMA-3.2-3B（80.0%）；(6) Soft连接（91.8% LIBERO）略优于Loose（90.0%）和Tight（90.0%）。在感知方面：(7) 时序观测历史反而降低性能（91.8% → 85.0%）；(8) 多视角输入（第三人称+腕部）带来巨大提升，LIBERO-plus从56.2%跃升至80.5%；(9) 本体感知注入VLM（87.7% LIBERO-plus）优于注入策略模块（83.4%）和不使用（80.5%）。在动作建模方面：(10) 世界建模提升性能但训练时间翻三倍；(11) 频域损失以微小代价进一步提升性能。最终VLANeXt（2.5B参数）在LIBERO上达到97.4%平均成功率，在LIBERO-plus上达到83.9%，显著超越OpenVLA-OFT（7B, 69.6% LIBERO-plus），在真实世界实验中也表现出色（单臂清洁14/20，双臂抬篮15/20）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO基准（平均4个套件） | 成功率 (%) | 97.4 | OpenVLA-OFT: 97.1, FLOWER: 96.9, π0.5: 96.9 | 0.3-0.5%（与SOTA持平或略优） |
| LIBERO-plus基准（平均，含7类扰动） | 成功率 (%) | 83.9 | OpenVLA-OFT: 69.6, π0-Fast: 61.6 | 相对OpenVLA-OFT提升14.3个百分点（+20.5%） |
| 真实世界-单臂桌面清洁 | 成功率 (成功数/总数) | 14/20 | OpenVLA-OFT: 7/20, π0: 10/20 | 相对OpenVLA-OFT提升100%（7/20 → 14/20） |
| 真实世界-双臂抬篮 | 成功率 (成功数/总数) | 15/20 | OpenVLA-OFT: 9/20, π0: 13/20 | 相对OpenVLA-OFT提升67%（9/20 → 15/20） |
局限与改进
尽管VLANeXt取得了令人印象深刻的性能，本文存在几个明显的局限性。首先，所有实验都在LIBERO生态系统内进行——这是一个基于MuJoCo的模拟基准，任务类型相对简单（桌面物体抓取放置），缺乏接触密集型操作、精密装配等更具挑战性的场景。真实世界实验也仅涉及4个相对简单的任务（桌面清洁、抽屉操作、抬篮），且每种情况只有50个训练episode和20个测试trial，统计显著性有限。其次，VLANeXt的参数规模（2.5B）虽然高效，但与π0.5（7B+）等更大模型相比，在需要复杂推理的长时序任务上可能仍有差距。第三，本文的配方是在特定数据集（LIBERO的500条演示/套件）和训练配置（10K步，batch 256）下验证的，其在更大规模预训练（如在Open X-Embodiment上训练）或不同机器人平台上的普适性尚待验证。第四，作者自己承认世界建模虽然有效但训练成本过高（3倍训练时间），这意味着当前配方可能尚未充分利用预测未来观测的潜力。最后，频域损失的最优权重（0.5）和频率加权策略是在特定设置下确定的，可能需要在不同任务上重新调优。
独立分析的弱点
从独立分析的角度看，VLANeXt存在几个值得关注的弱点。第一，实验评估主要依赖LIBERO和LIBERO-plus，这两个基准虽然设计精巧，但本质上是桌面抓取放置任务，与工业级机器人操作（如装配、焊接、柔性物体操作）存在较大差距。未来工作应在更广泛的任务类型上验证这些配方的普适性。第二，Soft连接虽然优于Loose和Tight，但提升幅度相对有限（LIBERO上91.8% vs 90.0%），在实际部署中的边际收益可能不明显。第三，频域损失的设计——DCT变换后对高频分量降权——隐含假设高频噪声是有害的，但在某些精细操作中（如精密装配），高频动作信号可能恰恰是关键信息，需要更自适应的频率加权策略。第四，模型未探索强化学习（RL）后训练或在线适应机制，而近期工作（如π0.5的RL后训练）表明这可以进一步提升性能。改进方向包括：(1) 在接触密集型任务（如灵巧手操作、柔性物体）上验证配方；(2) 设计自适应频率加权的频域损失；(3) 将配方与RL后训练结合；(4) 探索更高效的Soft连接变体以降低推理延迟。
未来方向
作者在结论中指出了几个重要的未来方向：(1) 将视角扩展到更多样的机器人形态（目前主要在单臂Franka和双臂Aloha上验证）；(2) 探索更长时序的推理能力（当前chunk size=8约对应1-2秒的动作，对于需要分钟级规划的任务仍不足）；(3) 更丰富的中期训练（mid-training），如在大规模机器人数据上的预训练；(4) 更丰富的世界交互目标（当前世界建模因成本被排除，但其潜力未被充分挖掘）。基于本文成果，还可以延伸出以下方向：(5) 将频域正则化思想推广到其他序列生成任务（如视频生成中的动作预测）；(6) 探索Soft连接在多模态大模型中的更广泛应用（如将推理模块与生成模块连接）；(7) 将配方思想扩展到自动驾驶等其他VLA应用场景。
复现评估
本文在可复现性方面做得较好。作者开源了完整代码库（https://github.com/DravenALG/VLANeXt），提供了统一的训练和评估框架，代码设计为轻量且最小封装，便于研究者修改和扩展。训练配置在Table 7中详细列出，包括所有超参数（优化器、学习率、batch size、数据增强参数等）。使用的数据集（LIBERO）是公开可用的，VLM骨干（Qwen3-VL-2B）也是开源模型。然而，完整复现所有500+消融实验需要大量计算资源——虽然单个实验的训练规模不大（10K步，2.5B参数），但全量实验的总计算成本相当可观。此外，真实世界实验需要Franka机械臂和Aloha双臂系统，这对大多数实验室而言是显著的硬件门槛。总体而言，复现最终VLANeXt模型的门槛较低，但复现完整设计空间探索的成本较高。
论文图表
