APT：动作专家预训练提升视觉-语言-动作策略的指令泛化能力

通过两阶段预训练动作专家解决VLA模型OOD语言泛化问题

前置知识

Vision-Language-Action (VLA) 模型

VLA模型结合预训练的视觉-语言模型与连续动作专家，通过视觉观察和语言指令生成可执行的机器人动作。主流范式是将大型VLM（如Qwen2-VL）与基于扩散或流的连续动作生成器耦合，其中VLM提供语义理解，动作专家负责生成精细的操作动作。

VLA模型是当前通用机器人策略的主流范式，理解其架构和训练方式是掌握本文基础

视觉捷径（Visual Shortcut）

在VLA训练数据中，单个语言指令通常与多个视觉-动作帧配对（一个轨迹T帧共享一条指令），导致视觉-动作多样性比语言丰富T倍以上。模型因此学会忽略语言，直接从视觉线索预测动作，形成绕过语言的捷径。

这是VLA模型OOD泛化失败的核心原因，论文的所有分析和方法都围绕解决此问题展开

贝叶斯分解（Bayesian Factorization）

这是APT方法的理论基础，它提供了一种原则性的方式来预训练动作专家，避免从随机初始化开始学习

门控融合机制（Gated Fusion）

在动作专家的每一层注意力层中，通过可学习的门控标量$\hat{w}_i$和sigmoid函数$\sigma(\cdot)$调制VLM特征注入：$h^{(i+1)}_{in} = h^{(i)}_{out} + \sigma(\hat{w}_i) \cdot \phi_{\text{Qwen-VL}}^i(v,\ell)$。这种设计允许动作专家自适应地吸收VLM的浅层空间特征和深层语义特征，同时保持自身的视觉-语言通路。

这是APT的关键架构创新，使模型能继承VLM表示能力同时保留预训练的视觉运动先验

研究动机

现有连续动作VLA模型在分布外（OOD）语言指令上泛化能力严重不足。实验数据显示，OpenVLA和$\pi$0在LIBERO-PRO的Pos和Task扰动下成功率为0%，$\pi$0.5通过知识隔离（KI）在Pos上恢复到20%但在Task上仅为1%。核心问题在于VLA数据的结构不平衡：一个轨迹的T个视觉-动作帧只对应一条语言指令，视觉-动作多样性比语言丰富T倍以上。随机初始化的动作专家在这种数据上学习时容易忽略语言，形成视觉捷径。这些捷径产生的噪声梯度会进一步破坏VLM的语言表示能力，使得模型无法理解未见过的指令措辞、新物体引用或组合任务规范。

本文的目标是本文的目标是通过预训练动作专家来改善连续动作VLA模型在OOD语言指令上的泛化能力。具体而言，提出一种基于贝叶斯分解的两阶段训练方法APT（Action Expert PreTraining），在引入语言信号之前先让动作专家学习平衡的视觉-动作先验，然后再与VLM联合训练对齐任务指令。期望在不依赖额外VL推理数据的情况下，仅使用现有VLA数据就能显著提升模型在未见指令和组合任务上的表现。

与已有工作不同的是，本文的独特切入点是从动作专家初始化角度解决OOD语言泛化问题。现有方法主要通过知识隔离（停止梯度从动作专家到VLM）或VL推理语料库联合训练来缓解问题，但都未触及根本——动作专家是从随机初始化开始学习的。本文观察到虽然完整VLA三元组存在语言-视觉不平衡，但视觉-动作对本身是平衡的，没有捷径激励。通过贝叶斯分解将策略分解为VA先验和VLA似然，可以在不引入语言的情况下预训练动作专家。这个角度此前未被充分探索，尤其是将其应用于主流连续动作VLA架构（如$\pi$和GR00T风格）的两阶段训练框架。

核心方法

APT采用两阶段训练框架，整体思路是先让动作专家在纯视觉条件下学习基础操作能力，再引入语言进行对齐。阶段1（VA Prior预训练）冻结所有VLM参数，仅使用视觉令牌训练扩散型动作专家，学习$\pi_p(a|v)$分布。阶段2（VLA联合训练）通过门控融合机制注入语言令牌，展开动作专家网络，训练完整的$\pi(a|v,\ell)$策略。最后进行任务特定的微调。这种方法在直觉上类似于先让动作专家学会怎么动，再教它听懂话，避免了从零开始同时学习动作生成和语言理解的困难。

APT的核心创新点是通过贝叶斯分解$\pi(a|v,\ell)\propto\pi_p(a|v)\cdot L(\ell|v,a)$实现原则性的动作专家预训练。与现有方法的关键区别在于：（1）利用视觉-动作对（而非完整VLA三元组）进行预训练，数据天然平衡无捷径；（2）通过门控融合机制整合VLM特征，而非简单拼接或交叉注意力；（3）两阶段训练在单一网络内实现，阶段1仅激活N/2层并屏蔽语言令牌，阶段2插入新层并展开语言参与。与BayesVLA冻结先验不同，APT允许先验和似然联合优化，在大规模数据下达到更好平衡。与$\pi$0.5的知识隔离不同，APT证明只要动作专家预训练得当，联合训练VLM反而能带来额外提升。

方法步骤详情

APT的完整训练流程包括三个阶段。预训练阶段1：VA Prior预训练。从数据集中抽取一半预训练数据的视觉-动作对，冻结所有VLM参数，仅激活动作专家的前N/2层注意力层。语言令牌被完全屏蔽，动作专家通过自注意力处理$[v, a]$序列，其中$a$由动作历史$a_{hist}$、当前本体状态$s_{prop}$和待去噪动作$a_{noisy}$组成。去噪时间步通过Feature-wise Linear Modulation（FiLM）注入每层。训练目标是最小化动作预测的负对数似然。预训练阶段2：VLA似然对齐。在阶段1的基础上，在每个原始层后插入新的注意力层，将网络扩展到N层。移除语言屏蔽，所有令牌参与块级因果自注意力$[v, \ell, a]$。新层随机初始化，原始层从阶段1检查点初始化。使用完整预训练数据（视觉-动作-语言三元组）联合训练所有参数。后训练：任务特定微调。与阶段2相同，但在任务特定数据上微调完整策略以适应目标域分布。

技术新颖性

APT的技术新颖性体现在三个方面。首先是理论层面，将贝叶斯分解框架从诊断工具（如BayesVLA）扩展为实用的预训练方法论，识别出动作专家初始化是OOD泛化的关键因素。其次是架构设计，提出层级门控融合机制，通过可学习的门控标量自适应调制VLM特征注入，既继承语义表示又保留视觉运动先验。相比直接插入语言令牌（Token Insertion），这种机制在UO和UOUE任务上分别提升14%和22%（图5）。最后是训练策略的创新，两阶段训练在单一网络内通过层数激活和语言屏蔽实现，与BayesVLA冻结先验不同，APT允许先验和似然联合优化，在大规模数据下达到更好平衡。

实验结果

核心发现在多个维度验证了APT的有效性。在LIBERO-PRO基准上（表1），OpenVLA和$\pi$0在所有扰动下成功率为0%，确认直接联合训练会坍塌到视觉捷径。$\pi$0.5通过知识隔离在Pos上恢复到平均20%，但在Task上仅1%。APT在Pos和Task上分别达到19%和27%，显著优于$\pi$0.5（19% vs 11%）。APT (Ft VLM)进一步将平均提升到27%，证明给定良好初始化后联合训练VLM能带来额外增益。在Pick-Place基准上（表2），APT (Ft VLM)在SO/UO/UC/UOUE上分别达到98%/84%/92%/58%，比$\pi$0.5的84%/70%/86%/50%全面领先。消融实验（表2）表明：仅用KI不提升，仅用2-Stage提升明显，KI+2-Stage超过$\pi$0.5，2-Stage+Ft VLM达到最佳，证明预训练是关键而KI非必要。架构通用性实验（图4）显示2-Stage训练在$\pi$-style、GR00T-style和APT架构上均带来一致提升，其中APT和GR00T-style增益最大（+6%到+50%）。大规模预训练必要性实验（图5）显示，即使仅在任务数据上做两阶段训练（w/o Pretraining）也能恢复一定泛化能力（SO:90%, UO:62%, UC:70%, UOUE:56%），但远低于有大规模预训练的APT（SO:96%, UO:74%, UC:90%, UOUE:62%）。语言注入机制对比（图5）验证门控融合优于Token Insertion，尤其在UO和UOUE上差距最大。真实世界实验（表3）中，在Pick-Place的SO/UO/UOUC/UOUCUE设置下，APT成功率为96.7%/85%/80%/70%，显著优于$\pi$0.5的90%/55%/45%/40%。在Clutter Pick-Place的SO/UC/UO/UOUE下，APT达到83%/73%/70%/60%，同样全面领先。组合任务实验（图6）显示两者在单个任务教练上表现相当，但在任务链上$\pi$0.5从80%+坍塌到20%，APT保持在65-90%，证明APT更好保留了VLM的语言理解能力。

**Table 1**: Results on LIBERO-PRO (success rate %).

**Table 2**: Results on Pick-Place (rate %).

**Table 3**: Real-world task generalization results (successes/trials).

**Figure 4**: Action expert pretraining applies to diverse architectures.

**Figure 5**: Ablation on large-scale pretraining and language injection mechanism.

**Figure 6**: Results on compositional task.

查看结构化数据

任务	指标	本文	基线	提升
LIBERO-PRO Pos扰动	平均成功率（%）	APT: 19, APT (Ft VLM): 27	$\pi$0.5 (KI): 11, LangForce: 14, OpenVLA: 0	APT比$\pi$0.5提升72.7%，APT (Ft VLM)比$\pi$0.5提升145.5%
LIBERO-PRO Task扰动	平均成功率（%）	APT: 27, APT (Ft VLM): 27	$\pi$0.5 (KI): 1, LangForce: 14, OpenVLA: 0	APT比$\pi$0.5提升2600%，APT (Ft VLM)比$\pi$0.5提升2600%
Pick-Place（SO/UO/UC/UOUE平均）	平均成功率（%）	APT (Ft VLM): 83	$\pi$0.5 (KI): 72.5, OpenVLA: 28.5	APT (Ft VLM)比$\pi$0.5提升14.5%
真实Pick-Place（UOUCUE）	成功率（%）	APT: 70	$\pi$0.5: 40	提升75%
真实Clutter Pick-Place（UOUE）	成功率（%）	APT: 60	$\pi$0.5: 30	提升100%
组合任务链	成功率（%）	APT: 65-90	$\pi$0.5: 20	提升225-350%

局限与改进

作者承认的局限性包括：当前设计未显式建模长时域记忆，限制了需要跟踪多步进度的任务泛化能力。评估主要集中在桌面操作场景，扩展到运动或移动操作仍有待探索。基于论文观察的额外局限性：APT依赖大规模预训练数据来获得多样化的动作先验，在数据稀缺场景下优势减弱（图5中w/o Pretraining在UOUE仅56% vs APT的62%）。两阶段训练增加了计算开销，虽然作者未报告具体训练时间。在Goal-Pos子任务上APT表现低于$\pi$0.5（表1），可能因为过度关注语言跟随而忽略了视觉适应所需的障碍物避让能力，暴露了语言敏感性和视觉鲁棒性之间的权衡。

独立分析的弱点

APT的几个独立分析弱点及改进方向：（1）长时域规划能力不足。当前架构仅在动作令牌中包含历史记录，没有显式的任务状态跟踪或子目标分解机制。改进方向可以引入层次化策略或外部记忆模块，如使用世界模型预测多步后果。（2）数据效率问题。虽然两阶段训练在低数据下仍有效（图5 w/o Pretraining），但UOUE从56%到62%的提升幅度有限。改进方向可以结合数据增强或元学习，提升从少量样本学习新动作先验的能力。（3）语言-视觉权衡。Goal-Pos表现低于$\pi$0.5表明APT可能过度偏向语言跟随。改进方向可以引入动态门控机制，根据任务复杂度自适应调整语言和视觉特征的融合权重。（4）架构扩展性。当前主要针对桌面操作，扩展到移动操作需要处理更复杂的视觉场景和更大动作空间。改进方向可以引入场景图表示或分层动作空间。

未来方向

作者提出的未来工作方向包括扩展到运动和移动操作场景。基于论文成果可延伸的方向：（1）将APT框架应用于其他连续动作生成范式，如流匹配模型或归一化流，验证预训练的泛化性。（2）探索更复杂的语言条件机制，如指令分解、子目标检测或程序化表示，进一步提升组合任务性能。（3）结合世界模型辅助目标（如论文提及的[42-46]），将预测的未来视觉状态作为额外条件，可能改善长时域规划。（4）研究与其他正则化技术（如知识蒸馏、对比学习）的结合，在保持OOD泛化的同时提升分布内性能。（5）开发在线预训练机制，在部署过程中持续更新VA先验，适应新环境和新物体。

复现评估

论文提供了项目网页https://xukechun.github.io/papers/APT，但未在正文中明确说明开源情况。实验使用Qwen3-VL作为VLM骨干，动作专家是基于Transformer的扩散模型。训练数据包括大规模预训练数据集和任务特定数据集，但具体数据集名称和规模未详细报告。模拟实验在LIBERO-PRO和自定义Pick-Place基准上进行，真实实验使用Franka Emika Panda机器人，每个任务收集30个演示进行微调。算力要求未明确说明，但考虑到两阶段训练和大规模数据，预计需要多卡GPU。消融实验设计较为全面，包括架构通用性、预训练规模、语言注入机制等多个维度。整体复现难度中等偏高，主要挑战在于获取相同的数据集和算力资源。

APT：动作专家预训练提升视觉-语言-动作策略的指令泛化能力 APT: Action Expert Pretraining Improves Instruction Generalization of Vision-Language-Action Policies