VP-VLA：视觉提示作为视觉-语言-动作模型的接口

用视觉提示解耦高层推理与低层控制，提升机器人操作精度

前置知识

Vision-Language-Action (VLA) 模型

VLA模型是一类将视觉观察和语言指令直接映射为机器人控制信号的端到端模型。这类模型通常基于预训练的视觉-语言模型（VLM）进行微调，在大规模机器人演示数据集上学习，从而继承强大的现实世界先验知识，同时获得具身操作技能。典型的VLA模型如OpenVLA、pi0等，通过单一前向传播同时处理指令解读、空间推理和低层控制，将高层语义理解与底层运动执行统一在一个网络中。

VP-VLA正是为了解决VLA模型在单次前向传播中同时处理多个任务的局限性而提出的，理解VLA的基本范式是理解本文动机和方法的前提。

System 1 / System 2 双系统架构

这一概念源自认知科学家Daniel Kahneman的理论，System 1代表快速、直觉式的思维过程，System 2代表缓慢、深思熟虑的推理过程。在VP-VLA中，System 2 Planner是一个高层推理模块，负责将复杂指令分解为子任务并识别目标物体和位置；System 1 Controller是一个高频控制器，负责根据视觉提示生成精确的低层执行动作。这种解耦设计模仿了人类认知过程，使每个系统专注于自己的任务。

双系统架构是VP-VLA的核心设计哲学，理解这一概念有助于把握论文将认知科学思想引入机器人控制的创新角度。

视觉提示（Visual Prompting）

视觉提示是一种将空间信息直接嵌入图像观察中的技术。在VP-VLA中，视觉提示包括十字准线（crosshair）标记目标物体的质心，以及边界框（bounding box）标记放置区域。这些提示直接叠加在RGB图像上，作为模态一致的空间锚点，引导低层控制器的注意力。与密集分割掩码或affordance map不同，视觉提示保持了与原始图像的模态一致性，避免了复杂的模态融合问题。

视觉提示是VP-VLA的核心创新，它作为高层推理和低层执行之间的结构化接口，理解其设计和作用机制是理解本文技术贡献的关键。

空间接地（Spatial Grounding）

空间接地是指将语言或语义信息与视觉空间中的具体位置对应起来的能力。在机器人操作中，这意味着将语言指令中的物体名称和位置描述映射到图像中的像素坐标。VP-VLA通过辅助的视觉接地目标函数来增强这一能力，在训练时强制模型将视觉提示的坐标内化到其内部表示中，从而提高空间精度和鲁棒性。

空间接地是VLA模型面临的核心挑战之一，VP-VLA通过视觉提示和辅助接地损失来增强这一能力，理解这一概念对于理解论文的方法设计至关重要。

事件驱动执行（Event-Driven Execution）

事件驱动执行是一种仅在特定状态变化发生时才触发高层规划的策略。在VP-VLA中，当机器人的物理交互状态发生变化（如夹爪从打开变为关闭或反之）时，系统会重新评估视觉提示以反映下一个子目标。这种设计避免了在每个时间步都进行计算开销大的高层推理，提高了系统效率。事件的触发条件是状态变化超过阈值。

事件驱动机制是VP-VLA实现高效多阶段操作的关键设计，理解这一概念有助于把握论文在系统效率方面的考量。

研究动机

现有的视觉-语言-动作（VLA）模型通常采用单体架构（monolithic architecture），将指令解读、空间推理和动作生成紧密耦合在单一前向传播中。这种黑盒映射方式存在严重问题：首先，模型倾向于过拟合到特定训练场景分布，而非真正将指令接地到环境中。近期研究发现，用无意义语言替换有意义指令几乎不影响性能，表明模型并未真正理解语言语义。其次，当遇到新物体类别或未见空间位置时，模型性能急剧下降。例如在Robocasa基准测试中，现有方法在新物体组合任务上的成功率仅为45-55%，在新空间配置下表现更差。第三，虽然已有方法引入目标图像或密集几何监督作为中间接口，但这些方法通常聚焦于静态单任务场景，依赖刚性接口表示，无法适应多阶段任务的动态性。更重要的是，密集几何数据的收集成本高昂，预测的affordance质量不稳定。这些局限性使得VLA模型在实际部署中的可靠性和泛化能力受到严重制约。

本文的目标是本文提出VP-VLA框架，旨在通过解耦高层推理和低层执行来解决现有VLA模型的根本性问题。具体目标包括：第一，设计一个结构化的视觉提示接口，将复杂语言指令转化为精确的空间锚点，避免模态不匹配问题；第二，通过事件驱动的任务分解机制，实现高效的多阶段操作规划；第三，引入辅助视觉接地目标函数，增强模型对视觉提示的利用能力；第四，在仿真和真实世界场景中验证框架的有效性，包括分布内和分布外设置。最终目标是建立一个既能保持VLA模型的语义理解能力，又能提供精确空间指导的统一框架，在Robocasa-GR1-Tabletop基准上超越QwenOFT等强基线，在SimplerEnv基准上超越pi0.5等先进模型。

与已有工作不同的是，本文的独特切入角度在于将认知科学的双系统理论引入VLA框架设计。与现有方法不同，VP-VLA不是试图在单一网络中隐式解决所有问题，而是显式地将任务分解为思考和执行两个阶段。关键创新在于使用视觉提示（十字准线和边界框）作为两个系统之间的结构化接口，而非使用密集分割掩码或affordance map。这种设计的核心优势是模态一致性：视觉提示直接叠加在RGB观察空间中，避免了引入新的表示模态所带来的模态不匹配问题。与Point-VLA使用静态首帧坐标不同，VP-VLA的视觉提示与动态操作过程保持同步；与DexGraspVLA使用密集分割掩码不同，VP-VLA的轻量级视觉叠加不需要额外的视觉编码器或复杂的模态融合层。这种视觉提示即接口的设计哲学，使得VP-VLA在保持计算效率的同时，实现了高层推理和低层执行的有效桥接。

核心方法

VP-VLA的核心思路是将机器人操作任务分解为思考和执行两个阶段，并通过视觉提示作为两者之间的桥梁。直觉上，当人类执行复杂操作任务时，我们会先思考需要做什么，然后将注意力聚焦到具体物体和目标位置上，最后执行精确的动作。VP-VLA模仿这一过程：System 2 Planner使用预训练视觉-语言模型（VLM）将复杂指令分解为子任务序列，识别目标物体和目标位置，然后将这些空间信息转化为视觉提示（十字准线和边界框）直接叠加在RGB图像上。System 1 Controller接收带有视觉提示的图像，将其视为视觉指令，生成精确的运动轨迹。技术路线上，System 2使用Qwen3-VL-4B-Instruct进行语义推理，使用SAM3进行精确目标定位；System 1基于QwenOFT架构，通过辅助视觉接地损失进行训练，确保模型真正利用视觉提示中的空间信息。整个系统采用事件驱动执行策略，仅在机器人交互状态发生变化时触发高层规划，避免了每个时间步都进行昂贵的推理计算。

VP-VLA的核心创新是视觉提示即接口的设计理念。与现有方法的本质区别在于：首先，不同于端到端VLA模型（如QwenOFT、GR00T-N1.6）试图在单一网络中隐式解决指令解读、空间推理和动作生成，VP-VLA显式地将这些任务解耦到不同模块中；其次，不同于使用密集分割掩码的方法（如DexGraspVLA、RoboGround），VP-VLA使用轻量级的视觉提示（十字准线和边界框），保持了与原始RGB图像的模态一致性，避免了需要额外视觉编码器或复杂模态融合层的问题；第三，不同于使用静态坐标的Point-VLA，VP-VLA的视觉提示与动态操作过程同步更新，仅在关键帧（事件触发时）重新生成；第四，引入辅助视觉接地目标函数，通过离散化空间分类任务强制模型内化视觉提示的坐标，使用交叉熵损失而非传统MSE损失，提供更清晰的训练信号。这种设计使得VP-VLA在保持计算效率的同时，实现了比端到端方法更高的空间精度和泛化能力。

方法步骤详情

VP-VLA的完整流程包括以下步骤：第一步，任务分解。当用户输入语言指令时，System 2 Planner的VLM将指令分解为子任务序列，并识别每个子任务对应的目标物体和目标位置。第二步，事件触发。系统监控机器人状态，当夹爪状态发生变化（打开或关闭）时触发事件，触发条件是状态变化超过阈值。第三步，视觉提示生成。事件触发后，使用SAM3对目标物体和目标位置进行文本条件分割，得到掩码和边界框，然后将这些转化为视觉提示：十字准线放置在目标物体质心，边界框标记放置区域。第四步，动作生成。System 1 Controller接收原始观察和视觉提示图像，通过策略网络生成动作序列。第五步，训练优化。总损失函数由动作预测的L1损失和视觉接地的交叉熵损失组成，仅在关键帧计算接地损失且仅通过VLM参数反向传播，系数为0.1用于平衡两项损失。

技术新颖性

VP-VLA的技术新颖性体现在多个层面。首先，在架构设计上，首次将认知科学的System 1和System 2理论系统性地应用于VLA框架，通过显式解耦实现了高层推理和低层执行的模块化设计，这与传统端到端方法的隐式耦合形成鲜明对比。其次，在接口设计上，提出视觉提示即接口的理念，使用十字准线和边界框作为轻量级、模态一致的空间锚点，避免了密集分割掩码或affordance map带来的模态不匹配问题。第三，在执行策略上，引入事件驱动机制，仅在机器人交互状态变化时触发高层规划，相比每个时间步都进行推理的方法显著提高了效率。第四，在训练策略上，设计了辅助视觉接地目标函数，将空间接地建模为离散化分类任务（1000个均匀bin），使用交叉熵损失提供比MSE更清晰的训练信号，且仅在关键帧计算接地损失，避免了密集监督带来的噪声。第五，在数据准备上，采用规则基础的任务分解和文本条件分割，实现了自动化视觉提示生成，无需人工标注。这些技术创新共同构成了一个既高效又有效的框架，在多个基准测试中取得了显著优于现有方法的性能。

**Figure 1**: VP-VLA leverages a dual-system architecture to bridge high-level reasoning and low-level control

**Figure 3**: Overview of VP-VLA pipeline

**Figure 4**: Overview of real-world task and robot setting

实验结果

VP-VLA在仿真和真实世界场景中均取得了显著优于现有方法的性能。在Robocasa-GR1-Tabletop基准测试中，VP-VLA的平均成功率达到53.8%，相比主要基线QwenOFT（48.8%）提升了5.0个百分点，超越了GR00T-N1.6（47.6%）、QwenGR00T（47.8%）等强基线。在SimplerEnv基准测试中，VP-VLA的平均成功率为58.3%，相比QwenOFT（50.0%）提升了8.3个百分点，超越了pi0.5（57.1%）和Isaac-GR00T-N1.6-Bridge（57.1%）。在真实世界场景中，VP-VLA在分布内设置下达到87.5%的成功率（vs QwenOFT的80%），在分布外设置下达到85%的成功率（vs QwenOFT的63.3%），泛化差距仅为2.5%（vs 基线的16.7%）。在颜色属性接地任务中，VP-VLA在分布内达到77.1%（vs 58.3%），在新颜色下保持75.0%（vs 29.2%）。在位置接地任务中，VP-VLA在分布内达到91.25%（vs 70.63%）。消融实验表明，移除接地损失会将性能从53.8%降至49.4%，证明辅助接地目标的关键作用。

**Table 1**: Results of evaluating the VLA models with the GR1 robot in the RoboCasa Tabletop simulation environment

**Table 2**: Results of evaluating the VLA models with the WidowX robot in the SimplerEnv simulation environment

**Table 3**: Ablation results of evaluating the VLA models with the GR1 robot in the RoboCasa Tabletop simulation environment

**Figure 5**: Results of real-world robot manipulation

查看结构化数据

任务	指标	本文	基线	提升
Robocasa-GR1-Tabletop (平均)	平均成功率	53.8%	48.8% (QwenOFT)	+5.0%
Robocasa-GR1-Tabletop (PnP * to * Close)	成功率	54.3%	43.7% (QwenOFT)	+10.6%
SimplerEnv (平均)	平均成功率	58.3%	50.0% (QwenOFT)	+8.3%
SimplerEnv (Put Eggplant in Yellow Basket)	成功率	95.8%	70.8% (QwenOFT)	+25.0%
真实世界分类任务 (分布内)	成功率	87.5%	80.0% (QwenOFT)	+7.5%
真实世界分类任务 (分布外)	成功率	85.0%	63.3% (QwenOFT)	+21.7%
真实世界颜色属性 (分布内)	成功率	77.1%	58.3% (QwenOFT)	+18.8%
真实世界颜色属性 (新颜色OOD)	成功率	75.0%	29.2% (QwenOFT)	+45.8%
真实世界位置接地 (分布内)	准确率	91.25%	70.63% (QwenOFT)	+20.62%

局限与改进

VP-VLA存在以下局限性：首先，System 2 Planner依赖预训练VLM的推理能力，当VLM对复杂场景的理解不足时，任务分解可能出错，导致后续执行失败。论文中承认VLM reasoner在某些复杂场景下可能无法准确识别子任务转换。其次，视觉提示的质量依赖于SAM3的分割精度，当目标物体被遮挡或外观不常见时，分割可能不准确，影响后续操作。第三，事件驱动机制仅使用夹爪状态作为触发条件，对于不涉及夹爪状态变化的操作（如推动、滑动等非抓取操作），可能无法正确触发高层规划。第四，论文仅在桌面厨房环境和特定真实世界任务中进行了验证，对于更复杂的操作场景（如双臂协作、柔性物体操作、长时序任务）的有效性尚不明确。第五，辅助接地损失仅在关键帧计算，对于密集操作场景可能提供不足的监督信号。第六，系统需要两个模型（VLM Planner和VLA Controller），增加了推理时的计算开销和系统复杂度。第七，论文未提供与端到端扩散策略方法（如Diffusion Policy）的对比，难以评估在需要精细力控任务上的表现。

独立分析的弱点

VP-VLA的弱点主要包括以下几个方面：第一，事件触发机制过于简化。当前系统仅使用夹爪状态（开或关）作为事件触发条件，这限制了框架在非抓取操作（如推动、旋转、擦拭等）中的适用性。改进方向是设计更通用的状态变化检测机制，例如引入力或力矩传感器数据或视觉变化检测。第二，视觉提示表示的局限性。十字准线和边界框虽然轻量，但可能无法充分表达复杂的空间关系。可以探索更丰富的视觉提示形式，如方向箭头、连接线或多层叠加。第三，任务分解的自动化程度不足。论文提到在蛋盒放置任务中需要用户手动指定目标位置，表明系统在某些场景下仍需人工干预。改进方向是增强VLM的空间推理能力或引入交互式反馈机制。第四，缺乏对失败恢复的处理。当执行过程中出现意外（如物体滑落），系统缺乏有效的错误检测和恢复策略。可以引入基于视觉反馈的成功检测和重试机制。第五，训练数据效率问题。系统需要为每个任务收集50条轨迹数据，对于新任务的快速适应仍有改进空间，可以探索少样本学习或在线适应策略。

未来方向

基于VP-VLA的成果，未来研究可以沿多个方向展开。首先，作者提出的视觉提示接口可以扩展到更复杂的操作任务，如双臂协作、工具使用、柔性物体操作等，探索视觉提示在这些场景中的表示形式和有效性。其次，可以研究自适应视觉提示生成策略，根据任务复杂度和场景动态性自动调整提示的粒度和形式，例如在简单任务中使用粗粒度提示，在复杂任务中使用细粒度提示。第三，将VP-VLA与大语言模型的长期规划能力结合，实现更长时序任务的分解和执行，如清理整个厨房这类多步骤复杂任务。第四，探索视觉提示的跨模态迁移，将VP-VLA的视觉提示思想应用到其他领域，如自动驾驶中的目标导航、医疗机器人中的手术操作等。第五，研究在线学习和适应机制，使系统能够在部署过程中根据失败经验调整视觉提示生成策略。第六，将VP-VLA与强化学习结合，通过环境反馈优化视觉提示的生成和利用策略。第七，探索更高效的事件触发机制，使用学习到的状态表示而非手工定义的规则。

复现评估

VP-VLA的复现条件相对明确。代码已开源在GitHub（https://github.com/JIA-Lab-research/VP-VLA），基于starVLA框架构建，这为复现提供了良好的基础。训练使用8个GPU，批量大小为每设备32（SimplerEnv）或256（真实世界），动作块大小为16，使用AdamW优化器，VLM学习率为1e-5，动作模型学习率为1e-4，共训练70k步。数据方面，使用Open X-Embodiment（OXE）数据集的BridgeDataV2和Fractal子集，以及Robocasa-GR1-Tabletop的24000个视频。视觉提示生成使用SAM3，检测阈值和掩码阈值均为0.5。System 2 Planner使用Qwen3-VL-4B-Instruct。复现的主要挑战包括：需要8个GPU的算力、需要下载和处理大规模OXE数据集、需要安装和配置SAM3模型、需要在真实世界场景中收集机器人演示数据（论文提供了详细的实验设置）。总体而言，对于具备足够算力和机器人实验条件的研究团队，复现该工作是可行的，但完全复现所有实验（包括真实世界实验）需要显著的资源投入。

VP-VLA：视觉提示作为视觉-语言-动作模型的接口 VP-VLA: Visual Prompting as an Interface for Vision-Language-Action Models