VoLo：开放词汇长时程操纵的物理编排器

提出物理编排框架，用VLM将VLA/感知模型/动作原语作为可中断工具进行长时程操作规划、监控与恢复。

前置知识

Vision-Language-Action (VLA) 模型

VLA模型是端到端的视觉语言动作模型，直接将观察和指令映射到机器人动作。它通过大规模机器人和网络数据预训练，实现零样本或少样本的泛化能力。典型代表包括RT-2、π0系列、OpenVLA等。VLA模型擅长精确的接触丰富操纵，但在多对象场景中的开放词汇理解、长时程规划和失败监控方面存在局限性。

VoLoAgent将VLA作为工具之一，理解VLA的优势和局限性对于理解为什么需要编排器架构至关重要。

World Action Model (WAM)

WAM是VLA的扩展，不仅预测当前动作，还联合预测未来视频帧和动作序列。它通过世界建模来预测场景演变，例如DreamZero、GR-2等模型。WAM的优势在于能够理解动作的长时后果，但同样缺乏对复杂语言推理、状态跟踪和失败恢复的显式支持。

WAM是VoLoAgent支持的另一种基础动作模型，理解它与VLA的区别有助于把握系统对不同后端的适配能力。

任务与运动规划（TAMP）

TAMP是经典的机器人规划范式，结合符号级任务规划（如何分解任务）和连续级运动规划（如何执行动作）。TiPToP等系统将VLM与TAMP结合，用VLM理解自然语言指令并生成符号规划，再用传统运动规划器执行。TAMP在符号推理和可解释性方面有优势，但在接触丰富操作和开放词汇感知方面受限。

TAMP+VLM是VoLoAgent的重要基线之一，理解TAMP范式有助于比较符号规划与神经网络编排的优劣。

Code-as-Policy

Code-as-Policy是LLM/VLM驱动的编程范式，模型生成可执行代码来控制机器人。例如Code-as-Policies、ProgPrompt、CaP-X等系统，LLM生成调用机器人原语的Python代码，代码执行产生机器人动作。这种方法的优势是显式推理和可解释性，但受限于固定的原语接口和缺乏实时监控能力。

Code-as-Policy+VLM是VoLoAgent的另一类重要基线，理解其限制有助于说明为什么需要物理编排的实时监控和恢复能力。

开放词汇操纵

开放词汇操纵要求机器人能够理解任意自然语言指令，并在多样化场景中执行相应的操作。这需要模型具备跨场景的泛化能力，能够处理训练时未见过的对象、动作和场景描述。关键挑战包括开放词汇目标检测、语言到动作的映射、以及复杂语言理解（如否定、排序、空间关系等）。

VoLo和RoboVoLo的核心研究问题就是开放词汇长时程操纵，这是现有方法尚未解决的关键挑战。

研究动机

现有的机器人操纵方法在处理开放词汇长时程任务时存在根本性局限。具体来说，端到端VLA/WAM模型虽然具备精确的接触丰富操纵能力，但缺乏在多对象场景中的鲁棒规划、监控和感知能力，往往对语言指令过度拟合（如π0.5在LIBERO上，无论指令如何变化甚至空指令，性能基本相同，说明模型退化为场景驱动而非语言条件）。Code-as-Policy方法支持显式推理，但受限于固定的原语接口和控制API，基本忽视了实时监控和失败恢复。分层系统（VLM规划器+VLA执行器）通常将控制流硬编码，无法自适应地组合VLA/WAM与感知、动作、监控和恢复工具。例如，在任务把桌上所有物品放进碗里，除了红色积木和金枪鱼罐头中，机器人需要理解否定引用、规划对象序列、监控每个子目标是否完成，并在选错对象时恢复。

本文的目标是本文的具体目标是构建一个能够执行开放词汇长时程操纵的物理编排器，它需要具备四个核心能力：灵活的自然语言理解，处理复杂引用（否定、排序、空间关系等）；长时程规划和子目标分解；实时监控和状态跟踪；失败检测和恢复能力。此外，还需要一个高质量的评估基准来系统诊断这些能力。

与已有工作不同的是，本文的独特切入角度是提出物理编排（Physical Orchestration）概念，强调物理智能体与虚拟智能体的本质区别：虚拟智能体可以在思考时暂停世界，而物理智能体必须在持续运动的世界中进行推理。这要求智能体具备监控-暂停-重定向的能力：监控世界状态与预期状态之间的差异，在检测到偏差时尽快中断正在执行的动作，并选择纠正策略（重新规划、重新发布动作或切换工具）。现有工作要么只处理这个要求的一部分（如仅失败恢复，或仅反应控制），要么采用固定流水线，无法在中途自适应切换工具。VoLoAgent的创新在于将VLA/WAM视为众多可中断工具中的一个，与感知模型和抓取/放置原语互补，由单个VLM在单一闭环中统一编排。

核心方法

VoLoAgent方法的核心思想是将开放词汇长时程操纵视为物理编排问题，用单个VLM智能体作为编排器，统一规划子任务、监控执行过程、并在工具间连续路由（决定继续、切换工具、前进或恢复）。系统包含三类工具：VLA/WAM动作模型（如π0.5、DreamZero），提供连续视觉运动控制；感知工具（GroundingDINO、SAM2/3、Molmo2），提供开放词汇检测和分割；动作原语（grasp、place），结合感知、GraspGen和IK进行几何基础的精确运动。系统通过三个设计原则实现物理编排：P1异步工具——机器人运动与智能体推理独立运行，智能体将监控与执行交错而非阻塞；P2快慢内存——短监控上下文（当前观察、活动子目标、最近决策）以接近运动时序读取（文中为0.2Hz），完整deliberation上下文（任务记忆、场景历史、工具目录）仅在规划点查询；P3安全感知闲置——推理必须继续时保持机器人静止（对于固定底座手臂就是停止，对于移动基座需要更复杂的保持安全策略）。

VoLoAgent的核心创新点是打破传统分层系统中VLM规划器和VLA执行器的固定耦合，将VLA/WAM视为众多可调用工具中的一个，与感知模型和动作原语在统一的VLM管理闭环中互补使用。这种设计使得编排器可以在VLA执行过程中实时监控，在检测到错误时立即中断并切换到其他工具（如用grasp原语纠正选错对象后，再让VLA完成接触丰富操作）。关键在于可中断性——VLA/WAM不再是固定执行器，而是可以被编排器中途停止、重新引导或完全替换的工具。这实现了真正的自适应工具切换，而非预定义的流水线。

方法步骤详情

VoLoAgent的工作流程分为三个主要阶段。初始执行阶段：给定用户指令和初始场景，智能体将任务分解为原子子目标，并将子目标列表与最终目标和初始场景一起存储在外部慢速内存中。然后发出第一个工具调用，通常是VLA rollout用于连续视觉运动控制，并开始并发监控。监控与路由阶段：在每个监控步骤（0.2Hz），智能体读取最新观察和监控上下文，从{continue, next_subgoal, recovery}中选择一个。没有固定的规划器和执行器划分，同一个智能体决定是否保持当前工具运行、前进或暂停进行恢复。continue表示当前子目标尚未完成，保持当前工具继续；next_subgoal表示当前子目标已完成，进入下一个；recovery表示检测到失败，进入恢复阶段。恢复阶段：活动工具被闲置（安全感知闲置），智能体进入deliberation上下文选择：continue——如果是误报，恢复rollout；replan——重新发出剩余子目标分解；rewrite——用新子目标指令运行VLA；grasp/place——在感知基础的目标上运行相应原语。循环在超时或任务完成时终止。一个关键的涌现特性是互补性：动作原语将感知基础注入VLA，即使失败的抓取也会让夹爪靠近目标并提供清晰视野供VLA完成抓取。

技术新颖性

VoLoAgent的技术新颖性体现在多个方面。首先是物理编排的概念框架，这是首次明确区分物理智能体和虚拟智能体的不同要求，并提出监控-暂停-重定向的统一范式。其次是工具编排的架构设计，将VLA/WAM从固定执行器降级为可中断工具，实现了真正的自适应工具组合而非预定义流水线。第三是双系统内存设计，借鉴VLA的双系统架构但用于编排器本身，在响应速度和推理深度之间取得平衡。第四是失败驱动的工具互补，通过让不同工具覆盖彼此的盲区（VLA擅长接触丰富操作但感知模糊，感知工具擅长开放词汇定位但缺乏接触鲁棒性），实现系统级性能提升。最后是细粒度的失败诊断框架，不仅跟踪任务级成功率，还分析机器人级失败（WOP、WTP、stuck）和VLM级失败（规划错误、完成监控错误、失败监控错误、工具调用错误），为未来改进提供明确方向。

**Figure 1**: VoLo overview. VoLoAgent plans, monitors (e.g., subgoal complete), and uses tools (e.g., VLA, SAM3) to act and recover from failures (e.g., wrong object). RoboVoLo is a high-fidelity benchmark for evaluating and diagnosing open-vocabulary long-horizon manipulation.

**Figure 3**: VoLoAgent system. A VLM agent plans, monitors, and orchestrates tools (VLA/WAM rollouts, perception models, grasp/place primitives) through one closed-loop control law. The agent can interrupt a VLA rollout and switch to a different tool when execution drifts.

实验结果

在RoboVoLo基准的四个套件（126任务）上，VoLoAgent（Full）在所有套件上都显著优于单一模型、Code-as-Policy和TAMP基线。具体而言，在Common Sense套件上达到54.44%成功率，比最强基线提升+38.9%（从32.22%到54.44%）；Complex References套件上达到51.04%，提升+30.2%（从40.62%到51.04%）；Memory套件上达到36.90%，提升+14.3%（从34.52%到36.90%）；World Knowledge套件上达到25.00%，虽然TAMP基线在符号规划上有竞争力，但仍提升+2.1%。在RoboLab-Vague基准（120任务）上达到31.94%，比最强基线提升+13.1%。统计检验显示，VoLoAgent（Full）显著优于所有方法（p<0.05），除了Only VLA消融（p=0.0598）。失败分析显示，VoLoAgent的成功率提升不仅来自直接成功，更来自失败恢复能力：VoLoAgent有20个无失败episode，而π0.5只有4个；在遭遇失败后，VoLoAgent恢复率54%（38/70），而π0.5仅13%（11/86）。VLM失败审计显示，完成监控错误是主要失败类别，占每个VLM总事件的67%以上，Claude Opus 4.6的完成监控错误为84次，GPT-5.5为184次，Gemini 2.5 Flash为176次，Qwen3-VL-8B为359次。实机器人验证在14个任务×3试验=168次rollout上，VoLoAgent（Full）达到42.9%成功率，比π0.5的14.3%提升3倍。

**Table 1**: Results of various methods on our benchmark (rows: Common Sense, Memory, Complex References, World Knowledge), as well as on the Robolab-Vague benchmark. Methods (columns) are grouped by families: Single action model (no orchestrator), Code-as-policy + VLM, TAMP + VLM, and VoLoAgent. Each task is run for 3 episodes. All values are success rate (%, higher is better). Bold = best in row; underline = second-best.

**Table 2**: Component ablation, cross-suite Overall RoboVoLo success rate (%). Full breakdown in Table 7.

**Table 3**: Real-robot success rate (%) with 95% Wilson confidence across 14 tasks × 3 trials.

**Figure 2**: RoboVoLo benchmark. 126 long-horizon manipulation tasks across 15 categories, grouped into four capability suites: Common Sense (infer intent from scene context), Memory (track state across actions), Complex References (resolve spatial, ordinal, size, and negation cues), and World Knowledge (apply external knowledge spanning math, art, chemistry, and recycling). Each panel shows one representative task with its instruction.

**Figure 4**: Process comparison on two open-vocabulary long-horizon tasks, one row per system. Red tags mark failure events and green tags mark grasp-tool recovery events. The behaviors shown are described in Sec. 5.2.

**Figure 5**: World failure analysis tracing episodes through failures, recovery, and outcomes for π0.5 (left) and VoLoAgent (right). Major failure subtypes: stuck, WOP=wrong object picked, WTP=wrong target place. Band thickness is proportional to the number of episodes.

**Figure 6**: VLM failure audit. Left: one example per failure type (Planning, Completion-monitor, Failure-monitor, Tool-use). Right: per-VLM error counts across n=90 episodes; segment colors match the example tag colors. Qwen3-VL-8B reaches 23% of the ceiling error counts, Claude Opus 4.6 only 5%. Error definitions in Appendix K.

**Figure 7**: Real robot examples. VoLoAgent monitors and recovers from failures such as wrong place destination, wrong object pick in the real world as well.

查看结构化数据

任务	指标	本文	基线	提升
RoboVoLo - Common Sense	任务成功率 (%)	54.44	32.22 (VoLoAgent Only VLA)	+22.22 pp (+68.9%)
RoboVoLo - Memory	任务成功率 (%)	36.90	34.52 (VoLoAgent Only VLA)	+2.38 pp (+6.9%)
RoboVoLo - Complex References	任务成功率 (%)	51.04	40.62 (VoLoAgent Only VLA)	+10.42 pp (+25.7%)
RoboVoLo - World Knowledge	任务成功率 (%)	25.00	20.83 (VoLoAgent Only VLA)	+4.17 pp (+20.0%)
RoboLab-Vague	任务成功率 (%)	31.94	30.00 (π0.5 Pure VLA)	+1.94 pp (+6.5%)
Real Robot (14 tasks)	任务成功率 (%)	42.9	14.3 (π0.5)	+28.6 pp (+200%)

局限与改进

作者承认的主要局限性包括：完成监控准确率是关键改进方向——完成监控错误在每个评估的VLM中都是主导失败类别，占所有VLM失败事件的67%以上；云端VLM的每次调用延迟（约1-5秒）限制了反应速度，可能错过快速失败，需要快速本地监控器；VoLoAgent仅在单臂平行夹爪的桌面操作上演示，扩展到双臂协调、灵巧手操作或移动基座/人形机器人 embodiment需要重新训练或更换VLA；安全闲置目前简化为停止手臂，不适用于必须动作才能保持安全的embodiment（如平衡的人形机器人）。另外，从本文分析还可以观察到：在World Knowledge套件上，TAMP基线的符号规划具有竞争力，说明在需要强推理的任务上，符号方法仍有优势；感知工具对MuJoCo等非真实感模拟器迁移性差，说明目前方法对高质量渲染有依赖；监控频率固定为0.2Hz，自适应调整监控频率是未来重要方向。

独立分析的弱点

VoLoAgent存在几个可以改进的弱点。首先，VLM完成监控的准确率不足，这是所有VLM后端共有的问题，Claude Opus 4.6在90个episode中仍有84次完成监控错误，Qwen3-VL-8B高达359次。改进方向可以是将完成和失败监控调用提炼为更小更强的本地检查器，这可能将延迟降低一个数量级。其次，监控频率固定为0.2Hz，无法适应不同的动作节奏，某些快速失败可能被错过，改进方向是实现自适应监控频率，根据动作速度和不确定性动态调整。第三，系统对VLM后端有强依赖，弱VLM（如Qwen3-VL-8B）的性能显著下降（+21.86pp差距），改进方向包括优化prompt工程、使用few-shot示例、或对特定监控任务进行微调。第四，grasp/place原语在复杂场景（如高容器、密集堆叠）下可能失败，改进方向包括增强原语的鲁棒性、添加更多原语类型（如push、reorient）或学习式原语。第五，系统假设初始场景清晰，在遮挡严重或光照变化大的场景下可能失效，改进方向包括主动感知和场景探索能力。

未来方向

作者提出的未来工作方向包括：扩展到更多embodiment——双臂协调、灵巧手操作、移动基座或人形机器人。编排循环和工具API是embodiment无关的，但动作原语工具需要重新实现以适应新的运动学和接触模型；提炼本地检查器——将完成和失败监控调用提炼为更小更强的本地检查器，因为完成监控错误是每个VLM的主导失败类别，专门检查器可能将延迟降低一个数量级；自适应监控频率——根据动作速度和不确定性动态调整监控频率，而非固定0.2Hz；更丰富的工具库——扩展感知工具（如深度估计、语义分割、场景图生成）、动作原语（如push、reorient、打开/关闭）和恢复策略（如部分回退、中间目标插入）；学习式编排器——用强化学习或监督学习训练编排策略，而非完全依赖prompt工程，可能提升监控和恢复的鲁棒性；跨模态记忆——扩展慢速内存以支持更丰富的场景记忆，如对象历史轨迹、失败模式库、成功先例等；人机协同——在任务不明确或失败时向人类求助，通过对话澄清目标或请求演示。基于成果可以延伸的方向包括：领域自适应——针对特定领域（厨房、装配、医疗）定制工具和策略；多智能体协作——多个机器人协同执行长时程任务，需要更复杂的协调和通信机制；持续学习——在线学习和适应新对象、新任务、新环境，而非完全离线训练。

复现评估

VoLo的复现性较为友好，RoboVoLo基准基于开源的RoboLab/Isaac Lab框架构建，论文提供了详细的实现细节和配置参数。所有实验使用统一的机器人配置（7-DoF Franka Research 3 arm with Robotiq 2F-85 gripper, 8-D action space），场景初始状态通过固定种子确保跨方法可比性。代码、基准、任务定义和prompt模板已在项目页面开源，使用的感知模型（GroundingDINO, SAM2/3, Molmo2）和VLA模型（π0.5, MolmoBot, MolmoAct2, DreamZero）多为开源或公开可用。算力需求适中，单个试验约需L40 GPU（模拟+grasp服务器）+ H100或第二L40（VLA），完整126任务×3试验基准评估约18 GPU-hours。实机器人实验使用标准DROID cell配置，与仿真设置匹配无需重新训练。论文附录提供了完整的实现细节，包括代理系统架构（附录B）、VLM prompt模板（附录C）、基准任务定义（附录D）、仿真设置（附录E）、统计检验方法（附录F）、实机器人设置（附录G）和失败模式定义（附录K），为复现提供了充分信息。主要复现挑战在于需要高质量的物理模拟环境（Isaac Sim的PathTracer渲染）以支持感知工具迁移，以及云端VLM的API访问和成本。

VoLo：开放词汇长时程操纵的物理编排器 VoLo: A Physical Orchestrator for Open-Vocabulary Long-Horizon Manipulation