← 返回 2026-01-07

SOP：一个可扩展的视觉-语言-动作模型在线后训练系统 SOP: A Scalable Online Post-Training System for Vision-Language-Action Models

Mingjie Pan, Siyuan Feng, Qinglin Zhang, Xinchen Li, Jianheng Song, Chendi Qu, Yi Wang, Chuankang Li, Ziyu Xiong, Zhi Chen, Yi Liu, Jianlan Luo 📅 2026-01-06 👍 28 2026-07-13 08:35
分布式机器人学习 后训练 在线学习 机器人操作 视觉-语言-动作模型
arXiv HuggingFace PDF

SOP通过分布式机器人在线经验共享实现VLA模型的高效多任务后训练

前置知识

VLA模型（Vision-Language-Action Model）

VLA模型是一种统一视觉感知、语言理解和动作生成的单一架构模型，通过在大规模互联网规模数据上预训练，能够处理多样化的机器人控制任务。它接收视觉观测（如RGB图像）、语言指令（如任务描述）和机器人本体感知信息作为输入，输出动作分布（如关节位置或末端执行器轨迹）。

理解VLA模型对于读懂本文至关重要，因为SOP系统专门针对此类模型的后训练进行了设计，需要理解其预训练机制、多任务泛化能力以及如何在保持泛化性的同时提升特定任务性能。

DAgger算法

DAgger（Dataset Aggregation）是一种经典的交互式模仿学习算法，通过迭代地让当前策略收集状态分布，并询问专家提供这些状态下的正确动作来缓解分布漂移问题。其核心思想是：预训练策略在某些状态上可能失败，专家可以在这些失败状态上提供纠正，然后这些纠正数据被添加到训练集中用于策略更新。

HG-DAgger作为SOP中实现的后训练算法之一，建立在DAgger基础上。理解DAgger的分布漂移缓解机制和交互式学习范式，有助于理解SOP如何通过实时人工干预实现高效的在线策略改进。

行为正则化强化学习

行为正则化强化学习（如AWAC、CQL、RECAP等）是一种通过约束策略更新时与行为策略（数据收集策略）的接近程度来提高训练稳定性的方法。这类方法通常使用价值函数或权重比率来限制策略偏离数据分布的程度，避免在离线数据集上训练时的过度外推问题，从而提高样本效率和训练稳定性。

RECAP作为SOP中实现的另一个后训练算法，属于行为正则化强化学习方法。理解其如何通过价值函数和优势估计来选择高质量数据片段进行策略改进，有助于理解SOP如何从自主交互经验中学习。

Actor-Learner架构

Actor-Learner架构是一种分布式训练框架，其中Actor（执行者）负责与环境交互收集数据，Learner（学习者）负责集中式模型更新。Actor和Learner异步运行，Actor持续发送经验数据给Learner，Learner更新模型参数后异步广播给所有Actor。这种架构实现了数据收集和模型训练的并行化，支持大规模分布式训练。

SOP系统的核心就是Actor-Learner架构在真实世界机器人后训练中的应用。理解这种架构的设计原理、数据同步机制和弹性扩展能力，有助于理解SOP如何实现低延迟的闭环训练和近线性的规模扩展。

研究动机

现有的视觉-语言-动作模型后训练方法面临三个根本性限制。首先是离线训练问题，大多数方法使用预收集的演示数据进行批量式离线训练，由于分布漂移问题（小执行误差在长时序任务中累积），模型在真实部署时性能下降严重。其次是单机器人数据收集的限制，单个机器人的数据收集速度慢且经验多样性有限，难以覆盖复杂的状态空间。第三是任务特定微调的局限性，为每个任务单独训练模型会牺牲VLA模型的泛化能力，且这种模式无法支持多任务的联合学习。这些限制并非单个算法的缺陷，而是学习设置本身的局限性，导致现有方法无法同时支持及时的策略纠正、可扩展的经验收集和统一的多任务适应。

本文的目标是本文的目标是开发一个可扩展的在线后训练系统（SOP），能够直接在物理世界中对通用VLA模型进行多任务后训练。该系统需要解决三个核心需求：实现及时的在线策略纠正，当策略即将失败时能够迅速获得人工干预并更新模型；支持可扩展的经验收集，通过机器人并行部署大幅提升数据收集速度和经验多样性；在多任务联合训练中保持VLA模型的泛化能力，避免任务特定微调导致的泛化损失。最终目标是建立一个能够在数小时内而非数天内实现有效后训练的系统，并展示性能随机器人规模呈近线性扩展的能力。

与已有工作不同的是，本文的独特切入角度是将执行和学习紧密耦合形成一个统一的反馈循环，而不是像传统方法那样将数据收集和策略改进在结构上解耦。这种闭环架构让机器人团队能够持续与云学习器交换策略轨迹和人工干预信号，实现低延迟的自适应训练。与现有的Fleet-DAgger（仅限于仿真环境、不支持大规模VLA模型、单任务学习）和RLDG（离线数据生成、单机器人、任务特定）等分布式机器人学习系统不同，SOP首次在真实世界中实现了在线、分布式、多任务的VLA后训练，将执行和学习的耦合视为系统级创新而非仅仅是算法优化。

核心方法

SOP方法的核心思想是通过Actor-Learner闭环架构将机器人部署和在线学习紧密耦合。系统由三个主要组件构成：分布式机器人Actor负责执行策略并收集经验，云Learner负责集中式模型优化，以及连接两者的数据基础设施。每个机器人Actor持续执行最新策略，收集包含自主rollout和可选人工干预的轨迹，并将这些数据异步上传到共享的在线经验缓冲区。云Learner从混合的在线缓冲区和静态离线缓冲区中采样训练批次，使用后训练算法（如HG-DAgger或RECAP）更新共享策略参数，然后将更新的策略参数异步广播回所有机器人Actor。这种collect-train-deploy循环实现了低延迟的策略适应，并天然支持随机器人规模的扩展。

SOP的核心创新点在于系统级设计而非算法创新。其本质区别在于将执行和学习从结构上解耦转变为紧密耦合的闭环：传统VLA后训练采用离线、单机器人、任务特定的模式，数据收集和策略改进之间存在显著的延迟（通常是收集一批数据后进行批量训练），而SOP通过流式数据传输和异步模型更新实现了近乎实时的策略纠正。当机器人在执行过程中遇到失败或不确定情况时，人工干预信号可以立即被收集、上传并用于模型更新，更新的策略在数十秒到数分钟内就能被部署到所有机器人上。这种及时性对于缓解长时序任务中的分布漂移至关重要，因为理论分析表明及时的策略纠正是减小累积误差的关键。另一个关键创新是任务平衡的自适应采样策略，确保在快速适应新收集的在线数据的同时保持多任务覆盖。

方法步骤详情

SOP的完整工作流程包括四个关键步骤。策略初始化：系统从预训练的VLA基础策略开始，该策略已在大规模多任务数据（约160小时）上进行预训练，覆盖500+个不同对象的操作。分布式数据收集：N个机器人Actor并行部署在不同环境中执行不同任务。每个Actor持续执行最新策略并收集轨迹，包括自主rollout和人工干预（当检测到策略即将失败时触发）。这些轨迹以集为单位异步上传到云端的在线缓冲区。集中式模型更新：云Learner从混合的在线缓冲区和离线缓冲区中采样训练批次，其中是任务平衡的自适应采样器。采样策略在任务层级强制均匀权重，在任务内根据最近训练损失动态调整在线/离线数据比例，其中提升因子促进在线数据优先。使用后训练算法更新参数。异步策略同步：更新的模型参数通过轻量级发布-订阅通道异步广播回所有机器人Actor，Actor在安全边界（如回合之间）获取最新检查点并更新本地策略，端到端延迟通常在数秒到数十秒量级。

技术新颖性

SOP的技术新颖性主要体现在三个方面。首先是系统架构创新，设计了面向真实世界机器人编队的分布式Actor-Learner数据基础设施，实现了数据生产和数据消费管道的解耦和弹性水平扩展，新机器人Actor只需连接到消息队列即可自动加入数据收集编队，无需代码修改或系统重新配置。其次是实时闭环学习机制，将离线批处理的DAgger/RECAP转变为实时在线后训练程序，通过流式数据传输和异步模型更新将失败、纠正和模型更新之间的延迟从数小时缩短到数分钟。第三是多任务联合训练策略，通过任务平衡的自适应采样策略在保持多任务覆盖的同时实现针对新收集数据的快速适应，这与传统任务特定微调形成对比，后者通常以牺牲泛化性为代价提升特定任务性能。SOP的算法无关性也是一个重要特性，任何基于日志经验的后训练算法都可以作为插件模块插入SOP框架。

Scalable Online Post-training (SOP). A fleet of robots continuously collects experience across diverse tasks, streams interaction data to a centralized cloud server, and receives updated control policies asynchronously—enabling VLA models to improve proficiency on each task while preserving generality.
Figure 1: Scalable Online Post-training (SOP). A fleet of robots continuously collects experience across diverse tasks, streams interaction data to a centralized cloud server, and receives updated control policies asynchronously—enabling VLA models to improve proficiency on each task while preserving generality.
SOP overview. SOP is a scalable actor–learner framework for online, multi-task post-training of generalist policies. The robot fleet streams on-policy rollouts to the cloud learner. Optional human interventions are triggered in failure or uncertain cases, providing corrected trajectories or actions that are incorporated into the streaming experience buffer. The cloud learner constructs task-balanced updates by mixing an online buffer with a static offline buffer, applies a plug-in post-training module (e.g., HG-DAgger/RECAP), and asynchronously broadcasts refreshed weights back to all actors to close a low-latency online training loop.
Figure 2: SOP overview. SOP is a scalable actor–learner framework for online, multi-task post-training of generalist policies. The robot fleet streams on-policy rollouts to the cloud learner. Optional human interventions are triggered in failure or uncertain cases, providing corrected trajectories or actions that are incorporated into the streaming experience buffer. The cloud learner constructs task-balanced updates by mixing an online buffer with a static offline buffer, applies a plug-in post-training module (e.g., HG-DAgger/RECAP), and asynchronously broadcasts refreshed weights back to all actors to close a low-latency online training loop.
Robot platform setup in our experiments.
Figure 6: Robot platform setup in our experiments.
Distributed data infrastructure architecture. Robot actors upload episodes to object storage and publish event notifications to a message queue. The cloud learner consumes notifications, retrieves episode data, and streams updated model parameters back to all actors via the publish–subscribe channel.
Figure 7: Distributed data infrastructure architecture. Robot actors upload episodes to object storage and publish event notifications to a message queue. The cloud learner consumes notifications, retrieves episode data, and streams updated model parameters back to all actors via the publish–subscribe channel.

实验结果

实验结果表明SOP在三个具有挑战性的操作任务类别中显著提升了预训练VLA模型的性能。在洗衣折叠任务中，SOP+HG-DAgger的成功率达到0.96，显著超过预训练基线和非SOP的HG-DAgger方法。在箱子装配任务中，SOP+HG-DAgger达到了0.98的成功率，接近完美性能。在杂货补货任务（包含四个变体：平架补货、纠正错放物品、涉及门操作的冷冻柜补货、涉及纸箱处理的开放式冷柜补货）中，SOP+HG-DAgger在总共200次试验（4个变体乘以10个对象乘以5次试验）上取得了0.94的平均成功率。与非SOP方法相比，SOP带来的性能提升通常在2倍或以上。在吞吐量方面，SOP在所有任务上都有显著提升，通常约为2倍提高，这主要归功于及时的策略纠正直接针对部署策略的失败模式。长时序评估显示，洗衣折叠和箱子装配等任务可以连续运行超过36小时而不性能下降，表明SOP提供了超越单纯算法后训练的系统性优势。不同预训练质量的影响实验表明，从更大预训练数据集初始化的模型不仅起始性能更高，而且在线后训练后达到更高的渐近性能，这说明大规模预训练提供了关键的表征先验，而SOP主要是在细化和专业化现有知识。

Illustrations of the three task categories. (A) Grocery Restocking scenarios: (A-1) flat-shelf restocking; (A-2) correcting misplaced items; (A-3) freezer restocking involving door manipulation; and (A-4) open-cooler restocking with carton handling. (B) Laundry Folding: a bimanual sequence where the robot flattens and folds a garment. (C) Box Assembly: a sequence showing two robot arms coordinating to fold a flattened cardboard sheet into a 3D box structure.
Figure 3: Illustrations of the three task categories. (A) Grocery Restocking scenarios: (A-1) flat-shelf restocking; (A-2) correcting misplaced items; (A-3) freezer restocking involving door manipulation; and (A-4) open-cooler restocking with carton handling. (B) Laundry Folding: a bimanual sequence where the robot flattens and folds a garment. (C) Box Assembly: a sequence showing two robot arms coordinating to fold a flattened cardboard sheet into a 3D box structure.
Comparison of Success Rate and Throughput across three manipulation domains. Across all domains, our approach demonstrates superior efficiency and reliability. SOP w/ HG-DAgger consistently achieves 2-4x higher throughput and significantly reduces failure rates compared to offline methods under our evaluation protocol (policy-side throughput excluding human reset/setup time).
Figure 4: Comparison of Success Rate and Throughput across three manipulation domains. Across all domains, our approach demonstrates superior efficiency and reliability. SOP w/ HG-DAgger consistently achieves 2-4x higher throughput and significantly reduces failure rates compared to offline methods under our evaluation protocol (policy-side throughput excluding human reset/setup time).
Effect of pretraining data scale on SOP. Larger pretraining datasets yield higher initial success and higher final performance after online post-training.
Figure 5: Effect of pretraining data scale on SOP. Larger pretraining datasets yield higher initial success and higher final performance after online post-training.
查看结构化数据
任务指标本文基线提升
洗衣折叠 成功率 0.96 (SOP+HG-DAgger) 预训练基线 (未给出具体数值) 显著提升，非SOP方法提升有限
箱子装配 成功率 0.98 (SOP+HG-DAgger) 预训练基线 (未给出具体数值) 接近完美性能，非SOP方法提升有限
杂货补货 成功率 0.94 (SOP+HG-DAgger，四个变体平均) 预训练基线 (未给出具体数值) 显著提升，SOP+RECAP也有提升但小于HG-DAgger
吞吐量（已完成剧集/小时） 吞吐量提升 约2倍提升 非SOP后训练方法 通过及时的策略纠正直接减少周期时间
训练效率 达到目标成功率所需时间（目标0.8） 71.7分钟（4个机器人Actor） 173.6分钟（1个机器人Actor） 2.4倍加速，近似线性扩展

局限与改进

作者承认的局限性包括：SOP目前依赖人工干预或任务特定奖励，这带来了监督负担；近线性扩展能力是否适用于更大规模的机器人编队（数百或数千个机器人）尚需验证；如何在不发生灾难性遗忘的情况下支持新技能的持续习得是一个开放问题。基于对论文的观察，还有其他一些局限性：系统要求稳定的网络连接和云基础设施，这可能在某些部署环境中受限；当前的实验主要在相对受控的室内操作环境中进行，在更具挑战性的室外或非结构化环境中的泛化能力未知；系统设计假设所有机器人共享相同的硬件架构，异构硬件编队的支持需要额外考虑；虽然SOP在实验中展示了良好的稳定性，但在极长期运行（数周或数月）中的系统鲁棒性和模型退化问题仍需进一步研究。

独立分析的弱点

基于独立分析，SOP系统存在几个潜在改进方向。首先是在监督负担方面，当前系统依赖人工干预来提供纠正信号，这限制了部署规模的进一步扩展。可以通过引入学习到的奖励模型或基于基础模型的成功检测来自动化失败检测和纠正信号生成，减少对人工监督的依赖。其次是在算法效率方面，当前系统在更新模型时传输完整的检查点（约780MB），这在大规模部署时可能成为瓶颈。可以考虑使用参数高效更新方法（如LoRA）或差分更新来减少网络传输开销。第三是在任务发现方面，当前系统假设任务是预先定义的，缺乏自主发现新任务的能力。可以引入基于世界模型的探索机制，让系统自动识别环境中可执行的新任务。第四是在异常处理方面，当前系统主要针对策略失败进行纠正，对传感器故障、执行器损坏等硬件异常的处理能力有限。可以增加硬件故障检测和应急行为模块。

未来方向

作者提出的未来研究方向包括：减少人工监督负担（通过学习到的奖励模型或基础模型驱动的成功检测）；验证近线性扩展是否适用于显著更大的编队；在不发生灾难性遗忘的情况下支持新技能的持续习得。基于本文成果的可延伸研究方向包括：将SOP框架扩展到更复杂的任务域，如导航、社交互动或工具使用；探索SOP在多模态后训练中的应用，如结合视觉、触觉和力觉反馈；研究SOP在长期部署中的持续适应和终身学习问题；开发SOP在不同硬件平台间的迁移学习框架；探索SOP与在线模型压缩和蒸馏的结合，实现在资源受限设备上的部署；研究SOP在多智能体协作任务中的扩展，让机器人不仅共享经验还能共享策略协调机制。

复现评估

论文提供了较为详细的复现信息。硬件方面，实验使用Agibot G1双臂操作器，每个机器人有两个7自由度手臂和平行夹爪，以及三个RGB相机（一个基座视图和两个手腕视图）。策略以30Hz执行关节位置控制。计算方面，云学习器使用8个NVIDIA H100 GPU进行后训练。数据方面，预训练基线策略使用约160小时的多任务机器人数据（杂货补货100小时、洗衣折叠30小时、箱子装配30小时）在模型基础上微调获得。实现细节方面，论文提供了分布式数据基础设施的架构描述、消息队列和对象存储的使用方式、Actor-Learner之间的同步机制。算法参数方面，学习器每25个训练步骤发布一次更新的模型参数，自适应采样器的窗口大小为200，提升因子大于1（具体值未明确），在线采样比率被裁剪到0.2到0.8区间。然而，论文未提供完整的代码和预训练模型权重发布信息，这影响了完全复现的可行性。实验协议相对清晰，提供了任务设置、评估指标（成功率和吞吐量）、试验次数（洗衣折叠和箱子装配各50次试验，杂货补货四个变体各50次试验）和时间限制（洗衣折叠500秒、箱子装配300秒、杂货补货任务相关）。总体而言，复现难度中等偏高，主要挑战在于需要相似的机器人硬件平台和云基础设施，以及部分超参数的模糊性。

论文图表

Table I: Scalability Analysis with actor count. Comparison of final success rates and training efficiency scaling with different actor counts (N). Performance gains and speedups are reported relative to the single-actor baseline. Time-to-target denotes the wall-clock time to first reach the target success level (0.8).

这个表格展示了机器人编队规模对训练效率的影响。表格有三行，分别对应1个、2个和4个机器人Actor（N）。两列分别是Success Rate @180min和Time-to-target (min)。结果显示：1个Actor时成功率为0.805，达到目标水平需要173.6分钟；2个Actor时成功率为0.887（提升0.082），达到目标水平需要126.5分钟（1.4倍加速）；4个Actor时成功率为0.925（提升0.12），达到目标水平需要71.7分钟（2.4倍加速）。

这个表格对理解论文的核心贡献之一——规模可扩展性——至关重要。它定量展示了SOP系统的近线性扩展能力：随着机器人数量从1个增加到4个，训练时间从173.6分钟减少到71.7分钟，加速比达到2.4倍，这表明系统大致将机器人并行性转化为更快的在策略后训练，而不是受限于集中式学习或通信开销。