← 返回 2026-05-04

边部署边学习：面向通用机器人策略的车队级强化学习 Learning while Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies

Yi Wang, Xinchen Li, Pengwei Xie, Pu Yang, Buqing Nie, Yunuo Cai, Qinglin Zhang, Chendi Qu, Jeffrey Wu, Jianheng Song, Xinlin Ren, Jingshun Huang, Mingjie Pan, Siyuan Feng, Zhi Chen, Jianlan Luo 📅 2026-05-01 👍 13 2026-07-13 08:36

分布式部署机器人学习离线到在线强化学习视觉-语言-动作模型长视野任务

arXiv HuggingFace PDF

在16台机器人上部署通用策略，边收集数据边用DIVL+QAM做离线到在线RL持续提升。

前置知识

视觉-语言-动作模型（VLA）

一种把视觉编码器、语言模型和动作生成器统一在一起的端到端策略，把图像观察与自然语言指令映射为机器人动作 chunk。本文沿用 $\pi_{0.5}$ 架构，主干为 PaliGemma+SigLIP，动作头为 Flow Matching 生成器。

LWD 后训练的目标就是这种大规模预训练的通用策略，价值学习与策略抽取都围绕它的动作接口设计。

Implicit Q-Learning（IQL）

一种离线 RL 方法，用一个非对称 expectile 回归把 $V_\psi(s)$ 拟合到数据集动作价值的较高分位，再用 $V$ 做 TD 备份，避免在动作空间做 max 备份从而越过分布外区域。本文 DIVL 是其分布式扩展。

理解 IQL 才能看出 DIVL 用分位数+分布式价值替代 expectile 的关键设计动机。

Q-learning with Adjoint Matching（QAM）

一种把 critic 梯度转为沿参考流轨迹的局部回归目标的方法，用于在 Flow/Diffusion 策略上做稳定 RL 微调，避免对多步去噪链做完整反向传播。本文 $f_\beta$ 为固定参考流，$f_\theta$ 拟合 adjoint state $\tilde{g}_w$。

QAM 是 LWD 把 DIVL critic 学到的价值信号灌进 Flow Matching VLA 策略的关键桥梁。

Chunk-based TD 备份

在动作 chunk $\mathbf{a}_{t:t+H}$ 粒度上做 $\gamma^H$ 折扣的 TD 备份，把 $H$ 步内的奖励打包作为一步 return。对长视野稀疏奖励任务，可拼接 $n$ 步 chunk 让成功信号更快回传给早期策略点。

这是 LWD 处理 3–5 分钟长视野稀疏奖励任务（如泡功夫茶）的核心技术。

分布式 Replay Buffer（DRB）+ SPMD 学习器

机器人 actor 上传完整 episode 到对象存储，Coordinator 提交 versioned snapshot，所有 DRB Reader 通过跨主机 barrier 同步到同一 snapshot，再由多主机 SPMD JAX 程序拉取训练，权重通过 pub/sub 消息队列回推。

理解 LWD 的数据飞轮需要先理解这个分布式 actor–learner 基础设施，否则不知道在线/离线 buffer 怎么混合。

研究动机

通用机器人策略越来越依赖大规模离线预训练（VLA 模型如 $\pi_0$、OpenVLA、$\pi_{0.5}$），但离线数据不足以让策略真正部署就绪。真实部署环境会持续出现分布偏移、长尾失败、新物体实例、新用户偏好与偶尔的人工干预，这些都是静态预训练分布没有覆盖的。已有工作要么是迭代离线 RL（$\pi^*0.6$）只能跑 collect-train-deploy 慢周期、无法立刻吸收部署新经验；要么是从零开始的任务专属在线 RL（SERL/HIL-SERL）只面向单个技能、丢掉了通用性；要么是用 on-policy 流量做 VLA 微调（VLA-RL、RIPT、$\pi$RL、ReFlow、Flow-GRPO）既样本低效、也用不上大规模 off-policy 历史 buffer，更没有显式 critic 去引导动作空间梯度。这些方法都没解决：如何在保留通用性的同时，复用异构、大规模、稀疏奖励的 fleet-scale 部署数据去持续后训练同一个 VLA 策略。

本文的目标是提出一个可以运行在真实 16 台双臂机器人、跨越 8 个真实任务（4 个货架补货短视野 + 4 个 3–5 分钟长视野任务）上的离线到在线 RL 后训练系统，使单一通用 VLA 策略随着部署数据积累而持续改进，最终达到全任务平均 0.95 的成功率，并在长视野任务上取得最大提升。算法层面，让 value learning 能稳定处理异构多模态回报、policy extraction 能稳定地把 critic 信号灌进 Flow Matching VLA；系统层面，把 60 小时累计的真实交互、人类干预、自动 rollouts 通过集中式 learner 汇聚到同一份 replay 中持续更新同一个共享策略。

与已有工作不同的是，本文抓住了被已有工作普遍忽略的一个视角：把『部署』从训练终点重塑为持续学习的来源——即『边部署边学习』（Learning While Deploying）。它不是再用 on-policy 轨迹去从零学单任务 RL，也不是离线训完就停，而是同时利用大数据离线 buffer 与新到的线上 trajectory，在同一个 VLA 策略、同一套 RL 目标上把 off-policy 与 on-policy 数据无缝接续起来，并通过 DIVL 分布式价值学习 + QAM 策略抽取这两个针对 fleet 部署特性的算法创新，绕过了 scalar value 在异构回报下失效与 Flow 策略反向传播不稳定这两大阻塞点。

核心方法

直觉上 LWD 把机器人部署看作不断写日记的团队：16 台机器人在真实任务上跑、记下完整 episode；中央 learner 把日记与历史离线 buffer 合并，同时更新通用策略 $\pi_\theta$、critic $Q_\phi$、分布式价值 $V_\psi$，再发回车队。技术路线分两阶段、共享同一 RL 目标：阶段一在 652.5h 离线 buffer 上做 RL 预训练得到线上初始化；阶段二把离线与线上 buffer 等比混合，每 50 步推回 16 个 actor。算法关键是：(1) DIVL——用 categorical 分布式价值 + $\tau$-分位数 bootstrap 替代 IQL expectile，并按分类熵自适应调 $\tau$；(2) QAM——用 $Q_\phi$ 动作梯度初始化 adjoint 末端 $\tilde g_1=-\nabla_aQ_\phi/\lambda$，把 Flow 多步去噪改写为沿固定参考流 $f_\beta$ 的局部回归 $\mathcal{L}_{QAM}(\theta)$。

和已有工作最本质的区别在于两件事的耦合：其一，分布式 critic 能保留回报分布的多模结构，使少而可复现的高回报模式不再被 scalar 平均压扁——这是 DIVL 相对 IQL / $\pi^*0.6$ scalar critic 的根本差别，对应长视野任务 Offline +9.7%、Online +16.7% 的提升；其二，用 QAM 把 critic 的动作梯度写成 Flow 策略的局部回归，沿固定的参考流轨迹更新而非直接对 ODE 链反向传播，绕开了直接反传 Flow 策略的数值不稳与高成本，从而第一次让一个通用的、Flow-based 的 VLA 策略能在真实机器人车队上跑稳定的大规模离线到在线 RL，而不是只能在仿真或单任务里做。这两个创新加上一致的 offline/online 目标，让 fleet 数据飞轮第一次真正『转』得起来：部署→收集→混合→更新→再部署。

方法步骤详情

按 Algorithm 1+2：步骤 1–2 用 $\pi_{0.5}$ 演示做行为克隆得 $\pi_\theta$，并把 BC 固定为参考流 $\pi_\beta$。步骤 3 初始化 $Q_\phi、V_\psi$。阶段一 Offline Pretrain 从 652.5h $B_{off}$ 采 batch 调 LEARNER：以 EMA 目标 critic 标量值用 cross-entropy 拟合 $K=201$ 原子分布（Eq. 12）；长视野用 10-step chunk-level TD、短任务 1-step TD 算 $y^Q$ 更新 $\phi$；policy 端采高斯噪声沿 $\pi_\beta$ 滚动轨迹，以 $\nabla_aQ$ 作为 adjoint 末端、最小化 Eq. 9 更新 $\theta$。阶段二 Online 把 $\pi_\theta$ 部署到 16 台机器人，actor 异步执行、必要时人工接管写入 $B_{on}$；learner 每 50 步从离线+在线合并 buffer 等比采样更新、回推 checkpoint 到 fleet。

技术新颖性

技术新颖性集中在三处：(1) DIVL 用 categorical 分布式价值 $p_\psi(v\mid s)$ 加上 $\tau$-quantile bootstrap 替代 IQL 的 scalar expectile，并通过 Proposition 1 证明二者最优值同解（只是 $p=1$ vs $p=2$ 的 $L_p$ 非对称族），这一步把『少而稳的高回报模式不被均值掩盖』形式化为可微的目标；(2) 自适应 $\tau(s_{t+H})$ 用归一化分类熵 $H(s_{t+H})$ 作不确定性信号——分布发散就降 $\tau$ 抑制过度乐观、分布尖锐就升 $\tau$ 鼓励乐观，对应 Table III 0.84→0.88 的离线平均提升；(3) 这是首个把 QAM 用于通用 VLA 真实车队规模的后训练文献，参考流 $\pi_\beta$ 锁定 BC checkpoint、行动 expert 在线更新而 VLM 主干冻结的工程设计，使得 QAM 局部回归既稳定又不必每次重新评估整套多模态大模型。

**Fig. 2**: LWD overview. (a) Pipeline with two stages (Offline RL pre-training, Continuous online post-training); (b) Algorithm structure: policy head with QAM loss, value/critic heads with TD losses sharing a Gemma3–SigLIP backbone.

**Fig. 3**: Illustrations of the eight evaluation tasks (A–D long-horizon; E grocery restocking subtasks).

**Fig. 7**: Offline data composition (652.5 h).

**Fig. 8**: Dynamic $\tau$ and normalized entropy during offline-to-online training.

实验结果

Agibot G1 车队（16 台：4 补货 + 12 长视野），每方法 4h。Table I 报 LWD (Online) 八任务平均 0.95，超 LWD (Offline) 0.88、RECAP 0.85、HG-DAgger 0.85、SFT 0.76。长视野逐项：Tea 0.89 vs 0.64/0.84/0.60；Juice 0.90 vs 0.66/0.82/0.66；Cocktail 0.93 vs 0.70/0.71/0.76；Shoebox 0.92 vs 0.70/0.70/0.90。Figure 5 cycle time 比 SFT 短 23.75s。Figure 6 画 Tea 成败轨迹的 $\tau$-quantile of $V_\psi$：成功 episode 价值随子步单调上升，失败 episode 停滞期不再上行——证明稀疏奖励下价值仍可用作 progress signal。Table II 把长视野 Online 从 0.78 拉到 0.91（+16.7%）；Table III 自适应 $\tau$ 把离线平均从 0.84 提到 0.88。

**Fig. 5**: Success scores and cycle-time comparison on all eight tasks.

**Fig. 6**: Value-function visualization on a successful and a failed Gongfu Tea episode.

**Fig. 9**: Predicted value distributions on successful and failed Gongfu Tea episodes.

查看结构化数据

任务	指标	本文	基线	提升
Grocery Restocking 平均（4 任务）	二值成功率	1.00/1.00/0.97/0.98	SFT 0.70/0.88/0.83/0.95；RECAP 0.95/0.96/0.94/0.95；HG-DAgger 1.00/0.92/0.92/1.00	+0.04 ~ +0.27（vs SFT）
Long-Horizon 平均（4 任务）	子步评分平均	0.89/0.90/0.93/0.92	SFT 0.64/0.66/0.70/0.70；RECAP 0.84/0.82/0.71/0.70；HG-DAgger 0.60/0.66/0.76/0.90	平均 +0.20 ~ +0.25，相对 SFT
八任务总平均	综合成功率	0.95	SFT 0.76；RECAP 0.85；HG-DAgger 0.85；LWD Offline 0.88	+0.07 vs LWD Offline，+0.10 vs RECAP
Cycle Time（长视野任务）	平均完成秒数	比 SFT 缩短 23.75s	SFT 参考策略	≈ -10% 完成时间
Long-Horizon Online（价值消融）	DIVL vs Expectile Online	0.91	0.78	+16.7%
Long-Horizon Offline（价值消融）	DIVL vs Expectile Offline	0.79	0.72	+9.7%
Adaptive τ 离线平均	八任务平均成功率	0.88（adaptive）	0.84（$\tau=0.52$ constant）	+0.04
基础设施可靠性	8h/16 actor/1604 episodes	100% at-least-once ingestion	—	no episodes lost

局限与改进

局限性主要在工程与算法两个层面。算法上：(1) 在线学习是简单的实时更新 schedule，对更大规模或长期持续改进未必最优，作者明确指出『更高效稳定的更新策略』是开放方向；(2) 长视野任务只用一句高层语言指令（如 Make Tea），没有任务分解与细粒度错误恢复的视觉-语言推理；(3) 框架没有显式建模执行安全，对真实场景下的安全约束与人类干预没有形式化保证。系统上：Table VI 报 episode→learner 的 P50/P99 是 41s/148s、model→actor 是 38s/55s，actor–learner loop 的延迟主要来自对象存储 IO，对更远地理位置、低带宽链路部署会很敏感；Figure 6 也显示稀疏奖励下价值曲线波动仍较大、不是完全可预测的 progress signal。

独立分析的弱点

三点独立观察的弱点及改进方向。(1) DIVL 仅用 categorical 分布 + quantile bootstrap，对回报分布极端厚尾（极长尾失败或极偶然成功）的场景，$K=201$ 原子、$[-0.1,1.1]$ 支撑区间可能过粗，可以引入 implicit quantile network (IQN) 或分位数回归来获得更细粒度分布表示、并对异常值更鲁棒；(2) QAM 把价值信号沿『行为克隆』的参考流 $f_\beta$ 投影，隐含假设 RL 改进方向不会显著偏离演示分布；当策略在线上飞速改善后，$f_\beta$ 越来越不具代表性，可以周期性地用 $\pi_\theta$ 的检查点刷新参考流（间歇式 reference reset）；(3) 在线阶段统一使用 1-step chunk-level TD，作者归因于轨迹混合了自动过渡与人工干预，长 chain TD 易跨过异质 transition 边界——但这同样意味着长视野稀疏奖励信号在更新阶段传得最慢，可以为长视野任务维持一条『慢通道』用更长 TD 备份、而短任务继续 1-step，避免一刀切。

未来方向

作者点出三个未来方向：更高效的 actor–learner 更新调度、对长视野任务更强的任务分解与 VLM 推理、以及安全/受约束的 RL。作者没明说但可自然延伸的至少有三点：(1) 把 LWD 框架推广到多模态输入反馈（如用户语音/手势干预）与多机协作任务，因为 fleet 的本质就是异构任务集合；(2) 用 world model + QAM 做『离线想象』补足真实 fleet 难以触达的分布（如新用户的家），缓解真实部署慢的冷启动；(3) 把人类干预段落作为 preference signal 接入 DIVL，学习人在干预时刻表现出的意图，把 fleet 中『会的人』也变成监督源。

复现评估

复现门槛主要在硬件而非算法本身。系统与代码均未开源，方法说明见 https://finch.agibot.com/research/lwd。复现需要：(a) 16 台 Agibot G1 双臂 7-DoF 平行夹爪机器人 + 头/腕 RGB；(b) 分布式 actor–learner 基础设施：对象存储 + Coordinator + 版本化 snapshot + 多主机 SPMD JAX learner + pub/sub 消息队列；(c) 至少 ~652h 混合 buffer（演示 + rollout + 失败模式 play），并依赖 $\pi_{0.5}$ 公开检查点；(d) 关键超参见 Appendix B2：$H=30$、$\gamma=0.9999$、$K=201$ over $[-0.1,1.1]$、EMA 0.005、QAM 温度 $\lambda=2$、$\tau_{base}=0.6$ 离线 / $0.9$ 在线、policy LR $2\times 10^{-5}$、value LR $5\times 10^{-4}$。硬件与运营才是真正门槛，算法细节公开充分。

论文图表

**Fig. 1**: Learning While Deploying (LWD): Fleet-scale Reinforcement Learning for Generalist Robot Policies.
总览图，展示一条从预训练 VLA 出发、由部署数据飞轮驱动的闭环：fleet 中的机器人执行通用策略、收集自动与人工交互数据→与离线 buffer 混合→更新共享通用策略→再发回 fleet。

给出全文『边部署边学习』的最高层直觉，是阅读后续算法与实验的地图。

Fig. 10: Distributed data infrastructure for LWD (object storage + Coordinator + DRB Reader + SPMD learner + pub/sub).

actor 上传完整 episode 到对象存储→Coordinator 提交 versioned snapshot→DRB Reader barrier 同步到同一 snapshot→SPMD JAX 拉取训练→参数通过消息队列回推 fleet。

让读者看懂『分布式 actor–learner』的工程细节，是评估复现门槛的关键资料。

Table I: Complete results on eight real-world manipulation tasks.

五方法 × 八任务完整数值：LWD (Online) 在全部四长视野任务上都是最佳，平均 0.95；其他方法在补货上趋近饱和、长视野上掉队。

全文最核心的量化结论，所有文字描述的提升数字都以这张表为依据。

Table II: Ablation of value-learning design (DIVL vs expectile regression).

DIVL 相对 expectile regression 在长视野 Offline/Online 分别 +9.7%/+16.7%，短任务小幅提升。

把 LWD 主增益归因到 DIVL 的关键实验证据。

Table III: Ablation of the adaptive $\tau$ strategy.

constant $\tau=0.52$ 离线平均 0.84，adaptive $\tau$ 提升到 0.88，且对 Restocking/Correction/Cocktail 等任务稳定性更好。

支撑『用熵自适应调 $\tau$』这一独立贡献的实验依据。

Table IV: Offline data composition (hours).

逐任务明细：演示 336.6h、rollout 成功 88.8h、rollout 失败 39.2h、play 187.9h，总 652.5h；Gongfu Tea/Juicing/Shoebox 三长任务占绝大多数。

评估复现工作量的关键材料，比 Fig. 7 更精细到任务级。

Table V: Complete value-estimation ablation (DIVL vs expectile regression, per task).

expectile regression vs DIVL 在 Offline 与 Online 各八任务的逐项成功率和平均；DIVL 在长视野全部列上更优。

Table II 的细颗粒版本，让读者看清差异主要来自哪些长视野子任务。

Table VI: Operational latency of the actor–learner loop.

8h/16-actor 运行上 episode→learner P50/P99 = 41s/148s，model→actor P50/P99 = 38s/55s，主要受 actor→cloud 对象存储 IO 限制。

把『系统延迟』形式化，帮助读者判断部署规模和地理分布对结果的影响。