VLA-Precision：面向视觉-语言-动作模型高效真实世界在线强化的非对称协同自举框架 VLA-Precision: Asymmetric Co-Bootstrapping for Efficient Real-World Online RL of Vision-Language-Action Models
非对称协同自举算法与流式训练架构，让VLA经45.8分钟真实在线RL达98.3%高精度操作成功率
前置知识
VLA（视觉-语言-动作模型）
VLA 是在海量多模态机器人数据上预训练的大模型，输入图像、语言指令与机器人状态，直接输出动作。π0/π0.5 采用流匹配动作专家生成动作块（action chunk），即一次预测 $H$ 步动作，兼顾语义泛化与高频闭环控制。本文以 π0.5 为基座，多模态前缀冻结，只微调动作专家。
全文的优化对象就是 VLA 的动作专家，理解其“冻结多模态前缀 + 可训练动作专家”的结构，是理解 ACoB 算法设计与 ACoB-Stream 系统加速的前提。
流匹配（Flow Matching）
流匹配是一类生成式建模方法：训练速度场 $v_\psi(x^\eta, z_t, \eta)$ 把噪声 $\epsilon \sim \mathcal{N}(0,I)$ 沿学习到的向量场搬运到数据分布，推理时从噪声积分到动作。相比扩散模型它只需少数几步即可解码，适合实时机器人控制，π0 系列的动作专家即基于流匹配。
本文的动作专家与行为克隆损失 $\ell^{FM}_t$ 都建立在流匹配之上；动作由噪声 $\epsilon$ 条件化生成，这解释了为何相对优势比较要求当前动作与参考动作用同一噪声 $\epsilon$ 解码。
LoRA 低秩适配
LoRA 冻结原模型权重，只训练注入的低秩矩阵增量，大幅减少可训练参数量、显存与同步开销。本文 Stage II 只训练动作专家中的 LoRA 参数 $\theta \in \mathbb{R}^p$，并保留其初始化副本 $\theta_0$ 作为冻结参考用于正则化。
ACoB 的参考正则化以冻结的 $\theta_0$ 为锚，ACoB-Stream 的“只同步可训练子空间”策略发布也以 LoRA 为基础，不理解它就无法理解参考分支与 10.9× 系统加速。
TD 学习与自举（Bootstrapping）
时序差分学习用后继状态的价值估计迭代更新当前估计，例如目标 $y_t = R^{(H)}_t + \bar\gamma(1-d_t)\min_k \bar{Q}_{\bar\phi_k}(\omega_{t+1}, \cdot)$，沿轨迹递归传播长期回报。“自举”即用自己的估计改进自己的估计：早期估计不准时，误差会被放大为高估并诱发策略漂移，这是 RL 微调大模型的经典难题。
论文标题中的 Co-Bootstrapping 正是对 TD 自举的重新设计；两大动机之一“不可靠价值信号引发策略漂移”必须借助 TD 自举的语义才能读懂。
Actor–Learner 异步架构与 KV 缓存
Actor 进程负责机器人交互与策略 rollout，Learner 进程异步消费经验做梯度更新，两者通过经验流与策略流解耦以隐藏彼此延迟。KV 缓存保存 Transformer 前缀 token 的注意力键值，使后续计算不必重复前缀前向。大 VLA 的前缀（视觉编码+语言指令）前向极其昂贵，是其在线训练的吞吐瓶颈。
ACoB-Stream 的四个阶段（经验-上下文形成、持久化、访问与策略状态同步）全部围绕这两者展开：冻结前缀 KV 跨更新复用与仅同步 LoRA 子空间是 10.95× 吞吐提升的直接来源。
笛卡尔阻抗控制
阻抗控制不直接跟踪位置轨迹，而是把位姿误差与速度误差映射为力/力矩指令，如 $\tau_t = (J^C_t)^\top(K_p e^C_t - K_d \nu^C_t) + N_t[\cdot] + \tau_C$，使机器人在接触中表现出可调的刚度与阻尼。这保证了插接、按压、刷洗等接触任务在物理交互中的安全与稳定。
论文九个化学操作任务大量涉及富接触与易碎器皿，部署端依赖 UR5e force-mode 与 Franka torque-mode 两套阻抗控制器（式 17–18），这是理解实验可行性的工程基础。
研究动机
预训练 VLA 虽具备广泛的操作泛化能力，但在要求毫米级精度的任务上并不可靠：在转移透明玻璃器皿、插接橡胶塞等化学实验操作中，关键阶段的微小残余误差就会造成间歇性失败。行为克隆只能复现演示，误差在演示分布外复合，性能上限被演示质量锁死。用真实世界在线 RL 做后训练可以突破这一上限，但现有工作各有短板：面向紧凑策略的 HIL-SERL 在 1–2.5 小时内达到近满成功率，但任务内泛化差；ConRFT 在 Octo 上做离线到在线 RL 报告 96.3% 平均成功率，但 Q 值最大化牺牲先验性能并允许策略漂移；RL-100 在扩散策略上平均需要 12.1 小时（6.8 小时离线 + 5.3 小时在线）的机器人 rollout。面向大 VLA 的 π*0.6 虽在多数任务超过 90% 成功率，却平均需要每任务超过 1,000 条真实 rollout；RL Token 虽将关键相位吞吐提升至多 3×，却需要 400–1,000 条在线 episode 且改进外部化。归纳为两个瓶颈：算法上，不可靠的价值估计诱发策略漂移，而 BC 约束只能锁行为、改不了价值估计；系统上，大 VLA 的计算开销使 replay 密集型优化吞吐骤降，真实世界在线交互进一步放大这一负担。
本文的目标是本文的目标是让预训练大 VLA（π0.5）通过真实世界在线强化学习后训练，在化学实验室的高精度操作任务上实现自主试错改进，并把训练压缩到平均每任务约 45 分钟。具体而言：在四类共九个任务（无接触、轻接触、富接触、双臂协同）上达到接近 100% 的成功率，这些任务的装配公差从 $\pm 0.25\,$mm$/\pm 0.3^\circ$ 到 $\pm 6\,$mm 不等，且每次评估都随机化物体位姿（如 40×40 cm 范围、15 个吸头孔位、双臂各自的 10×10 与 15×10 cm 区域）。算法上要求不发生价值误差引起的策略漂移、保持任务微调获得的既有能力、并超越演示数据的性能上限；执行效率上要求比微调后的 VLA 基线与 RL 基线更快；系统上要求在有限 GPU 与内存条件下支撑大 VLA 在线训练的高吞吐、低延迟与快速策略部署。最终实现 60–120 条演示加 45.8 分钟在线训练即达 98.3% 平均成功率、27.6 秒平均完成时间。
与已有工作不同的是，本文的独特切入是把“快速行为学习”与“渐进价值校准”放到两个不同的时间尺度上协同自举，而非像 ConRFT、RL-Co 那样把 BC 当作约束策略分布的正则项。作者洞察到真实世界 RL 存在一个早期时间不对称：任务微调先于 critic 校准完成——保守的价值引导更新学得慢，激进的更新又会漂移。ACoB 的应对是：在快时间尺度上用关键阶段的人工干预纠正直接驱动行为克隆，迅速吸收高质量纠正以同时改善策略和喂给 critic 的在线经验质量；在慢时间尺度上用全局回报传播（集成 TD）与状态匹配偏好排序逐步校准价值估计，产生相对动作优势再做参考正则化的策略改进——用“成对比较”替代“绝对 $Q$ 最大化”，从机制上规避乐观价值误差与价值尺度噪声。系统侧的切入点同样独特：不像 EXPO-FT、RL Token 把改进外部化为残差编辑器或轻量 token 策略（改进无法随任务累积进统一策略），也不像 SOP、USER 只靠扩充分布式机器人与云边基础设施堆吞吐而不减少单次更新的计算量，ACoB-Stream 围绕“经验-上下文状态”与“策略状态”两类生命周期重新设计训练架构，在算力不变的前提下消除冗余计算、存储与同步。
核心方法
先说直觉：机器人刚微调完时“会做但偶尔失手”，此时 critic 还没校准好，若直接按绝对价值最大化去改策略，很容易被高估的垃圾动作带偏。因此先用人类干预纠正快速修行为，同时让 critic 随着越来越多的高质量经验慢慢校准，等相对优势可靠后再靠它自主改进，全程用冻结的微调策略兜底防止漂移。技术路线分两阶段：Stage I 在 60–120 条演示上对 π0.5 做全参数流匹配模仿学习，得到任务策略先验 $\Theta_{IL}$；Stage II 冻结多模态前缀 $\Theta^f$ 与动作专家参数 $\psi$，只训练动作专家中的 LoRA 参数 $\theta$，把任务建模为动作块级 MDP $M_\ell=(S,A,P,r,\rho_0,\bar\gamma)$，动作块 $a_t \in \mathbb{R}^{H \times d}$ 由流专家 $a_t = G_{\psi,\theta}(z_t, \epsilon_t)$ 生成，$z_t = F_{\Theta^f}(o_t, \ell, q_t)$ 为多模态前缀上下文。整个在线过程是异步 actor–learner 闭环：actor 以部署参数 $\bar\theta_n$ 采集轨迹 $\tau_n$ 存入经验池 $E_n$（含 replay 缓冲 $\mathcal{R}$、纠正缓冲 $\mathcal{C}$、上下文缓冲 $\mathcal{K}$），learner 在批次 $B_n$ 上用 ACoB 把 $\theta_n$ 更新为 $\theta_{n+1}$ 并发布部署。ACoB 由三块组成：$K$ 个集成 critic 的渐进价值校准（TD + 偏好排序）、相对优势策略改进、流匹配行为克隆加参考正则。
核心创新是非对称协同自举（ACoB），与已有方法的本质区别有三。第一，BC 的角色变了：以往 RL+BC 方法把 BC 当作防止策略偏离演示的“缰绳”，ACoB 把关键阶段的人工干预纠正当作快时间尺度的主动数据引擎——$\mathcal{L}_{BC}$ 在成功轨迹与有效纠正的掩码 $\chi^{beh}_t = \max\{y^{succ}_t, c_t\}$ 上直接吸收纠正，先改善行为再改善喂给 critic 的经验，形成“行为改进→经验变好→价值校准→更稳的策略改进→干预减少”的跨时间尺度正循环。第二，比较替代绝对值：直接最大化绝对 $Q$ 会混入状态价值、各 critic 的尺度差异与随机解码噪声，ACoB 在每个 critic 内部对当前动作与基线做配对优势差 $\Delta A_t = \min_k\big(A^{\theta}_{t,k} - \mathrm{sg}(b_{t,k})\big)$，再用软边距损失 $\mathcal{L}^{rel} = \mathbb{E}\big[\mathrm{softplus}\tfrac{m_\pi - \Delta A_t}{\kappa}\big]$ 优化，且基线取 $b_{t,k} = A^{ref}_{t,k} + c_t\max(0, A^{prop}_{t,k} - A^{ref}_{t,k})$，只有当所有 $K$ 个 critic 都认为当前动作优于基线时才推进，对价值尺度与乐观估计误差天然鲁棒。第三，被纠正覆盖的原始 proposal 没有后继观测、不能进 TD，却被纳入状态匹配偏好排序 $\mathcal{L}^{rank}$，强制“纠正优于原提案”，解决了长程 TD 无法修复的局部信用歧义。
方法步骤详情
方法步骤如下。第一步，数据采集：等构主臂（UR5e 同构、负载分级驱动与承载解耦关节）负责长序列遥操作，增量笛卡尔键盘接口（粗/细步进）负责毫米/亚毫米级对准，以 15 Hz 记录状态 $q_t = [x^{rel}_{0\to t}, \dot{x}_t, f_t, \mu_t, g_t] \in \mathbb{R}^{19}$（TCP 相对位姿、速度、力/力矩、夹爪）与动作 $u_t = [\delta x^{cmd}_t, g^{cmd}_t] \in \mathbb{R}^7$（单步增量指令）。第二步，Stage I：全参数流匹配 IL，每任务 60–120 条演示、5,000–15,000 步，得到 $(\Theta^f, \psi)$ 与冻结参考 LoRA $\theta_0$。第三步，Stage II 在线 RL：actor 每步编码 $z_t = F_{\Theta^f}(o_t, \ell, q_t)$、流解码提出动作块 $a^{prop}_t$，人类可接管给出纠正 $a^{hum}_t$（当 $\|b^{exec}_t - b^{prop}_t\|_2 > \epsilon_a$ 记为有效纠正 $c_t=1$），执行 $a^{exec}_t$ 并记录转移 $\xi_t = (s_t, a^{exec}_t, r_t, s_{t+1}, d_t)$；episode 结束附成功标签后按类别写入 $\mathcal{R}$、$\mathcal{C}$、$\mathcal{K}$。第四步，learner 更新：先用 $N_w$ 步预热只训 critic（每批从 $\mathcal{R}$、$\mathcal{C}$ 各采 $B/2$，critic 更新 $N_c$ 次），随后每轮同时优化 critic（$\mathcal{L}_{critic} = \mathcal{L}_{TD} + \lambda_{rank}\mathcal{L}_{rank}$，$\lambda_{rank}=50$）与动作专家（$\mathcal{L}_{AE} = 0.25\mathcal{L}_{BC} + 0.50\mathcal{L}_{rel} + 0.25\mathcal{L}_{ref}$），其中参考正则 $\mathcal{L}_{ref}$ 把躯干动作坐标拉向冻结参考 $\theta_0$。第五步，每 $N_{pub}$ 步仅把可训练 LoRA 状态异步发布给 actor 并在锁下原子替换，机器人端以 UR5e force-mode / Franka torque-mode 阻抗控制执行。
技术新颖性
技术新颖性体现在算法与系统两层。算法层：（1）价值-优势分解 $Q_{\phi_k}(\omega, a) = V_{\phi_k}(\omega) + A_{\phi_k}(\omega, a)$ 让偏好排序损失只作用于动作相关的 $A$，不扰动跨动作共享的状态价值 $V$，使局部信用校准与 TD 全局传播解耦；（2）相对优势对 $K$ 个 critic 取最小值构成悲观聚合，并把比较基线在有纠正时抬到 $\max(0, A^{prop} - A^{ref})$——动作不仅要赢过冻结参考，还要赢过被人类否决的 proposal，比常规 ensemble-min TD 更保守也更精准；（3）当前动作与冻结参考用同一噪声 $\epsilon$ 解码，抵消流模型的随机解码方差，使优势差只反映策略改进本身；（4）softplus 软边距目标防止策略在充分改进后继续追高 critic 分数。系统层：（1）冻结前缀 KV 上下文跨更新复用，把前缀计算从“每采样一次”降为“每新观测一次”；（2）观测模式感知压缩 + 磁盘去重存储 + 页缓存感知的滑窗采样，既保留全量历史用于断点恢复又控制随机 I/O；（3）目标对齐检索——价值优化只取后继上下文、动作专家优化额外取当前上下文，配合按需预取；（4）只发布可训练 LoRA 子空间并原子换入。四者组合构成首个面向大 VLA 真实世界在线 RL 的完整状态生命周期管理方案，带来最高 10.95× 吞吐与 90.9% 平均延迟下降。
实验结果
主实验（Table I、Fig. 7、Fig. 8）：九个化学操作任务上，平均 45.8 分钟在线训练后达到 98.3% 平均成功率（180 次留出测试成功 177 次），七个任务 100%、最差任务 90%；平均 episode 时间 27.6 s，约为 π0（32.0 s）的 1.2×、HIL-SERL（50.4 s）的 1.8×。基线对比：HIL-SERL 仅 2.8%、ConRFT 7.8%、Robo-Dopamine 10.0%、π0 59.4%、π0.5 67.8%；对 π0.5/π0 成功率分别 +30.5/+38.9 个百分点、执行速度快 8.7%/15.9%；对最强 RL 基线 Robo-Dopamine 成功率 +88.3 个百分点、速度快 61.2%。离线对照测试五任务各 20 次：本文 99/100 成功，π0.5 61/100、π0 50/100（平均 +38/+49 个百分点），完成时间 26.65 s 优于 π0.5 的 29.32 s 与 π0 的 32.05 s。训练动态（Fig. 7）：五任务平均自主成功率 98.0%、有效成功率 99.0%、累计干预 2,517.4 次、干预率仅 0.024%，较 Robo-Dopamine 干预率低 40.46 个百分点。系统评测（Fig. 9）：150 分钟完成 15,666 个 CTA 周期（1.7407 CTA/s，均值 0.574 s/周期）；对比无 KV 缓存的 M1 吞吐 10.95×、延迟降 90.9%；对比全历史随机采样 M2 吞吐 1.53×、延迟降 34.5%，且 M2 在 43 分钟后因工作集超出页缓存从 1.56 跌至 0.45 CTA/s，本方法末段仍保持 1.74 CTA/s；对比朴素访问 M3 为 1.80×/44.4%；对比 CPU 常驻 M4 为 1.09×/8.0%。消融（Fig. 10）：去掉 critic 偏好/actor BC/相对优势后，四任务平均自主成功率从 96.25% 跌至 26.25%/20.00%/8.75%，干预次数从 10,080 升至 16,580/19,581/28,806。时域分析（Fig. 11）：$H_e$ 从 3 增到 6，π0.5 平均成功率从 58.3% 跌至 6.7%，相对动作预测 RMSE 增加 29.3%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 九个高精度化学操作任务（真实世界，四个机器人平台） | 平均成功率 | 98.3%（177/180，七个任务 100%，最差任务 90%） | HIL-SERL 2.8%；ConRFT 7.8%；Robo-Dopamine 10.0%；π0 59.4%；π0.5 67.8% | 较 π0.5 +30.5 个百分点，较最强 RL 基线 Robo-Dopamine +88.3 个百分点 |
| 真实世界执行效率（九任务平均） | 平均 episode 时间 | 27.6 s | π0 32.0 s；HIL-SERL 50.4 s | 较 VLA 基线提速 1.2×，较 RL 基线提速 1.8× |
| 在线 RL 训练系统效率（150 分钟有效 learner 时间） | CTA 吞吐 / 平均周期延迟 | 1.7407 CTA/s，0.574 s/周期（15,666 个 CTA 周期） | M1 无 KV 缓存；M2 磁盘全历史随机（1.53×）；M3 朴素上下文访问（1.80×）；M4 CPU 动态内存（1.09×） | 较 M1 吞吐 10.95×、平均延迟 -90.9%；较 M2 延迟 -34.5% 且无后期吞吐衰减 |
| ACoB 算法消融（四个代表性任务） | 最终自主成功率 / 累计干预次数 | 96.25% / 10,080 次（干预率 0.03%） | w/o critic preference 26.25%（干预率 10.57%）；w/o actor BC 20.00%（9.24%）；w/o relative advantage 8.75%（24.93%，干预 28,806 次） | 相对优势项单独贡献 +87.5 个百分点成功率 |
| 动作执行时域 $H_e$ 分析（三个精密插接任务，π0.5 微调策略） | 平均自主成功率 | $H_e=3$（本文设定）：58.3% | $H_e=6$：6.7% | 短时域 +51.6 个百分点，且 $H_e$ 每次扩展均带来正的边际 RMSE（整体 +29.3%），交互关键相位尤甚 |
局限与改进
作者明确承认的局限：一是评估只含一个双臂任务，未覆盖含多个精度关键阶段的长程双臂序列，局部误差会在后段累积；二是 step-wise 增量动作以单步为参考会递归累积预测误差，$H_e$ 增大时成功率从 58.3% 崩至 6.7%，作者引用 Feng 等人 $O(H_e)$ 对 $O(1)$ 的误差放大结论，承认块级增量是更优但目标分布更宽的替代；三是当前为单任务训练，多任务共享优化未探索。我自己的观察：其一，虽然最终干预率仅 0.024%，但训练全程平均仍需约 2,517 次人工纠正动作步，前期高度依赖操作员的技能与时机，干预覆盖面决定了 BC 能修复哪些失败模式；其二，参考正则把行为拉向 Stage I 策略，若演示本身含系统性偏差，会被在线阶段进一步锁死；其三，训练需要 4 块 A800 且基座绑定 π0.5，对算力与模型生态有硬性要求；其四，全部任务集中于化学实验室、物体以刚性器皿为主，柔性物体、强遮挡与光照剧变场景未验证；其五，每格 20 次的测试虽给出 Wilson 95% 置信区间，但区分 95% 与 100% 的统计功效仍有限；其六，系统对比对象是自建的四个消融变体，未与 SOP、USER 等同期系统直接对比，10.95× 的提升是相对自身架构的相对结论。
独立分析的弱点
独立分析的弱点与改进方向：（1）任务隔离训练——九个任务各自独立在线训练，相似技能（如反复对准-插入）无法跨任务复用；改进方向是任务条件化的多任务 ACoB，共享 critic 集成与均衡采样。（2）对人工干预的依赖——早期学习由纠正驱动，平均每任务约 2,517 次干预动作步，操作员风格不一致会引入次优分布；可学习干预策略、引入不确定性引导的自主探索，或用仿真预校准 critic 来压缩干预窗口。（3）奖励信号绑定任务级成败判定，基本是稀疏信号；可引入过程奖励模型（Robo-Dopamine 的思路）生成密集奖励，但需借本文的相对优势机制抑制 OOD 幻觉值。（4）固定 $H_e=3$ 限制了长程能力，而块级增量分布过宽的问题尚未解决；可研究自适应时域或“粗块轨迹 + 精修步”的分层动作表示。（5）参考正则的保守性是双刃剑：成功率高但可能阻碍对显著更优策略的探索，当 Stage I 策略陷入局部最优时 $\mathcal{L}_{ref}$ 会把策略拉回原地；可引入参考退火或可学习参考混合系数。（6）系统上 KV 上下文按 episode 累积、磁盘占用随经验线性增长，长周期部署需要价值加权的上下文淘汰与压缩策略；此外上下文缓冲使显存/内存布局与特定前缀长度耦合，换基座模型需要重新工程。
未来方向
作者提出的两个方向：一是长程双臂真实世界 RL——在含多个精度关键阶段的序列上验证，并把 step-wise 增量换成块级（chunk-wise）增量，后者以时域起点位姿为参考、避免递归累积误差，Feng 等人证明其解码误差放大为 $O(1)$ 而非 $O(H_e)$，代价是目标分布随 $H_e$ 变宽，需要分布整形或归一化手段；二是多任务真实世界 RL——用任务条件化价值学习、均衡交互数据并保留演示，使交互经验跨相关技能迁移、摊薄每任务约 45 分钟的采集成本，SOP 等近期多任务真实世界后训练工作提供了可行性佐证。基于本文成果还可延伸：（1）把 ACoB 的相对优势校准迁移到仿真 RL 与 sim-to-real 管线，先在仿真中大规模预校准 critic 再进真实世界短时精调，进一步压缩人工介入窗口；（2）结合过程奖励模型与状态匹配偏好排序，构建抗 OOD 幻觉的密集奖励；（3）跨具身验证——本文已在 UR5e（平行夹爪/LinkerHand L20 灵巧手）、双 UR5e 与 Franka Research 3 四平台训练，可延伸到移动操作与腿式平台；（4）把“不变状态解耦”推广到多任务共享前缀场景，让多任务共享 KV 上下文存储与检索基础设施，形成可复用的实验室级在线后训练平台。
复现评估
复现评估：论文声明资源见 VLA-Precision.github.io；等构主臂提供 CAD 模型，结构件可直接 3D 打印并用现成舵机（J1–J2 XM540、J3 XC430-T240BB、J4–J6 XC330-T288）组装，负载分级驱动与承载解耦结构有详细说明；键盘遥操作接口、动作表示（式 16）、阻抗控制律（式 17–18）与 Algorithm 1 伪代码完整披露。基座 π0.5 为公开权重，关键超参数见 Table III（$\lambda_{rank}=50$、损失权重 0.25/0.50/0.25、3 cm 初始重置范围、$K$ 个集成 critic、$4 \times$ NVIDIA A800）。主要门槛在硬件与人力：需要至少一台 UR5e 或 Franka 及 PGI-140-80 夹爪、腕部+外部两台相机、力/力矩传感，每任务 60–120 条演示（对照的 π0/π0.5 基线需 120–200 条、2.5–3 万步 SFT），以及愿意在在线训练期执行约 2,517 次干预动作步、45.8 分钟值守的操作员。总体难度：对拥有真实机器人实验室与遥操作经验的团队属中等偏难；最大不确定性是开放代码/权重的完整程度，以及实验室布局（物体质感、光照、视觉遮挡）对成功率与干预率的敏感度；没有真实机器人的团队无法复现主结果，但系统侧（吞吐/延迟）的部分结论可在大模型推理环境下近似验证。
论文图表
九个真实世界化学操作任务 suites 的照片，按四类组织：无接触（试管架装载、2 mL 试剂瓶转移、比色皿转移）、轻接触（橡胶塞插入、酒精灯熄灭、吸头安装）、富接触与双臂协同（滴管转移、移液器转移与退头、试管刷洗）。
直观展示任务多样性与精度挑战（透明器皿、易碎品、火焰、毫米级公差），说明评估不局限于单一任务形态，支撑“高精度操作”这一核心主张。
四类真实机器人平台照片：(a) UR5e + PGI-140-80 平行夹爪，(b) UR5e + LinkerHand L20 灵巧手，(c) Franka Research 3 + PGI-140-80，(d) 双 UR5e + 双 PGI-140-80；单臂配一个腕部相机与一个外部相机，双臂配两个腕部相机与一个共享外部相机。
证明方法的跨具身泛化：同一 ACoB 算法与表示在夹爪、灵巧手、双臂与不同控制接口（force-mode/torque-mode）上均训练成功，是结果可信度的重要支撑。
对 π0.5 微调策略在三个精密插接任务上的执行时域 $H_e$ 分析：执行时域从 3 增到 6 时平均自主成功率从 58.3% 降至 6.7%，相对动作预测 RMSE 增加 29.3%；交互关键相位的超额边际 RMSE 始终高于常规运动段，且每次时域扩展的边际 RMSE 均为正。
为“为何采用 step-wise 增量 + $H_e=3$”提供实证依据，并量化 step-wise 表示的递归误差累积问题，是讨论局限与未来块级增量方向的实验基础。
九任务主表：每任务报告各方法的训练时长与成功率、平均 episode 时间（附倍率）。本文平均 45.8 分钟训练、98.3% 成功率（+95.6 个百分点对 HIL-SERL）、27.6 s episode；基线：HIL-SERL 2.8%/50.4 s、ConRFT 7.8%/45.3 s、Robo-Dopamine 10.0%/44.5 s、π0 59.4%/32.0 s、π0.5 67.8%/30.0 s；本文在七个任务达 100%，最差任务（试管刷洗）95%。
全文最核心的结果表，支撑摘要中的全部主数字（98.3%、45.8 分钟、27.6 s、1.2×/1.8×），并逐任务暴露各基线在哪些类别失效（如双臂刷洗所有基线 ≤10%）。
各任务的实验设置对照：π0/π0.5 需 120–200 条 SFT 演示与 25,000–30,000 步，本文 Stage I 仅需 60–120 条演示与 5,000–15,000 步；同时给出各任务最大时域（90–260 步）、物体位姿变化范围（如 40×40 cm、15 个吸头孔位）与对准公差（±0.25 mm/±0.3° 至 ±6 mm）。
同时回答两个关键问题：任务“有多难”（公差与随机化范围）和“数据效率有多高”（本文用约一半演示、1/3–1/6 的微调步数取得更高成功率），是评估公平性与样本效率的依据。
在线训练共享超参数：排序权重 $\lambda_{rank}=50$，动作专家损失权重 $(w_{BC}, w_{rel}, w_{ref}) = (0.25, 0.50, 0.25)$，初始重置范围 x/y/z 各 3 cm，训练硬件为 4 块 NVIDIA A800。
复现所必需的共享超参；其中 (0.25, 0.50, 0.25) 的权重分配直接反映“相对优势为主、BC 与参考正则各占四分之一”的算法设计哲学。