从预训练到精通：面向长时程操作的少人工干预真实世界子任务强化学习 From Pretraining to Proficiency: Real-World Subtask RL for Long-Horizon Manipulation with Minimal Human Intervention
冻结预训练VLA，仅在瓶颈子任务训练残差RL，以局部奖励与重训练大幅提升长时程成功率
前置知识
VLA（视觉-语言-动作模型）
在海量机器人数据上预训练的多模态策略，输入多视角图像与语言指令，输出机器人动作。以π0.5为代表，采用动作分块（action chunking）：每次重规划预测未来 $C$ 步动作块 $\bar{A}_t$，执行前 $E\le C$ 步后重新观测再预测，可降低推理延迟并保持时序一致性。
本文的基座策略就是π0.5，PARTS的全部设计——冻结基座、复用其视觉特征、在标称动作块上叠加残差——都建立在理解VLA及其动作分块机制之上。
残差强化学习
固定一个基线策略输出标称动作 $\bar{a}$，RL只训练一个小修正项 $u$，最终动作 $a=\bar{a}+u$。修正量被限制在动作空间的小邻域内，探索空间受限，样本效率高，且不会破坏基线已掌握的能力；未训练时残差输出为零，系统退化为纯基线策略。
PARTS在基座的标称动作块上加有界、掩码约束的残差，这是它能'只修瓶颈、不动可靠子任务'的核心机制，也是与直接微调VLA骨干的方法的本质区别。
TD3+BC
TD3是双评论家actor-critic算法，用目标网络平滑与延迟策略更新缓解Q值高估；+BC在策略损失中加入对已执行动作的克隆正则项，把RL约束在数据分布附近，非常适合真实机器人上小样本、讲究安全的在线微调。本文还按回合成败分项加权正则。
PARTS在每个瓶颈上以块级TD3+BC训练残差策略：评论家估计整个 $C$ 步残差块的值，策略损失同时权衡Q值提升、成功回合模仿与失败回合锚零，读懂公式需要这一背景。
稀疏奖励与信用分配
只有任务最终成功才给奖励1的设定下，长时程任务的有效学习信号极少。若整任务成功率为各子任务成功率之积 $R=\prod_{i=1}^{N}\phi_i$，基座策略成功率低时绝大多数回合回报为零；且早期失败触发回合重启，越靠后的子任务被练习的机会按乘法递减，credit assignment视野跨越整段20–120秒的回合。
这是论文动机的数学核心：PARTS用局部奖励 $r_k=\phi_k$ 把信用分配视野从20–120秒压缩到3–15秒的子任务窗口，理解这一点才能理解全部实验设计。
可提示分割与VLM感知
SAM类可提示分割模型根据文本概念或几何提示输出物体的掩码与位置，使'砖块是否在箱内''耳机是否坐入槽位'等几何谓词可以用代码计算；VLM则可异步回答关于物体状态的自由语言查询，为不可直接观测的任务状态提供证据。
PARTS的成功验证器、策略选择器与自动重置程序都以SAM3掩码几何谓词和VLM查询作为感知证据，是实现'打分与重置自动化、无需人工在环'的技术底座。
研究动机
基于大规模数据预训练的机器人基础策略（如π0.5）往往能完成长时程任务的大部分环节，却在少数关键瓶颈上反复失败：耳机入盒需要毫米级双臂协同精度，机器人能拿起耳机却以难以插入的姿态握持；LEGO分类所用砖块尺寸超出基座训练分布（演示来自ABC-130k数据集，砖块更大），夹爪常闭合力不足，而一次episode要重复抓取十次，任何一次失败都消耗150秒的时间预算。监督微调（SFT）需要人类反复采集整段演示，连策略已经可靠的环节也要重录；真实世界RL若只用整任务成功作为奖励，终局奖励按 $R=\prod_{i=1}^{N}\phi_i$ 乘法分解，任务时长20–120秒（30 Hz下约600–3600个控制步），基座成功率低时大多数回合回报为零。更糟的是早期失败即触发回合重启，越靠后的子任务练习机会呈指数递减。现有方法还依赖大量人工：DSRL需人工标注奖励与重置场景，EXPO-FT依赖纠正性人工干预，RLT每个回合都要人工把控制权从VLA移交给RL策略。
本文的目标是本文的目标是：在真实机器人上、以每任务平均仅几十分钟的RL交互预算，把一个已能完成大部分子任务的预训练VLA策略提升到可靠的整任务执行水平，同时把训练过程中的人类参与压缩到最低。具体而言，RL数据采集阶段不再需要人工纠正动作、不再需要人工决策策略切换时机、也基本不需要人工标注成败——LEGO与线缆任务的奖励和重置完全自动；耳机任务仅保留两类人工：抽查验证器的自动标签（因VLM难以区分已插入与搁置在盒上的耳机），以及在机器人无法自行恢复场景（从盒中取出卡住的耳机、捡起掉落的耳机）时执行物理重置。评估采用每方法20个完整回合的整任务二值成功率与归一化进度分，并在与DSRL、EXPO-FT、RLT完全相同的机器人交互时间预算下做公平对比。
与已有工作不同的是，已有的真实世界RL微调方法大多做全局改进：DSRL在冻结VLA的动作噪声空间里做RL、EXPO-FT在Q引导下继续更新π0.5骨干、RLT训练一个在单次人机移交后接管全程的小actor-critic；它们要么把预算花在重练本已可靠的子任务上，要么在稀疏整任务奖励与超长信用分配视野下难以学出有效critic，EXPO-FT甚至把原本可靠的拔线行为练坏。另有一些工作限制学习范围于任务局部，但用动作方差或固定接触相位来划界，缺乏对瓶颈的显式建模。PARTS的独特切入是'失败定位的局部修补'：由人类从基座策略的真实失败录像中识别少数瓶颈子任务，为每个瓶颈写下可执行契约（入口条件、动作坐标掩码与边界、结果判据、运动预算），由编码代理实现选择/验证/重置程序，使每次尝试都能得到可验证的局部奖励，再用成功加权重训练与重部署闭环放大稀疏的成功经验。
核心方法
PARTS的直觉非常朴素：把昂贵的真实机器人交互只花在基座策略失败的地方，其余环节完全信任冻结的预训练策略。技术路线上，先在小规模遥操作演示集上对π0.5做SFT得到基座策略；人类从真实失败中识别瓶颈并书写契约；编码代理据此实现三个可执行程序——策略选择器（判定何时激活哪个残差）、成功验证器（输出局部0/1奖励）、自动重置策略（判定重试还是恢复场景）。每个瓶颈训练一个轻量残差actor-critic：基座每次给出标称动作块 $\bar{A}_t$，残差 $U_{k,t}$ 经坐标掩码 $M_k$ 与物理边界 $B_k$ 约束后叠加，未训练时输出为零。在线TD3+BC用该子任务自己的成功判据做稀疏局部奖励训练残差；随后周期性地在保留全部成功与 $\rho$ 比例失败的策展数据上重训全新网络并重新部署，继续在线学习。评估时选择器在瓶颈入口激活残差、验证器确认成功后把控制权交还基座，如此串联完成整任务。
核心创新是'瓶颈子任务RL＋可执行契约＋成功加权重训练'的组合，与已有方法有三点本质区别。其一，学习被严格限定在人类确认的瓶颈上：整任务终局奖励 $R=\prod_i\phi_i$ 被替换为每个瓶颈自己的局部奖励 $r_k=\phi_k$，正反馈频率大幅提高且信用分配视野缩短一个数量级（从20–120秒到3–15秒），而基座策略全程冻结，可靠行为零风险。其二，把原本需要人类实时提供的监督——切换决策、成败标注、场景恢复——固化为编码代理编写的普通代码：选择器、验证器、重置程序用SAM3分割与VLM查询获取感知证据，运行时只是普通程序、不生成电机命令，因此RL rollouts全程无需人工纠正、切换或打标，表I中PARTS是唯一三项均基本自主的方法。其三，成功加权重训练不是最终策略提取，而是改变后续数据采集的策略：重训后的残差重新上线收集经验，专门解决'反复重置到子任务相同起始状态导致在线更新过拟合该构型、评估时遭遇基座行为产生的状态分布偏移'这一真实世界RL特有难题。
方法步骤详情
第一步，在小型专家演示集 $D_{exp}$ 上对π0.5做SFT得到基座策略 $\pi_0$。第二步，人类通过真实评测识别瓶颈集合 $\mathcal{K}$，为每个瓶颈写契约：入口状态集 $E_k$、坐标掩码 $M_k$ 与物理边界 $B_k$、结果判据 $\phi_k$、运动预算，并录少量子任务演示。第三步，编码代理依据契约、机器人接口与已录回合实现选择器/验证器/重置程序，人类复查其判定、代理据此改码；感知证据来自SAM3掩码几何谓词与VLM异步查询。第四步，在线残差RL：命令为 $a_t=C(\bar{a}_t+\sum_{k}\mathbf{1}[g_t{=}k]\,B_k\odot M_k\odot u_{k,t})$；块级TD3+BC目标为 $y=\sum_{\tau=0}^{C-1}\gamma^\tau r_\tau+(1-d)\gamma^C\min_j Q_{\bar\psi_j}(s',\bar U')$，策略损失 $L_\pi=-\lambda_Q\mathbb{E}[Q_{\psi_1}(s,\hat U)]+\lambda^+\langle\|\hat U-U\|_2\rangle_{B^+}+\lambda^-\langle\|\hat U\|_2\rangle_{B^-}$，辅以参考丢弃防止照抄。第五步，以 $\tilde D_k=D_k^+\cup\mathrm{Sample}_\rho(D_k^-)$ 重训全新网络，操作员选检查点后重新部署恢复在线学习。第六步，评估时选择器按入口条件激活残差，验证器确认成功后交还基座直至整任务完成。
技术新颖性
技术新颖性体现在四个层面。结构上，采用'每瓶颈一个残差'的模块化设计：残差只在掩码坐标内起作用、未训练时恒为零，天然兼容基座行为，且同一残差可在任务内重复激活——LEGO十次抓取复用两个抓取残差就是典型。监督上，正式把编码代理生成的可执行程序（选择器/验证器/重置）纳入RL系统作为脚手架组件，与'编码代理即机器人学家'的思路呼应，但落点明确：把人工监督从回合循环中移除，相比UniIntervene与Robot Trains Robot等自动化方案，PARTS把打分与重置都局部化为瓶颈级别的可执行问题。算法上，块级TD3+BC按成败分项正则——成功回合克隆已执行残差、失败回合把残差锚回零——再辅以参考丢弃，化解了'条件于标称块的actor可能照抄而不改进'的矛盾。训练机制上，成功加权重训练借鉴离线重训练解耦探索偏置的思想并循环回在线采集，形成'采集—局部打分—重训—再采集'的闭环，这是与DSRL、EXPO-FT、RLT等一次性训练流程的根本不同。
实验结果
在三个真实任务、两种平台上的评估（每方法20个完整回合）结论一致。最难的耳机入盒（双臂YAM，毫米级精度＋双臂协同）：整任务成功率从SFT基线32%升至61%（约1.9倍），两次插入的单阶段成功率提高20–35个百分点，瓶颈覆盖开合持盒（RL0）、首次插入（RL1）与二次插入（RL2）。线缆拔插（单臂Franka FR3）：仅29分钟RL后整任务成功率从50%翻倍至95%，效率源于基座已能可靠拔线、RL全部集中在插入瓶颈。LEGO分类（双臂YAM，150秒内10块砖分拣）：只修正夹爪闭合就使进度分从54%升至82%，RL仅17分钟，两个抓取残差被十次抓取复用。基线对比（相同机器人交互预算）：EXPO-FT在稀疏整任务奖励下甚至低于SFT基线，会破坏原本可靠的拔线行为；DSRL与RLT较强但平均未能显著超越SFT——DSRL把探索限制在VLA可生成行为内、改进有限，RLT只支持单次移交、无法处理LEGO与耳机任务中反复的基座—残差切换；PARTS的整任务成功率比现有方法高出25个百分点以上。消融（耳机任务，图4斜纹柱）：去掉成功加权重训练会同时降低子任务与整任务成功率，证明该机制是逃离局部最优的关键。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 耳机入盒（双臂YAM） | 整任务二值成功率（20回合评估） | 61%（PARTS，含三次瓶颈残差RL） | SFT基线32%；DSRL/EXPO-FT/RLT在相同预算下均未显著超越基线 | 相对基线+29个百分点（约1.9倍）；比现有RL微调方法高25个百分点以上 |
| 线缆拔插（单臂Franka FR3） | 整任务二值成功率（20回合评估） | 95%（RL集中于插入瓶颈） | SFT基线50% | +45个百分点（成功率翻倍），仅用29分钟真实RL交互 |
| LEGO分类（双臂YAM，150秒/10块砖） | 进度分（时限内成功归位的砖块比例） | 82% | SFT基线54% | +28个百分点，仅17分钟真实RL（只训练夹爪闭合残差） |
| 耳机插入单阶段成功率 | 各插入瓶颈的结果判据通过率（同期回合内测量） | 比基座提高20–35个百分点；去掉成功加权重训练则明显回落 | π0.5+SFT基座策略 | 子任务级与整任务级同步大幅提升（消融证实重训练必要） |
局限与改进
作者明确承认的人类参与残留：瓶颈识别与契约书写完全依赖人类专家；耳机任务中因VLM无法区分'已坐入槽位'与'搁在盒上'的耳机，需人工复核验证器标签；当机器人无法自行恢复场景（从充电盒中取出耳机、捡起掉落地面的耳机）时需人工重置。我的补充观察：其一，样本量小——每方法仅20个回合，二值成功率的小数点后差异（如61%对55%）不足以支撑统计显著结论；其二，方法有前提——瓶颈入口处的局部成功率需在25%以上且基座能产出有用子任务演示，否则局部RL无从起步；其三，可扩展性存疑——瓶颈数量增加时，契约书写、每瓶颈独立的replay缓冲与残差网络都线性增长，契约质量直接决定上限；其四，公平对比只控制了机器人交互时间，PARTS的重训练需要额外GPU时间与操作员选checkpoint，墙钟与总算力成本未对齐；其五，验证器可靠性受SAM3/VLM感知上限约束，视觉歧义任务（耳机）已经暴露该问题。
独立分析的弱点
弱点一：契约工程仍是人工瓶颈。入口条件、坐标掩码、物理边界与结果判据都需懂机器人的专家指定，其质量直接决定RL上限；改进方向是让编码代理从失败录像中自动起草候选瓶颈与契约、人类只做确认与修订。弱点二：验证器在视觉歧义任务上不可靠——耳机任务因VLM分不清已插入与搁置状态而退化为人工抽查标签；可引入任务特定后训练的VLM、多视角一致性检查或触觉/力觉信号增强判定。弱点三：重置能力受硬件与场景限制，从充电盒取耳机、捡起落地耳机仍需人手；可训练专门的恢复技能库或设计便於自恢复的台面。弱点四：评估规模小且二值指标方差大，每方法20回合下近距差异不可靠，应增加回合数或报告置信区间。弱点五：对比只匹配机器人交互时间，未对齐墙钟、GPU算力与人类工时，PARTS的重训练与检查点筛选有额外开销。弱点六：各瓶颈残差独立训练、缺乏共享结构，而两次耳机插入这类相关瓶颈本可共享表征，进一步提升样本效率并减少契约数量。
未来方向
作者在结论中提出的方向：用代理实现完全自主——自动从策略失败中识别瓶颈、自动生成稠密子任务奖励、自动构建恢复阶段，从而把设置决策也自动化、在成功极其稀少时加速学习，并让机器人练习失败后的恢复行为以减少对人工重置的依赖。基于本文成果可自然延伸的方向包括：（1）把契约由人类书写升级为'代理起草＋验证器一致性自动检查'的闭环，逼近自改进系统；（2）建立跨任务、跨平台的残差技能库，把'对准插入''拔出'等共性瓶颈抽象为可迁移模块；（3）引入触觉与力觉作为验证与控制信号，攻克视觉歧义下的毫米级插入；（4）将成功加权重训练与离线RL理论结合，自动选择失败保留比例 $\rho$ 与检查点，去掉操作员环节；（5）先在仿真中预训练残差再做真实世界微调，进一步压缩真实交互预算并提升安全性。
复现评估
复现难度评估为中高，主要门槛在硬件与系统集成。有利条件：论文给出项目主页（destiny000621.github.io/PARTS/），基座π0.5有公开权重与论文；基线路径清晰——DSRL与EXPO-FT使用官方代码在Franka上运行、在YAM上仅替换机器人接口，RLT因无官方代码而按论文复现，且三个任务的瓶颈划分、局部成功率（瓶颈初始成功率高于25%）与评测协议（每方法20回合、进度分定义）都在文中明确。不确定因素：PARTS自身的代码、契约文本、编码代理提示词与任务演示数据是否开源，正文未明确承诺，需关注项目页。硬件上需要双臂YAM或单臂Franka FR3、耳机电盒/LEGO与三色箱/线缆路由器实物台面，以及每任务平均几十分钟的安全真实RL交互与自动重置装置调试。软件栈横跨π0.5推理、块级TD3+BC训练循环、SAM3分割、VLM异步查询与编码代理生成程序，组件多、集成工作量大。仅有仿真条件的团队可先复现残差RL与成功加权重训练机制，再迁移到真实平台。
论文图表
三个长时程任务的步骤分解：耳机入盒（双臂YAM：开盒并持盒→插入第一只→插入第二只→合盒放回）、LEGO分类（双臂YAM：右/左臂抓取→搬运→投入颜色箱，对十块砖重复，限时150秒）、线缆拔插（单臂Franka FR3：抓接头→拔出→移动到目标路由器→对准插入→松开）。彩色边框标出由对应残差策略产生的状态，并注明各任务的瓶颈性质：毫米级插入精度、超出分布的砖块尺寸导致抓取失败、插入的对准精度。
定义了全部实验任务与瓶颈所在位置。理解'瓶颈'的物理含义（精度关键动作 vs 影响后续执行的准备子任务）以及为何这些任务难以零样本完成，必须结合此图。
对比各方法在RL数据采集三个环节的人类参与：Rollout（纠正性干预或移交决策）、Reward（成败标注）、Reset（场景恢复），✓为自主、✗需人工。DSRL的Rollout自主但Reward与Reset均需人工；EXPO-FT的Rollout需人工干预、Reward用规则检测器（保留人工覆写键）、Reset需人工；RLT每个回合都需人工把控制权从VLA移交RL、Reward需人工标注、Reset需人工；PARTS三项均自主——LEGO与线缆全自动，耳机任务由人工抽查验证器标签、机器人无法恢复场景时人工重置。
量化了'最少人工干预'这一核心卖点：PARTS是表中唯一三个环节都基本自主的方法。该表是与DSRL、EXPO-FT、RLT划清界限的关键证据，也坦承了剩余的人工参与形式。