AgenticRoboRL：将编码智能体的后训练方法引入机器人自主系统 AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics
SFT加多轮RL后训练机器人规划器，成功率从18.1%提升至71.0%
前置知识
机器人外壳（Robot Harness）
包裹语言模型规划器的执行层：负责构造每轮上下文（提示、工具说明、历史处理）、执行规划器输出（VLA技能调用或控制代码）、返回观测与执行反馈，并判定任务是否成功。论文中的RPent（Harness VLA发布的外壳）调用冻结的VLA技能，CaP-X则让规划器生成可执行的Python控制代码。
本文全部训练管线都围绕外壳展开：适配器协议、记录代理与上下文重建的定义都依赖外壳如何执行规划器响应并回传反馈，不理解外壳就无法理解为什么共享接口要设计在模型调用边界。
VLA模型（Vision-Language-Action）
视觉-语言-动作模型，直接以图像和语言指令为输入，输出机器人低层动作序列，如OpenVLA、π0、πRLinf。本文中VLA（πRLinf）被完全冻结，仅作为被规划器调用的技能执行器，规划器决定何时、以何参数调用哪个技能。
明确训练对象的边界是读懂实验的关键：本文只训练规划器、不训练VLA，Table 1中各方法用同一个冻结VLA（πRLinf），成绩差异完全来自规划器。
SFT（监督微调）
在（上下文，目标响应）对上做最大似然训练，只对响应token计算损失、上下文token掩码。本文用27B教师模型的成功轨迹初始化9B学生规划器，目标响应包含推理文本、序列化工具调用或控制代码以及结束token。
SFT是两阶段训练的第一阶段并给RL提供起点：LIBERO-PRO上65.1%的提升主要来自SFT，RL只再加5.9个百分点，理解这个量级分配对评估方法贡献至关重要。
RLOO（留一法优势估计）
无critic的优势估计：同一任务与初始状态的多次尝试构成组 $V_g$，样本 $i$ 的优势为 $A_i = R_i - \frac{1}{G_g-1}\sum_{k \in V_g \setminus \{i\}} R_k$，即用组内其他尝试的平均奖励作基线；组内奖励全同时优势为零、不产生梯度。
这是本文RL的核心算法，与双裁剪PPO共同构成最终损失；理解分组方式（任务+初始状态、每组6次尝试）与优势计算是读懂3.3.2节的前提。
双裁剪PPO（Dual-clipped PPO）
在标准PPO裁剪代理损失基础上，对负优势再施加下界：$A<0$ 时取 $\min\{\ell_{PPO}, -dA\}$，防止概率比爆炸导致过度更新。本文参数为 $\epsilon^-=0.2$、$\epsilon^+=0.28$、$d=3$、$C=2$，并用截断重要性权重 $w$ 缓解rollout与训练后端间的概率失配。
论文RL损失的完整形式由RLOO优势、重要性权重与双裁剪token损失三部分组成（公式5-7），不熟悉PPO裁剪机制就无法理解附录A的训练细节。
LIBERO-PRO 与 LIBERO-Plus
均基于LIBERO桌面操作仿真基准构造。LIBERO-PRO用位置交换（S）与指令扰动（T）检验是否依赖记忆化的运动模式，4个套件×2种扰动×10任务×10初始状态共800回合；LIBERO-Plus加入相机、光照、背景、噪声等七类扰动，共10,030个评测配置。
两者分别是主结果与鲁棒性实验的评测平台，关键数字（71.0%、72.2%）都定义在其协议之上，包括与任务特定记忆设定对齐的初始状态划分（0-10评测、11-44训练、45-49验证）。
模型调用代理（Model-call Proxy）
架在模型服务边界上的记录器，捕获每次规划器请求的完整上下文、生成的token ID与rollout对数概率。因为外壳会在多轮间剪掉图像、删除历史推理或改写历史，事后拼接的完整转录无法还原真实输入，必须在调用边界实时记录。
这是基础设施的关键设计：训练以记录的请求为单元，并校验重渲染prompt与记录token一致，不一致样本权重置零，直接决定训练数据的正确性。
研究动机
当前机器人自主系统的主流范式是规划器加机器人外壳：强大的闭源编码智能体（如Codex GPT-5.5、Claude Code Opus 4.7）作为规划器，通过外壳调用VLA技能或生成控制代码，多轮交互完成复杂操作。近期工作（如Harness VLA）通过改进外壳、引入任务记忆与全局记忆来提升系统表现，在LIBERO-PRO上Codex（GPT-5.5）加外部记忆达到72.1%，Claude Code（Opus 4.7）达82.4%，但这些改进都不提升规划器自身能力，系统性能被闭源模型的能力上限与调用成本锁死。开源小模型直接使用时表现很差：Qwen3.5-9B在RPent外壳上仅18.1%。此外不同外壳的执行机制差异巨大——有的调用VLA技能，有的生成控制代码，返回的反馈形式与成功判定方式各不相同——为一种外壳训练的规划器难以迁移，也缺乏统一的训练管线跨外壳优化规划器。
本文的目标是本文的目标是验证并实现：把编码智能体领域已被证明有效的后训练方法（监督微调加多轮强化学习）迁移到机器人规划器上，直接提升规划器自身能力，而不是继续只在外壳和外部记忆上做增强。具体而言，作者提出AgenticRoboRL框架：用27B教师模型的成功轨迹对9B学生规划器做SFT初始化，再以终端任务成功 $R(\tau)=\mathbb{1}[\text{task success}]$ 作为唯一奖励做多轮强化学习。框架必须同时兼容两种异构执行机制（RPent的VLA技能调用与CaP-X的控制代码生成），并且只更新规划器参数——感知模块、运动规划器、VLA执行器全部保持冻结——使同一套训练管线能在不同外壳间复用。
与已有工作不同的是，已有工作的切入角度各有局限：Harness VLA、RV-ICL等改进外壳与外部记忆但不改规划器；CaP-RL用RL训练单轮生成完整控制程序的代码模型，不支持多轮交互；Robo-Harness K1与World Action Agent只在各自外壳内用SFT蒸馏9B学生，没有RL阶段；REAL虽结合SFT与在线RL但面向移动操作、依赖规则规划器监督与塑形奖励。本文的独特之处在于：这是首个面向机器人自主系统的通用后训练框架，把共享RL接口放在模型调用边界而非低层动作边界，用轻量的外壳适配器把记录的规划器调用与回合结果关联起来，从而不需要统一低层动作表示就能同时支持VLA技能调用和控制代码生成，并以终端成功为唯一奖励做多轮RL。
核心方法
直觉上，编码智能体（如SWE agent）靠SFT加多轮RL大幅进步，而机器人规划器同样以语言模型为核心、以多轮工具调用方式工作，理应适用同样的后训练配方，难点只在外壳执行机制不同。AgenticRoboRL的管线分三步（Figure 2）：(a)监督微调——把教师成功回合转换为训练样本，初始化规划器 $\pi_0$；(b)机器人交互——规划器通过外壳与环境多轮交互，模型调用代理在服务边界记录每次请求的上下文、token ID与rollout对数概率；(c)强化学习——外壳适配器把每个记录调用与其回合结果匹配，用RLOO优势加双裁剪PPO token损失更新规划器得到 $\pi_{k+1}$。整个过程只训练规划器、每轮先在固定权重下收集384个回合再统一更新，实测把9B规划器在LIBERO-PRO上的成功率从18.1%提升到71.0%，LIBERO-Plus上从19.2%提升到72.2%。
核心创新是把共享RL接口放在模型调用边界而非低层动作边界：训练单元是一次记录的规划器请求（含真实输入上下文与生成token），而不是仿真器步骤或事后重建的完整对话。这带来两个关键设计。其一，外壳适配器是无学习参数的纯转换代码，每个回合只报告五个字段（任务、初始状态、尝试序号、奖励、有效性标志），基础设施失败（valid=False）从优化中剔除，任务失败保留为零奖励样本；适配器不改动外壳的工具、提示与控制循环，接入新外壳只需写一个适配器。其二，策略版本化回合：每轮在固定权重下收集，训练前校验重渲染prompt与记录token一致，不一致样本优化权重置零，保证训练用的是采样时的真实输入而非假设的最终转录；同任务同初始状态的多次尝试构成分组，支撑RLOO组内对比与每回合最多16条响应的选取。
方法步骤详情
第一步，SFT数据构建与训练。RPent：27B教师带任务记忆运行而学生无记忆，需离线重建每轮学生上下文——删除记忆访问调用与结果，按关键词、连续八字重复、独现数字判定记忆依赖响应，其推理与文本经改写并由judge把关（工具调用参数不变），得到40,047个目标轮；损失为 $L_{SFT}=-\sum_{s}\sum_{j}\log\pi_\theta(y_{s,j}\mid c_s, y_{s,<j})$，仅响应token受监督，一个epoch共626步，选第563步检查点作RL起点（验证集65.1%）。CaP-X：师生同配置，直接重渲染prompt、教师输出即目标，一个epoch仅37步。第二步，RL rollout：每轮64组（任务+初始状态）×6次尝试=384回合，温度1.0采样，代理记录全部调用。第三步，更新：适配器校验记录完整性后构建样本，优势为 $A_i=R_i-\frac{1}{|V_g|-1}\sum_{k\neq i}R_k$，每回合最多选16条响应，以截断重要性权重 $w$ 乘双裁剪PPO token损失更新，学习率 $10^{-6}$、批128、共9轮报告第6轮（206步、2,304回合）。
技术新颖性
技术新颖性体现在四个层面。第一，接口层面：与Agent Lightning、LEGO-RL同属记录交互式训练，但首个面向机器人外壳并适配VLA技能调用与控制代码两种异构执行机制的框架，靠五字段适配器协议而非统一动作空间实现通用。第二，数据层面：解决师生配置不一致问题——教师有记忆而学生没有，用记忆依赖检测、改写与judge过滤（rewrite-and-filter）把不可达的教师响应转化为可用监督，消融显示比单纯屏蔽（mask-only）一个epoch高出9.4个百分点（64.6%对55.2%）。第三，正确性层面：prompt-token一致性校验与截断重要性加权 $w=\mathrm{sg}\,\min\{q/b, C\}$ 处理rollout与训练后端间的概率失配，样本不匹配即零权重。第四，奖励层面：只用终端成功、无中间奖励、无长度惩罚，也无KL或熵正则，证明稀疏奖励在机器人多轮场景配合组内对比已经足够有效。
实验结果
主实验（Table 1，RPent外壳，LIBERO-PRO，800回合）：9B基线18.1%，SFT后65.1%，RL后71.0%；无记忆的71.0%超过无记忆的27B教师（57.9%），接近Codex（GPT-5.5）加记忆的72.1%，距加记忆27B教师（74.0%）差3.0个百分点；RL比SFT在800个配对回合上多解出121个、少解出74个（符号检验 $p=0.001$），并在8个套件中的7个超过独立VLA πRLinf（50.0%）。鲁棒性（Table 2，LIBERO-Plus共10,030配置）：19.2%→SFT 66.7%→RL 72.2%，七类扰动全部提升（机器人初始状态上75.2%对46.2%），在未用LIBERO-Plus训练的方法中排名第一。跨外壳（Table 3，CaP-X控制代码生成）：2.7%→SFT 18.7%→RL 28.5%，超过27B教师的20.3%，提升集中在Object套件（39.0-49.0%升至67.0-72.0%）。消融（Table 4）：rewrite-and-filter一个epoch 64.6%优于mask-only的55.2%，可比步数下（438步60.2%对424步55.2%）优势依然成立。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO-PRO（RPent外壳，VLA技能调用） | 成功率(%) | 71.0（基线18.1 → SFT 65.1 → RL 71.0） | Codex (GPT-5.5)+外部记忆 72.1；27B教师无记忆 57.9 | 较未训练9B提升52.9个百分点，逼近带记忆的前沿系统 |
| LIBERO-Plus（10,030个配置，零样本迁移） | 成功率(%) | 72.2（SFT 66.7） | 未训练9B 19.2；未在LIBERO-Plus上训练的最佳对比方法（如RIPT-VLA 68.4） | 较未训练9B提升53.0个百分点，为该组最佳，机器人初始状态扰动上领先最大基线29个百分点 |
| LIBERO-PRO（CaP-X外壳，控制代码生成） | 成功率(%) | 28.5（基线2.7 → SFT 18.7 → RL 28.5） | 27B教师 20.3 | 较未训练9B提升25.8个百分点，超过教师8.2个百分点 |
| SFT监督配方消融（RPent，LIBERO-PRO） | 成功率(%) | 65.1（rewrite-and-filter，第563步检查点） | mask-only 一个epoch 55.2 | 选定检查点高出9.9个百分点，可比步数下仍高5.0个百分点 |
局限与改进
作者承认的局限：其一，CaP-X上教师只在26/60个任务上成功，SFT数据稀疏导致Goal与Spatial套件仍然很低（RL后10.0-16.0%），作者把低绝对值归因于该外壳本身难以而非方法失效；其二，与带记忆系统（Codex加记忆72.1%、27B加记忆74.0%）的比较只是系统级参照，无法隔离来自有记忆教师的监督贡献；其三，实验沿用Harness VLA的任务特定经验设定（每任务先在初始状态0探索建记忆，学生测试时不使用记忆），并非完全无先验的场景。我的补充观察：所有实验限于LIBERO系列桌面仿真，未涉及真机；CaP-X设置使用了特权状态；奖励是纯终端0/1信号，一回合可含上百次调用而所有选中响应共享同一个优势，信用分配粗糙；RL仅206步优化、2,304个回合，训练规模很小，scaling行为未知；验证状态45-49同时用于选检查点，存在轻微选择偏差。
独立分析的弱点
第一，稀疏终端奖励在长视野任务上信用分配困难：一回合可含上百次工具调用（上限100轮或7,200秒），所有选中响应共享同一个 $A_i$，无法区分关键调用与冗余调用，改进方向是引入过程奖励模型或基于验证器的中间反馈（工具调用合法性、子目标完成度）。第二，RL数据效率与任务覆盖受限：每轮仅64组、全程2,304回合、206步优化，且奖励全同的组（任务过易或过难）被直接丢弃，CaP-X训练池只剩35个任务，改进方向是课程学习动态调整任务池、扩大每轮组数或复用离线轨迹做off-policy训练。第三，SFT上限受教师覆盖制约：CaP-X上教师仅在26/60任务成功、979回合，学生难以在教师未覆盖的区域获得监督，改进方向是用RL后的规划器自我探索、生成新成功轨迹再蒸馏迭代。第四，记忆依赖响应的改写依赖judge质量，改写后的推理文本可能与实际执行不一致，存在引入幻觉监督的风险，改进方向是增加执行一致性校验（重放改写后的工具调用验证可执行）。第五，两种配方同时改变数据规模与内容，消融未能隔离改写本身的净贡献，可用配对数据设计补充实验。
未来方向
作者提出的方向：开源AgenticRoboRL框架、教师轨迹与训练后规划器检查点，支持后续研究。基于其成果可延伸的方向包括：其一，真机与跨具身平台迁移——框架只训练规划器、执行组件冻结，理论上可换接真机VLA或不同机器人本体验证泛化；其二，把外部记忆纳入训练——当前学生测试时禁用记忆，未来可让规划器在RL中学习何时检索与如何使用记忆，比较学习式记忆策略与冻结记忆的收益；其三，任务与扰动扩展——在LIBERO-Plus七类扰动上训练以研究鲁棒性与泛化的权衡，或迁移到更长视野、更多物体的任务族；其四，训练规模化——当前配置下RL只带来5.9个百分点增益（65.1%到71.0%），值得探索更大任务池、更多轮次下RL增益是否持续放大，以及27B以上学生的表现；其五，奖励设计——用世界模型或验证器提供部分信用，缓解纯终端奖励的信用分配问题；其六，多外壳联合训练，检验五字段适配器协议的泛化极限。
复现评估
复现条件较好但门槛不低。作者承诺开源框架、教师轨迹与训练后的规划器检查点，附录完整给出超参：SFT用AdamW、学习率 $10^{-5}$、批64目标轮、10步warmup加余弦调度、梯度裁剪1.0、更新语言模型与视觉merger而冻结视觉编码器；RL学习率 $10^{-6}$、批128响应、9轮共2,304回合、每回合最多16条响应；双裁剪PPO参数 $\epsilon^-=0.2$、$\epsilon^+=0.28$、$d=3$、$C=2$；回合上限100轮或7,200秒；评估温度1.0、top-p 0.95、top-k 20、presence penalty 1.5。完整复现需要：LIBERO/LIBERO-PRO/LIBERO-Plus仿真器、冻结的πRLinf VLA、RPent与CaP-X两个外壳、可运行Qwen3.8-27B生成教师轨迹的算力，以及支撑9B模型rollout加训练的多卡GPU集群；不确定性主要在教师轨迹质量与judge改写环节的可重复性。若直接使用释出的检查点与数据做评测，则只需仿真评测算力，难度中等。
论文图表
三联图。(a)展示规划器加外壳的多轮交互范式：规划器通过VLA技能或控制代码驱动环境完成诸如拧开瓶盖的任务；(b)展示后训练流程：教师成功轨迹用于SFT、规划器rollout用于多轮RL，规划器标注为TRAINABLE、可调用工具；(c)柱状对比各配置成功率：9B无记忆18.1%/加记忆18.9%，训练后71.0%（较SFT起点提升52.9个百分点），27B无记忆57.9%/加记忆74.0%，Codex（GPT-5.5）加记忆72.1%，Claude Code（Opus 4.7）加记忆82.4%。
一张图同时给出问题设定、方法形态与核心结果的全部锚点数字，是向他人介绍这篇论文时的首选插图。