CaPtain：面向代码即策略机器人代理的后训练流水线

用SFT加多轮RL把4B开源VLM训练成直接操作底层机器人API的代码即策略代理

前置知识

Code-as-Policy（代码即策略）

一种机器人代理范式：策略不直接输出连续动作，而是观察相机图像后编写 Python 代码，调用感知（分割、指点、几何测量）与运动（末端位姿、夹爪命令）API，并读取结构化执行回执来决定下一步。程序在测试时现场组合，因此代理继承了底层语言模型的推理与泛化能力，代表作有 Code as Policies 和 VoxPoser。

本文训练的正是这种代理：CaPtain-Harness 只暴露 22 个底层原语、没有 grasp/place 技能，理解该范式才能明白策略为何要自己决定抓哪里、从哪个方向接近、何时闭合夹爪。

SFT+多轮RL训练配方

语言模型代理在编码、网页导航、工具使用上的标准后训练流程：先监督微调（SFT）教会模型与执行环境的接口（何时调用什么工具、如何读输出），再用多轮强化学习让模型从自身交互的终局结果中改进行为；一集包含数十次模型调用，只有结尾才有奖励信号。

论文的核心问题正是这个配方能否原样搬到机器人操作上——不依赖前沿模型或 VLA 技能，让小开源模型通过低层原语自己学会操作。

信用分配与GAE

强化学习中把稀疏终局奖励追溯给导致它的具体决策的问题。TD 误差 $\delta_t = r_t + V(s_{t+1}) - V(s_t)$ 度量单步的意外程度；广义优势估计 $\mathrm{GAE}_t = \sum_{k \geq 0} \lambda^k \delta_{t+k}$（本文 $\lambda = 0.9$）在偏差与方差之间折中，把延迟奖励逐步传播回早期请求。

CaPtain 一集最多 60 次请求、只在结尾观察到成败，如何给每次请求（尤其是大量纯感知调用）分派信用是全文的技术核心，模拟器批评家本质上就是一个信用分配机制。

非对称actor-critic与特权批评家

训练时批评家（critic）读取演员（actor）看不到的信息——本文是仿真器中的精确物体位姿、抓取状态与子目标进度等特权物理状态——演员只从相机图像行动，部署时批评家被丢弃。该思想源自机器人学习的非对称 actor-critic，能在不改变部署时部分可观测性的前提下利用仿真特权信息加速训练。

模拟器批评家是本文最重要的创新：它把特权物理状态的变化转成逐请求信用，读者必须理解「训练时可见、部署时不可见」的非对称结构才能抓住论文主旨。

VLA（视觉-语言-动作模型）

端到端机器人策略，如 OpenVLA、$\pi_0$、$\pi_{0.5}$，在大规模演示语料上训练，直接从图像与指令预测连续动作，在标准 LIBERO 上可达 94–98% 成功率，但在扰动套件上大幅退化（$\pi_{0.5}$ 从 97% 跌至 LIBERO-PRO 的 12.8%）。

现有 CaP 代理普遍把操作委托给冻结的 VLA 技能而只学排序技能；本文恰恰拒绝这样做——全部操作决策由被训练的 4B 策略自己完成，对比实验也大量引用 VLA 数据。

LIBERO基准家族

LIBERO 是含 40 个桌面操作任务的仿真基准（空间/物体/目标/长程四类套件）；其上构建的扰动套件分别扰动位置与任务语义（LIBERO-PRO）、背景/相机/语言/光照/布局/机器人/噪声七个维度（LIBERO-Plus）以及动态与静态扰动（LIBERO-MAX），用于检验策略是否真正泛化。

论文只在原始 40 个 LIBERO 任务上训练，所有主实验、扰动鲁棒性分析和零样本迁移评估都在这个家族上进行，论文中全部数字的解读都依赖对各套件内容的了解。

研究动机

代码即策略（CaP）机器人代理目前普遍回避训练，走两条捷径且各有代价。第一条是直接提示闭源前沿模型、不做任何权重更新：OpenRUA 用 Claude Opus 5 在 LIBERO-PRO 上达到 91.8%，但每集花费高达 $8–22，SPARK、WAA、RACaP 等也要 $0.18–0.24/集，且无法为新机器人或新任务微调、不能跑在机载算力上。第二条是把操作委托给预训练 VLA 或高层技能：PyRUA 在冻结 VLA 与运动规划器之上训练 4B 编码器，AgenticRoboRL 围绕冻结的 LIBERO-VLA 训练 9B 规划器，SenseNova-RoboRSI 用 27B 代理编排可复用技能——代码只决定调用哪个技能，「怎么抓、怎么接近、怎么放」仍由技能决定，代理受制于技能的训练数据，强化学习最多学会技能排序。与此同时，小开源 VLM 直接控制机器人会彻底失败：Qwen3.5-4B 在本文的 harness 中一集都解不了（0% 成功），少数尝试训练小模型的工作要么主要靠 SFT（Guava），要么只做单轮纯文本 RL（CaP-X，7B、三个 Robosuite 任务）。缺的是一个完整的 SFT+多轮 RL 配方，让小开源 VLM 通过底层原语完成全部操作决策。

本文的目标是本文的目标是构建一个完全开源的后训练流水线 CaPtain，把一个 4B 的开源 VLM（Qwen3.5-4B，零样本成功率 0%）训练成独立的 CaP 机器人代理：测试时不需要 VLA、不需要前沿模型 API、不需要特权状态，仅凭相机图像和执行回执，通过低层感知、几何测量与受保护运动原语完成操作。具体拆成三个子目标：其一，设计可移植的执行环境 CaPtain-Harness，只暴露 22 个底层原语（无 grasp/place 等语义技能），使整个操作策略都暴露给语言模型后训练；其二，用 GPT-6 Astra 在同一 harness 内生成合成轨迹做 SFT，把模型对齐到部署时完全一致的多轮交互格式；其三，设计多轮 RL 算法，解决数十次请求共享单一终局奖励的信用分配问题。最终还要在真实机器人上、仅靠仿真适配（不采集任何真实世界数据）完成部署。

与已有工作不同的是，本文的独特切入来自一个不对称性：把 SFT+RL 配方压到低层原语比技能层难得多，因为策略必须自己决定从哪个方向接近、何时闭合夹爪，这些决策分散在一集的几十次请求里，其中大多数只是感知或验证，其物理效果往往在数轮之后才显现，而整集只有一个终局结果。只看结果的 RL 会给每个请求相同的信用；语言模型批评家又只能从文本和图像间接推断物理进展。作者指出机器人学习恰好拥有语言代理没有的资源：训练在仿真器中进行，精确的物体位姿、抓取状态和子目标进度都是已知的，而部署的策略只能看相机。于是可以让批评家读取策略看不见的特权物理状态，按「每个请求使预测成功概率改变了多少」来分配信用——这就是把非对称 actor-critic 模板首次携带到写代码的语言模型执行体上，同时策略在测试时仍然只依赖相机与回执。

核心方法

CaPtain 的整体思路是：先把操作问题改造成纯语言代理问题（在固定执行环境里写代码、读回执），然后用社区验证过的 SFT+多轮 RL 配方求解。直觉上，一旦所有操作决策都显式写成 Python（接近向量、抓取位姿、夹爪命令都在代码里），「教会机器人操作」就变成「教会语言模型写对代码」，后者的训练工具链是成熟的。技术路线分三块。第一块是 CaPtain-Harness：ReAct 式循环，每集最多 60 次请求，策略在持久 Python 会话中调用 22 个底层原语（感知：observe/segment/point/mark_point 等；测量：measure_object_geometry、接触与释放几何检查；运动：move_to/hold/recover/release），每次调用返回结构化文本回执（停止原因、执行距离、峰值力、夹爪开口），变量跨请求持久，历史超 60k token 时逐轮压缩。第二块是阶段一 SFT：用 GPT-6 Astra 在同一 harness 内生成合成轨迹（25,961 行、861M token），以与部署完全一致的格式监督模型产生的 token。第三块是阶段二多轮 RL：模拟器批评家 $V_\phi(s_t, t)$ 从特权物理状态预测成功概率，把每次请求引起的预测变化 $\delta_t$ 作为该请求的信用，配合组相对项与 GAE 更新策略。批评家只在训练期存在，测试时被移除。

核心创新是模拟器批评家与逐请求 TD 信用，与已有方法的本质区别有两点。第一，与只看结果的 GRPO 相比：outcome-only RL 给一集里所有请求相同信用，感知、验证和真正改变物理场景的抓取被一视同仁；CaPtain 让批评家（5 个 MLP 的集成，读取 36 维特权物理特征加请求索引与任务嵌入）预测成功概率，定义 $\delta_t = c_t + V_\phi(s_{t+1}, t) - V_\phi(s_t, t)$，且差值两侧使用同一时间索引 $t$，因此时间的自然流逝不产生信用——物理状态只被物理动作改变，纯感知请求的 $\delta_t \approx 0$：实验中成功抓取的中位 $\Delta V$ 为 +0.058，纯感知请求只有 −0.0002。第二，与已有的 LLM 特权批评家（SWEET-RL、Le Critique、KAT-Coder 等）相比：那些方法读的是文本游戏、求解器或验收清单，没有一个读物理状态；与机器人学习的非对称 actor-critic 相比，本文首次把它带到写代码的语言模型执行体上——连续操作既没有精确求解器（如 CAST）也没有检查清单（如 ProCredit），只能学习一个关于特权物理的价值函数再把其变化转成信用。作者还刻意把策略自身行为的计数器（感知次数、失败次数）排除在批评家输入之外，防止它们充当流逝时间的代理变量而把信用从抓取泄漏到感知请求上。

方法步骤详情

完整流程分五步。第一步，harness 交互：任务由指令加 TASK.md（API、坐标系、判分标准）给出，策略 $\pi_\theta$ 基于历史 $h_t = [\ell, o_1, a_1, \ldots, a_{t-1}, o_t]$ 先推理再输出调用 python 工具的代码，harness 执行后把回执与图像追加为 $o_{t+1}$，每集上限 60 次请求、150 个物理动作、1080 秒。第二步，SFT：GPT-6 Astra 在同一 harness 内生成轨迹并统一重写到四函数助手库（重放偏差 <1 cm），共 25,961 行、861M token；损失 $\mathcal{L}_{\mathrm{SFT}}$ 只监督助手 token，以 0.2 概率掩掉历史中的旧 mark_point 坐标以强迫看图，视觉塔冻结，共 2,435 步。第三步，特权状态记录：每个请求前仿真器记录隐藏快照 $s_t$，算出 36 维物理特征（末端与夹爪状态、目标簿记、距离、位移、关节与持有标志），刻意排除策略行为计数器。第四步，批评家与信用：$V_\phi$ 为 5 个 MLP 集成，先热启动（held-out AUC 0.907）再随策略在线共训；逐请求计算 $\delta_t = c_t + V_\phi(s_{t+1}, t) - V_\phi(s_t, t)$，经 $\lambda = 0.9$ 的 GAE 传播，再加组相对项（每起点滚动 $G = 4$ 次）；终局回报为成功+finish 1、漏 finish 0.25、误报 finish −0.3、预算耗尽 −0.1，另有超量与成功后动作的即时成本。第五步，策略更新：SAO 流式单遍更新，双侧 token 掩码 $0.2 < r < 4$，KL 系数 $\beta = 0.002$，每轨迹最多训练 8 个请求，梯度累积 1,024 集一步（学习率 $4.24 \times 10^{-6}$），共 300 轮、76,800 集。

技术新颖性

技术新颖性体现在四个层面。其一，「低层暴露」的训练观：此前 CaP 代理要么不训练（提示前沿模型），要么把操作藏进 VLA 技能里只学排序；CaPtain 把接近方向、抓取位姿、夹爪时机全部显式写入代码，使整个操作策略第一次完整暴露给语言模型后训练，这是 RL 增益（+19.4 点）远大于 VLA 规划器 RL（AgenticRoboRL +5.9 点）的结构性原因。其二，物理特权批评家：现有 LLM 特权批评家读游戏求解器、验收清单或距离估计器，没有一个读物理状态；CaPtain 用仿真器独有的上帝视角学习价值函数，并把一阶差分固定在同一时间索引上，从机制上保证感知请求近零信用、抓取与放置集中信用。其三，防泄漏的输入设计：实验证明若把策略行为计数器喂给批评家，组内 AUC 从 0.773 升到 0.862，但会把信用错误地移到感知请求上（语言模型隐藏状态探针更是把 35% 的 $|A|$ 质量移到感知请求），作者因此限制输入为纯物理特征，并把优势估计的梯度噪声尺度从 outcome-only GRPO 的 9.0k 集降到 6.7k 集（$\lambda = 0.9$）。其四，工程组合与经验：把 SAO 流式 RL、双侧 token 掩码、组相对优势组合到多轮 VLM 代理上，并总结出「终止需要自己的信号」「布局多样性保持模型看图」等可复用的教训。

**Figure 2**: Overview of CaPtain. Top: inference, one episode in CaPtain-Harness: at each request the policy writes a Python cell against a low-level API and receives text receipts and new images, for up to 60 requests. Bottom: training and test: SFT on synthetic agent trajectories, then RL in which a simulator critic turns privileged physical state into per-request credit; the critic is removed at test time.

**Figure 6**: The twin simulation used to adapt the policy to the XR1 arm (left) and the real scene at test time (right).

**Figure 7**: Design of CaPtain-Harness. The policy writes Python into a persistent session that exposes only low-level primitives; motions are executed with IK and guarded contact, every call returns a receipt, a completion gate checks the agent's own measurements, and environment-specific backends sit below the API.

实验结果

主实验显示 RL 在所有套件上都有大幅增益。held-out LIBERO（240 集）宿主成功率从 SFT 的 55.4% 升到 73.8%（McNemar $p = 4 \times 10^{-8}$），严格成功从 52.1% 升到 67.5%，误报 finish 从 7.1% 降到 2.1%，平均请求数从 39.1 降到 32.6；基座 Qwen3.5-4B 几乎为零（至多 0.3%）。扰动鲁棒性是核心卖点：LIBERO-PRO 三套件 78.5%（+19.0）、四套件 68.6%（+19.4）、LIBERO-Plus 66.1%（+17.6，七个扰动维度全部 $p < 0.05$ 改善，光照 +23 最大、噪声 +13 最小）、LIBERO-MAX 动态 61.2%（+21.2）、静态 70.0%（+18.8）；对比之下 $\pi_{0.5}$ 在 LIBERO-PRO 上从 97% 跌到 12.8%，RIPT-VLA 在 LIBERO-Plus 上不及其基座（68.4 vs 69.6）。横向对比：78.5% 超过前沿代理 K1（77.2）、WAA（75.6）、ASPIRE（71.7）与开源 SPARK（27B，66.8）、Guava（约 41）；对低层原语做 RL 的增益 +19.4 远大于 AgenticRoboRL 围绕冻结 VLA 的 +5.9。零样本迁移：SimplerEnv WidowX 83.3%，接近 ManiAgent+GPT-5（86.8）、远超 $\pi_{0.5}$（57.1）；CaP-Bench 75.0 超过 Gemini-3-Pro（73.5）、GPT-5.2（55.5）与在域 RL 的 7B CaP-RL（62.0），放开步数限制后达 97.5%；RoboTwin 2.0 仅 22.6%（单臂子集 30.0%）、RoboDojo 0.8%，失败首因是双臂协同（167/437）与 IK 可达（21/46）。真实机器人仅在粗糙孪生仿真中适配（零真实数据）即完成两个含语言推理的任务。批评家分析：总体 AUC 0.970、组内 AUC 0.904、校准误差 0.006；成功抓取中位 $\Delta V$ +0.058 而纯感知 −0.0002，65% 的 $|A|$ 质量给运动、抓取与释放各 14%、纯感知仅 1.3%。成本约 52 GPU 秒/集（$0.03–0.06），远低于前沿代理（$0.18–24 至 $8–22）。

**Table 1**: SFT vs. RL across the LIBERO benchmark family. We report host and strict success rates (%) and the paired RL gain over CaPtain-4B-SFT across n evaluation episodes per suite. Exact McNemar p-values are in Appendix K (p < 10^-5 on all primary suites).

**Table 2**: Comparison with published systems on LIBERO-PRO (success %). Systems are grouped by paradigm. Frontier API: queries a closed frontier model at test time; VLA Skill: invokes a policy trained on LIBERO demonstrations; In-Domain Data: uses LIBERO demonstrations or LIBERO-PRO development states.

**Table 3**: Zero-shot cross-benchmark transfer. Trained exclusively on LIBERO, CaPtain-4B is evaluated zero-shot across four unseen benchmarks and compared against in-domain VLAs/WAMs (trained on target-benchmark demonstrations) and CaP agents.

**Table 4**: The 22 capabilities plus finish(). Physical actions (counted against the action budget) are marked.

**Table 5**: CaPtain-4B-SFT data mix (25,961 rows, 861M tokens). Generating agents: GPT-6 Astra (654M tokens), GPT-6.1 Sol (63M), GPT-6 Sol (14M); RL policy (52M).

**Table 7**: Gradient-noise scale Bnoise (episodes) of advantage estimators on 109 groups x 16 SFT rollouts (offline; last four layers sketched). Lower is better.

**Table 8**: First blocking failure of failed transfer episodes (counts). Checkpoints: a checkpoint from an earlier RL run and CaPtain-4B-SFT, pooled; RoboTwin (dual Franka) and RoboDojo with earlier adapter versions.

**Table 14**: LIBERO-family comparison (success %). Frontier: a frontier model is queried while the robot acts. Demos: trained on LIBERO demonstrations, directly or through a VLA skill. Plus / LIBERO: LIBERO-Plus success as a percentage of standard LIBERO success.

**Figure 1**: CaPtain-4B, a 4B open model post-trained with our pipeline CaPtain, controls a robot by writing code against low-level primitives. It improves over SFT across LIBERO and three perturbation suites, reaches 78.5 on LIBERO-PRO, and transfers zero-shot.

**Figure 3**: RL gains survive perturbation. SFT vs. RL host and strict success on held-out LIBERO and on four perturbation suites.

**Figure 4**: Breakdown, CaPtain-4B-SFT vs. CaPtain-4B. (a) LIBERO strict success by suite. (b) LIBERO-Plus host success by perturbation dimension. (c) LIBERO-PRO host success by suite and perturbation type.

**Figure 5**: Real-robot episodes. Two tasks with new objects and layouts; ten frames per episode, with time stamps. (b) requires reasoning about the instruction: the agent must infer that the cube with the color of the sky is the light-blue one and that the container that is not round is the rectangular tray.

**Figure 9**: RoboTwin 2.0 episode. The scene starts with distractors around the cup and coaster. CaPtain-4B grasps the cup by its rim, carries it by the measured cup-to-coaster offset, and releases it on the coaster.

**Figure 10**: RoboDojo episode (head camera, cropped to the right half of the table). CaPtain-4B lifts the purple block, puts it on the yellow block, then picks up the dark gray block and puts it on top.

查看结构化数据

任务	指标	本文	基线	提升
LIBERO（held-out 240 集）	宿主成功率 %	CaPtain-4B 73.8（SFT 55.4，基座 0.0）	CaPtain-4B-SFT 55.4	+18.3（严格成功 +15.4：52.1→67.5，误报 finish 7.1%→2.1%）
LIBERO-PRO 三套件	宿主成功率 %	78.5	前沿代理 K1 77.2 / WAA 75.6 / ASPIRE 71.7；自家 SFT 59.5	对 SFT +19.0；超过最强前沿代理 K1 +1.3
LIBERO-Plus（700 例）	宿主成功率 %	66.1	CaPtain-4B-SFT 48.6	+17.6，七个扰动维度全部显著改善
LIBERO-MAX Dynamic	宿主成功率 %	61.2	CaPtain-4B-SFT 40.0	+21.2（全部套件中最大的 RL 增益）
SimplerEnv WidowX（零样本）	成功率 %	83.3	$\pi_{0.5}$（Bridge VLA 在域微调）57.1；ManiAgent+GPT-5 86.8	对 $\pi_{0.5}$ +26.2，接近调用 GPT-5 的 ManiAgent
CaP-Bench（零样本）	成功率 %	75.0（全步数下 97.5%）	Gemini-3-Pro 73.5；在域 RL 的 CaP-RL 7B 62.0；SFT 55.0	超过全部闭源前沿模型 +1.5，对 SFT +20.0
RoboTwin 2.0（零样本 Hard 协议）	成功率 %	22.6（50 任务）/ 30.0（单臂子集）	$\pi_0$ 16.3（在域训练）；PyRUA-Lean 52.4（原生本体+VLA 工具）	超过可比零样本的 $\pi_0$ +6.3，但仍低于在域方法
RoboDojo（零样本跨本体）	Score / 成功率 %	1.7 / 0.8	GPT-6 Astra 29.0 / 22.5；DeepSeek-Flash 3.0；在域 VLA RDT 0.5	小幅超过在域微调的 VLA，但远低于 GPT-6 Astra

局限与改进

作者承认三点局限。其一，RL 只在 40 个 LIBERO 任务、单只 7-DoF 臂上训练，跨基准零样本成绩仍低于在域方法（RoboTwin 22.6%、RoboDojo 0.8%），需要同步双臂协调或陌生 6-DoF 臂紧凑可达性的任务无法解决；失败分类显示 RoboTwin 上 167/437 个失败的首因是双臂协同，RoboDojo 上 21/46 是 IK/可达失败。其二，RL 依赖特权仿真状态：离线敏感性实验中用带噪声的位姿估计替代真值，与特权 $\Delta V$ 的相关性在 2 cm 噪声下降到 0.49、5 cm 下降到 0.36、用策略自身感知只有 0.21，说明直接在物理硬件上做在线 RL 需要外接状态估计器。其三，动作空间受 22 个原语与 SFT 演示行为覆盖的限制：需要持续力控柔顺的任务（如 CaP-Bench 的 Wipe 要求持续下压）无法用受保护笛卡尔位置原语表达，Nut insertion 也未解决。我自己的观察还有三点：附录 K 显示 libero_10 任务 5 的判据有 3.5 mm 偏置导致所有模型 0/6，基准噪声问题未讨论；表 2 的基线协议差异很大（部分基线用测试时成功神谕、锁存成功、特权深度或 100–500 轮预算），横向对比的公平性需要打折；附录 I 显示后期 RL 出现「过度验证」漂移——宿主成功保持约 65% 而严格成功从约 60% 跌到 44%，说明批评家对终止决策没有信用，这是一个未彻底解决的结构性问题。

独立分析的弱点

独立分析可指出四个弱点。第一，终止决策缺乏信用信号是结构性缺陷：批评家以宿主成功为目标训练，给每个成功后状态 $V \approx 1$，于是「何时停」没有来自批评家的梯度，只能靠封顶 −0.45 的成功后成本与 0.25 的 missed-finish 回报缓慢推动，结果后期严格成功率从 60% 滑落到 44%，零样本迁移早期评估中 7/11 的宿主成功从不调用 finish。改进方向：作者建议给 finish 单独的价值目标（如 success-and-finished），或让批评家显式建模「目标已满足但未终止」的状态。第二，特权状态依赖把 RL 锁死在仿真器里：2 cm 位姿噪声就把与特权 $\Delta V$ 的相关性打到 0.49，而真实机器人恰恰只有这种精度的感知。改进方向是训练一个从 RGB-D 预测 36 维物理特征的估计器学生（类似特权教师蒸馏），或用域随机化让批评家对噪声鲁棒。第三，训练分布单一：只在 LIBERO 上 RL 导致双臂任务 0/35、跨本体运动学 RoboDojo 0.8%；附录 J 的对照实验（LIBERO 化的 RoboTwin 不比官方布局好，$p = 0.86$）说明瓶颈不是视角光照而是能力缺口。改进方向：在多本体、多臂数据上混合 RL，或引入 move_both 类双臂原语并为其扩展批评家特征。第四，SFT 依赖 GPT-6 Astra 生成轨迹并人工把 226 个助手变体重写归一为 4 函数库，数据管线对前沿模型的依赖与「去前沿化」的初衷存在张力，且难以自动扩展到全新任务域。

未来方向

作者在结论与附录中给出的方向：把模拟器批评家扩展到终止决策（给 finish 自己的信用目标）、双臂协调与多本体工作空间，以缩小与前沿系统的剩余差距；附录 I 建议将返回结构改成 success-and-finished 一体化目标；附录 J 的失败分类暗示需要针对 IK 可达性做布局课程或自动重试策略。基于本文成果可自然延伸的研究包括：其一，用特权教师蒸馏训练一个从真实 RGB-D 估计 36 维物理特征的学生批评家，把 RL 搬到真机在线训练，绕开特权状态限制；其二，把 22 个原语扩展为带力控模式的柔顺原语（持续法向力跟踪），使 Wipe、插销类任务可表达，并设计对应的接触状态批评家特征；其三，多基准混合 RL（LIBERO+RoboTwin+RoboDojo 联合采样）配合双臂原语与批评家特征扩展，检验 +19.4 的 RL 增益在多本体设定下是否保持；其四，把逐请求 TD 信用推广到任何「多轮请求、外部效果延迟显现、训练环境有特权状态」的语言代理场景（如数据工程流水线、实验自动化）；其五，系统量化 RL 对泛化的贡献——CaP-Bench 零样本从 55.0 升到 75.0 暗示 RL 后的模型获得了可迁移的操作先验，值得用更多域外基准分解「泛化收益 vs 训练分布过拟合」。

复现评估

复现条件总体较好。开源情况：论文明确释放全部代码、SFT 数据与 CaPtain-4B 权重；harness 的 22 个 API 在附录 B 逐一列出（含一句话语义），超参数写得很细：学习率 $4.24 \times 10^{-6}$、KL $\beta = 0.002$、GAE $\lambda = 0.9$、每优化器步 1,024 集、双侧掩码 $0.2 < r < 4$、300 轮、SFT 2,435 步，SFT 数据配比（25,961 行、861M token，宽布局起点每物体位置标准差约 15 cm）在附录 C/D 完整披露。算力需求偏高：RL 用 16 张 H100（8 卡训练节点 + 8 卡 rollout 节点跑 6 个 vLLM 副本、SAM 3、Molmo 与 64–80 并发 MuJoCo 渲染），约 1,290 H100 小时到 300 轮检查点，SFT 约 120 H100 小时，批评家热启动另需约 16 GPU 小时。复现难度评估：在同等算力下按论文流程复现 LIBERO 主结果可行（训练/评估协议、McNemar 检验、bootstrap 区间都写明），但有几个隐性门槛——SFT 数据依赖 GPT-6 Astra 生成且经人工重写归一，重现数据质量需要前沿模型访问权限；感知服务（SAM 3、Molmo2）版本敏感；附录 F 表明多数激进加速（FlashAttention-3、torch.compile、FP8）被数值门控否决，照抄最新技术反而踩坑；附录 G 的五条教训（先测梯度噪声再选 batch、起点覆盖全任务、布局多样性、把策略行为移出批评家、终止需独立信号）是避免复现失败的必读内容。估计一个有 16×H100 集群与机器人仿真经验的小团队可在数周内复现主结果。

CaPtain：面向代码即策略机器人代理的后训练流水线 CaPtain: A Pipeline for Post-Training Code-as-Policy Robot Agents