← 返回 2026-10-05

Skill2Real:面向零样本 Sim-to-Real 机器人操作的智能体技能学习 Skill2Real: Agentic Skill Learning for Zero-Shot Sim-to-Real Robot Manipulation

Xincheng He, Siyu Ma, Chang Yu, Yunuo Chen, Yanjia Huang, Ying Nian Wu, Yin Yang, Chenfanfu Jiang 📅 2026-10-02 👍 18 2026-10-20 18:30
Sim-to-Real 具身智能体 技能学习 机器人操作 视觉语言模型

仿真中用三智能体验证两级技能库,冻结后经共享代码接口零样本迁移到真实机械臂

前置知识

零样本 Sim-to-Real 迁移

在仿真器中训练机器人策略,然后不经任何真实世界任务训练或微调,直接部署到物理机器人上。核心难点是“现实差距”:仿真与真实在光照、材质外观、接触动力学、机器人本体等维度的差异,会使仿真中学到的行为在现实中失效。传统应对手段包括域随机化、系统辨识以及在真实数据上微调策略。

本文的最终目标就是零样本迁移:所有技能只在 LIBERO-90 和 Robosuite 仿真中学得,冻结后直接在真实 UR5e 上执行,理解这一设定才能体会“冻结技能库而非调参数”设计的意义。

域随机化与非对称(特权)学习

域随机化在仿真中随机化光照、纹理、物体形状等属性,迫使策略学到对域变化不变的特征;非对称 actor-critic 让评论家访问仿真器特权状态(如物体真值位姿)辅助训练,而行动者只用真实可得的观测执行。两者的学习预算常被耗在与任务无关的底层表征建模上。

Skill2Real 的 Proposer-Verifier-Governor 结构是特权思想在智能体框架下的推广:Verifier 独享特权仿真证据做诊断,但其反馈被约束为公共可表达,保证特权信息只用于训练、绝不进入部署策略。

代码即策略(Code as Policies)

用大语言模型直接生成可执行程序(调用感知、规划与控制 API)作为机器人策略,而非输出网络的连续动作。优点是可组合、可解释、能复用成熟软件接口,代表工作有 Code as Policies 与 ProgPrompt;局限是通常只能组装人工预定义的原语,缺少从执行经验中改进技能本身的能力。

本文延续代码策略范式但更进一步:技能以“自然语言指导 + API 代码模板 + 结构化状态描述”的形式从经验中自动习得、验证并写入库;共享 API 契约正是程序能跨仿真/现实复用的关键载体。

视觉-语言基础模型(VLM)

在海量图文数据上预训练、可对图像做语言推理的大模型(如 GPT、Claude 系列)。它们具备零样本跨域视觉理解能力:对仿真渲染图和真实照片都能进行物体识别、空间关系推理与代码生成,无需针对目标域微调。

Skill2Real 把 sim-to-real 的桥接重任交给 VLM 的跨域 grounding 能力:策略的执行核心是一个冻结 VLM(Proposer),同一模型直接消化仿真和真实的 RGB-D 观测;实验还横跨 GPT-6 Astra、GPT-5.6 Sol、Claude Opus 多个模型验证学习增益与基座正交。

分层技能学习与技能库

把长时程任务分解为可复用的子技能并在其上做任务级组合,是分层强化学习(Options、MAXQ、HIRO)的核心思想。近期工作将其落为“技能库”形态:以程序、语言描述或潜变量存储技能,供任务层检索与组合,以提升长时程操作的成功率与泛化能力。

本文的两级层次直接借用“小脑(Cerebellum,局部操作技能)—大脑(Brain,任务级组合与恢复)”分工,并通过“Stage II 冻结小脑库”的顺序训练显式构造层级依赖,是读懂 C1-C3、B1-B4 训练曲线设计的钥匙。

研究动机

零样本 sim-to-real 操作的核心矛盾是:仿真提供了可扩展的经验来源,但外观、动力学、接触与本体差异使仿真策略难以在真实机器人上可靠运行。传统路线把学习预算大量花在与任务无关的底层表征上——外观主导的域随机化在建模光照、纹理变化上消耗容量,非对称 actor-critic 用特权状态训练的也是低层表征——真正可复用的任务级知识反而学得少。对长时程操作问题更严重:机器人不仅要可靠执行局部抓放等技能,还要把它们组合成任务级行为,并在中间步骤失败时恢复;现有代码生成方法(Code as Policies 等)只能组装人工给定的原语,不从执行经验中习得新技能;代表性技能库系统(LRRL、ASPIRE 等)依赖人类引导或真实世界执行反馈,难以规模化。基线数字很说明问题:不带任何习得技能的强 VLM 在未见过的 LIBERO-Pro Long 上,GPT-6 Astra 的 Overall 成功率只有 2.0%,Opus 5 只有 0.5%——纯靠基础模型通用推理,长时程操作几乎不可用。

本文的目标是本文目标是构建一个智能体策略框架,在仿真中自动习得“经过验证、可复用、可组合”的任务级知识,并以冻结知识(而非模型参数)的形式零样本迁移到真实机器人。具体拆成三点:(1) 设计共享代码策略接口,使同一套技能程序在仿真和现实有共同语义的执行形式,把“学什么”与“在哪执行”解耦;(2) 设计非对称的 Proposer-Verifier-Governor 多智能体循环,让特权仿真证据最大化转化为训练监督,同时绝不泄漏进部署策略;(3) 构造两级技能层次——Cerebellum 学可复用的局部操作技能,Brain 在小脑库冻结后学长时程任务程序与失败恢复——并验证知识在跨任务套件、跨 Proposer 模型、跨仿真/现实三个维度的迁移能力,例如把 LIBERO-Pro Long 上 Astra 的成功率从 2.0% 提到 56.3%,真实 UR5e 平均完成率从 27.50% 提到 78.75%。

与已有工作不同的是,本文的独特切入是重新定义 sim-to-real 迁移的“单位”:不是迁移网络参数或表征,而是迁移以公共 API 语义表达的可执行任务知识。核心分离原则是:监督技能学习所需的信息(仿真器特权状态、成功判定)与执行已学技能所需的信息(公开观测 + 文档化 API)彻底解耦——Verifier 可看特权证据做诊断,但必须把诊断翻译成 $f \in \mathcal{F}_{pub}$(仅用公共观测和 API 语义可表达的反馈);Governor 只依据验证 rollout 的实证证据 $e_\delta$ 准入更新。这样特权信息成为纯训练期资产。与 Zetta 围绕冻结基础策略演化运行时 harness 不同,本文是完整多智能体系统在学习两级技能层次;与既有技能库系统依赖人类或真实反馈不同,本文靠 VLM 跨域 grounding 加仿真内验证闭环,把学习预算全部集中在任务级可复用知识上。

核心方法

直觉上,作者想让“机器人技能”像软件库:写成对公共 API 契约的程序,由仿真还是真实后端执行无所谓,语义一致即可复用。技术分三块。(1) 共享代码策略接口:仿真环境 $E^{sim}$ 与真实环境 $E^{real}$ 共享 18 个文档化操作的契约 $\mathcal{A} = \{a_k\}_{k=1}^{K}$(图像获取、SAM 分割、几何测量、位姿编译、运动命令等),策略只经接口推理,各后端自实现感知、标定与底层控制——接口即迁移边界。(2) PVG 循环:Proposer(VLM)依 $c_t \sim \pi_M(c \mid g, o_{\leq t}, \mathcal{D}_\mathcal{A}, S_{cer}, S_{brain})$ 采样程序并执行;确定性评估器给出 $e = E_{exec}(\tau, x^{priv}_{0:T})$;Verifier 转成公共反馈 $f$;Proposer 据此起草候选更新 $\delta$;Governor 检查验证证据 $e_\delta$(25 个独立种子 rollout 的完成、失败与回归)后准入。(3) 两阶段训练:Stage I 学小脑库,Stage II 冻结小脑后学大脑库;部署只留 Proposer、接口与冻结记忆。

核心创新是“非对称信息访问 + 验证准入”的技能学习机制,与已有方法的本质区别有三。第一,对比域随机化/非对称 actor-critic:它们把特权信息用于训练神经表征,迁移的仍是参数;本文特权信息只用于生成公共可表达的反馈($f \in \mathcal{F}_{pub}$),迁移的是程序化知识,因此同一知识库可换 Proposer 模型、换物理后端复用。第二,对比 Code as Policies 类方法:它们组装人工预定义原语;本文技能从失败与成功经验中归纳、经 Verifier 诊断、由 Governor 用验证 rollout 筛选后写入库,并附适用条件、预期效果与失败边界。第三,层次结构靠顺序依赖显式构造:$S^*_{cer} = \text{TrainStage}(\mathcal{Q}_{cer}, \varnothing)$,$S^*_{brain} = \text{TrainStage}(\mathcal{Q}_{brain}, S^*_{cer})$,大脑学习以冻结小脑为只读上下文,只能学组合、排序、重绑定与恢复,不能改写局部技能,保证两级知识职责清晰且互补增强。

方法步骤详情

流程四步。第一步 Stage I(Cerebellum):从空记忆开始,在 $\mathcal{Q}_{cer}$ 任务上跑 PVG 循环——Proposer 执行局部操作任务(抓取、放置、开抽屉),每任务 5 个种子 rollout;Verifier 定位第一个失败转移并译成公共反馈(如“夹爪闭合完成不等于物体被保持住”);Proposer 把反馈凝练成候选技能(自然语言指导 + API 代码模板 + 紧凑状态描述);每候选用 25 个独立种子验证 rollout 生成 $e_\delta$,Governor 综合证据后准入或拒绝。共 3 轮(C1-C3)。第二步 Stage II(Brain):冻结 C3 小脑作只读上下文,同流程在 $\mathcal{Q}_{brain}$ 上学任务级技能(目标排序、实体重绑定、进度保留、恢复策略),4 轮(B1-B4);LIBERO-90 每迭代 450 episodes、共 3,150 个。第三步冻结评测:Proposer 仅凭公开观测与 API 文档在 LIBERO-Pro Long(20 任务 x 10 种子)评测。第四步零样本真机部署:UR5e 后端实现同一 18 操作 API(RealSense RGB-D、手眼标定、ROS 控制),无示范、无微调、无在线更新,直接执行 R1-R4。

技术新颖性

技术新颖性有四点。(1) 迁移边界的工程化定义:18 个操作的 API 契约明确排除仿真器对象句柄、真值位姿、隐藏场景结构与成功谓词,连深度都必须由标定双目立体视觉重建而非读取深度缓冲——把“什么算公共信息”变成可检查的契约而非口头约定。(2) Verifier 的公共性约束:诊断可动用特权证据,但输出必须落在 $\mathcal{F}_{pub}$ 内,且要给出“下一步可用公共观测完成的判别性测试”,这是非对称 actor-critic 思想在 LLM 智能体语境下的重构。(3) Governor 的实证准入:候选更新不因单次成功即入库,需 25 个验证 rollout 支持其声称的改进且无回归;附录 D 的碗-托盘案例中 4 个候选只准入 1 个,层级越界(把小脑级接触规则写进大脑)与未实现未测试的条款都被拒收。(4) 两级顺序依赖(公式 3)把“技能习得”与“技能组合”变成可分别度量、可分别消融的两个阶段;消融显示去掉 Verifier/Governor 分别损失 17.25 与 13.25 个百分点,证明该机制并非工程点缀。

Skill2Real pipeline.
Figure 2: Skill2Real pipeline.
Cerebellum skills.
Figure 3: Cerebellum skills.
Experimental setups.
Figure 5: Experimental setups.

实验结果

证据链覆盖四层面。(1) 两级层次贡献:LIBERO-90 训练向未见 LIBERO-Pro Long 迁移(20 任务 x 10 种子),Astra Overall 从无技能 2.0% 升至 C3 小脑 35.3%、B4 完整层次 56.3%;Opus 5 从 0.5% 到 29.3% 再到 49.0%,证明技能跨 Proposer 迁移。B4 时 Task/Pos 为 76.0%/36.5%(Astra)与 66.5%/31.5%(Opus),位置变化仍是短板。Robosuite 七任务独立训练:Sol 均值 16.6%→45.6%→85.1%,Opus 19.4%→49.6%→89.4%,Brain 阶段 +39.6/+39.9 点且七任务全部提升,螺母装配 +62/+50 点、双臂传递 +52/+60 点。(2) 真实迁移:UR5e 四任务各 20 次试验,完整层次均值 78.75%(R1 95、R2 85、R3 85、R4 50),对比无技能 27.50%、仅小脑 56.25%、仅大脑 37.50%;只有完整层次能完成抽屉任务。(3) 横向比较:固定 Sol 的 C3/B3 库,Astra 上 Overall 55.3%、Task 75.0% 均最佳(Zetta 51.5%/63.0%,ASPIRE 30.5%),但 Pos 上 Zetta 以 40.0% 领先本文 35.5%。(4) 消融:去 Verifier 掉至 39.0%(-17.25 点),去 Governor 掉至 43.0%(-13.25 点);源域 Sol 14.2%→38.2%→62.0%,Opus 18.7%→43.8%→73.3%。

Both PVG roles improve transfer.
Figure 8: Both PVG roles improve transfer.
查看结构化数据
任务指标本文基线提升
LIBERO-90 → LIBERO-Pro Long 迁移(GPT-6 Astra 评测,Overall) 任务成功率 (%) 56.3(B4 完整层次) 2.0(C0 无技能);35.3(仅 Cerebellum C3) +54.3 个百分点
LIBERO-90 → LIBERO-Pro Long 迁移(Opus 5 评测,Overall) 任务成功率 (%) 49.0(B4) 0.5(C0);29.3(C3) +48.5 个百分点
LIBERO-Pro Long 指令扰动(Task)横向对比(固定 C3/B3 库) 成功率 (%) 75.0(Astra) Zetta 63.0;CaP-Agent0 38.3;ASPIRE 30.5 较最强基线 +12.0 个百分点
Robosuite 七任务均值(Opus 5 从零独立训练) 平均成功率 (%) 89.4(B4) 19.4(C0);49.6(C3) +70.0 个百分点,Brain 阶段再 +39.9
真实 UR5e 四任务 R1-R4(各 20 次试验) 平均任务完成率 (%) 78.75(完整层次) 27.50(无技能);56.25(仅小脑);11.25(CaP-Agent0) 较无技能 +51.25 个百分点
PVG 角色消融(Pro Long Overall,B4) 成功率 (%) 56.25(完整 PVG) 39.0(去 Verifier);43.0(去 Governor) 两角色分别贡献 17.25 / 13.25 个百分点

局限与改进

作者承认的局限:(1) 成功率是固定库的记录评测点估计,未重复独立训练,不反映训练随机性;(2) 曲线按训练迭代而非累计 rollout 成本索引,阶段比较混淆“更多训练”与“更高层次”,未在匹配预算下隔离层次贡献;(3) LIBERO 本身基于 Robosuite,该实验不构成跨物理引擎迁移;(4) 当前是纯 code-as-policy 接口,VLM 推理延迟限制闭环速度。我的补充观察:(5) 位置扰动明显弱于指令扰动(Astra 36.5% 对 76.0%),窄空间抓放(bowl-in-drawer 仅 20.0%,Zetta 的端到端 VLA 达 75.0%)暴露代码接口反应式控制粒度不足;(6) 真实评测仅单台 UR5e、4 任务、各 20 次试验,R4 仅 50%,未覆盖柔性物体、动态干扰与人机共享场景;(7) 依赖顶级商业 VLM(GPT-6 Astra、Claude Opus 5),每候选 25 个验证 rollout 的调用与仿真成本可观,效果与 VLM 版本强耦合;(8) API 不承诺对象保持静止,方法隐含静态或准静态场景假设。

独立分析的弱点

独立分析四个弱点。其一,窄空间与位置泛化弱:Pos 下 bowl-in-drawer 仅 20.0%、mug-in-microwave 15.0%,被 Zetta 的闭环 VLA 反超,根因是代码接口下感知-动作回路较粗(先测量、再编译位姿、再执行);改进方向是按作者设想把端到端策略封装成 API 内可调用工具,形成代码层规划 + 神经层反应的混合接口。其二,验证准入成本高:每候选 25 个验证 rollout、每迭代全任务重跑,LIBERO-90 共 3,150 个 episodes 外加大量 LLM 调用;可引入序贯检验(early-stopping 统计测试)或按历史准入率做优先级采样削减预算。其三,技能库无冲突管理与回归测试:Governor 逐条准入但不做全局回归与版本管理,库增大后条款可能冲突,论文也未报告最终库规模与检索方式;可加准入后全任务回归套件与知识去重。其四,真实评测面窄且定性:光照/桌布变化(附录 A.2)只给定性记录不进表;建议补充多物体堆叠、柔性物、动态干扰任务并报告置信区间;跨具身(换夹爪/臂型)理论上被后端抽象支持但未实测。

未来方向

作者在结论中提出两个方向:把端到端策略作为可调用工具暴露进当前纯 code-as-policy 接口,以及降低 VLM 推理延迟以支持更快的闭环执行。基于成果可自然延伸:(1) 跨物理引擎与跨具身迁移——目前 Robosuite 实验未离开同一仿真栈,可在 Isaac/MuJoCo 与不同机器人上检验 API 语义兼容假设的边界;(2) 技能库的终身演化——库当前完全冻结,可在部署后受控积累,用人工确认或视觉语言批评模型充当真实世界 Verifier,做带准入门槛的在线更新;(3) Governor 的形式化——把准入决策变成带统计功效分析的假设检验或贝叶斯 bandit,自动决定验证 rollout 数量并控制入库错误率;(4) 层次边界的自动协商——当前层级越界靠 Governor 人工规则审查(附录 D 案例),可让小脑在能力缺口出现时主动申请扩容并触发 Stage I 增量重训;(5) 与 VLA 的互补融合——结果已呈 Task 强/Pos 弱的互补格局,混合架构(VLA 做局部反应控制、本文层次做任务编排与恢复)是明确的工程方向。

复现评估

复现评估:项目页 skill2real.github.io,附录质量极高——附录 C 完整给出 18 个 API 操作的公共契约(Table C.1/C.2),附录 E 给出小脑/大脑技能模板实例,附录 F 给出六个角色的完整提示词,附录 G 给出训练伪代码 Algorithm 1,附录 D 复盘真实准入案例,方法层面接近白盒。硬性依赖是顶级商业 VLM(GPT-5.6 Sol、GPT-6 Astra、Claude Opus 5/4.6,推理 effort 为 medium),API 费用不菲且模型版本更迭会改变结果;算力上无 GPU 训练需求(不训练神经网络),主要是仿真 rollout 时间(LIBERO-90 共 3,150 个训练 episodes,另每候选 25 个验证 rollout)与 LLM 调用成本。真机需 UR5e + Pika 夹爪 + RealSense D435/D405 + ROS Noetic 及手眼标定;仿真用 LIBERO/Robosuite 可低成本起步。未见明确代码开源声明,若闭源需按附录重建契约与提示词,工作量中等偏大。综合难度:仿真复现中等,完整真机复现需要机器人工程经验。

相似论文推荐