RoboFoundry：面向自学习具身智能体的系统即策略自演化框架 RoboFoundry: System-as-Policy Evolution for Self-Learning Embodied Agents
把支撑大模型的整套系统当作策略，用执行轨迹驱动诊断-验证-晋升闭环实现自演化。
前置知识
具身智能体（Embodied Agent）
指以大语言模型或多模态大模型为决策核心、能在物理或仿真环境中完成感知-决策-执行闭环的智能系统。它接收任务描述、逐步观测与机器人状态，输出可执行动作；环境反馈再影响后续决策。与纯对话模型不同，其好坏由环境中的任务完成率直接量化，例如 EmbodiedBench 的四类家庭/导航/操作环境，共 1,128 个任务。
本文全部框架围绕具身智能体展开，理解其感知-决策-执行闭环是读懂 RoboFoundry 内环执行与外环演化的前提。
System-as-Policy（系统即策略）
论文提出的核心视角：真正决定行为的不是冻结的基础模型 $M$ 本身，而是模型加上支撑系统 $H(M)$（上下文管理、持久记忆、技能库、动作接口）构成的整体。同一模型在不同交互结构下表现差异巨大，因此应把系统本身当作可优化的策略目标，通过 cat/grep 读、add/modify/delete 写等文件系统操作来演化它，而不是微调模型参数。
这是论文的题眼：方法的形式化定义、内外环目标函数和全部实验设计都建立在这一视角之上。
执行轨迹（Execution Trace）
一次任务 rollout $ au$ 记录系统与工具调用、逐步观测与机器人状态、执行结果与任务反馈，即 $ au \sim T(H_g, H_t, x)$。Code-as-Policy 方法让模型把感知与控制原语组合成可执行程序与环境交互，轨迹就是这种交互的完整留痕。
RoboFoundry 的演化完全由轨迹驱动：外环从轨迹中归因失败能力、提出系统编辑并用历史轨迹验证晋升，轨迹是全部证据来源。
VLA（视觉-语言-动作）模型
VLA 模型（如 $\pi_0$、$\pi_{0.5}$、OpenVLA）直接把图像与语言指令映射为机器人低层动作序列（如 $[x,y,z,r_x,r_y,r_z,gripper]$）。它们擅长短程操作但缺乏任务级推理与长时程记忆，通常作为具身智能体的执行后端，由上层 LLM 通过语义接口调用。
论文在 LIBERO-PRO 与真实世界实验中均以 $\pi_{0.5}$ 作为操作后端，RoboFoundry 通过语义绑定层与其解耦协作，理解 VLA 的短处才能理解系统演化的价值。
六能力归因模型
RoboFoundry 把每次失败或低效归因到六种能力：决策类的感知 perceive、推理 reason、规划 plan，与记忆管理类的保存 save、检索 retrieve、利用 utilize，记为 $a \in A$。先定位能力缺口，再把修订限制在对应的上下文面或技能面上，并按能力划分 held-out 集合做跨任务验证。
能力归因是外环诊断的核心算法步骤，也是任务级修复能否晋升为通用能力的评估条件，贯穿公式 (3) 的设计。
任务级与通用级系统
支撑系统被分解为任务特定部分 $H_t$（优化空间 $S_t$，含语义级任务表述与具身特定执行）和通用部分 $H_g$（优化空间 $S_g$）。任务级编辑在当前任务上当场验证即可提交 $H_t^* \leftarrow H_t \oplus \Delta H_t^*$；通用级编辑必须先在与同能力缺口相关的其他任务 held-out 轨迹上复验有效，才能晋升到 $H_g$，防止对单一任务过拟合。
内-外双环的目标函数、公式 (1)(2)(3) 与晋升判据全部定义在这两层系统之上，是方法骨架。
研究动机
现有具身智能体方法普遍只优化系统栈中的单个组件：交互 harness 改进模型-环境反馈，记忆系统改善历史信息存取，技能学习智能体积累可复用行为，编程智能体根据物理反馈修补程序。这种改进是组件局部的——修好一个组件既不能定位下一个瓶颈，也无法决定改进如何传播到系统其余部分。同时，交互本身并不产生自我改进：多数系统部署后保持固定，即使交互持续暴露支撑不足之处，同样的弱点仍跨 episode 反复出现，积累的执行经验通常只用于评测或人工调试，而没有转化为持久、经验证的系统变更。后果在数据上非常直观：GPT-5.5 在 EmbodiedBench 四环境平均成功率仅 56.9%，EB-Manipulation 上低至 32.1%；Qwen3.8-27B 平均只有 52.3%；长时程记忆任务上现有 VLA 方法更差，RoboMemArena 中 MemoryVLA 的 TSR 仅 15.0%，$\pi_{0.5}$ 为 21.5%；LIBERO-PRO 分布偏移下 CaP-Agent0 平均成功率仅约 19.7%。这些短板说明，把宝押在单一组件或更强模型上都无法系统性地解决问题。
本文的目标是本文要回答一个中心问题：具身智能体能否把它的整个支撑系统当作策略，诊断系统在何处限制行为，并从具身经验中演化相应组件？具体目标是，在不更新冻结基础模型 $M$ 参数的前提下，通过文件系统操作演化 $H(M)$，把语言模型规划 → 代码即策略 → 系统即策略的演进再推进一步。可拆解为四点：其一，提升具身决策能力，在 EmbodiedBench 四环境上跨多个基础模型取得一致增益；其二，通过上下文演化支撑长时程记忆，在 RoboMemArena 全面超越现有记忆基线；其三，在 LIBERO-PRO 的位置与任务扰动下验证持久系统演化带来的鲁棒性；其四，在真实机器人上展示零样本迁移与部署后在线进化，并让开源骨干（如 Qwen3.7-Plus）逼近前沿闭源模型的表现。
与已有工作不同的是，本文的独特切入角度有三层。第一，它首次把整个智能体系统本身形式化为策略并使其自演化（Self-Evolving System-as-Policy），而不是像先前工作那样预先承诺优化某个模块（记忆、技能、prompt 或代码），让执行历史决定该改哪里、改动应该传播多远。第二，它给演化加上显式作用域：把循环失败归因到六种能力，把每次修订限制在负责的表面（上下文面或技能面），任务级修复当场验证即可提交，而通用级晋升必须先在同能力缺口的其他任务 held-out 轨迹上证明有效——这使自演化成为诊断、干预、验证、晋升的受控闭环，而非无约束的自我重写。第三，它引入共享语义接口，把具身不变的决策与具身特定的执行解耦，使演化出的能力可以跨异构机器人（换绑定即迁移）和不同基础模型（同一系统挂到不同骨干）复用，这一点是现有 code-as-policy 与记忆系统工作均未处理的。
核心方法
先说直觉：同一个模型在不同交互结构下表现天差地别，因此可执行的具身策略是模型与系统的联合产物——模型参数冻结，值得演化的是系统。技术上，RoboFoundry 用 $H(M)$ 表示冻结模型 $M$ 的支撑系统，分解为任务级 $H_t$ 与通用级 $H_g$，组织为内-外双环：内环在当前系统下执行任务并收集轨迹 $\tau \sim T(H_g, H_t, x)$，外环提出系统编辑并经后续 rollout 部署评估。任务级优化求 $H_t^* = \arg\max_{H_t \in S_t} \mathbb{E}_\tau[r_x(\Delta H_t, \tau)]$（公式 1），通用级优化在跨任务分布 $X_A$ 上求 $H_g^*$（公式 2）。演化作用于两个互补表面：上下文面覆盖 episode 内活动上下文与跨 episode 的文件系统持久记忆，操作空间为 $S_{ctxt} = \{\text{SAVE}, \text{RETRIEVE}, \text{UTILIZE}\}$，由任务进度事件触发而非每步更新；技能面组织为原子技能 → 可复用组合 → 失败条件恢复树的层级。由于演化只发生在文件系统上，模型虽冻结，模型-系统对的有效能力却可持续提升。
核心创新是系统即策略演化、能力引导的上下文-技能协同演化与语义绑定接口的组合。与已有方法的本质区别：其一，code-as-policy、交互 harness、记忆系统都只改进单一组件且部署后固定，RoboFoundry 把系统整体作为显式演化目标，由执行轨迹决定瓶颈位置与修复传播范围；其二，晋升机制是新的——对每个成功的任务级修复 $\Delta H_t^*$，先抽象出候选通用编辑 $\Delta H_g \leftarrow \text{Abstract}(\Delta H_t^*, \tau_x; H_g)$，再在同能力的其他任务 held-out 轨迹上重放预修复历史 $\tau_i^{pre}$，用 $H_g \oplus \Delta H_g$ 提出候选编辑 $\Delta H_{t,i}'$，由系统策略充当验证器打分，仅当能力条件化迁移度 $\Delta_{cap}(\Delta H_g) = \frac{1}{|T_a^{out}(x)|}\sum_{\tau_i}[r_x(\Delta H_{t,i}', \tau_i) - r_x(\Delta H_{t,i}^*, \tau_i)] \ge 0$（公式 3）时才晋升；其三，语义绑定层 $H_{st} = \text{BIND}_s(H_t)$ 与执行绑定层 $H_{et} = \text{BIND}_e(H_t)$ 分离，决策以语义单元表达一次，换机器人只需换绑定实现，这是演化的系统能跨具身、跨骨干复用的根本原因。
方法步骤详情
完整流程分五步。第一步绑定：把任务级系统绑定为语义层 $H_{st}$（负责任务逻辑、分解与推理）和执行层 $H_{et}$（落地为具身特定原语，后端可以是冻结 VLA、编程智能体生成的函数或 CuRobo 等视觉运动 API）。第二步内环执行：每步依次计算上下文 $c_t = \text{Utilize}(\text{Retrieve}(x, z_t, M_t), z_t)$、决策 $p_t = M(x, z_t, c_t; H_g, H_{st})$、执行 $(z_{t+1}, f_t) = \text{Execute}(H_{et}(p_t))$，事件触发时持久化 $M_{t+1} = \text{SAVE}(M_t, \tau)$；技能面按原子技能组合执行，失败时查询恢复树（关键状态为节点、技能执行含失败转移为边），从有效状态重规划而非重复失败动作。第三步任务级改进：$H_t$ 把失败归因到六能力之一（perceive/reason/plan/save/retrieve/utilize），对相应表面提出编辑 $\Delta H_t$，在新内环执行中验证，成功则提交 $H_t^* \leftarrow H_t \oplus \Delta H_t^*$，轨迹按能力索引存入 $T$。第四步通用级改进：按公式 (3) 的重放-提议-打分流程评估候选 $\Delta H_g$，$\Delta_{cap} \ge 0$ 则晋升 $H_g^* \leftarrow H_g \oplus \Delta H_g^*$。第五步持久化：接受的修订写入智能体工作区文件系统（如 system_prompts.py、memory_policy.py），运行时执行再产生新轨迹，形成闭环。
技术新颖性
技术新颖性体现在五点。第一，演化对象从模型参数、prompt、记忆或技能等单一组件升维到整个系统策略，且演化通过文件系统读写实现，每一步可解释、可审计（附录给出 workspace/overlay 与 .robofoundry/ 的完整目录结构与真实 diff）。第二，带作用域的演化协议是新的：任务级修复与通用级晋升严格分离，公式 (3) 首次定量定义按能力条件化的跨任务迁移度，为何时允许改动写入通用系统提供可检验判据。第三，双表面设计使同一诊断机制产出不同类型干预：附录案例显示 Occlusion 任务演化的是视觉记忆选择与检索规则，Counting/Transfer 演化的是阶段化活动上下文，EB-Manipulation 演化的是技能级插入策略，EB-Habitat 演化的是导航后先观察的恢复规则。第四，恢复树以关键状态为节点、技能执行（含失败转移）为边，失败后从有效状态重规划，如方块掉落时回到其静置面重新抓取。第五，语义接口带来双重可移植性：真实实验中同一演化系统零样本迁移到 AgileX 与 Unitree G1，EmbodiedBench 上同一系统在五个骨干上均有一致增益（+7.4 到 +15.8pp），证明增益来自系统而非特定骨干。
实验结果
逐实验看核心数据。其一，EmbodiedBench（1,128 任务、四环境）五骨干全部一致提升：GPT-5.5 56.9%→72.7%（+15.8pp，相对 +27.8%）；Qwen3.7-Plus 60.0%→70.3%，逼近 GPT-5.5 演化后的 72.7%；前沿级 GPT-6 Astra 71.9%→78.0%（相对 +8.5%）；GLM5.3-Flash 62.0→69.3，Qwen3.8-27B 52.3→66.5。消融：仅保留任务级编辑的 RoboFoundry-Lite 在 Qwen3.7-Plus 上只有 63.2%，完整版 70.3%（相对 +11.2%），说明通用范围演化是决定性成分。16K 上下文实验排除堆上下文的替代解释：更大预算不总有益（GLM5.3-Flash 4K 62.0%→16K 61.3%），而 RoboFoundry 在 16K 下仍相对各基线提升 7.9–13.1%。其二，演化动态（Figure 3）：EB-Habitat 空间子集上三次提交编辑把 held-in 成功率 21.4%→50.0%，两个候选被丢弃，最后一个通过 held-out 检查晋升达 78.0%；数据效率（Figure 4）：四分之一 held-in 数据已达 EB-ALFRED 78.0%、EB-Habitat 66.0%。其三，RoboMemArena（26 任务 4 类，Qwen3.7-Plus 骨干）：TSR/CSR 53.5%/72.8% 总体与四类全最优，对 PrediMem（38.5%/55.2%）最大相对 TSR 增益在 Transfer 类（70.5% vs 22.5%，相对 +213.3%）；上下文演化可移植：独立 $\pi_{0.5}$ 平均 26.8/45.6→56.2/72.2，PrediMem 42.0/60.6→57.7/75.9（其 Transfer TSR 相对 +200.0%）。其四，LIBERO-PRO（三套件 × 位置/任务扰动，每任务 50 次）：无特权位姿方法中 RoboFoundry 平均 91.9% 最高（Harness VLA (CC) 87.8%），对 CaP-Agent0 相对提升 243.8–679.7%（Spatial 位置扰动 92.0% vs 11.8%）；特权位姿的 RoboFoundry† 六设置全再提升，Object 与 Goal 任务扰动达 100%，说明感知仍是瓶颈。其五，真实世界（GPT-5.5 + $\pi_{0.5}$ 后端，每任务 10 次试验含演化试验）：套娃操作 70% vs $\pi_{0.5}$ 30%；仅在蓝毛巾上演化的折叠技能零样本迁移到绿/粉毛巾，超 80% vs $\pi_{0.5}$ 不足 20%（需再微调）；Unitree G1 完成"寻找饮用水"语义导航；六子任务化学实验中最终倒液步骤检索到数个子任务前记录的漏斗就绪状态，独立 $\pi_{0.5}$ 无法完成全流程。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| EmbodiedBench 四环境（共 1,128 任务） | 四环境平均成功率 | RoboFoundry (GPT-5.5) 72.7%；RoboFoundry (GPT-6 Astra) 78.0% | GPT-5.5 裸模型 56.9%；GPT-6 Astra 71.9% | GPT-5.5 +15.8pp（相对 +27.8%）；GPT-6 Astra +6.1pp（相对 +8.5%）；Qwen3.7-Plus 60.0→70.3 逼近 GPT-5.5 |
| RoboMemArena 长时程记忆（26 任务，Transfer/Occlusion/Counting/Sequence 四类） | TSR / CSR | 53.5% / 72.8%（总体与四类全最优） | PrediMem 38.5% / 55.2%；MemER 27.3% / 49.1% | 总体相对 TSR +39.0%；Transfer 类 TSR 相对 +213.3%（70.5% vs 22.5%） |
| LIBERO-PRO 三套件 × 位置/任务扰动（每任务 50 次试验） | 六设置平均成功率 | 91.9%（无特权位姿）；RoboFoundry†（特权位姿）在 Object/Goal 任务扰动达 100% | Harness VLA (CC) 87.8%；CaP-Agent0 平均约 19.7% | 对 CaP-Agent0 相对提升 243.8–679.7%（Spatial 位置扰动 92.0% vs 11.8%） |
| 真实世界套娃操作（AgileX COBOT MAGIC，在线演化） | 成功率（10 次试验，含演化试验） | 70% | 独立 π0.5（相同微调 checkpoint）30% | +40pp，来自对齐检查与进度跟踪两类系统编辑 |
| 真实世界毛巾折叠零样本迁移（蓝毛巾上演化，绿/粉毛巾测试） | 成功率 | >80%（零样本，无需任何适配） | π0.5 <20%（且需进一步微调） | 技能经语义接口跨外观/几何/材质迁移，相对提升 4 倍以上 |
局限与改进
作者承认的局限：感知是瓶颈——给予特权仿真位姿后六设置全部再提升、两处达 100%，说明演化上限部分被感知质量锁死，更准的状态信息能转化为更可靠的执行；文中未对演化计算成本（额外候选评估的交互次数）做系统分析，仅声明所有演化轨迹计入评测预算。我自己的观察：第一，诊断、提出编辑与验证都由同一冻结模型充当，存在自证偏差风险，$\Delta_{cap} \ge 0$ 的判据可能被验证器噪声放过；第二，六能力归因本身依赖 LLM 判断，错误归因会把编辑写到错误表面，文中没有给出归因准确率；第三，晋升只要求同能力缺口上不劣于原修复（$\ge 0$），未建模多任务累积效应与跨能力负迁移；第四，真实世界样本量小（每任务 10 次试验），统计显著性有限；第五，恢复树与技能库随任务持续增长，文件系统状态的冲突、依赖与回滚语义未详述；第六，对前沿模型增益相对较小（GPT-6 Astra 相对 +8.5%），暗示系统演化的边际收益可能随模型能力增强而递减；第七，LIBERO-PRO 中 OpenVLA、$\pi_0$、$\pi_{0.5}$、CaP-Agent0 的数字直接取自他人报告，协议一致性存在不确定性。
独立分析的弱点
独立分析四个具体弱点。第一，自我验证循环：诊断器、编辑提议者与验证器同为系统策略 $H(M)$，风格性偏好可能被放大，例如所有修复都收敛到"加观察检查点"一类模板。改进方向：引入异构验证器（不同家族的模型或基于仿真状态的规则检查）交叉评审晋升候选，并对验证器做校准实验。第二，能力归因缺乏因果检验：六分类由 LLM 一次性判断，若把感知失败误归为推理失败，编辑会写到语义面而无效。改进方向：对候选表面做受控消融扰动，验证改动确实改变结果后再提交，并统计归因准确率。第三，晋升判据过弱：$\Delta_{cap} \ge 0$ 只要求不劣于原修复，长期多任务组合效应未建模，可能接受大量中性编辑污染通用系统。改进方向：要求显著正迁移或引入编辑预算、回滚机制与版本图管理（文中已有 parent/candidate 结构但未讨论冲突与回滚策略）。第四，感知瓶颈未纳入闭环：感知误差被当作外部条件而非可演化对象，RoboFoundry† 的结果恰好说明状态质量的边际价值最大。改进方向：把开放词汇检测器或深度估计的轻量适配纳入能力归因闭环，实现感知-系统协同演化。
未来方向
作者在结论中提出三个方向：构建连接仿真与真实经验的具身飞轮；把非具身数据的知识迁移到具身任务；让系统演化与模型学习互相强化——系统改动产生的数据可反哺模型训练。在此基础上可以延伸：其一，多机器人联邦演化，多台机器共享同一通用系统 $H_g$，研究经验合并、冲突消解与隐私边界；其二，把晋升机制从符号系统扩展到参数化模块，例如对 VLA 后端的 LoRA 适配与符号规则混合演化，统一公式 (3) 的验证协议；其三，演化安全性，把形式化安全不变量（力矩上限、禁区约束）作为晋升前置检查，防止通用编辑引入危险行为；其四，更细粒度的 credit assignment，把六能力归因细化到具体文件与规则级别并学习专门的归因器；其五，系统性地研究"用系统补偿弱模型"——论文已展示 Qwen3.7-Plus 经演化后 70.3% 逼近 GPT-5.5 的 72.7%，值得探索能否为开源模型构造针对性系统使其在特定领域稳定替代闭源前沿模型；其六，在线/离线混合演化策略，真实部署采用保守晋升、仿真中允许激进探索，平衡进化速度与部署风险。
复现评估
复现条件评估：论文提供项目网站 jingsongliang.com/robofoundry，正文与附录的实现细节相当充分——workspace/overlay 与 .robofoundry/ 的完整目录结构、评估轨迹的 JSON schema（episode_result.json、vla_input_trace.jsonl、sync_vlm_trace.jsonl 等）、EmbodiedBench 四个案例与 RoboMemArena 四个案例的真实 prompt diff、LIBERO-PRO 的持久化文件清单都公开，照此搭建系统骨架可行。不确定之处：文中未明确声明代码与工作区模板开源；实验依赖 GPT-5.5、GPT-6 Astra、Qwen3.7-Plus 等闭源模型 API，真实实验使用与基线共享的 $\pi_{0.5}$ 微调 checkpoint；LIBERO-PRO 部分基线数字取自 CaP-Agent0 报告而非重跑。算力上主要成本是 LLM 调用与仿真交互：LIBERO-PRO 为 30 任务 × 2 扰动 × 50 试验 × 6 设置，EmbodiedBench 为 1,128 任务 × 5 骨干，外加每次演化候选的额外评估；演化依赖 LLM 随机性，需多种子重复。总体判断：对拥有 LLM API 预算与仿真资源的团队，复现难度中等偏上；若官方开源代码与初始 bootstrap 工作区，难度将显著下降到中等。
论文图表
把 RoboFoundry 应用于独立 π0.5 与 PrediMem（Qwen3-VL-8B 记忆管理 + π0.5 执行）前后各四类 TSR/CSR：π0.5 平均 26.8/45.6 → 56.2/72.2；PrediMem 42.0/60.6 → 57.7/75.9；PrediMem 在 Transfer 类 TSR 相对提升 200.0%。
证明上下文演化与具体记忆架构解耦、即插即用，把方法贡献从单一系统配置推广到不同智能体架构，增强外推有效性。
EB-Habitat 六子集细分：RoboFoundry (GPT-5.5) 平均 88.7（Base 100.0、Spatial 100.0、相对裸模型 64.0 提升 24.7pp），是四个套件中增益最大者；GPT-6 Astra 版在 Visual 达 100.0 但 Spatial 只有 42.0，显示不同骨干的瓶颈位置不同。
展示演化能针对骨干各自的短板（如 GPT-5.5 的空间关系、GPT-6 Astra 的空间定位）做修复，佐证 RoboFoundry 修复的是骨干特定瓶颈而非收敛到固定 harness。