RoboArchitect：持久记忆机器人智能体的自动化设计 RoboArchitect: Automating the Design of Robotic Agents with Persistent Memory
用编码模型自动迭代设计冻结机器人策略的外围控制框架，免训练将成功率提升3-4.5倍
前置知识
VLA 策略（Vision-Language-Action）
在预训练视觉-语言模型基础上，用机器人演示数据微调得到的控制模型，直接把相机图像（有时含深度、本体状态）和语言指令映射为低层动作序列，如 OpenVLA、π0.5、SmolVLA、X-VLA。优点是端到端、能学到灵巧的闭环操作技能；缺点是对训练分布高度依赖，遇到新任务、新物体布局或新本体时性能骤降，传统补救办法是重新采数据微调权重。
本文的全部收益都来自"不动这些模型的权重"，理解 VLA 在分布外的脆弱性，才能明白为什么要绕开微调另辟蹊径。
Agent Harness（智能体框架）
包裹在模型外面的控制程序，决定何时调用模型、喂给它什么上下文、如何处理其输出。放到机器人语境：harness 在每个控制步接收观测和任务指令，可以选择查询 VLA 策略、调用视觉/语言工具，或直接输出动作向量指挥机械臂。近期 VoLo、Harness VLA 等工作证明冻结策略装进好的 harness 能大幅提升表现。
本文的核心论点是"机器人操作的性能提升空间大量藏在外围框架里"，RoboArchitect 自动化的对象正是这个 harness。
Code-as-Policy
不使用任何训练出的策略网络，而以 LLM 生成的可执行程序作为机器人主控逻辑，组合物体检测、深度投影、抓取计算、轨迹基元等环节完成操作（代表作 Code as Policies、VoxPoser）。优点是精确、可解释、无需演示数据；缺点是严重依赖人工写好的感知与运动基元，泛化性受限。
论文发现当 VLA 完全失效时，演化出的 harness 会自发退化成 code-as-policy 智能体，说明这两种传统上对立的范式可以被统一。
持久记忆（Persistent Memory）
跨 episode 持续存在的数据结构，在任务执行中累积经验（如"哪种抓取深度成功过"），供后续 episode 查询复用。它不同于 LLM 上下文窗口里的短期对话记忆——本文明确指出记忆是智能体程序内部的数据结构，在执行时持久存在，而不是编码模型自己的上下文。
本文不给任何记忆格式预设，记忆 schema 完全由优化过程涌现，是论文最独特的观察之一。
LIBERO-Pro 式分布外评测
LIBERO-Pro 把 LIBERO 基准里物体的位置调换但指令保持不变，专门区分策略是"背下了物体位置"还是"真的会操作"。同理，本文的 held-out 协议分为 unseen scenes（同任务、不同场景布局）和 unseen tasks（共享底层技能的不同任务），检验演化产物是否过拟合于优化 episode。
harness 在训练 episode 上的提升可能只是记忆化，只有理解这套 held-out 评测协议，才能判断论文结论的含金量。
研究动机
在机器人操作领域，让通用 VLA 策略适应新任务或新硬件的标配做法是采集新的演示数据并微调权重，成本高、周期长，且微调出的技能往往难以泛化回原分布之外。近期 VoLo、Harness VLA 等工作证明了一条互补路线：把冻结策略包进一个手写的 agent harness（外围控制代码，决定何时查策略、何时调视觉工具、何时直接指挥机械臂）能带来巨大收益。但问题在于这些 harness 全部由工程师手工设计，每换一个机器人本体、换一个基准就要重新设计一遍。手工设计遵循一个低效的试错循环：跑机器人、看录像、诊断原因、改代码、再测试；而一次 rollout 动辄数千步的相机帧和模型调用记录，人类工程师很难穷尽检查所有失败细节。数据的稀缺性让这个问题更突出——例如通用 X-VLA 在 SimplerEnv WidowX 上裸策略成功率为 0%，在 VLABench 上只有 7.3%，域差距极大，而为每个"基准×策略"组合逐一手工设计 harness 既慢又贵，根本不可扩展。
本文的目标是本文要证明一个可量化的命题：harness 的设计可以完全自动化，并成为微调的替代方案。具体目标分三层。第一，用一个编码模型替代工程师，阅读机器人 rollout 的完整执行轨迹，自动诊断失败模式并修改控制代码，全程不更新任何模型权重。第二，优化出的 harness 必须在从未参与优化的 held-out episode 上有效——既包括同任务不同场景布局的 unseen scenes，也包括共享底层操作技能的不同任务构成的 unseen tasks——以严格排除对优化 episode 的过拟合。第三，在量化层面，目标是在 5 个基准 × 7 个策略的矩阵上把平均成功率从个位数或十几个百分点提升数倍，并在部分设置上超过同一策略经过完整微调后的公开 checkpoint，同时把整套优化的成本压到常规工程可承受的水平。
与已有工作不同的是，已有工作分布在三条互不相通的线上。其一是自动代码优化（Darwin Gödel Machine、ADAS 等），在 NLP 智能体上迭代改代码，但没有触及机器人；机器人领域的 LLM 自动化循环（Eureka 生成奖励函数、ENPIRE 改训练配置、EXIMO 蒸馏探索数据）最终产物都是训练工件，仍然服务于权重更新。其二是 code-as-policy 与技能库，它们优化的程序完全替代策略，而不是围绕策略构建。其三是手写 harness 的机器人智能体（VoLo、Harness VLA、AGM），虽然证明了 harness 的价值，但架构、记忆格式、策略/代码分工都是人工预设的；Hu 等人的系统研究还指出层级架构里规划器、控制器、切换逻辑必须协同设计。RoboArchitect 的独特切入是：把"harness 本身"作为进化对象——控制权分工不预先规定，由优化循环根据 rollout 证据自行决定；持久记忆的 schema 也完全留给编码模型自由发明。由此它统一了 code-as-policy 与 VLA 两种范式，且每步修订都是可读、可审查的代码。
核心方法
直觉上，RoboArchitect 就是把资深机器人工程师做适配的那套流程原封不动交给编码模型：跑一遍、看录像、找病因、改代码、再验证。技术路线如下：harness 初始为一个"透传器"——把观测原封不动交给冻结的 VLA 策略，再把策略输出的动作原样执行，因此初始性能就是裸策略成绩。随后进入经验优化循环：harness 在一组训练 episode 上运行，记录完整轨迹（逐步相机帧、机器人本体读数、所有模型与工具的调用及输出）；编码模型 claude-opus-5（经 Claude Code 客户端、最大推理强度调用）审阅这些轨迹，诊断失败模式并提出 harness 修订版；候选版本重新在同一训练集上评测，只有成绩超过当前版本才被接受，即仅当 $\text{Score}(\text{候选}) > \text{Score}(\text{当前})$ 时保留，保证训练集成绩单调不降，最多迭代 5 轮。harness 可用的工具箱包括语言模型、视觉-语言模型、目标检测、分割、指向、抓取位姿生成模型，以及把像素-深度对投影到机械臂基坐标系、生成相对轨迹基元的几何工具。最终产物在从未参与优化的 held-out episode 上评测。
核心创新是把"智能体的外围控制代码 + 持久记忆"作为进化的对象，而不是模型权重、也不是替代策略的程序。与微调的本质区别：改动的是控制流而非参数，每次修订都是针对具体失败模式的、人类可读的代码，例如"检测到指令与实际夹爪运动持续不符就把卡死的臂抬起来再重查策略"，可解释、可叠加、可回滚。与 code-as-policy 和技能库的本质区别：代码不接管一切，而是自主学习何时信任策略、何时自己上手——当通用 X-VLA 在 SimplerEnv WidowX 上每步都输出全开夹爪这种无信息动作时，harness 学会完全无视策略、演化成纯视觉的 code-as-policy 智能体（优化集 0%→100%）；当包裹微调过的专家模型时，harness 又学会只在策略失败时短暂接管、策略接近目标时交还控制权。与手写 harness 的本质区别：策略/代码分工和记忆格式都不是人规定的，而是从执行证据中自动涌现，并且这种"根据上一版自己的行为再改自己"的迭代式精化被证明是泛化的关键——一次成型的设计平均只有 21.4%，迭代后达到 43.3%。
方法步骤详情
第一步，初始化：harness 即裸 VLA 的透传器，输入观测（相机图像、深度图、夹爪位姿与开合状态）和语言指令，输出动作向量。第二步，执行与记录：在训练 episode 上运行，完整记录每步相机帧、机器人读数、所有模型/工具调用及其输出。第三步，诊断：claude-opus-5 阅读当前 harness 的执行轨迹，归纳失败模式，例如"策略反复撞果汁盒不回头""推烤箱门的接触力不够""伸手去够训练数据里记下的旧位置而非指令指定的物体"。第四步，修订：产出新的 harness 代码，可继续跟随策略、调用辅助工具（Qwen3-30B-A3B-Instruct 语言模型、Molmo2-8B 或 Qwen3-VL-8B 视觉模型、Grounding-DINO 检测、SAM 3 分割、Molmo2-8B 指向、GraspGen 抓取位姿生成），或经几何工具换算后直接编程控制机械臂，还可以建立和读写持久记忆。第五步，验收：候选 harness 在同一训练集上重评，仅当分数超过当前版本才接受，否则丢弃，确保单调改进；最多 5 轮。第六步，评测：在 held-out episode 上评测——unseen scenes（同任务不同布局）与 unseen tasks（共享技能的不同任务）；统一 harness 场景下则在 2,201 个程序化生成的训练 episode 上进化，在 2,160 个各基准标准 episode 上评测，横跨 Franka、WidowX、Google 三种本体。
技术新颖性
新颖性体现在四个层面。第一，优化对象新：此前机器人领域的 LLM 自动化循环（Eureka 的奖励函数、ENPIRE 的训练配置、EXIMO 的探索数据蒸馏）最终都服务于权重更新，RoboArchitect 完全绕开权重，直接优化围绕冻结策略的控制代码。第二，分工自主化：Hu 等人的研究指出层级 VLA 架构中规划器、控制器、切换逻辑需要协同设计才能最大化性能，本文把这个协同设计过程本身交给自动进化，策略/代码的分工是涌现的而非预设的——同一套流程既能产出纯 code-as-policy 智能体，也能产出"专家策略为主、代码只在失败时兜底"的智能体。第三，记忆自由生长：近期机器人智能体的记忆结构（Harness VLA、AGM、Skills in weights 等）都是手工规定的，本文不给任何 schema，记忆条目的形式、索引键、读写时机全部由优化发现，例如按"物体实测高度百分比"索引的有效抓取深度、按指令动词索引的是否需要持物。第四，评测严谨性：把每个基准切成训练/held-out 两部分、区分场景与任务两种泛化协议，并与公开微调 checkpoint 在同一测试集上直接对比，这在 harness 类工作中少见。
实验结果
主结果（Table 1）：跨 LIBERO-Pro-10、RoboCerebra、VLABench、SimplerEnv WidowX、RoboCasa-365 五个基准和 MolmoAct-2、OpenVLA-7B、π0.5、RLinf-π0.5、SmolVLA、X-VLA、RLDX-1 七个策略，迭代演化的 harness 把未见场景平均成功率从裸策略 9.7% 提到 43.3%（4.5 倍，+345%），未见任务从 12.7% 提到 40.2%（3.2 倍，+216%）；跨基准与域外设置的子集提升更猛，未见场景 7.3%→58.4%（+696%），未见任务 6.3%→48.7%（+671%）。逐项看：通用 X-VLA 在 SimplerEnv WidowX 裸策略 0%，演化后未见场景 87.5%、未见任务 66.7%，未见场景上超过微调版的 70.8%；在 VLABench 裸 7.3%→52.6%（未见场景）、1.2%→72.5%（未见任务），双双超过微调版的 35.2% 与 32.1%——"免训练的通用模型+演化 harness 超过全量微调"是最亮眼的结论。LIBERO-Pro-10 上各策略普遍大涨，如 OpenVLA-7B 0%→26.0%、RLinf-π0.5 2.0%→40.0%（未见场景）、SmolVLA 0%→38.0%；SmolVLA 在 RoboCerebra 未见任务 26.0%→80.0%。唯一例外是已在本基准训练的 RLDX-1 在 RoboCasa-365 未见场景 27.9%→27.8% 持平，其改进只停留在优化 episode 上。统一 harness（Table 2）：包裹通用 X-VLA 时，训练池均值 1.8%→41.6%（+2228%）、held-out 1.9%→28.8%（+1417%），且横跨三种本体；包裹微调专家模型时正确保持其水平（训练池 58.0%→60.7%，+5%）。迭代 vs 一次性设计（Fig. 10-12）：一次成型的 harness 平均 21.4%，迭代后 43.3%，除上述 RLDX-1 设置外，迭代版在所有 held-out 集上更优。涌现记忆（Table 3）：各设置的记忆平均每 episode 被读 3.4~13.0 次，92%~99% 的读取命中有效条目。成本：5 轮进化编码模型时间不到 6 小时、平均花费不到 150 美元，零演示数据、零权重更新。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 全设置平均（5 基准 × 7 策略）- 未见场景 | 成功率 (%) | 43.3（迭代演化 harness） | 9.7（裸冻结策略） | 4.5×，+345% |
| 全设置平均 - 未见任务 | 成功率 (%) | 40.2（迭代演化 harness） | 12.7（裸冻结策略） | 3.2×，+216% |
| SimplerEnv WidowX，通用 X-VLA - 未见场景 | 成功率 (%) | 87.5（harness 演化为 code-as-policy） | 0.0（裸策略）；70.8（X-VLA 微调版） | +87.5 个百分点，超过全量微调 |
| VLABench，通用 X-VLA - 未见任务 | 官方 progress score (%) | 72.5 | 1.2（裸策略）；32.1（微调版） | +71.3 个百分点，超过全量微调 |
| LIBERO-Pro-10，OpenVLA-7B - 未见场景 | 成功率 (%) | 26.0 | 0.0（裸策略） | +26.0 个百分点 |
| RoboCerebra，SmolVLA - 未见任务 | 成功率 (%) | 80.0 | 26.0（裸策略） | +54.0 个百分点 |
| 统一 harness，通用 X-VLA，held-out 标准 episode 均值 | 成功率 (%) | 28.8 | 1.9（裸策略） | +1417%，跨 Franka/WidowX/Google 三种本体 |
| RoboCasa-365，RLDX-1（域内策略）- 未见场景 | 成功率 (%) | 27.8 | 27.9（裸策略） | -0.2 个百分点（唯一无提升的设置） |
局限与改进
作者在第六节承认三点：迭代次数固定为 5，更多迭代的收益饱和点尚未探索；任务范围限于抓放级别的操作，灵巧手内操作、工具使用等接触动力学更丰富的场景未验证；全部实验在仿真中完成，sim-to-real 只从接口角度做了论证（harness 只读相机、深度、本体读数等标准输入空间），没有真机实验。我补充几点观察：RLDX-1 的失败说明当策略本身已接近该设置的容量上限时 harness 提升空间有限，甚至可能在优化 episode 上过拟合而 held-out 持平（27.9%→27.8%）；VLABench 使用官方 progress score（抓对物体和达成目标条件都给部分分）而非严格成功率，与其他基准的可比性略有折扣；每个任务只有 10~50 个 trial，成功率估计的抽样方差不小，个别设置上几个点的差异可能不显著；整套流程依赖 claude-opus-5 这一个特定编码模型的诊断能力，论文没有做编码模型档位的消融；harness 自己演化出的验证逻辑（如从指尖下方深度图判断是否抓稳）在真实世界的感知噪声下能否稳健也未经过检验。
独立分析的弱点
第一，贪心单点搜索：验收规则只在训练集分数上做爬山，被拒的修订直接丢弃，没有种群、回溯或分支机制，容易陷入局部最优；RoboCasa-365 上 RLDX-1 的停滞正说明这种贪心可能把改进锁死在优化 episode 的分布上。改进方向：并行维护多个 harness 变体择优，或对被拒修订做二次诊断再尝试。第二，与单一编码模型强耦合：所有涌现行为（失败诊断、控制分工、记忆设计）都依赖 claude-opus-5 的能力，换用更弱的模型可能大幅退化，而论文未报告不同编码模型的结果。改进方向：补充模型档位消融，或把成功修订沉淀为可复用的设计模式库供小模型调用。第三，记忆无遗忘与校验机制：一旦写入错误经验（例如一次偶然成功的抓取深度比例），会长期误导后续决策；Table 3 的 92%~99% 是"读取命中"而非"内容正确"的比率。改进方向：给记忆条目加置信度、样本数与过期淘汰。第四，仿真环境与安全边界缺失：程序化直接指挥机械臂（如重缩放接触力把烤箱门撞关上）在真机上可能损坏硬件或周围物体，论文没有任何安全层设计。改进方向：真机部署时加力矩/速度/工作空间包络的硬限幅，并采用小步慢速的真机在线进化。第五，基准覆盖面窄于叙事：五个基准以桌面/厨房抓放为主，长时程任务的难度梯度也未系统分析。
未来方向
作者提出的方向：探索更多优化迭代轮次下收益何时饱和（当前固定 5 轮、每轮仍稳定上升）；扩展到灵巧手内操作与工具使用等接触更丰富的任务，观察自动进化能发现怎样的控制例程与记忆结构；在真机上验证仿真演化 harness 的迁移性，以及真机部署后继续迭代的流程。基于本文成果可延伸的方向：把 harness 进化与微调串联成决策流程——先免训练得到一个 harness 专家，再依据其失败模式判断是否值得采数据微调；跨设置记忆迁移，例如把 WidowX 学到的"按物体高度比例闭爪"规律作为新本体的先验记忆；把统一 harness 推广到更多本体、更长时程与双臂/移动双臂任务；用该框架系统性回答"哪些失败模式可由控制代码修复、哪些必须改权重"，为社区提供策略能力边界的诊断工具；以及在自动验收环节引入人类在环的安全审查点，为真机进化铺路。
复现评估
复现条件总体友好。代码库已开源（github.com/roboarchitect-ai/RoboArchitect），附录 B 给出了各基准的实现细节、任务切分（Table 4）与评测协议；五个基准（LIBERO/LIBERO-Pro、RoboCerebra、VLABench、RoboCasa-365、SimplerEnv）全部公开；七个 VLA 策略均为公开 checkpoint；辅助工具以开源模型为主（Qwen3-30B-A3B-Instruct、Molmo2-8B、Qwen3-VL-8B、Grounding-DINO、SAM 3、GraspGen）。唯一闭源付费依赖是编码模型 claude-opus-5（经 Claude Code 客户端调用）：论文报告完成一次 5 轮进化平均花费不到 150 美元、编码模型时间不到 6 小时，无需采集演示数据；仿真侧（LIBERO/SimplerEnv 级）普通单机即可运行。复现的主要工作量在工程接线：把不同基准的观测/动作空间、步数上限、评分方式统一接入 harness 接口，并复刻 Table 4 的训练/held-out 任务切分。对有仿真经验的团队，单设置复现难度中等，预计一到两周可跑通；完整复现 5 基准 × 7 策略矩阵则需要按设置数线性叠加 API 费用与仿真时间。
论文图表
左右两栏对比两种 held-out 协议：左边 unseen scenes 是同一任务、交替发放的不同场景配置（如 VLABench 同一任务的四种场景摆法、RoboCasa-365 的四个厨房）；右边 unseen tasks 是共享底层技能的不同任务（如优化关烤箱门、held-out 关冰箱门）。
这篇论文结论的可信度完全建立在"训练/评测切分"的严谨性上，这张图定义了 unseen scenes 与 unseen tasks 的确切含义，是解读所有实验数字的前提。
主结果表：每个基准×策略一行，列出裸策略、一次性设计（One-Shot）、迭代精化（Iterative）在未见场景与未见任务上的成绩及相对裸策略的增量 Δ；标有 ,→的行是同策略微调版的对比成绩；训练来源距离用颜色标注（域内/位置调换/跨基准/域外）。
论文最重要的数据表：所有定量结论（4.5×/3.2× 提升、超过微调、唯一失败的 RLDX-1 设置）都来自这张表的逐行对比。
列出五个代表性设置中涌现的记忆条目内容及其访问统计：如 VLABench 的"举起过物体的手指深度"每 episode 平均读 3.4 次、98% 命中有效条目；RoboCerebra 的"150 步场景重置周期"读 13.0 次、95% 命中。
量化涌现记忆的实际使用情况，证明记忆不是摆设而是在 held-out episode 上被高频且高命中率地消费的活跃组件。