EmbodiedCLBench：面向自进化具身智能体的持续学习评测基准 EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents
首个具身仿真持续学习基准，用组合泛化度量智能体的经验积累与迁移能力
前置知识
自进化智能体（Self-Evolving Agent）
指能从与环境的过往交互中自动积累经验、在无额外人工监督的情况下逐步提升任务能力的智能体。它们通常以大语言模型为核心，通过记忆机制、技能库或自我反思，把历史轨迹中可复用的部分沉淀下来，使性能随时间增长，而不是每次都从零开始解决新任务。
本文评测的对象正是这类智能体：基准的全部设计（先学基础任务、再测进阶任务）都在回答'智能体能否真正自我进化'这一问题，理解这个概念才能理解评测动机。
持续学习（Continual Learning）
模型在持续到来的数据流中不断学习新任务、同时保留旧知识并把它迁移到新场景的范式。经典研究关注灾难性遗忘；在 LLM 智能体语境下，它更多指从过往交互轨迹中积累可复用经验并在测试时利用，权重可以完全冻结，学习发生在上下文或外部记忆中。
这是被评测的核心能力。论文指出该能力对具身智能尤其重要——真实物理环境无法在训练时完全预见，智能体必须边运行边学习，但此前没有具身场景下的系统评测。
组合泛化（Compositional Generalization）
把已学到的元素（技能、概念、算子）重新组合起来解决训练时从未见过的组合的能力。例如学会了'拿起杯子'和'打开柜子'，就能组合解决'打开柜子取出里面的杯子'。它把'是否真的理解了技能元素'变成一个可判定的测试：死记硬背整体轨迹的模型在重组任务上会失败。
这是本文把抽象'持续学习'操作化为可测量指标的核心代理：先学基础技能，再看能否重组解决进阶任务，任务的三级层次（原子动作→基础→进阶）就是为此构造的受控组合结构。
状态转移图（State-Transition Graph）
把任务过程建模为有向图：每个节点是一个唯一的环境状态，附带一张第一人称渲染图像和一组候选动作；每条边是一个可执行动作导致的确定性状态转移。智能体每步从候选中选择并沿边前进，直到到达目标状态或耗尽步数预算。干扰路径是从最短路节点扩展出的可执行但绕路的分支。
EmbodiedCLBench 用它替代在线仿真，实现完全离线、确定性、可并行的评测（因为 TongSim 是闭源的无法在线跑），还支持逐步检查决策质量的细粒度分析，是理解本文评测协议的关键。
上下文学习与技能学习（ICL / Skill Learning）
本文评测的两种利用经验的方式。上下文学习（ICL）把学习阶段完成基础任务的完整交互轨迹原样保留在上下文中供测试阶段参考；技能学习则让智能体先把经验压缩写成一份 Markdown 格式的技能总结，测试阶段只提供这份总结而不提供原始轨迹。两者分别代表'记住原始经验'与'抽象化经验'两条路线。
主实验的全部对比都围绕这两种学习方式与零样本基线展开，'哪种经验表示更有效、增益有多大'是论文的核心实验问题之一。
研究动机
持续学习研究虽然已有大量工作，但几乎全部停留在非具身场景：或是在编码、推理、问答等知识密集型任务之间迁移流程经验（如 EvoAgentBench、AgentCL），或是在网页自动化、操作系统等交互式数字环境中评测（如 LifelongAgentBench、SEA-Eval），或是在持久化的长期模拟世界中考察行为对未来的影响。这些平台都无法体现具身任务固有的空间复杂性与物理约束。反过来，具身智能基准虽然覆盖了 3D 场景感知、视觉语言导航、机器人操作（如 ManiSkill2、LIBERO）和长程指令规划（如 ALFRED、BEHAVIOR-1K），却没有一个是专门为'评测智能体能否从过往交互中积累经验并迁移到新任务'而设计的。作者由此指出一个明确缺口：自进化智能体被期望在训练时无法完全预见的复杂物理环境中持续运作，但学界缺乏一个有原则的方法来度量这种'从经验中学习并迁移'的能力。实验也印证了该能力的稀缺——零样本设定下组合式进阶任务的成功率仅 3%–12%，说明这个问题真实存在且此前从未被系统测量。
本文的目标是本文的目标是构建首个在具身仿真中评测自进化智能体持续学习能力的基准 EmbodiedCLBench，把'持续学习'这一抽象能力变成可操作、可复现的评测流程：先让智能体完成一组基础任务以积累经验，再测试它能否利用这些经验解决从未见过的、更复杂的进阶任务。为此基准需要回答三个设计问题。第一，用什么环境承载任务：选择 TongSim 家庭场景仿真器，它物体与动作原语丰富、任务根植于真实家务，且未被主流基础模型广泛用作训练数据，降低了数据污染风险。第二，如何组织任务结构：建立原子动作→基础任务→进阶任务的三级组合层次，168 个基础任务覆盖 6 类家务能力，100 个进阶任务横跨 2–4 个基础类别。第三，如何在闭源仿真器无法在线运行的约束下保证评测确定性：将每个任务预展开为离线状态转移图。最终交付一个包含 268 个任务、多轮交互评测协议、统一成功率指标 $SR = \frac{1}{N}\sum_{i=1}^{N} c_i$ 的完整测试床，并系统刻画当前智能体的能力边界。
与已有工作不同的是，本文最独特的切入是把'持续学习'操作化为'组合泛化'：与其争论智能体是否'记住了'经验，不如直接检验它能否把基础任务中习得的技能元素重新组合，去攻克结构上由这些元素构成、但整体从未见过的进阶任务——如果智能体只是死记硬背轨迹而不理解技能，组合式新任务就会暴露出来。这一定义带来干净的实验对照：同一批进阶任务分别在零样本、ICL、技能学习三种条件下测量，增益即可归因于经验迁移。第二个务实创新来自工程约束：TongSim 只有闭源版本支持全部动作、无法在线仿真，作者转而将每个任务预先展开为状态转移图（节点=状态+第一人称图像+候选动作，边=确定转移），评测退化为图上的多轮选择，既保留序列决策结构，又换来离线、并行、完全可复现三个好处。第三个细节是数据质量上的防泄漏设计：用三阶段 LLM 改写加三人独立人工校验，刻意隐藏'观察→接近→操作'的语言节奏和'正确选项更简短'的风格偏置，防止被测模型凭语言捷径而非看图做对——这种对抗性构造在同类基准中相当少见。
核心方法
EmbodiedCLBench 的构建分四个阶段。第一阶段环境搭建：采用 TongSim 家庭场景仿真器（闭源版，动作更全），提供杯子、柜子、灯、电器等大量可交互物体，以及 walk to、pick up、open、switch on/off 等可执行动作。第二阶段任务生成：原子动作是与单个物体的一次完整交互（如'拿起杯子'，由走近、注视、拾取 3 步组成）；基础任务把 2 个原子动作组成实用家务（最短路 6 步），共 168 个、横跨物体操作、空间摆放、可达性控制、电器操作、活动场景配置、家务状态恢复 6 个类别；进阶任务把来自 2–4 个类别的 4 个原子动作组合成复合家务（如'睡前调暗台灯、打开书桌、合上抽屉、扔掉遥控器'，最短路 12 步），共 100 个。第三阶段图构建：用广度优先搜索求出初始态到目标态的最短动作序列，并从最短路节点扩展可执行分支作为干扰路径，每个节点绑定一张第一人称渲染图和候选动作。第四阶段评测协议：智能体先在'学习阶段'完成基础任务积累经验，再在'测试阶段'挑战未见进阶任务，每步从候选动作中选择，按 $SR = \frac{1}{N}\sum_{i=1}^{N} c_i$ 统计成功率。全部任务在 OpenClaw、Claude Code、Codex、Hermes 四种 harness 与 Qwen3.8-Flash、GPT5.6-Terra 两个骨干模型组合下评测。
核心创新在于用一个可测量的代理能力——组合泛化——来定义并度量持续学习。已有持续学习基准都在数字或符号环境中运行，而已有具身基准评测的是感知、导航、操作、规划等静态能力，两个方向从未交叉。与此相比，本文的本质区别有三点。其一，任务结构上'先学后测'：基础任务不是训练集而是测试时学习数据，智能体的'学习'完全发生在推理阶段（把交互轨迹或技能总结放进上下文），不更新任何权重，从而干净地隔离出纯经验迁移的效应。其二，评测机制上用离线状态转移图替代在线仿真：每个候选动作被预先标注为最优（沿最短路）、次优（可执行但绕路）或无效（当前状态不可执行）三类，使评测确定性、可并行，还能对每一步决策做行为级误差分析——这是在线仿真难以提供的。其三，防捷径设计：三阶段 LLM 流水线系统性地打破跨状态的语言模式，例如让无效选项读起来也像合理的下一步、打散不同子目标间正确选项的措辞节奏，逼模型真正依据图像决策。三者合起来，使'经验是否带来了可迁移的技能'第一次在具身场景下成为可量化、可复现的实验问题。
方法步骤详情
第一步，环境与素材准备：在 TongSim 中选取家庭室内场景，枚举可交互物体与原子动作，每个原子动作固定分解为观察（look at）、接近（walk to）、操作（open/pick up 等）3 个可执行步骤。第二步，任务生成：把 2 个原子动作组合成基础任务，把 4 个来自不同能力类别的原子动作组合成进阶任务；Qwen3.7-Plus 先把直白的动作罗列改写成带生活情境的自然请求（如把'关电视、开台灯、关柜门'改写为'客人快到了，让客厅整洁安静下来'），三名标注员独立校验图像、描述与选项，全票通过才保留。第三步，图构建：给定任务的初始与目标状态，用广度优先搜索找出最短动作序列，再从最短路各节点扩展可执行的替代动作形成次优分支；每个节点绑定状态图像与约 4 个候选动作文本。第四步，评测执行：学习阶段让智能体完成 2 个与目标进阶任务相关的基础任务（预算为最短路+6 步），ICL 条件下完整轨迹留在上下文，技能学习条件下只留一份 Markdown 技能总结；测试阶段（预算+3 步）每步看图选动作，直至达成目标或耗尽预算。选项经三阶段防泄漏管线（描述情境化改写、单状态选项改写、跨状态模式硬化）处理。
技术新颖性
技术新颖性体现在四个层面。领域层面，这是第一个把持续学习评测搬进具身仿真的基准，此前该方向只在知识任务、数字环境和长期模拟世界中被探索；具身侧最接近的工作（ATOM-Bench、RoboHiMan 等组合操作基准）评测的是训练后机器人策略的组合泛化，而本文评测的是'无基准特定训练、纯推理期经验积累'的持续学习，两者设定有本质差异。方法论层面，'组合泛化即持续学习'的操作化提供了一个可复用的评测设计模板：任何能分解为技能元素的任务域都可以套用'基础→进阶'的两级构造来测经验迁移。工程层面，状态转移图方案优雅地解决了闭源仿真器不可在线运行的现实约束，同时换来确定性、可复现、可并行三个好处，并通过最优/次优/无效三类动作标注支持行为级诊断，例如发现经验主要减少了无效动作的选择。数据质量层面，三阶段防泄漏流水线（任务描述情境化改写、单状态选项改写、跨状态模式硬化）系统封堵了语言捷径：观察阶段的正确选项不再读作'状态检查'、接近阶段不再读作'移近以便操作'、无效选项不得出现 wrong/invalid 等暴露词，且不同子目标的正确选项必须使用不同句式——这种对抗性数据构造在基准论文中颇为罕见。
实验结果
主实验（Table 1）覆盖 4 种 harness × 2 个模型共 8 组配置：基础任务零样本成功率 42.9%–58.9%，简单家务基本可解；进阶任务零样本骤降至 3.0%–12.0%，证明组合任务确实困难；经 2 个基础任务学习后，ICL 将进阶任务成功率提升至 16.0%–52.0%，技能学习提升至 22.0%–38.0%，且在全部配置上一致成立（如 HERMES+Qwen3.8-Flash 从 8.0% 升至 ICL 44.0%）。复杂度分析（Figure 4）：原子动作从 3 增到 6 时，零样本从 28.0% 暴跌至 4.0%，ICL 从 72.0% 降至 42.0% 后趋平，而相对零样本的增益稳定在约 30%——最难档零样本仅 4.0% 时，ICL 与技能学习仍达 32.0% 和 26.0%。样本扩展实验（Figure 5）：学习样本 k 从 0 增到 1 时成功率从 8.0%–10.0% 跳到 28.0%–40.0%，但 k>1 后四条曲线全部波动不升，说明智能体无法从更多经验中提取增量信息。误差分析（Figure 6）：经验使无效动作选择率下降 13%–20%、最优动作上升、次优动作上升 3%–8%，即学习主要把'误选不可执行动作'纠正为可行动作；技能学习的行为偏移小于 ICL 但成功率不落下风。预算敏感性（Figure 7）：额外步数 0→6 时三种设置单调上升，0 额外步下零样本 0.0% 而 ICL/技能学习仍有 15.0%/7.0%，且有经验者从宽松预算获益更陡，经验的作用无法被放宽容错替代。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 进阶任务求解（HERMES + Qwen3.8-Flash） | 成功率 SR (%) | ICL 44.0；技能学习 33.0 | 零样本 8.0 | ICL +36.0；技能学习 +25.0 |
| 进阶任务求解（Codex + GPT5.6-Terra，全表最佳） | 成功率 SR (%) | ICL 52.0；技能学习 26.0 | 零样本 11.0 | ICL +41.0；技能学习 +15.0 |
| 基础任务零样本（8 组配置区间） | 成功率 SR (%) | 42.9–58.9 | —（作为学习阶段能力参照） | —（说明简单家务基本可解） |
| 6 原子动作最高复杂度进阶任务（HERMES + Qwen3.8-Flash） | 成功率 SR (%) | ICL 32.0；技能学习 26.0 | 零样本 4.0 | ICL +28.0；技能学习 +22.0（增益随复杂度保持稳定） |
| 单样本学习 k=1（HERMES/OpenClaw + Qwen3.8-Flash） | 成功率 SR (%) | 28.0–40.0 | k=0 零样本 8.0–10.0 | 约 +20 至 +30；k>1 后不再提升 |
| 0 额外步严格预算（HERMES + Qwen3.8-Flash） | 成功率 SR (%) | ICL 15.0；技能学习 7.0 | 零样本 0.0 | ICL +15.0；技能学习 +7.0（有经验者从更大预算获益更陡） |
局限与改进
作者明确承认的局限有三点：一是所有配置的进阶任务性能都远未饱和（最高 52.0%），现有智能体的持续学习能力有很大提升空间；二是学习收益不随经验数量扩展，'可扩展的持续学习'仍是开放问题；三是 ICL 与技能学习之间没有一致优势，作者只能猜测两者都能提取有意义信息，其内在机制尚不清楚。我自己观察到的局限：其一，离线图评测把动作空间压缩到每步约 4 个给定候选，智能体无需自己探索可行的动作集合，这与真实具身任务的开放动作空间有本质差距，可能高估迁移能力的上限；其二，'成功'被定义为沿预计算最短路走完全程，而真实家务常有多种等效完成方式，图中未涵盖的解法一律判负；其三，进阶任务只有 100 个，3.0% 与 12.0% 之间的差异实际只对应 3–12 个任务，单配置数字的统计噪声不小，论文未报告置信区间或显著性检验；其四，每个进阶任务配对的 2 个'相关'基础任务由人工指定，相关性定义没有消融实验，学习增益可能部分来自任务形式熟悉度而非技能组合本身；其五，仅测试两个骨干模型与四种 harness，'技能学习行为偏移更小'等结论的普适性有待更多模型验证。
独立分析的弱点
第一个弱点是动作候选封闭：每步仅从约 4 个人工设计的选项中选择，且最优解必然存在于图中，这把序列决策简化成了多选题，模型可能靠排除法或语义匹配而非真正的规划取胜。改进方向是引入开放动作空间加执行验证器，或按层级自动生成候选并动态扩充干扰项。第二个弱点是经验利用饱和：单个样本带来 20–30 个百分点的跃升后曲线完全平坦，说明当前经验提取机制（无论是原始轨迹还是一段总结）的信息容量极低，更多经验只是上下文中的冗余堆积。改进方向是显式技能抽象与结构化记忆，例如把轨迹分解为可参数化的'观察-接近-操作'模板并按物体/动作类型索引检索，或对新经验与已有技能做差分更新。第三个弱点是成功判据僵硬：必须严格贴合最短路，无法承认等效解法，可能系统性低估能力。改进方向是为图中等效动作序列标注多条可接受路径，或改用基于状态谓词的目标达成判定。第四个弱点是评测与诊断耦合不足：虽然错误分析使用了三类动作标注，但主指标仍是单一成功率，无法区分'感知失败''规划失败'与'经验迁移失败'三类错误来源。改进方向是把逐类决策率、首次偏离最短路的步数、预算利用率等过程指标纳入标准报告，形成多维评测画像。
未来方向
作者在结论中提出的方向：一是设计专门面向持续学习的智能体 harness——目前各 harness 表现接近但远未饱和，说明框架层面的经验管理（而非底层模型能力）是主要瓶颈；二是研究能让智能体持续'巩固、泛化、复用'经验的新机制。基于本文成果可自然延伸的方向包括：经验扩展定律研究——为何 k=1 后收益完全饱和，是上下文长度限制、信息冗余还是缺乏选择性保留机制，值得做控制变量实验；技能库构建——把 Voyager 式技能抽象与本文'观察-接近-操作'三段式结构结合，形成可组合、可检索、可验证的具身技能库；跨场景与跨物体迁移——目前学习与测试局限在同类别家庭场景，可检验经验能否跨场景、跨物体类别泛化；课程化经验积累——按组合复杂度递增安排学习任务，检验课程顺序对迁移增益的影响；多智能体经验共享——一个智能体学到的技能总结能否直接被另一个智能体使用，检验经验表示的可移植性；以及把离线图评测与在线仿真混合，在保持可复现的同时恢复开放动作空间的真实性。
复现评估
复现条件总体较好。代码与数据集已在项目主页开源（pku-value-lab.github.io/EmbodiedCLBench-homepage），且由于评测是离线状态转移图上的多轮选择，复现者无需运行 TongSim 仿真器即可执行全部 268 个任务：评测可并行、结果确定、成本低。主要开销是调用 GPT5.6-Terra 与 Qwen3.8-Flash 的 API（主实验 8 个配置 × 全任务集，外加复杂度、样本扩展、误差、预算等分析实验），单机即可完成，无训练算力需求。需要提醒两点：一是 TongSim 为闭源平台，图结构与状态图像都是预先生成的，第三方无法扩展新场景或新任务，只能在既有 268 个任务的图内做研究，这会限制基准的长期生命力；二是数据构建依赖 Qwen3.7-Plus 的三阶段生成管线加三名标注员对每个样本全票通过的人工校验，若想复制这套防泄漏数据管线需要相当的人工成本。总体评估：复现论文中的实验表格属于低到中等难度（工程量主要在接入四种 harness 的 API 与轨迹管理），而复现数据构建管线属于高难度。
论文图表
全文的核心示意图，展示'基础任务→持续学习→进阶任务'的评测逻辑：左侧是三个基础任务（拿起物体、走向物体、打开抽屉），智能体通过交互练习和打磨这些技能完成经验积累；中间是持续学习阶段，利用所学经验泛化到更新更难的任务；右侧是进阶任务（收拾房间、摆餐桌），每个任务由'走到目标→拾取→打开'等已学技能元素组合而成，且是从未见过的组合。
这一张图定义了整篇论文的评测哲学：把'持续学习'操作化为'组合泛化'。看懂它就理解了为什么基础任务可以作为进阶任务的试金石，以及任务三级层次设计的由来。
展示一个基础任务（'我要在客厅看电影，请关掉顶灯以免屏幕反光，并打开媒体柜'）最短路上全部 7 个状态（State 0–6）的第一人称渲染图像序列，从初始客厅场景逐步推进到灯已关闭、媒体柜已打开的最终状态。
让读者直观看到智能体实际接收的视觉输入长什么样，理解任务的真实感与图像在决策中的作用，是理解评测形式最直接的素材。
第二个基础任务示例（'为轻松的夜晚做准备——打开背景娱乐设备并打开储物柜'）最短路上 State 0–6 的第一人称图像序列，展示从客厅初始状态到电视已开、储物柜已打开的目标状态的推进过程。
与 Figure 8 一起提供基础任务的具体样貌，帮助读者理解不同类别基础任务的共性结构（观察→接近→操作的两拍节奏），这对理解防泄漏设计的动机很有帮助。
展示一个进阶任务（'准备睡觉——调暗卧室台灯、打开书房书桌、合上床头抽屉、把旧遥控器扔进垃圾桶'）最短路上全部 13 个状态（State 0–12）的第一人称图像序列，包含最终完成状态，可见一个进阶任务串联了 4 个来自不同能力类别的原子动作。
直观展示进阶任务的长度（12 步最短路）与组合复杂度，与基础任务示例形成对照，是理解'零样本仅 3%–12% 成功率'这一核心难度的关键视觉材料。