← 返回 2026-03-16

MineEvolve：基于累积知识自我进化的长视野Minecraft具身智能体 Steve-Evolving: Open-World Embodied Self-Evolution via Fine-Grained Diagnosis and Dual-Track Knowledge Distillation

Zhengwei Xie, Zhisheng Chen, Ziyan Weng, Tingyu Wu, Chenglong Li, Vireo Zhang, Kun Wang 📅 2026-03-13 👍 6 2026-07-13 08:36
Minecraft 具身智能 知识积累 自我进化 长视野规划
arXiv HuggingFace PDF

通过将执行反馈转化为结构化行为知识，实现Minecraft智能体的持续自我进化

前置知识

具身智能（Embodied AI）

具身智能是指智能体通过物理或虚拟身体与环境交互来学习任务。与纯文本或视觉AI不同，具身智能体需要感知环境状态、执行动作并观察反馈。在Minecraft中，智能体通过键盘鼠标控制角色，完成导航、采集、制作等任务，其学习过程依赖于与环境的实时交互和反馈循环。

本文研究的是具身智能体的自我进化能力，需要理解智能体如何在开放环境中通过交互积累经验。论文中的所有实验和评估都建立在具身智能的基础上，从执行反馈到知识生成的整个流程都依赖于具身交互范式。

长视野任务（Long-Horizon Tasks）

长视野任务是指需要执行大量动作、跨越较长时间才能完成的目标。在Minecraft中，获得钻石装备需要：采集木头→制作工作台→制作木镐→挖石头→制作石镐→挖铁矿→烧铁→制作铁镐→挖钻石→制作钻石装备，这个依赖链条包含数十个子目标。关键特征是中间步骤的失败会导致整个任务失败，且早期错误的影响会不断放大。

本文核心创新点就是解决长视野任务中的失败恢复和计划修订问题。论文提出的补救措施（remedies）专门针对长依赖链中的局部失败进行修复，所有实验评估都聚焦于高依赖难度的任务群组。

层次化架构（Hierarchical Architecture）

层次化架构将智能体分为高层规划和低层执行两个层次。高层使用大语言模型（LLM）理解目标并生成子目标序列，低层执行器将每个子目标转换为具体的键盘鼠标动作。这种分离使得规划层可以抽象推理，而执行层专注于具体控制。例如，规划层输出'采集橡木'，执行器将其转化为向橡木移动、点击左键等低级动作序列。

MineEvolve框架建立在层次化架构之上，Monitor组件监控低层执行产生反馈，Inducer生成知识供高层规划使用，Adaptor在规划层进行局部修复。理解层次化架构对于理解论文中各组件的交互关系至关重要。

研究动机

现有方法在处理长视野Minecraft任务时面临严重挑战。现有方法要么检索原始轨迹，要么重用静态成功案例，要么依赖通用的文本反思，这些方法提供修复失败的能力很弱。具体来说，在MCU测试套件的70个任务中，DEPS方法在硬任务群组（Iron、Redstone、Diamond、Armor）上的成功率仅为9.71%-11.92%，即使较新的Optimus-2方法也仅达到32.11%-35.70%。失败主要不是因为语言模型误解目标，而是由于细粒度执行错误，如缺少工具、路径被阻塞、GUI状态异常或遗漏前置条件。这些错误在长依赖链中会不断累积，最终导致任务失败。

本文的目标是本文目标是构建一个知识驱动的自我进化框架，将执行反馈转化为可操作的行为知识，使智能体能够持续改进长视野任务执行能力。具体而言，框架需要从成功执行中提取可重用的技能，从失败或停滞执行中生成补救措施，并通过知识验证、检索和局部修复机制，将这些知识有效应用于未来规划。目标是在不更新语言模型参数的情况下，通过外部知识系统的持续更新和使用实现智能体能力的提升。

与已有工作不同的是，本文的独特切入角度是将细粒度执行反馈直接转化为可验证、可匹配、可直接行动的结构化行为知识。与Voyager的自动课程和代码技能库、Optimus-1的多模态记忆和经验池、XENON的依赖知识修订等方法不同，MineEvolve不是简单地检索相似案例或总结历史轨迹，而是识别过去执行应该如何修改当前计划。例如，当智能体在目标方块附近重复移动且库存无变化时，不是记录这次失败，而是转化为一个补救措施，建议清除阻塞方块或选择替代路径。这种从反馈到知识、从知识到计划修订的闭环设计是本文的本质创新。

核心方法

MineEvolve框架将自我进化建模为外部行为知识系统的持续更新和使用过程，包含四个顺序操作：Monitor将子目标执行转换为类型化执行反馈；Inducer从反馈生成技能和补救措施；Curator验证、合并、过滤并检索候选知识；Adaptor在重复失败或停滞时将检索到的知识注入规划器并修复未完成的计划。整个流程形成执行→反馈→知识→应用的闭环，使智能体能够通过交互不断积累和运用经验。

核心创新是将执行反馈转化为两种互补的可操作知识形式：技能（skills）和补救措施（remedies）。技能从成功反馈中提取，编码触发上下文、前置条件、动作序列、验证规则和观察效果；补救措施从失败或停滞反馈中生成，指定触发上下文、失败类型、风险模式和修复动作。这与现有的轨迹记忆或静态案例检索有本质区别：MineEvolve不只是告诉智能体'之前这样做成功了'，而是明确指出'在什么条件下可以这样做'以及'当出现特定失败模式时应该这样修复'。

方法步骤详情

方法的第一步是Monitor监控子目标执行，将第i个子目标zi的执行压缩为类型化反馈ei = (zi, yi, Δsi, Δvi, fi, pi, ℓi)，其中yi表示成功与否，Δsi表示状态变化，Δvi表示库存变化，fi表示失败类型，pi表示执行进度，ℓi表示停滞。进度计算公式为pi = λx·Var(xi,1:T)/(εx+Var(xi,1:T)) + λv·∥Δvi∥1/(εv+∥∥Δvi∥1) + λg·pgoali，当pi低于阈值且子目标未完成时标记为停滞。第二步是Inducer基于反馈生成知识：当反馈片段包含连续成功子目标且最终状态满足验证规则时生成技能；当最近窗口h内失败率∑j=i-h+1^i I[yj=0] ≥ ηfail或当前子目标停滞时生成补救措施。知识条目统一表示为k = (type, c, u, φ, ρ, E)，其中type∈{skill, remedy}，c是触发上下文，u是知识内容，φ是验证或适用条件，ρ是置信度，E是支撑反馈集。第三步是Curator验证候选知识，接受条件为Accept(k, K) = I[Vschema(k) ∧ Vmatch(k) ∧ Vexec(k) ∧ Vspec(k) ∧ ¬Cconflict(k, K)]，检查模式完整性、上下文可匹配性、可执行性、特异性以及无冲突。第四步是Adaptor在重复失败或停滞时修复计划，保留已完成前缀z1:i，修复后的计划为z'1:N = (z1:i, Repair(g, si, z1:i, KRi, Ai))，其中KRi是检索到的相关知识集，Ai是激活的补救措施集合。

技术新颖性

技术新颖性体现在多个方面。首先，引入类型化执行反馈而非简单的成功/失败二元信号，这使知识生成过程能够基于环境的可观测状态和结构化指标。其次，将知识明确区分为技能和补救措施两种形式，分别提供正向指导和负向风险信息，这种二分设计比单一的经验存储更匹配长视野任务的需求。第三，Curator的多层次验证机制确保进入知识库的条目都是可执行、可验证且不冲突的，防止模糊或矛盾的文本污染知识系统。第四，Adaptor的局部修复策略在保持已完成进度的基础上仅修改未完成部分，避免了重新生成整个计划的计算浪费和进度丢失。最后，整个框架不更新语言模型参数，而是通过外部知识系统的演化实现能力提升，这种设计使得改进可以跨不同LLM规划器迁移。

MineEvolve models self-evolution as the continual update and use of an external behavioral knowledge system, and consists of four sequential operations. First, Monitor converts each subgoal execution into typed execution feedback. Second, Inducer generates skills and remedies from this feedback. Third, Curator validates, merges, filters, and retrieves candidate knowledge. Finally, Adaptor injects the retrieved knowledge into the planner and repairs the unfinished part of the plan when repeated failures or stagnation occur.
Figure 3: MineEvolve models self-evolution as the continual update and use of an external behavioral knowledge system, and consists of four sequential operations. First, Monitor converts each subgoal execution into typed execution feedback. Second, Inducer generates skills and remedies from this feedback. Third, Curator validates, merges, filters, and retrieves candidate knowledge. Finally, Adaptor injects the retrieved knowledge into the planner and repairs the unfinished part of the plan when repeated failures or stagnation occur.

实验结果

实验在MCU长视野任务套件的70个任务上进行，跨越七个技术树群组。使用五种不同的语言模型规划器（Qwen3.5-Flash、Qwen3.5-Plus、GLM-4.7、Gemini-3-Flash、GPT-5.5）进行评估。在所有规划器上，MineEvolve都取得了最高的Overall和Hard Avg.成绩。以Qwen3.5-Plus为例，Overall成功率为52.52%，比基线方法DEPS（29.25%）、JARVIS-1（42.59%）、Optimus-1（47.42%）、Optimus-2（49.75%）分别提升了23.27、9.93、5.10、2.77个百分点。在硬任务群组上提升更为显著，Hard Avg.达到37.13%，比Optimus-2（33.25%）提升3.88个百分点。消融研究验证了每个组件的贡献：移除类型化执行反馈导致最大性能下降，Binary Feedback在硬任务群组上仅达到27.06%；用自由形式文本反思替代结构化知识（Text Reflection）提升至29.98%，但仍远低于完整系统的37.13%；Skills Only和Remedies Only分别提升但互补，完整系统最优；移除Curator、Adaptor或冻结知识库（Static Store）也都导致明显下降，说明持续知识更新和局部修复的重要性。知识积累曲线显示MineEvolve在Iron、Redstone、Diamond、Armor四个困难任务群组上都随着经验积累呈现持续改进，其中Iron群组起点较高（从M=0时的28.06%到M=400时的47.45%），Diamond群组始终最难（从6.13%到17.28%）但仍有稳定改进，Armor群组提升幅度最大（从9.82%到29.71%）。

Compact main results on the MCU task suite. Values denote success rate SR (%). Easy Avg. is the task-count-weighted average over Wooden, Stone, and Gold tasks; Hard Avg. is the task-count-weighted average over Iron, Redstone, Diamond, and Armor tasks; Overall is the task-count-weighted average over all 70 tasks. Best scores are highlighted in orange, and second-best scores are highlighted in teal.
Table 1: Compact main results on the MCU task suite. Values denote success rate SR (%). Easy Avg. is the task-count-weighted average over Wooden, Stone, and Gold tasks; Hard Avg. is the task-count-weighted average over Iron, Redstone, Diamond, and Armor tasks; Overall is the task-count-weighted average over all 70 tasks. Best scores are highlighted in orange, and second-best scores are highlighted in teal.
Ablation on feedback granularity. All variants share the same low-level execution policy, knowledge-base size, retrieval budget, replanning trigger conditions, and evaluation-time LLM-call budget. Values denote SR (%).
Table 2: Ablation on feedback granularity. All variants share the same low-level execution policy, knowledge-base size, retrieval budget, replanning trigger conditions, and evaluation-time LLM-call budget. Values denote SR (%).
Targeted ablation results on the four difficult task groups. Bars denote SR (%). MineEvolve consistently outperforms ablated variants across Iron, Redstone, Diamond, and Armor tasks.
Figure 4: Targeted ablation results on the four difficult task groups. Bars denote SR (%). MineEvolve consistently outperforms ablated variants across Iron, Redstone, Diamond, and Armor tasks.
Knowledge accumulation curves on the four difficult task groups. At each checkpoint, the external knowledge base is frozen before evaluation. Compared with Static Store and Text Reflection, MineEvolve shows more pronounced and sustained improvement on Iron, Redstone, Diamond, and Armor, indicating that structured skills and remedies can be accumulated and reused across task groups.
Figure 5: Knowledge accumulation curves on the four difficult task groups. At each checkpoint, the external knowledge base is frozen before evaluation. Compared with Static Store and Text Reflection, MineEvolve shows more pronounced and sustained improvement on Iron, Redstone, Diamond, and Armor, indicating that structured skills and remedies can be accumulated and reused across task groups.
查看结构化数据
任务指标本文基线提升
Minecraft MCU任务套件-硬任务群组平均 成功率SR(%) 37.13 (Qwen3.5-Plus) 33.25 (Optimus-2 GOAP) +3.88个百分点
Minecraft MCU任务套件-总体平均 成功率SR(%) 52.52 (Qwen3.5-Plus) 49.75 (Optimus-2 GOAP) +2.77个百分点
Diamond任务群组 成功率SR(%) 17.06 (Qwen3.5-Plus) 11.94 (Trajectory Reflection) +5.12个百分点
反馈粒度消融-硬任务平均 成功率SR(%) 37.13 (Typed Execution Feedback) 27.06 (Binary Feedback) +10.07个百分点

局限与改进

作者承认当前实现主要在Minecraft中评估，依赖于环境特定的执行信号，如库存变化、GUI状态、制作进度和失败类型。将框架迁移到其他具身领域可能需要重新设计这些反馈字段和验证规则。此外，论文未深入探讨知识库的长期管理问题，如知识冲突的解决策略、过时知识的淘汰机制、知识容量上限等。从性能角度，Diamond群组的成功率仍然较低（约17%），说明极端稀疏资源和深层依赖链仍然是挑战。计算开销方面，虽然通过固定提示预算B控制了检索时的上下文增长，但知识验证、匹配和检索的计算成本随知识库规模增加而上升，这在长期使用中可能成为瓶颈。最后，框架目前假设低层执行器的能力是固定的，如果执行器本身有缺陷，生成的反馈和知识可能会带有系统性偏差。

独立分析的弱点

第一个弱点是环境特异性强。MineEvolve严重依赖Minecraft特定的状态表示（库存、GUI、制作进度等），迁移到机器人控制、自动驾驶等其他具身领域需要重新设计监控信号和知识模式，这限制了方法的通用性。第二个弱点是冷启动问题。当知识库为空时，智能体完全依赖初始规划，在困难任务上成功率很低，需要大量交互才能积累有用知识。可以考虑引入跨任务知识迁移或从人类演示中预初始化知识库。第三个弱点是补救措施的触发条件相对简单，仅基于失败率阈值和停滞检测，可能无法捕捉复杂的失败模式。可以引入更丰富的失败分类和模式识别机制。第四个弱点是知识验证主要基于语法和逻辑检查，缺乏在安全沙盒中的实际测试验证，可能接受看似合理但实际无效的知识。可以增加轻量级的模拟验证步骤。第五个弱点是论文未考虑多智能体场景，当多个智能体并行工作时，如何避免知识库写入冲突和知识污染是需要解决的问题。

未来方向

作者提出的未来方向包括将框架扩展到其他具身环境，如机器人控制、虚拟现实、游戏AI等，并设计对应领域的执行反馈和知识模式。基于论文成果可以延伸的方向包括：研究更复杂的知识演化机制，如知识的类比迁移、抽象泛化、组合创新；探索元学习能力，使智能体能够学习如何更好地生成和验证知识；研究多智能体知识共享和协作机制，实现群体智能；结合强化学习，让智能体通过试错学习何时信任或忽略检索到的知识；设计知识压缩和蒸馏方法，将大型知识库提炼为更紧凑的表示；研究知识的可解释性和可控性，使人类能够理解和审计智能体的决策过程；探索在线学习和离线预训练的结合，实现从演示数据中预训练知识库并在交互中持续更新。

复现评估

论文声称代码将在https://github.com/xzw-ustc/MC-MineEvolve开源。实验使用MCU测试套件，该基准是公开的。评估使用五种不同的LLM规划器，包括开源模型（如Qwen系列）和专有模型（如GPT-5.5），复现时需要相应的API访问权限。低层执行策略使用STEVE-1和Optimus-2的GOAP策略，STEVE-1也是公开的。计算资源方面，70个任务×5个规划器×多个配置的组合需要相当多的计算，但可以通过减少规划器数量或任务子集进行部分复现。论文提供了详细的消融设置和参数，包括系数λx、λv、λg，阈值εp，窗口大小h，失败率阈值ηfail等，但未给出具体数值，这可能影响精确复现。总体而言，论文的复现难度中等，主要依赖性和挑战在于LLM API访问和长时间的计算资源需求。

论文图表

Prior methods either retrieve raw trajectories, reuse static successful cases, or rely on generic text reflections, which often provide weak guidance for repairing failures. In contrast, MineEvolve collects typed execution signals, induces actionable behavioral knowledge, maintains it in a curated knowledge bank, and uses it to repair the plan, turning past experience into explicit guidance for future decisions.
Figure 1: Prior methods either retrieve raw trajectories, reuse static successful cases, or rely on generic text reflections, which often provide weak guidance for repairing failures. In contrast, MineEvolve collects typed execution signals, induces actionable behavioral knowledge, maintains it in a curated knowledge bank, and uses it to repair the plan, turning past experience into explicit guidance for future decisions.

这张图对比了现有方法和MineEvolve的区别。左侧显示现有方法的三种策略：检索原始轨迹、重用静态成功案例、依赖通用文本反思，这些方法对修复失败的指导很弱。右侧展示MineEvolve的四个组件：Monitor收集类型化执行信号，Inducer诱导可操作的行为知识，Curator维护经过策划的知识库，Adaptor使用知识修复计划，将过去经验转化为未来决策的明确指导。

这张图是理解论文核心思想的入口，清晰展示了MineEvolve与现有方法的本质区别——从被动记录案例到主动生成和应用知识。它直观地呈现了框架的四个组件及其关系，为后续深入理解方法细节奠定了基础。

Progression of Minecraft from wooden to diamond tiers, illustrating the hierarchy of tools, materials, and equipment used to construct long-horizon tasks for embodied agent evaluation.
Figure 2: Progression of Minecraft from wooden to diamond tiers, illustrating the hierarchy of tools, materials, and equipment used to construct long-horizon tasks for embodied agent evaluation.

这张图展示了Minecraft中从木制到钻石级别的工具、材料和设备的层次结构。从木制工具开始，逐步升级到石制、铁制、金制，最终达到钻石级别，每个级别都有对应的工具、材料和装备。这个层次结构构成了长视野任务的依赖链，例如要获得钻石镐，需要先有铁镐挖钻石，而铁镐又需要石镐挖铁矿，石镐需要木镐挖石头，形成了一个长长的前置条件链。

这张图解释了为什么Minecraft是研究长视野任务的良好测试平台，直观展示了任务依赖链的长度和复杂性。它帮助读者理解论文选择高依赖任务群组进行评估的合理性，以及为什么在长链中局部失败的影响会不断放大。